AI 레드 티밍의 필요성

AI 레드 티밍의 필요성 안전불감증, 위험을 충분히 인지하지 못하거나 대수롭지 않게 여겨 안전 규정, 수칙을 무시하는 태도, 즉 안전의식이 낮은 상태를 뜻한다. AI 생태계에서도 동일하게 안전불감증 문화를 엿볼 수 있다. Scale AI의 데이비드 캠벨은 강연에서 AI 레드 티밍의 중요성에 대해 역설했다. 우선, AI의 도입은 기존 사이버 보안의 공격 표면을 뒤바꾸었고, 이러한 위협을 방어하기 위해서 4가지 계층을 이해해야 한다고 말한다. ✅입력(Input): 유저, 시스템 프롬프트, 에이전트 및 RAG 애플리케이션에서 주입되는 컨텍스트 등 모델이 보는 모든 것이 포함된다. ✅모델(Model): 기본 LLM, 파인 튜닝된 모델, 임베딩 모델 등 각각 취약점을 갖고 있다. ✅통합 및 오케스트레이션(Integration & Orchestration): 플러그인, 에이전틱 워크플로우 등 AI가 현실 세계 시스템과 연결되는 부분으로 이곳이 뚫리면 심각한 타격을 입을 수 있다. ✅출력(Output): AI 시스템에서는 출력물 자체가 다른 시스템을 공격하는 매개체가 될 수 있다. 실제로 해외에선 피해 사례들이 발생하고 있다고 한다. 🚨뉴질랜드의 마트 PAKnSAVE에서 만든 요리 봇이 사용자에게 물, 표백제, 암모니아를 섞어 마시라는 레시피를 제안한 사건이 있었다. 🚨음악 생성 AI를 활용해서 네이팜탄 제조법을 가사로 부르게 만들기도 하고, 아시아의 한 기업에선 딥페이크AI로 CFO를 모방해 2,500만 달러를 송금 받아 가로챈 사건도 있었다고 한다. 캠벨은 이런 부분을 선제적으로 방어할 필요가 있다고 말하는데, ⚠️먼저 인벤토리를 파악하여 어떤 모델들이 운영되고 있고, 시스템 프롬프트가 어디에 저장되어 있는지를 확인하는 것이다. 또한, 직원들이 개인적으로 민감 정보를 AI에 입력하는 섀도우AI 문제를 경계해야 한다. ⚠️이제는 자동화된 레드 티밍을 통해 지속적으로 위협에 대해 확인해야 한다. 모델은 끊임없이 변화하기 때문에 한번의 모의 레드 티밍으로는 안전을 보장할 수 없다고 한다. ⚠️AI는 동일한 질문에도 항상 다른 답변을 내는 특성이 있기 때문에 일회성 보안 점검보다는 지속적인 발견, 테스트로 보안 프로그램을 구축해야 함을 말한다. 이런 사고가 해외에서만 발생한다고 해서 간과해선 안된다. 우리나라 기업들도 LLM을 활용한 모델을 개발하고 기업에서 실제로 운영하기도 한다. 앞으로 점점 기업의 LLM 도입이 확장되는 가운데, 많은 공격들이 일어날 가능성이 있다. 소 잃고 외양간 고치지 말고 투자를 통해 안전성을 확보하여 안전하게 비즈니스를 하는 문화가 정착되었으면 한다.