[DZone] AI 보안 격차: 생성 AI 시대의 시스템 보호

생성형 AI(GenAI)와 대규모 언어 모델(LLM)의 빠른 도입은 전례 없는 속도로 산업을 변화시키고 있습니다. 거의 90%에 가까운 조직이 이러한 혁신적인 기술의 힘을 활용하기 위해 LLM 사용 사례를 적극적으로 구현하거나 탐색하고 있습니다. 그러나 이러한 열정은 보안에 대한 준비 부족이라는 우려스러운 상황과 맞물려 있습니다. Lakera의 최근 GenAI 준비도 보고서에 따르면 약 5%의 조직만이 GenAI 보안 프레임워크에 자신감을 갖고 있는 것으로 나타났습니다.

프롬프트 해킹의 부상

GenAI가 광범위하게 도입되면서 잠재적으로 파괴적인 새로운 위협인 프롬프트 해킹이 등장했습니다. 광범위한 코딩 지식이 필요한 기존의 해킹 방법과 달리, 프롬프트 해킹은 AI 시스템을 악용할 수 있는 능력을 대중화합니다. 초보자도 몇 마디만 잘 익히면 AI 모델을 조작할 수 있어 의도치 않은 행동과 잠재적인 데이터 유출로 이어질 수 있습니다.

무료 LLM 해킹 시뮬레이션 게임인 Lakera의 간달프는 이러한 위협을 극명하게 보여줍니다. 현재까지 기록된 100만 명의 간달프 플레이어와 총 5천만 건의 프롬프트 및 추측 중 무려 20만 명이 게임 전체를 해킹하는 데 성공했습니다. GenAI가 얼마나 쉽게 조작될 수 있는지를 보여주는 이 사례는 적절한 보안 조치 없이 이러한 기술을 서둘러 도입하려는 조직에 경각심을 불러일으킬 것입니다.

• Gandalf: https://gandalf.lakera.ai/intro

GenAI 보안 대비 현황

간달프 시뮬레이션 데이터와 1,000명이 넘는 참가자의 설문조사 결과를 결합한 Lakera의 GenAI 준비보고서는 GenAI 보안의 현주소를 우려스럽게 보여줍니다:

• 높은 도입률, 낮은 신뢰도: 응답자의 42%는 이미 GenAI를 적극적으로 사용하고 LLM을 구현하고 있지만, 5%만이 AI 보안 조치에 대해 확신

• AI 전용 위협 모델링 부족: 22%만이 GenAI 전용 위협에 대비하기 위해 AI 전용 위협 모델링 도입

• 다양한 보안 관행: 조직의 61%가 접근 제어 메커니즘을 구현했지만, 37%만이 침투 테스트를 사용하고 있으며, AI 전용 위협 모델링을 사용하는 기업은 22%에 불과

• 취약점에 대한 느린 대응: GenAI 취약점을 발견한 조직의 20%는 이러한 문제가 아직 완전히 해결되지 않음

  
  

위험에 대한 이해

GenAI와 관련된 보안 위험은 단순한 데이터 유출 그 이상으로 사소한 운영 중단부터 중대한 데이터 유출 및 법적 결과에 이르기까지 광범위할 수 있습니다. 보고서에서 확인된 주요 취약점은 다음과 같습니다:

• 편향된 출력: 취약점을 경험한 조직의 47%가 편향된 AI 출력 문제 보고

• 데이터 유출: 42%는 AI 상호 작용을 통해 민감한 데이터가 노출되는 문제 경험

• AI 결과물의 오용: 38%는 AI가 생성한 정보가 오용된 사례 보고

• 모델 조작: 34%는 AI 모델을 변경하거나 조작하려는 시도 경험

• 무단 액세스: 19%는 권한이 없는 사람이 GenAI 시스템에 액세스하는 문제 직면

AI 전용 위협 모델링 구현하기

조직은 GenAI가 제기하는 고유한 보안 문제를 해결하기 위해 AI 전용 위협 모델링 관행을 채택해야 합니다. 이 접근 방식에는 다음이 포함됩니다:

• AI 전용 자산 식별: 학습 데이터, 모델 아키텍처, 추론 엔드포인트 등 AI 시스템의 고유한 구성 요소 인식

• 공격 표면 매핑: 공격자가 입력 데이터 중독, 모델 반전 공격, 프롬프트 인젝션 등을 통해 어떻게 AI 시스템을 조작하려고 시도하는지 이해

• 잠재적 위협 분석: 전통적인 사이버 보안 위협과 모델 도용 또는 출력 조작과 같은 AI 관련 위험 고려

• 완화 전략 구현: 강력한 입력 유효성 검사, 출력 필터링, 지속적인 모델 모니터링 등 AI 시스템에 맞는 보안 조치 개발 및 배포

• 정기적인 테스트 및 업데이트: 지속적인 보안 평가를 수행하고 새로운 취약점과 공격 벡터가 등장하면 위협 모델 업데이트

GenAI 시스템 보안을 위한 모범 사례

GenAI 도입과 보안 사이의 격차를 해소하기 위해 조직은 다음과 같은 모범 사례를 고려해야 합니다:

• 강력한 액세스 제어 구현: 잠재적인 공격 경로를 제한하려면 역할 기반 액세스 제어와 최소 권한 원칙 사용

• 민감한 데이터 암호화: 모든 AI 학습 및 추론 데이터가 전송 중이거나 미사용 상태일 때 모두 적절하게 암호화되어 있는지 확인

• 정기적인 보안 감사 실시: 내부 및 외부 보안 감사를 수행하여 취약점을 사전에 파악하고 해결

• 모의 침투 테스트 실시: 잠재적인 공격에 대해 정기적으로 AI 시스템을 테스트하여 취약점이 악용되기 전에 발견

• 안전한 AI 관행 개발: 데이터 수집부터 모델 배포에 이르기까지 AI 개발 수명 주기 전반에 걸쳐 보안 고려 사항 통합

• 최신 정보 파악: 업계 포럼, 보안 권고, 연구원과의 협업을 통해 최신 AI 보안 위협과 모범 사례 파악

• 공식적인 AI 보안 정책 수립: 조직 내 AI 시스템과 관련된 포괄적인 보안 정책을 개발및 시행

• AI 보안 전문 지식 투자: AI 보안에 대한 전문 지식을 갖춘 팀을 구성하거나 확보하여 이러한 시스템의 고유한 문제 해결

앞으로 나아갈 길

GenAI가 계속해서 산업을 혁신함에 따라 강력한 보안 조치의 중요성은 아무리 강조해도 지나치지 않습니다. AI에 특화된 위협 모델링을 구현하고, GenAI 보안 모범 사례를 채택하고, 지속적인 학습과 적응의 문화를 조성함으로써 조직은 안전한 AI 혁신을 위한 강력한 기반을 구축할 수 있습니다. 이 새로운 영역을 탐색할 때 성공의 열쇠는 GenAI의 혁신적 힘을 활용하는 것과 AI 시스템의 안전과 무결성을 보장하는 것 사이에서 적절한 균형을 유지하는 데 있습니다.

• source: https://dzone.com/articles/protecting-systems-in-the-age-of-genai?utm_source=Sailthru&utm_medium=email&utm_campaign=e731_09.11.24_WednesdaySend_Spotlight_Threatconnect&utm_term=cloud-insider-active