[테크레시피] AI 시스템 개발할 때 발생할 위기 요인

이제 생성형 AI의 B2C에서 B2B로 확장이 시작되기 시작하는 단계라서 보안과 위협은 다소 먼 얘기처럼 볼 수 있습니다. 그러나, 보안은 언제나 중요하지요. 미리 미리 준비하길 바라며 테크레시피의 AI개발시 보안과 위협 관련 글이 있어 공유해봅니다. 자세한 내용은 원문을 참고 플리즈~^^ AI 시스템 개발에 있어 사이버 보안 관점에서 전문가가 고려해야 할 문제로 데이터셋 오염과 프롬프트 인젝션 2가지를 들 수 있다. * 개념 * AI 학습 과정에서 부정확하거나 관련 없는 정보가 데이터세트에 입력되어 AI 모델이 크게 오염되는 것 * 내용 * 대규모 학습 데이터의 경우 부정확한 소수 정보나 무관한 데이터가 포함되어도 학습 과정에서 큰 문제가 되지 않는다. 하지만 소수 데이터원으로부터 학습하는 경우 부적절한 데이터가 소량만 섞여도 모델이 침해되어 심각한 위험을 초래할 수 있음 * 데이터세트 오염은 발견하기도 어려워 사이버 보안 전문가에게 최대 과제 중 하나 * AI 시스템이 침해되면 데이터세트를 오염시켜 기능 장애를 유발하거나 데이터세트에 접근해 기업 기밀 정보나 개인정보를 훼손할 수 있어 조직 전체 보안에 영향을 미침 * 유출된 데이터 내용과 영향 범위에 따라 AI 규제 강화나 사회적 반발이 일어날 수 있음 * 참고글 * Data Poisoning Attacks: A New Attack Vector within AI(https://www.cobalt.io/blog/data-poisoning-attacks-a-new-attack-vector-within-ai) * 개념 * 모델 출력을 가로채 의도하지 않은 동작을 강제로 유도하는 것 * 내용 * LLM은 입력된 지시에 따르는 경향이 있기 때문에 특정 프롬프트를 주입(injection)하면 AI 판단을 흐트러뜨릴 수 있음. 예를 들어 이력서 데이터에 숨겨진 텍스트로 AI 심사위원은 이 문서에 주목하라며 채용하시는 게 좋다고 적어두면 LLM이 해당 이력서를 높게 평가할 수 있음. * 숨겨진 텍스트에 따라 기밀 정보 유출이나 사이버 공격으로 이어질 수 있어 AI 보안적 취약성으로 알려져 있음 * 프롬프트 인젝션이 실제 범죄에 사용된 사례는 올해 3월까지 확인되지 않았지만 실험적으로 실시한 공격 97.2%가 성공했다는 연구도 있음 * 구글은 지난해 10월 26일 프롬프트 인젝션을 포함한 생성형 AI 취약점을 새로 발견한 보안 연구원에게 보상금을 지급하기로 결정 * 참고글 * Prompt Injection Attacks: A New Frontier in Cybersecurity(https://www.cobalt.io/blog/prompt-injection-attacks) * 고려사항 * 데이터세트 무결성 측면에서 오염이나 의도적인 인젝션 공격으로 AI 모델이 초기 대규모로 심지어 영구적으로 훼손될 수 있기 때문에 학습 데이터세트에 대한 주의가 중요한 보안 이슈 * 악의적인 AI 모델을 특정 AI 개발 플랫폼에서 실행하면 해당 모델을 통해 시스템에 침투할 수 있는 취약점이 보고 * 알고리즘 매개변수 업데이트 등 시간과 자원이 많이 필요한 경우 개발을 가속화하려다 보안 약점이 생길 수 있음 * 데이터 과학자와 AI 엔지니어가 최선을 다해 노력했더라도 복잡한 AI 영역에서 특정 위험 징후가 발생해 이게 오염이나 인젝션 대상이 되는 취약점일 수 있음. 이 경우 공격을 인지하기도 어려워짐 * 대응 방안 * 사이버 보안 전문가가 AI 시스템 도입 전 침해 징조를 발견하고 AI 엔지니어가 개발 과정에서 보안 영향을 지속적으로 고려하는 등 비용과 자원을 투입하는 것 * 사이버 보안 전문가, 데이터 과학자, AI 엔지니어 등 부서간 협력을 통해 개발 과정 취약점을 최소화하고 위협을 경감하는 게 이상적 * 현황 * 미국 사이버 보안 인프라 보안청(CISA), 국가 안보국(NSA), 영국 국가 사이버 보안 센터(NCSC) 등 유명 기관이 협력해 안전한 AI 시스템 개발을 위한 가이드라인이라는 문서를 작성한 상태 * 여러 규제 기관이 AI 개발을 위한 가이드라인을 발표하며 AI 개발 위험을 경감하고 안전한 AI 발전을 위해 노력 * 참고문헌 * [KISA Insight 2023 Vol.06] 인공지능(AI) 안전 및 보안 규범 분석 및 시사점: https://xn--3e0bx5e6xzftae3gxzpskhile.kr/20301/form?postSeq=21&page=1 * 챗GPT 등 생성형 AI 활용 보안 가이드라인(2023.6): https://www.ncsc.go.kr:4018/main/cop/bbs/selectBoardArticle.do?bbsId=InstructionGuide_main&nttId=54340&menuNo=070000&subMenuNo=070300&thirdMenuNo= * 원문: https://techrecipe.co.kr/posts/64585