미국이나 유럽도 중국처럼 생성형 AI에 워터마크를 요구할까요?

생성형(Generative) AI가 점점 보편화되고 현실화되면서 잠재적인 오용에 대한 우려가 높아지고 있어 이에 대한 규제가 필요한 시기입니다. 관련해서 가장 빠르게 대응하는 국가는 중국인데요, 중국은 AI 규제에 발빠르게 움직이고 있고, 최근에는 AI가 생성한 콘텐츠에 대해 레이블(label)을 지정하고 워터마크(watermark)를 표시하는 요구사항을 구현하였다고 합니다. AI 규제 관련 미국의 최상위권 사립 대학인 조지타운대학교 저널의 기사 요약 및 공유합니다. 🥇 프롤로그(Prologue) - 지금은 시간이나 비용의 제약 없이 고급 머신러닝 모델 등을 활용해서, 누구나 쉽게 쉽게 AI 콘텐츠를 생성할 수 있고, 이로 인해 사람들에게 실제 부정적 영향을 미칠 수 있습니다. 이 때문에 정부가 해당 기술을 규제해고 잠재적 위험을 완화하는 방법을 찾아야 합니다. - 워터마킹(watermarking)을 이용하는 것이 하나의 방안이 될 수 있으며, AI 생성 결과물(AI-generated output)에 임베디드된 특수한 자동화된 매커니즘을 이용하여 생성할 수 있습니다. 대표적인 사례는 Gettty Images 입니다. - 중국에서는 AI 생성 결과물에 워터마킹을 해야 합니다. 중국의 CAC(Cyberspace Administration)는 유저 사용에 영향없이 생성된 콘텐츠를 표시해야만 하는 규정을 발표했는데요, 생성된 콘텐츠 근처에 눈에 잘 띄는 레이블을 배치해야 하고, 워터마크 또는 레이블을 삭제, 변경 및 숨기는 것은 불법이라고 합니다. - 이러한 모든 요구사항은 텍스트 생성, 질문 및 답변 시스템, 챗봇을 포함한 넓은 범위의 생성형 AI에 모두 적용됩니다. - 중국 뿐만 아니라 다른 국가에서도 AI 생성 콘텐츠 규제를 위한 유사한 메커니즘을 고려하고 있습니다. - 문제는, ChatGPT와 같은 텍스트 기반 생성형 콘텐츠의 경우는 명확한 규제 가이드라인을 만들기가 어렵다는 것입니다. 🥈 텍스트 기반 콘텐츠의 워터마크 문제 - 이미지 기반에서 워터마크는 이미지에 감지할 수 없는 노이즈를 추가하여(예: 7번째 픽셀마다 조금씩 변경) 암호화 마커를 생성하는 방식으로 작동합니다. 그러나 기본 의미를 변경하지 않고 텍스트를 방해하는 방법이 제한되어 있기 때문에 텍스트 기반 워터마크는 만들기가 더 어렵습니다. - 약간의 기술을 사용하면 감지 가능한 마커를 텍스트에 삽입할 수 있다고 합니다. 최근 소송에서 Genius.com은 웹 사이트에서 노래 가사를 긁어낸 것에 대해 Google을 고소했습니다. 이를 증명하기 위해 Genius는 사이트의 가사에 있는 특정 아포스트로피를 곱슬 및 직선 아포스트로피로 교체했습니다. 이 일련의 꼬불꼬불한 곧은 아포스트로피는 모스 부호에서 "REDHANDED"를 철자합니다. 소송에 따르면 이 패턴은 Google 플랫폼에 나타나 Genius.com을 스크랩했음을 증명합니다. - Kirchenbauer et al., OpenAI 및 다른 많은 사람들의 최근 작업은 AI 시스템에서 생성된 텍스트를 신중하게 워터마킹하기 위한 유사한 접근 방식을 생성했습니다. 이것은 일반적으로 AI가 생성하는 단어의 패턴을 조정하여 Genius.com의 경우와 같이 고유한 식별 가능한 서명을 생성하는 방식으로 작동합니다. 이 서명은 나중에 감지되어 AI 모델로 다시 추적될 수 있습니다. 이상적으로는 패턴이 눈에 띄지 않고 모델의 기능(또는 사용자 경험)에 영향을 주지 않습니다. 본질적으로 이것은 CAC의 새로운 규정 16조를 준수할 가능성이 높습니다. - 그러나 이러한 텍스트 기반 워터마크는 불완전합니다. Sadasivanet al는 쉽게 사용할 수 있는 오픈 소스 패러프레이징 시스템을 사용하여 텍스트 기반 워터마크를 극복하여 워터마크 감지 정확도를 떨어뜨렸습니다. 또한 AI 시스템 기능이 인간의 성능에 접근함에 따라 워터마크로도 둘을 구별하기가 점점 더 어려워질 것이라고 주장합니다. 이 결과가 유효한지 여부와 관계없이 현재 상황은 텍스트 기반 워터마킹 시스템이 불완전하여 오탐 및 부정 오류가 발생한다는 것입니다. 워터마크를 우회하는 새로운 방법과 새로운 워터마크 메커니즘 사이의 고양이와 쥐 게임은 앞으로도 계속될 것입니다. 🥉 미국 또는 유럽에서 AI 워터마크 규제를 추구하기 위한 과제 - 캘리포니아의 소셜 미디어 책임 및 투명성 법(California’s Social Media Accountability and Transparency Act)은 비교할만한 모델로 볼 수 있습니다. 이 법에 따라 소셜 미디어 회사는 콘텐츠 조정 정책에 의해 플래그가 지정된 게시물 수, 플래그가 지정된 게시물을 본 사용자 수 등에 대한 집계 통계 데이터를 제공해야 합니다. AI 생성 모델의 위험에 대한 이해를 돕기 위해 새로운 법률은 AI 회사가 생성된 콘텐츠를 워터마크하도록 요구할 수 있으며, 그런 다음 소셜 미디어 회사는 잠재적인 오류를 조정하여 플랫폼에서 워터마크된 콘텐츠의 유행을 보고할 수 있을 것 같습니다. - 하지만, 문제는 개인에 대한 집행 가능성이나 처벌이 수반될 때입니다. 콘텐츠에 워터마킹을 하고 AI 생성 콘텐츠를 탐지하는 불완전한 도구를 제공하면 탐지 도구가 인간이 생성한 콘텐츠를 AI 생성 콘텐츠로 잘못 표시할 때 기관이 실제 피해를 만들 수 있습니다. - 해당 국가에서 회사의 제품을 차단하고, 회사를 선거 개입 혐의로 고발한다거나, 워터마크를 모방한 다음 이를 허위 정보 캠페인에 사용하여 거짓으로 활용하는, 특정 국가가 특정한 구실을 만들고자 하는 시나리오 등이 문제가 될 수 있습니다. - 워터마크를 제거하거나 변조한 사용자에 대한 처벌도 텍스트 기반 환경에서 문제가 될 수 있습니다. 텍스트 기반 워터마크가 제거되었음을 어떻게 확실하게 증명할 수 있을까요? - 마지막으로 숨겨진 워터마크가 필요하지 않으며 AI 생성 콘텐츠에 눈에 띄게 레이블을 지정하기 위한 간단한 요구 사항이 있어야 한다고 주장할 수 있습니다. 이것은 담배 제품에 대한 식품 라벨 또는 건강 경고와 유사해 보입니다. 그러나 웹사이트는 출처를 알 수 없는 사용자 기여 콘텐츠를 어떻게 처리해야 할까요? 개인 사용자가 AI 생성 콘텐츠를 업로드하면 이러한 시나리오에서 책임을 져야할까요? 아니면 회사에서 책임져야 하나요? 그렇다면 그들이 AI를 사용했다는 것을 어떻게 증명할까요? AI 탐지기를 사용하여 AI 생성 텍스트와 관련된 워터마크 또는 기타 패턴을 식별해야 하므로 모든 오인식의 문제가 발생할 수 있습니다. 🍀 결론 이미지 기반 콘텐츠의 경우 이야기가 다를 수 있지만 텍스트 기반 워터마킹 및 감지의 모든 불확실성은 미국과 유럽 연합이 CAC의 발자취를 따라 워터마킹 법률을 채택하는 데 주의해야 함을 의미합니다. 워터마킹은 유용한 도구이지만 그 위험도 고려하고 완화해야 합니다. 원본 기사의 링크는 아래와 같습니다. 감사합니다. 🖐️ [Source Link] https://gjia.georgetown.edu/2023/05/24/should-the-united-states-or-the-european-union-follow-chinas-lead-and-require-watermarks-for-generative-ai/