김선호

지마켓글로벌 / AI Product Team Lead

팔로우

📢 메타, 자체 개발한 대형언어모델 무료 공개 Open AI 는 GPT-3 의 언어모델이나 소스코드를 공개하지 않은 것과 달리, 메타 AI는 그와 유사한 규모의 언어모델 OPT를 공개하기로 결정했다는 소식입니다. 그리고 AI 윤리를 그 이유로 들고 있습니다. 대형언어모델의 위험(편향적/차별적 발언 등의)을 완전히 제거하기 어렵다는 것을 전제하면 극단적 투명성을 추구하는 편이 낫다는 판단인 것 같습니다. 메타가 연이어 터졌던 신뢰 이슈를 해소하기 위해서인지, 이런 부분에서도 노력하고 있는 것 같아 보이네요. (발췌) - 메타는 ‘OPT(Open Pretrained Transformer)’라는 명칭의 이번 언어모델을 비상업적인 용도로 이용할 수 있도록 공개했다. 또한 언어모델의 학습 과정을 문서화한 로그북(logbook)과 코드도 함께 공개했다. 로그북에는 학습 데이터에 관한 연구팀원들의 일일 업데이트 내용이 담겨있다. 예를 들어 데이터가 모델에 어떻게 추가됐는지, 언제, 무엇이 작동했고 무엇이 작동하지 않았는지 등에 관한 기록이다. - 피노는 “나는 이 언어모델이 우리가 자랑스러워할 수 없는 텍스트를 생성하지 않을 것이라고는 말할 수 없다”며, “아마도 그런 텍스트를 생성할 것”이라고 말했다. - 메타 AI는 OPT를 검사해서 문제가 되는 일부 행동을 제거했지만, 피노는 연구원들이 언어모델의 결점을 비롯해서 모든 것을 배울 수 있도록 하는 것이 이번 언어모델 공개의 목적이라고 설명했다. - 일부 연구원들은 대형언어모델에 잠재적인 위험성이 있는데도 대형언어모델을 계속 제작하는 이유에 의문을 제기한다. 피노는 위험성 해결하려면 언어모델을 더 많이 노출해야 한다고 생각한다. 그녀는 “나는 극단적인 투명성이야말로 신뢰를 쌓을 유일한 방법이라고 생각한다”고 밝혔다.