메타의 새로운 번역 AI는 101개 언어로 실시간 음성 대 음성 번역기능을 지원합니다.

지금까지 존재했던 음성 대 음성 기계 번역 시스템은 텍스트 대 텍스트 시스템보다 훨씬 적은 수의 언어를 지원했습니다. 게다가 기존의 음성 음성 변환 시스템은 영어를 다른 언어로 번역하는 것이 아니라 특정 언어를 영어로 번역하는 데 치우친 경우가 많았습니다.

메타의 SeamlessM4T 번역 기술

• SeamlessM4T AI 시스템 개발

  • 101~36개 언어의 음성 대 음성 번역

  • 101~96개 언어의 음성 대 텍스트 번역

  • 96~36개 언어의 텍스트 대 음성 번역

  • 96개 언어의 텍스트 대 텍스트 번역

  • 96개 언어의 자동 음성 인식 지원

• 훈련 방식

  • 400만 시간의 다국어 오디오

  • 공개적으로 사용 가능한 웹 데이터 저장소에서 수백억 개의 문장으로 두뇌 모방 신경망 AI 시스템 훈련

  • 자막이 있는 인터넷 동영상 클립 등 약 443,000시간 분량의 오디오와 일치하는 텍스트 분석 훈련

• 성능

  • 음성 대 음성 번역의 경우 이전의 최첨단 시스템보다 최대 23% 더 정확

  • 음성 대 텍스트 작업의 경우 이전 시스템보다 8% 더 정확

  • 음성-텍스트 간 작업에서 SeamlessM4T는 배경 소음과 화자의 말투 변화에 대해 약 50% 더 높은 복원력 선보임

  • 두 개 이상의 언어가 혼합된 경우도 번역 가능

독성 및 편향성(Toxicity and Bias) 검사

• 번역에 욕설과 기타 유해한 언어를 추가할 가능성을 줄이기 위해 연구원들은 훈련 및 작동 중에 유해성을 제거하기 위한 전략 사용

• 성 중립적인 문구를 성별이 구분된 언어로 번역할 때 한 성별을 부당하게 선호하지 않는지도 조사

• 음성에서 감정을 인식하고 음성에서 알츠하이머와 같은 초기 인지 기능 저하를 감지하는 데 이러한 도구 중 하나를 성공적으로 사용

Meta의 SeamlessM4T 활용 방안

• Instagram과 Facebook의 동영상 자동 더빙 지원

• 특수 Ray-Ban 안경의 스피커를 통해 스페인어, 프랑스어 또는 이탈리아어를 영어로 실시간 번역 지원

• 코드, 도구, 라이브러리 및 SeamlessM4T와 관련된 기타 리소스를 비상업적 용도 공개

• 한계: 전세계 언어는 6500여개로 아직도 많은 언어들의 추가 필요

• 출처: https://spectrum.ieee.org/machine-translation