01/08 AI & ML Blog Posts Weekly Summary

연초인지라 신규 포스팅이 많이 없네요. 그래서 오늘은 흥미로운 개인 글들을 소개하려 합니다. 그리고 시간이 좀 지난 것이지만 넷플릭스의 멋진 작업물도요. 👉 대형 언어 모델의 혁신과 현재의 한계란 무엇인가(https://gist.github.com/yoavg/59d174608e92e845c8994ac2e234c8a9) 이스라엘 BIU의 Goldberg 교수는 사람 수준에서 섀넌의 추측 게임을 수행 가능할 정도로 LLM이 지능을 가지고 있다고 말합니다. 그리고 이것이 단순한 언어 모델링만으로 얻어낸 성과가 아님을 지적합니다. 기존 언어 모델은 텍스트 기호 체계만 학습했을 뿐 기표와 기의가 연결되어 있지 않습니다. InstructGPT(또는 ChatGPT)의 경우 3가지 단계의 도입으로 기표와 기의를 직접 연결시키며 이로써 성능에 변곡점이 발생합니다. 이것은 프로그래밍 언어 코드 데이터 훈련, 명시적인 지시를 통한 튜닝, RLHF 단계를 말합니다. 덧붙여 언어 모델 한계에 대한 진부한 주장들을 논파하고 그와 별개로 아직은 제대로 하지 못하는 것들이 무엇인지 설명합니다. 👉 AI, 흑마법을 넘어서(https://ruishu.io/2022/10/14/building-on-top-of-black-magic/) OpenAI의 연구자 Rui Shu의 글입니다. 생성 모델 패러다임(GAN, VAE, AR, Flow, Diffusion)은 각자 수리적 근거를 가지며 어느 한 패러다임, 그러니까 디퓨전 모델이 다른 패러다임보다 성능이 왜 우수한지 현재는 이유를 알 수 없다고 말합니다. 결과가 잘 나오기 때문에 그것만 계속 시도하는 건 최적화 함정에 빠지는 길이므로 원인에 대한 가설 수립과 과학적인 검증 작업이 지속적으로 필요하다고 강조하네요. 👉 넷플릭스의 신경망을 이용한 비디오 품질 개선 사례(https://netflixtechblog.com/for-your-eyes-only-improving-netflix-video-quality-with-neural-networks-5b8d032da09c) 고해상도 동영상을 우리 디바이스에 스트리밍을 할 때 레이턴시를 위해 해상도를 낮추는데요. 그럼에도 시각적인 정보를 최대한 잃지 말아야 합니다. 이 글은 NN 기반 비디오 다운 스케일러를 개발한 내용입니다. 모델은 전처리 블록(Conv)과 크기 조정 블록(Resize + Conv)으로 이뤄져 있습니다. 그리고 바이큐빅을 통한 업스케일링 복원 시 MSE 손실을 최소화하게끔 학습을 수행합니다. 모델보다는 평가와 배포 단계가 인상 깊었는데요. 정량적(VMAF 점수), 정성적 평가를 꼼꼼히 하고 A/B 테스트로 사용성에 부정적 영향 없는지 확인까지 합니다. 그리고 대규모 적용을 위해 아키텍처 재설계(Lanczos 필터 병행)와 구현(FFmpeg, oneDNN) 효율화하는 작업을 해냅니다. 👉 넷플릭스의 매치 커팅 도구 개발 사례(https://netflixtechblog.com/match-cutting-at-netflix-finding-cuts-with-smooth-visual-transitions-31c3fc14ae59) 매치 커팅은 서로 다른 영상의 샷이지만 유사한 구도가 유지되면서(프레임 매칭) 아니면 연속적인 동작이 이어지면서(액션 매칭) 진행되는 편집을 말합니다. 보통 편집자가 노가다(?)로 이어 붙이지만 ML로 해낼 수 없을까요? 우선 후보군을 추출합니다. 각 영상에서 일단 샷을 분할(PySceneDetect, TransNet v2)하고 샷 중복을 제거합니다.(인코더를 통한 임베딩의 코사인 유사도 측정) 각 쌍에 대해 프레임 매칭의 경우 인스턴스 세그멘테이션 후 IoU를 측정하고 액션 매칭의 경우 옵티컬 플로를 적용한 후 코사인 유사도를 측정합니다. 그리고 상위 K개의 쌍을 후보들로 지정합니다. 이렇게 만든 후보군에 대해 수작업으로 일치 여부 레이블링을 합니다. 그다음 모델 학습과 평가를 수행합니다. 우선 비디오 & 오디오 인코더로 고정 임베딩을 추출한 다음 이진 분류 모델을 학습하는 방법이 있습니다.(AP 기준 EfficientNet7과 R(2+1)D이 최고) 아니면 메트릭 학습으로 ANN을 통해 검색이 가능한 임베딩을 생성하는 접근 또한 시도해봤다고 하네요. 해당 내용들은 제 Github(https://github.com/youngmki/awesome-aiml-blog)에서 계속 아카이빙 중입니다.

For your eyes only: improving Netflix video quality with neural networks

Medium

For your eyes only: improving Netflix video quality with neural networks

다음 내용이 궁금하다면?

지금 간편 가입하고 다음 내용을 확인해 보세요!

또는

이미 회원이신가요?

2023년 1월 9일 오전 2:27

 • 

저장 33조회 2,655

댓글 0