최근 마이크로소프트에서 "The Dawn of LMMs" 이란 제목의 논문을 발표했습니다.

여기서는 정량적 벤치마킹 대신 정성적 결과를 사용하여 GPT4V의 새로운 기능과 잠재적인 새로운 사용 사례를 엿볼 수 있었습니다. 물론 아직까지는 완전히 신뢰할 수 없는 새로운 기능일지라도 GPT-4V가 이미 수행할 수 있는 기능을 발견하고 미리 살펴보데 의의를 두고 있다고 합니다.

이 논문에서는 세부 카테고리별로 프롬프트와 이미지를 통한 GPT4V 의 결과를 소개하고 있으며, 무려 124개의 이미지 사례를 포함하고 있습니다. 여기서는 모든 사례를 소개할 수 없으므로 한번쯤은 해당 논문을 참고하여 살펴보시는 것을 권장드립니다.

https://arxiv.org/pdf/2309.17421.pdf

* PDF 논문을 html로 변환해주는 arxiv-vanity 사이트의 도움을 받으면 좀 더 수월하게 웹 번역하여 확인해볼 수 있습니다.

논문에 나와 있는 내용은 아래와 같습니다. (*논문의 목차와는 일치하지 않습니다)

멀티 모달 개념 이해 및 사용 방법

1. GPT-4V 입력모드 소개
2. GPT-4V 에서의 프롬프트 기법 소개
3. 상호작용을 통한 프롬프트 입력
4. 비전 언어에 대한 이해
5. 멀티 이미지 시퀀싱과 비디오에 대한 이해 

테스트

6. 추상적 시각 추론 및 지능 지수 테스트
7. 사람의 표정에서 감정 읽기 등 감정 지수 테스트

발전 방향 및 가능성

8. 산업, 의료, 자동차 보험, 맞춤형 캡션, 이미지 생성, 에이전트, GUI 영역의 하이라이트
9. LMM 기반의 에이전트들 (멀티모달 플러그인, 멀티모달 체인, 자기성찰, 일관성, LMM 검색 증강)

요약 내용은 아래 링크에서 확인해보세요.

https://revf.tistory.com/300