Chameleon: Mixed-Modal Early-Fusion Foundation Models
arXiv.org
<FAIR의 새로운 논문, Chameleon>
커리어리 친구들, FAIR의 새로운 논문, "Chameleon: Mixed-Modal Early-Fusion Foundation Models"를 추천드립니다.
논문 읽기 ➡️ https://go.fb.me/7rb19n
일부 대형 언어 모델(LLM)은 이미지와 텍스트 인코더 또는 디코더를 별도로 가지고 있지만, 이 연구는 임의의 순서로 이미지와 텍스트를 이해하고 생성할 수 있는 초기 융합 토큰 기반의 혼합 모달 모델 계열을 제시합니다.
논문에는 전체 모델링 접근 방식과 훈련에 대한 자세한 내용이 포함되어 있습니다. 이 연구를 공유함으로써 혼합 모달 모델에 대한 연구가 한 단계 발전된 것 같아서 공유 드립니다.
더 많은 콘텐츠를 보고 싶다면?
이미 회원이신가요?
2024년 5월 18일 오전 5:09
댓글 0
함께 읽은 게시물
야근의 관성
제가 한국에서 직장 생활을 시작하고 가장 먼저 배운 것은 아이러니하게도 야근이었습니다. 신입이었던 제게 야근은 선택의 문제가 아니었거든요. 선배들에게 야근은 너무나 당연한 루틴이었고, 저녁 5시가 되면 "퇴근 안 해?"가 아니라 "저녁 뭐 먹을까?"라는 질문을 던졌습니다. 누가 정해놓은 것처럼 부장님이 퇴근해야 과장님이, 과장님이 퇴근해야 대리님이, 대리님이 퇴근해야 비로서 저 같은 신입도 퇴근 생각을 할 수 있었습니다.
... 더 보기< 1등을 베끼는 당신이 1등이 될 수 없는 이유 >
1. 당신 자신을 믿어라. 결코 모방하지 마라.
[비전공자에서 독학으로 시니어 엔지니어가 된 이야기 1탄]
20대 중반에 나를 만나 코딩을 알게 되어 2년 독학으로 엔지니어가 된 남편 이야기.
독학 준비 중인 사람들에게 도움되고자 공부 팁을 공유할 겸 독학 현실 이야기도 함께 해봅니다. 남편은 패키징 산업 공학 전공으로 졸업 후 IT 감사원으로 컨설팅 회사에 입사했습니다. (IT 감사원 경력이 엔지니어가 되는데 큰 도움이 되었는데, 그건 나중에..)
개발자인 저를 만나고 테크 쪽에 관심을 갖기 시작했고, 코딩 독학을 결정하게 되었습니다. 하지만 혼자 공부해서 개발자가 되기에는 버거웠고, 무엇보다도 남동생이 컴공 공부하다가 어려워서 포기한 것을 알기에, 선뜻 개발자가 되는 건 망설여졌습니다. 또한 이미 경력이 좀 있어서 “이걸 살려서 할 수 있는 방법이 없을까?”라는 고민을 하게 되었습니다.
당시 근무하던 회사는 커리어에 도움되지 않다고 판단하고 이직을 결정합니다. 약 3개월의 준비 후 경력을 살리면서 보안에 대해 배울 수 있는 사이버 컴플라이언스 컨설턴트로 테크 컨설팅 회사에 입사했습니다. 전 회사는 IT 기업이 아니어서 듣는 정보가 부족했지만, 테크/IT 쪽으로 이직하면서 많은 정보를 듣기 시작합니다. 직장 동료... 더 보기
기능 정의의 중요성
자주 사용하는 공통기능을 하나의 모듈로 만들어 놓고, 필요할때 마다 참고 하는 성향이 있어서 개인적인 공간에 작업물을 정리 하거나, 나만의 모듈로 만드는 것을 종종 진행하고 있어요.
... 더 보기
