bert vs chatgpt? encoder 와 decoder차이?

안녕하세요? 주로 bert, senetenceBERT를 사용하여 단어 유사도 구하는 간단한 작업중인데요. 이게 다 transformer encoder구조 쌓은거잖아요? 근데 요즘뜨는 generative AI LLM 모델들은 모두 decoder만 사용하는건가요? llama, chatgpt같이? 처음공부할때는 gpt-1, gpt-2 나올때였는데 그때는 decoder만 사용했거든요.. 아무래도 생성쪽은 모두 decoder 기반의 모델들만 있는건가요? 그리고 추가질문!! 그럼 bert나, electra, albert등..과같이 encoder만 사용하는 모델들은 더 발전한게 없나요? decoder쪽만 엄청 요즘 발전하는건가용?

이 질문이 도움이 되었나요?

'추천해요' 버튼을 누르면 좋은 질문이 더 많은 사람에게 노출될 수 있어요. '보충이 필요해요' 버튼을 누르면 질문자에게 질문 내용 보충을 요청하는 알림이 가요.

추천해요 0

보충이 필요해요 0

익명님의 질문