📝 GPT-4의 4월 업데이트 후 확실히 성능이 좋아졌다.

In-Context Retrieval 성능하고 추론 성능이 나아진 건 확실하고, lazy 문제도 약간은 해결된 것 같긴한데 아직 여전하긴하다. 대신 멀티턴 성능이 눈에 띄게 떨어졌다.

모델 성능과 상관 없이 문서 파일의 청크에서 정보를 가져와서 답변하는 기능이 상당히 개선되었다.

그런데 속도가 확연히 느려졌다. 모델에 변화가 있는건지 시스템의 변화가 있는건지 잘 모르겠는데, 레이어가 덧씌워졌거나 추론하는 파라미터수를 좀 늘렸거나 한게 아닌가하는 추측을.. 🤔