최근 OpenAI Codex의 코딩 성능이 떨어졌다는 피드백들이 많아서, OpenAI 팀에서 조사를 했는데 결과가 재미나다. 요약하면, Codex가 너무 똑똑해서, 사람들이 더 어려운 문제! 더

최근 OpenAI Codex의 코딩 성능이 떨어졌다는 피드백들이 많아서, OpenAI 팀에서 조사를 했는데 결과가 재미나다. 요약하면, Codex가 너무 똑똑해서, 사람들이 더 어려운 문제! 더 어려운 문제! 이러면서 어려운 작업에 계속 사용을 하게 되면서 멍청해졌다고 느낀 것이라고. 정확하게는, 모델 자체의 품질 저하는 확인되지 않았는데, 어려운 문제가 늘어나면서 작업의 실패율이 증가하였고, 작업이 길어지니 컨텍스트 압축 빈도가 높아져서 성능이 낮아지는 현상이 발생함. 나 역시도 간단한 문제는 다른 AI들을 사용하기도 하는데, 어렵고 복잡한 문제는 무조건 Codex를 사용하고, 이 경우 길고 깊은 토론을 거치면서 작업을 함. 내 경우는 Codex 사용 할 때, 작업마다 다음 과정을 거치는데, 1. 해당 작업에 대한 문서와 전체 코드에서 관련이 있는 부분을 찾아서 작업에 대한 고민을 충분히 하도록 지시 -> 2. 문제와 해결책에 대해 여러 턴에 걸쳐 논의 -> 3. 코딩 -> 4. 검토 -> 5. 문서화 -> 리셋하고 1부터 다시 시작 이렇게하면 성능을 최대한으로 끌어올리거나 성능 저하를 최소화 할 수 있는데, 문제는 토큰 사용을 엄청나게 한다는 것.. 🥲 뭐, 6개월 뒤면 토큰 사용에 대한 고민은 거의 없어질 듯.