OpenAI의 Chat Completion API에 logprobs 와 top_logprobs 옵션이 추가되었습니다.

logprobs 는 각 토큰의 확률을 보여주고, top_logprobs 는 최대 5개까지의 토큰 후보와 각각의 확률을 보여주는 옵션입니다. (정확한 표현은 아닙니다만, 개념상 이전 텍스트에 대한 이번 토큰의 발생 확률로 생각하시면 됩니다)

이 값을 통해 모델의 리버스 엔지니어링이 가능하기 때문에, Completion API에 초기에 있다가 삭제됐다가 연구자들의 항의(?)로 다시 생기고 그랬던 아픔이 있는 아이인데요. ㅎㅎ 이번에 Chat Completion API에까지 사용 가능하게 해 주었네요.

연구 목적으로도 필요하지만, 프롬프트 엔지니어링을 위해서도 매우 유용한 정보이기 때문에 앞으로도 계속 유지해 주면 좋을 것 같습니다.