GPT를 이용한 실서비스를 여러개 운영하고 있고, 프로토타입을 계속 만들어내고 있는 입장에서, GPT의 성능 하락은 확실하게 눈에 띄는 이슈다. 정확히 말하면 성능 하락이라기 보다는 경향성이 바뀐 것이긴 하다. 능력적인 발전은 거의 없는데, 말을 유창하게 하려고 시도하는 불필요한 행동(?)이 강제되는 경향이 늘어서 그런 것 같다. 따라서, 사람처럼 답변하는 것이 필요한 것이 아니라 LLM의 NLP 처리 기능이 필요한 경우에 성능저하처럼 느껴질 수 밖에 없고, 특히 그러다보니 예전에 되던게 안되는 문제가 다수 생겼다. 그리고 temperature를 0으로 해도 랜덤하게 결과가 출력되는 현상이 매우 빈도가 높게 발생하고 있음. (설마 3.5도 mixture?) LLM 능력의 비결정적인 특성상 항상 동일한 결과를 바라는 것은 아니지만, 경향성이 바뀌어서 기존에 사용하던 결과가 전반적으로 조금씩 어그러지는 것은 서비스 운영에 문제가 있으니, API 제공자로써 이러한 부분을 조금 더 고려해주면 좋겠음.