llm 같은 프롬프트, 다른 결과

Question

현재 자동화 서비스를 구현 중인데, temperature 0으로 설정하고 테스트중입니다. 동일한 프롬프트로 한 일주일은 잘 되다가 갑자기 다른 결과값을 내놓고 이젠 자동화 서비스를 못쓸 성능이 되었습니다. 이러한 문제 원인은 무엇인가요? 딱히 모델 성능을 바꿨다는 공식문서는 없었습니다. gpt-4.1 쓰고 있습니다.

문종호 · Answer

플레이그라운드에서 쓰시는거라면 호출시 성능제한이슈

API와 같은 sdk로 쓰신다면 할루시네이션이 주된 원인 이겠네요.

top p, top k, max token 등 바꿔가시면서 최적의 조건을 찾으시길 바랍니다.

정확한 답변을 얻기위해선 shot, few shot 등 여러가지 프롬프트 기법을 사용해보세요.