Should We Respect LLMs? A Cross-Lingual Study on the Influence of Prompt Politeness on LLM Performance
arXiv.org
상대방에게 무례하게 질문을 하면, 상대방이 답을 알고 있다하더라도 알려주고 싶은 마음이 싹 사라지죠. 비슷하게 'LLM도 우리가 무례하게 대한다면 생성해내는 응답의 퀄리티가 나빠지지 않을까?' 하는 생각이 들어 옆동네에 있는 와세다 대학에서 연구를 해봤다고 합니다.
결론은 무례한 프롬프트는 성능 하락이 있었다. 하지만 그렇다고 과하게 매너있는 프롬프트를 준다고 해서 성능이 좋아지는 건 아니었다고 합니다. 이 결과는 옛날에 제가 잘 읽었던 <Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4> 논문에서 주장하는 첫번째 원칙인, "If you prefer more concise answers, no need to be polite with LLM" 과도 궤를 같이합니다. (이 논문에서 35가지 프롬프트 작성 팁을 알려줘서 유용해요!)
LLM에게 질문할 때 좋은 답변을 얻고 싶다면, 적절한 예의만 잘 지켜봅시다!
논문 링크: https://arxiv.org/abs/2402.14531
다음 내용이 궁금하다면?
이미 회원이신가요?
2024년 2월 23일 오전 8:18
GPT야 화내서 미안해 ...