AI에 정보 많이 넣으면 더 똑똑해질까? 오히려 바보됨

• 요즘 AI 업계에서 '토큰'이 중요하다고 부각되고 덩달아 '컨텍스트 러닝'이라는 말도 뜨고 있음.

• 토큰은 AI에 질문할 때 한 번에 넣는 양을 말함. (AI가 사용하는 연료라고 할 수 있음)

• 주의 유저가 사용할 수 있는 양이 1년만에 100만~1000만 토큰까지 늘어났지만, 모든 실험에서 입력 길이가 길어질수록 성능 급격히 저하. (영문 블로그, 한국어 설명)

• 특히 의미 유사도가 낮거나 방해되는 문장이 많을수록 하락폭 더 커짐. 이상한 문장이나 이상한 단어 하나만 포함되어도 성능이 급락. 혼동과 환각현상 증가 😵‍💫

• 프롬프트에 '중요한 부분만 입력' vs '전체 입력'한 결과를 비교해보니, 모든 AI 모델에서 집중 입력이 훨씬 높은 정답률.

• 결론: 맥락을 잘 만들어서 LLM에 넣는 것이 엔지니어링과 질문자 모두에게 중요. 말을 많이 넣는다고 좋은 게 아님. 사람한테 설명할 때와 완전 동일.

  
  

  월마트, 남의 AI 안 쓰고 직접 만들어 쓴다

  ChatGPT 에이전트 출시, 이제 PPT와 엑셀도 알아서 만든다 📊

  빅테크 인재 경쟁, 몸값 어디까지 올라가나

  AI는 대학 강의실을 어떻게 바꾸고 있나

등의 글을 다루었습니다.