캐치테이블에서 신입 PM으로 살아남기 #3. 캐테생활편
Medium
AI의 개소리를 “환각”이라고 칭하게 되면 나머지 맞는 말은 “정확한 정보 전달”로 이해하게 됩니다.
그런데 LLM은 원래 맞는 말이 아니라 그럴듯한 말을 하게 만들어졌습니다.
맞는 말을 했어도 “맞게 말하기”가 LLM 본연의 의도는 아니고, 틀린 말을 했어도 LLM에겐 그것도 완전히 “정상”입니다.
골빈해커
Chief Maker
LLM이 잘못된 정보를 이야기하는 것을 “환각”이 아니라 “헛소리”라고 이야기해야 한다고 주장하는 논문. 논문의 제목이 “ChatGPT is bullshit”이어서 장난으로 낸 것 같은 매우 강한 제목이지만, 철학과 소속의 저자들이 작성한 논문으로 생각거리를 많이 준다. (bullshit이라는 단어도 사전 정의가 있는 용어) “<헛소리>라는 용어는 LLM의 작동에서 인식하거나 기억하는 것이 일어나고 있다는 의미를 피한다. 또한 우리는 그것이 산출물을 생산할 때마다 그것을 헛소리로 묘사할 수 있다. 인간의 헛소리처럼, 일부 결과물은 사실일 가능성이 높지만, 다른 것들은 그렇지 않을 것이다. 그리고 인간의 헛소리와 마찬가지로, 우리는 이러한 산출물에 의존하는 것을 조심해야 한다.” LLM을 훈련시키는 방법이 출력 결과를 준비된 학습 데이터에 근접하도록 훈련을 시키는 것 뿐이어서, 사실 여부를 전달하는데 관심이 없기 때문에 환각이라는 표현이 적절치 않다는 것. 믿거나 인식한 것을 전달하려는 중에 정보를 잘못 전달하는 것이 아니라, 의도가 없이, 아무 생각 없이 헛소리를 하는 것이라는 의미. “<환각>은 잘못된 은유로, 부정확성 문제에 대한 작동하지 않을 수 있는 해결책을 제안하며, 전문가들 사이에서 AI 정렬에 대한 잘못된 노력으로 이어질 수 있다. 그것은 또한 일이 옳을 때 기계에 대한 잘못된 태도로 이어질 수 있다.“ 인용에 쓴 것 처럼, 연구자들이 올바른 연구 방향을 잡는데 도움이...
더 많은 콘텐츠를 보고 싶다면?
이미 회원이신가요?
2024년 6월 16일 오전 3:32
댓글 0
함께 읽은 게시물
“무엇을 만들까”보다 “왜 해야 하나요?”를 묻는 사람들, 토스페이먼츠
“이 문제는 왜 해결해야 하죠?” 토스페이먼츠의 Product Manager는 늘 이 질문에서 시작합니다. 화면을 기획하거나, 기능을 정리하는 일보다 먼저 우리는 문제의 본질을 정의하고 싶은 사람들입니다. 그렇다면 ‘문제의 본질’부터 고민하는 토스페이먼츠의 PM은 실제로 어떤 방식으로 일하고 있을까요? 토스페이먼츠 PM 김명훈님의 이야기를 함께 들어보세요.
사람들이 요즘 AI, ChatGPT에게 의존하여 사고력이 저하되고 있다는 이야기가 많이 나온다.
두뇌 발달에 안 좋으니, 80년대에 계산기 쓰지마라, 90년대에 컴퓨터 쓰지마라, 2000년대에 엑셀 팡션 쓰지마라, 2010년에 스마트폰 쓰지마라는 말과 같다는 생각이다.
나는 종종 생산성을 올리기 위한 각종 개발 툴은 물론, 라이브러리나 소스 코드를 구매하기도 한다.
소스 코드의 경우 실제로 써먹지 못하는 경우도 상당수 되긴 하지만, 그래도 구성이나 코드를 보면서 배우는게 있기 때문에 학습 비용이라고 생각하고 가끔 구매하는 편이다.
이젠 Claude 모델이 그렇게 압도적으로 좋은 건 아닌데, Claude Code는 진짜 분명하게 좋음. 아마도 프롬프트가 잘 되어 있어서 그런 것 같음. Claude의 다른 프롬프트들은 공개해뒀는데 Claude Code용 프롬프트는 공개를 안해줌. 역시 아무리 투명하게 공개한다고 해도 진짜 좋은 건 다 기업비밀임..
