9월 셋째주. 지난 1개월동안 클로드 코드가 이상했다면? 맞습니다.

클로드 코드, 지난 1개월 동안 이상했다면 맞습니다

8월~9월 사이 클로드가 이상하게 대답한 건 서버 인프라의 버그 3개 때문이었다고.

Anthropic이 공식 설명. (Anthropic 공식 블로그)

• 피해 규모: 최악의 시간대에 소넷 4 요청의 16%가 영향받음. 클로드 코드 사용자 30%가 최소 1번은 이상한 답변 경험.

• 영어로 물어봤는데 중간에 태국어로 갑자기 뜬금없이 인사하고 너무 맥락 없이 긴 내용을 언급하는 상황이 빈번하게 발생.

• 3가지 동시다발 버그들: 1) 긴 대화/짧은 대화 분류 오류, 2) 출력 오염으로 엉뚱한 토큰 생성, 3) XLA 컴파일러 버그

• 가장 황당한 점: 버그들이 겹쳐서 증상이 제각각이라 원인 찾기가 지옥이었음. 같은 질문도 한 번은 정상, 한 번은 이상하게 대답하는 식. 또 비싼 200달러짜리 내는 사용자는 거의 영향이 없었다는 사실.

• 결국 "AI가 너무 복잡해서 버그도 복잡하다"는 현실. 멀티 플랫폼에서 AI 서비스 운영하는 경험이 현재 많지 않아서 이런 사례가 계속 발생할 듯

* 이 내용은 클로드와는 무관하고, 클로드 코드를 사용해서 코딩을 하는 분에게 해당합니다

ChatGPT 사용자 150만 대화 분석했더니

중국, 엔비디아 칩 테스트도 막아

엔비디아, 인텔에 7조원 투자로 미중 사이 줄타기

새로운 메타글래스 출시, 이번엔 진짜 뜰까