오늘은 Anthropic 의 새로운 소식입니다(Claude, Haiku 업데이트, Computer Use 기능)

[출처]

• ✅ https://www.anthropic.com/news/3-5-models-and-computer-use

• ✅ https://docs.anthropic.com/en/docs/about-claude/models

----

1. Claude 3.5 Sonnet 업데이트 및 벤치마크

이미 업데이트 완료(모델명: claude-3-5-sonnet-20241022)

a) 코딩 능력 향상

• SWE-bench Verified 점수(기존: 33.4% → 신규: 49.0%)

- OpenAI의 o1-preview 등 다른 모델들보다 높은 점수 기록

- 전문 코딩 시스템들보다도 우수한 성능

b) 도구 사용 능력 (TAU-bench) 향상

• 리테일 도메인(기존: 62.6% → 신규: 69.2%)

• 항공 도메인 (더 복잡한 과제)

- 기존: 36.0% → 신규: 46.0%

c) 실제 고객사 피드백

i) GitLab

- DevSecOps 작업에서 추론 능력 10% 향상

- 지연 시간 증가 없음

- 다단계 소프트웨어 개발 프로세스에 적합

ii) Cognition

- 이전 버전 대비 코딩, 기획, 문제해결 능력 큰 폭 개선

iii) The Browser Company

- 웹 기반 워크플로우 자동화 테스트에서

- 지금까지 테스트한 모든 모델 중 최고 성능 기록

----

2. Claude 3.5 Haiku 업데이트 소식(곧 예정)

a) 주요 특징

- Claude 3 Haiku와 유사한 속도 유지(빠른 처리 속도)

- 동일한 비용으로 더 높은 성능 제공

b) 성능 향상

📊 벤치마크 성과

• 코딩 능력(SWE-bench Verified: 40.6% 기록)

- 이전 Claude 3.5 Sonnet과 GPT-4o 능가

- Claude 3 Opus(이전 최고 모델)와 동등한 수준

- 모든 스킬셋에서 성능 향상

• 향후 출시 일정

- 1단계: 텍스트 전용 모델

- 2단계: 이미지 입력 기능 추가 예정

----

3. Computer Use 기능 상세 분석

a) 핵심 특징: AI 의 실제 컴퓨터 사용

• Claude가 실제 사람처럼 컴퓨터 작업 수행

- 화면을 보고 정보 인식

- 마우스 커서 이동 및 클릭

- 키보드로 텍스트 입력

- 웹브라우저 탐색

- 폼 작성 및 데이터 입력

b) 기술적 특징

• API integration 방식으로 구현

- 개발자가 API 통합 시 Claude가 컴퓨터 인터페이스와 상호작용

- 자연어 명령을 컴퓨터 동작으로 변환

예시) "컴퓨터의 데이터로 이 양식을 작성해줘" →

- 스프레드시트 확인

- 웹브라우저 실행

- 관련 웹페이지 탐색

- 데이터 수집 및 양식 작성

c) 성능 평가

📊 OSWorld 벤치마크 결과

• 스크린샷만 사용 시

- Claude 3.5 Sonnet: 14.9% (VS. 타 AI 시스템 최고 기록: 7.8%)

• 추가 단계 허용 시: 22.0%

d) 현재 한계점

• 기본적인 컴퓨터 조작의 어려움, 스크롤링, 드래그앤 드롭, 화면 확대/축소, 오류 발생 가능성 등

💻 Computer Use 영상: https://youtu.be/ODaHJzOyVCQ?si=XZEtviWogG3CYXea

-----

(LangChain 에서 동작 테스트)

💻 코드: https://github.com/teddylee777/langchain-kr/blob/main/04-Model/01-Chat-Models.ipynb

----

from langchain_anthropic import ChatAnthropic

from langchain_teddynote.messages import stream_response

# ChatAnthropic (Claude-3-5-sonnet-20241022)

anthropic = ChatAnthropic(model_name="claude-3-5-sonnet-20241022")

# 스트리밍 출력을 위하여 invoke() 대신 stream()을 사용합니다.

answer = anthropic.stream("사랑이 뭔가요?")

# 답변 출력

stream_response(answer)

----

#anthropic #claude #haiku