[231027] 모두의연구소가 전하는 “모두를 위한 SW/AI 뉴스”

모두의연구소는 지식을 나누며 함께 성장하는 국내 최대 AI 커뮤니티입니다.


1.ICL의 메커니즘: 트랜스포머 LLM과 태스크 벡터의 연관성


대규모 언어 모델의 컨텍스트 내 학습(ICL)은 새로운 학습 패러다임으로 부상했지만 그 메커니즘이 아직 명확하지 않습니다. 본 연구는 ICL로 학습된 함수가 주로 간단한 구조를 가지며, 쿼리와 "작업 벡터"를 입력으로 받는 트랜스포머 LLM에 맞다는 것을 보여줍니다. ICL은 훈련 데이터를 "태스크 벡터"로 압축하고 이를 사용하여 트랜스포머의 출력을 조정한다고 볼 수 있습니다. 이러한 주장은 다양한 모델과 태스크에 대한 실험을 통해 지지됩니다.

https://huggingface.co/papers/2310.15916


2.SAM-CLIP: CLIP과 SAM의 통합을 통한 비전 기반 모델의 성능 강화


비전 기반 모델(VFM)의 환경, 예를 들어 CLIP과 SAM이 빠르게 확장되고 있습니다. 이 연구에서는 이러한 모델들의 각 전문성을 통합한 통합 모델을 만드는 방법을 제안합니다. 이 방법은 멀티태스크 학습, 지속적인 학습, 교사-학생 증류법을 통합하며, 적은 컴퓨팅 비용을 요구합니다. SAM과 CLIP을 통합하여 만든 모델인 SAM-CLIP은 다양한 비전 작업에 적합하게 설계되었고, 여러 헤드 프로빙 작업에서 향상된 성능을 보였습니다. 특히 제로샷 시맨틱 분할에서 뛰어난 성능을 보여, 파스칼-VOC 및 COCO-Stuff에서 평균 IoU 개선을 이루었습니다.

https://huggingface.co/papers/2310.15308


3.Cloudflare Workers와 AWS Lambda 가격 비교


Cloudflare는 Cloudflare Workers의 새로운 가격 정책을 발표했습니다. 이전과 달리 Workers의 가격은 CPU 시간을 기반으로 하며, 대기 시간에 대한 요금은 부과되지 않습니다. 반면, AWS Lambda는 메모리 할당, 실행 시간, 요청 수에 따라 요금이 부과됩니다. 두 서비스 모두 무료 티어를 제공하며, Workers는 Lambda에 비해 더 많은 요청과 CPU 시간을 제공합니다. 사용 사례에 따라 두 서비스 간의 비용 효율성이 달라지며, Cloudflare Workers는 Javascript 백엔드에 대한 저렴한 옵션이 될 것으로 보입니다.

https://www.vantage.sh/blog/cloudflare-workers-vs-aws-lambda-cost


4.MyScale vs PostgreSQL & OpenSearch Vector Database 비교


MyScale은 ClickHouse 기반의 통합 벡터 데이터베이스로, 전체 SQL 지원과 벡터 유사성 검색 기능을 갖추고 있습니다. 전통적인 데이터베이스인 PostgreSQL과 OpenSearch도 최근 벡터 유사성 검색 기능을 추가했습니다. 벡터 유사성 검색은 대규모 언어 모델의 성능 향상에 중요한 역할을 합니다. 통합 벡터 데이터베이스는 특수한 벡터 데이터베이스보다 여러 장점을 갖고 있습니다. 세 가지 데이터베이스를 비교한 결과, MyScale은 필터링된 벡터 검색의 정확도, 성능, 비용 효율성, 인덱스 구축 시간에서 다른 제품들을 크게 앞섰습니다. MyScale은 SQL 지원과 높은 벡터 검색 성능의 조합으로 AI/LLM 관련 데이터 관리에 매우 적합합니다.

https://myscale.com/blog/myscale-vs-postgres-opensearch/



🥇K-디지털 트레이닝 기관 최초! '대통령 표창' 수상한 모두의연구소의 신뢰받는 커뮤니티형 교육


☑️ 23년 경력 MS MVP 강창훈 주강사 직강! <자바스크립트 웹 풀스택> 1기 지원하기(조기마감 예상) → https://bit.ly/3tmITjj

☑️ 쫓기지 않고 이끄는 6개월 AI 첫걸음 <AI학교 아이펠> 8기 지원하기 → https://bit.ly/44cSNkr

Paper page - In-Context Learning Creates Task Vectors

huggingface.co

Paper page - In-Context Learning Creates Task Vectors

다음 내용이 궁금하다면?

또는

이미 회원이신가요?

2023년 10월 27일 오전 12:49

댓글 0

    함께 읽은 게시물


    🤔 API 키와 토큰의 차이

    ... 더 보기

    API keys vs tokens - what's the difference?

    Medium

    API keys vs tokens - what's the difference?

     • 

    저장 313 • 조회 9,883


    Apollo Connectors 소개와 사용법

    ... 더 보기

     • 

    댓글 1 • 저장 22 • 조회 4,307



    🎯 유튜브에 100번째 코딩 테스트 문제 풀이 영상을 올렸습니다!

    ... 더 보기

    달레의 코딩 테스트

    www.youtube.com

    달레의 코딩 테스트

    오늘도 AI한테 이겼습니다. 후후.. ChatGPT, Claude, Gemini한테 다 이김. ✌️

    ... 더 보기