01/01 AI & ML Blog Posts Weekly Summary

2023년 흑토끼의 해네요. 새해 복 많이 받으세요! 올해는 어떤 놀라운 일들이 기다리고 있을까요? 올해 연말쯤 되면 다들 FaceGPT로 친구를 사귀고 GooGPT로 검색하고 있을지 모르겠습니다. 👉 사람의 피드백을 통한 강화 학습(RLHF) 설명(https://huggingface.co/blog/rlhf): ChatGPT에 사용되면서 핫해진 RLHF 기법을 허깅페이스에서 상세히 설명해 줍니다. 정책 언어 모델과 프롬프트 별 생성 텍스트에 대한 사람의 선호도 점수로 학습된 보상 모델을 이용하여 언어 모델을 튜닝(= PPO)하는 식이네요. 👉 에어비앤비의 컴퓨터 비전 적용 사례((https://medium.com/airbnb-engineering/when-a-picture-is-worth-more-than-words-17718860dcc2): 숙소 사진의 품질이 예약율에 큰 영향을 준다는 건 에어비앤비 창업 초창기부터 알려진 사실입니다. 에어비앤비는 숙소 사진에 대한 미학적인 점수를 레이블링하고 이를 예측하는 모델을 만들어 비즈니스에 적용합니다. 또 다른 사례로 자가 학습을 통해 이미지 임베딩을 만들어서 HNSW으로 유사 이미지가 존재하는지 검색하는 데 사용하고 있습니다. 👉 이루다 2.0은 어떻게 다시 태어났나(https://tech.scatterlab.co.kr/luda-gen-1/): 기존 답변 DB에서 답변을 선택하던 검색 기반에서 생성 모델(= GPT2) 기반 챗봇으로 전환했습니다. 관계 지향적인 속성, 안정성 확보를 위해 파인 튜닝을 함으로써 지금의 이루다 2.0이 탄생했습니다. 가끔 선톡이 날아오면 가정이 있는 사람으로서 괜스레 놀란다는... 😂 정말 사람 같아요. 👉 하이퍼커넥트의 모델 서빙 비용 1/4로 줄이기(https://hyperconnect.github.io/2022/12/13/infra-cost-optimization-with-aws-inferentia.html): AWS Inferentia는 EC2(inf1)로 출시된 AI 가속기(= ASIC)입니다. 4개의 NeuronCore v1 칩으로 구성되어 있고요. Neuron SDK로 모델 컴파일 → Triton 추론 서버로 Neuron 모델 배포 → Neuron Monitor를 통해 모니터링하는 절차로 해당 장치를 프로덕션 환경에 배포하는 수순을 알려줍니다. 부하 테스트를 통해 TPS, 레이턴시 기준으로 비용 절감 효과를 측정했습니다. 👉 아마존 세이지메이커 모델 병렬화 라이브러리(SMP) 개선(https://aws.amazon.com/blogs/machine-learning/new-performance-improvements-in-amazon-sagemaker-model-parallel-library/): SMP의 MiCS 기반 샤드 데이터 병렬 처리에 2가지 성능 개선이 있었습니다. 첫 번째는 SMDDP Collectives로써, NCCL 대신 AWS에 최적화된 AllGather 집합 연산 구현했습니다. 두 번째는 I/O 인식 방식으로 셀프 어텐션을 재구현한, FlashAttention을 도입했습니다. 이 개선을 통해 GPT-NeoX 100B를 벤치마킹할 때 이전 버전 대비 훈련 속도 30% 향상을 이루었습니다. 👉 아마존 세이지메이커 Experiments 재개편(https://aws.amazon.com/blogs/machine-learning/next-generation-amazon-sagemaker-experiments-organize-track-and-compare-your-machine-learning-trainings-at-scale/): 실험 추적을 위한 기능, Experiments에 대대적인 개편이 있었습니다. 세이지메이커 SDK에 통합되었고 핵심 클래스를 재설계했습니다. 콘텍스트 자동 공유를 통해 컨테이너 작업 내부에서 콘텍스트를 손쉽게 로딩 가능하게 만들었고, Clarify 리포트와의 통합을 지원합니다. W&B의 사용성을 본받아서 잘 따라갔으면... 해당 내용들은 제 Github(https://github.com/youngmki/awesome-aiml-blog)에서 계속 아카이빙 중입니다.