12/25 AI & ML Blog Posts Weekly Summary

👉 MS 리서치 2022년 성과 정리(https://www.microsoft.com/en-us/research/blog/2022-a-look-back-at-a-year-of-accelerating-progress-in-ai/): 연구자가 아닌 사용자 입장에서 관심 가는 것들을 열거해보자면, CV (Swin Transformer v2), NLP (챗봇을 위한 언어 모델 GODEL, 멀티모달 BEiT, 언어 모델 디버깅 도구 AdaTest, 유해 콘텐츠 데이터 생성 도구 ToxiGen) 모델 훈련과 추론(NN HPO기법 µTransfer, 모델 압축과 양자화를 위한 DeepSpeed Compression) 정도? 👉 Fortuna 라이브러리 공개(https://aws.amazon.com/blogs/machine-learning/introducing-fortuna-a-library-for-uncertainty-quantification/): AWS Labs에서 12월 재밌는 라이브러리 두 개를 공개했는데 이건 딥러닝의 '과신' 문제 해결을 위해 현실에 맞게 확률값을 보정해주는 도구입니다. Flax 모델 객체 아니면 프레임워크와 무관한 출력 결과 파일이나 확률 값을 입력으로 줄 수 있습니다. 👉 Renate 라이브러리 공개(https://aws.amazon.com/blogs/machine-learning/automatically-retrain-neural-networks-with-renate/): 이건 신경망 자동 재학습을 위한 라이브러리입니다. 재학습할 때 과거 데이터에 대한 성능은 하락하는 이른바 '파국적 망각' 현상을 상당히 방지해 줍니다. 또한 지속적 학습에 대한 HPO와 클라우드 벡엔드 학습을 지원합니다. 👉 SageMaker Feature Store의 Apache Iceberg 포맷 지원(https://aws.amazon.com/blogs/machine-learning/speed-ml-development-using-sagemaker-feature-store-and-apache-iceberg-offline-store-compaction/): 표준 Glue 대신 Iceberg 테이블 포맷으로 피쳐 그룹 생성이 가능해졌습니다. 그 결과 Glue Job 스케줄링으로 테이블 압축과 오래된 스냅숏, 고아 파일 제거를 정기적으로 해줄 수 있습니다. 오프라인 스토어에 대한 Athena 쿼리 속도가 10~100배 향상! 해당 내용들은 제 Github(https://github.com/youngmki/awesome-aiml-blog)에서 계속 아카이빙 중입니다.