4월 3일 ~ 4월 16일 간 나온 AI/ML | 커리어리

4월 3일 ~ 4월 16일 간 나온 AI/ML, MLOps 주요 블로그 포스트와 논문을 추려보았습니다. [AI/ML] • What Language Model Architecture and Pretraining Objective Work Best for Zero-Shot Generalization?(https://arxiv.org/abs/2204.05832): 다양한 트랜스포머 아키텍처와 사전 훈련 작업 비교. • Efficient Language Modeling with Sparse All-MLP(https://arxiv.org/abs/2203.06850): 다층 퍼셉트론만 사용하는 Mixture-of-Expert 모델을 통해 컨텍스트 학습. • Transforming Sequence Tagging into a Seq2Seq Task(https://arxiv.org/pdf/2203.08378.pdf): 출력의 센티넬을 입력의 각 토큰 다시 가리키는 데에 사용한다. 다음 논문도 참조할 것. Don’t Parse, Generate.(https://arxiv.org/abs/2001.11458) • PaLM(https://storage.googleapis.com/pathways-language-model/PaLM-paper.pdf): GPT-3보다 4배 거대한 굇수... 아니 언어 모델의 등장. 블로그 포스트(https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html)도 참조할 것. • Transformer Language Models without Positional Encodings Still Learn Positional Information(https://arxiv.org/pdf/2203.16634.pdf): 제목이 다 했네. • TopFormer: Token Pyramid Transformer for Mobile Semantic Segmentation(https://arxiv.org/pdf/2204.05525v1.pdf) • Simple Baselines for Image Restoration(https://arxiv.org/pdf/2204.04676v1.pdf): 베이스라인 모델이... 말대꾸?! (근데 SOTA?!) • DALL·E 2(https://openai.com/dall-e-2/): 달태식이 (Diffusion 모델과 함께) 돌아왔구나. • More Efficient In-Context Learning with GLaM(https://ai.googleblog.com/2021/12/more-efficient-in-context-learning-with.html): 인-컨텍스트 학습을 위해 1조 매개변수 규모의 Mixture-of-Expert 모델 사용. • LAION-5B: A New Era of Open Large-scale Multi-modal datasets(https://laion.ai/laion-5b-a-new-era-of-open-large-scale-multi-modal-datasets/): 대규모 멀티모달 오픈 데이터셋. 이렇게 5B 짜리 이미지 캡션 데이터셋도 있으니 OpenAI? 나는 부럽지가 않어. [MLOps] • Open Sourcing Feathr – LinkedIn’s Feature Store for Productive Machine Learning(https://engineering.linkedin.com/blog/2022/open-sourcing-feathr---linkedin-s-feature-store-for-productive-m)

DALL·E 2

OpenAI

2022년 4월 16일 오전 7:16

댓글 0

주간 인기 TOP 10

지난주 커리어리에서 인기 있던 게시물이에요!

현직자들의 '진짜 인사이트'가 담긴 업계 주요 소식을 받아보세요.

커리어리 | 일잘러들의 커리어 SNS