모두의연구소는 함께 공유하고 성장하는 국내 최대 AI 커뮤니티입니다. 

1.인컨텍스트 사전 학습: 연속된 문서 간 관계를 고려한 대규모 언어 모델 학습

대규모 언어 모델은 문서 완성을 위한 긴 형식의 생성에 능숙합니다. 현재의 모델은 짧은 문서 세트를 무작위로 연결하여 학습하지만, 연속된 문서 간의 관계를 고려하지 않습니다. 이를 해결하기 위해, 문서들이 서로 관련성을 가질 수 있게 "인컨텍스트 사전 학습" 방식을 제안합니다. 이 방식은 관련된 문서들의 순서를 재조정하여 학습에 이용합니다. 수십억 개의 문서를 효과적으로 정렬하기 위해 효율적인 최인접 이웃 검색 및 그래프 순회 알고리즘을 사용합니다. 결과적으로 인컨텍스트 학습은 복잡한 문맥 추론 작업에서 언어 모델의 성능을 크게 향상시키는 것으로 나타났습니다.

https://huggingface.co/papers/2310.10638

2.Llemma: Proof-Pile-2 데이터와 Code Llama 기반으로 한 대규모 수학 언어 모델

Llemma는 수학 전용의 대규모 언어 모델로, 과학 논문, 웹 데이터, 수학 코드를 포함한 Proof-Pile-2에서 학습된 Code Llama를 기반으로 만들어졌습니다. 이 모델은 MATH 벤치마크에서 기존 모델과 미출시된 미네르바 모델을 능가하는 성능을 보여주었습니다. 또한, 미세 조정 없이도 수학적 정리의 증명과 도구 사용이 가능하다는 특징이 있습니다. 70억 개와 340억 개의 매개변수를 가진 모델과 관련 코드 및 자료를 공개하였습니다.

https://huggingface.co/papers/2310.10631

3.개발자를 위한 5가지 Git 모범 사례

웹 개발의 빠른 환경에서 Git은 중요한 역할을 합니다. 변화를 추적하며 협업을 촉진하고 CI/CD 워크플로우에 따라 안정적인 업데이트를 제공합니다. Git은 다양한 사용 방식을 제공하는 훌륭한 도구이지만, 팀 작업시 모범 사례를 따르는 것이 중요합니다. 이 글에서는 Git의 덜 알려진 기능과 개발자가 따라야 할 5가지 모범 사례를 소개합니다.

https://deploybot.com/blog/5-git-best-practices-for-developers

4.상위 1% 엔지니어의 7가지 습관

FAANG(Facebook, Apple, Amazon, Netflix, Google) 과 같은 기업에서 일하면서, 성공한 엔지니어의 코드에서 공통된 습관이 있다는 것을 발견하였습니다. ‘코더가 아닌 엔지니어가 되라’, ‘코드는 컴퓨터만 위한 것이 아니라 인간을 위한 것입니다’, ‘코드 자체에서 벗어나기’, ‘일관된 표준 사용’, ‘간단한 코드 작성’, ‘예상치 못한 결과 허용하지 않기’, ‘자주 소통하기’ 등 최고의 엔지니어에게 발견된 패턴들과 규칙을 설명하였습니다. 

https://news.hada.io/topic?id=11362

—

🥇K-디지털 트레이닝 기관 최초! '대통령 표창' 수상한 모두의연구소의 신뢰받는 교육

☑️ [D-1] AI 딥러닝을 심도 있게! <AI학교 아이펠> 7기 지원하기 → https://bit.ly/44cSNkr

☑️ SW 과정 신규 오픈! <자바스크립트 웹 풀스택> 1기 지원하기 → https://bit.ly/3tmITjj