모두의연구소는 지식을 나누며 함께 성장하는 국내 최대 AI 커뮤니티입니다. 

11월의 첫 출근길, SW/AI 뉴스 시작할게요!🙌

1.CodeFusion: 확산 기반 코드 생성을 위한 사전 학습된 모델

코드 작성 시 마지막 줄만 수정할 수 있는 개발자는 자주 처음부터 코드를 다시 작성해야 합니다. 이와 유사한 한계를 가진 자동 회귀 모델은 이전에 생성된 토큰을 쉽게 수정할 수 없습니다. 이 문제를 해결하기 위해, 인코딩된 자연어를 기반으로 한 CodeFusion이라는 사전 학습된 확산 코드 생성 모델을 제시합니다. CodeFusion은 Bash, Python, Microsoft Excel의 자연어로부터 코드 생성 작업에서 효과적이었으며, 최첨단 자동 회귀 시스템과 동등하거나 더 나은 성능을 보였습니다.

https://huggingface.co/papers/2310.17680

2.FP8: 저비트 형식을 활용한 대규모 언어 모델 학습의 효율화

이 논문은 대규모 언어 모델(LLM)의 효율적 학습을 위해 FP8 저비트 데이터 형식을 탐구합니다. LLM 학습 시 기울기나 최적화 상태와 같은 변수들이 저정밀 데이터 형식을 사용해도 모델의 정확도에 큰 영향을 미치지 않는다는 인사이트에 기반하여 FP8 자동 혼합 정밀도 프레임워크를 제안합니다. 이 방법은 8비트 그라디언트, 최적화 상태 및 분산 학습을 통합합니다. 실험적으로, H100 GPU에서 GPT-175B 모델 학습 시 이 프레임워크는 메모리 사용량을 42% 감소시키고 BF16 프레임워크보다 64% 더 빠르게 실행되었습니다. 이 방법은 대규모 파운데이션 모델 학습 비용을 줄이는 데 도움이 될 뿐만 아니라 다른 작업에도 적용 가능하여 미세 조정 비용 절감에도 기여할 수 있습니다.

https://huggingface.co/papers/2310.18313

3.스택 오버플로: 개발자의 79% 가 새로운 직업 고민

스택 오버플로우의 설문 조사에 따르면, 전 세계의 1,000명 이상의 개발자들 중 79%가 새로운 직업 기회를 찾거나 고려 중이며, 이는 이전보다 큰 증가를 보이며 새로운 경력과 도전에 더 관심이 있는 추세를 나타냅니다. 특히 신입과 후반 경력 개발자들 사이에 이직 경향이 높아지고 있으며, 이로 인해 제조 및 금융 서비스 분야에 숙련된 개발자들이 유입되고 있습니다. 개발자들은 더 나은 급여뿐만 아니라 호기심, 유연성을 중요하게 여기며, AI의 부상으로 생산성 향상을 위해 AI 도구를 사용하고 있으나, 학습에 대한 중요성은 감소하는 경향을 보입니다. 따라서 기업들은 경쟁적인 인재 유지를 위해 경쟁력 있는 급여와 유연성을 제공해야 할 것으로 보입니다.

https://www.developer-tech.com/news/2023/oct/30/stack-overflow-79-of-developers-considering-new-horizons/

4.임베딩: 임베딩이란 무엇이며 왜 중요한가

임베딩(Embeddings)은 낯선 용어와 함께 나오지만, 강력하고 흥미로운 기술입니다. 콘텐츠를 숫자 배열로 변환하는 기술로, 배열은 항상 일정한 길이를 가지며 이것은 임베딩 모델에 따라 정해집니다. 이 배열은 다차원 공간의 좌표처럼 생각할 수 있으며, 해당 위치는 콘텐츠의 의미를 나타냅니다. 임베딩을 사용하면 콘텐츠의 의미를 모델의 이해로 표현하고, 그 위치를 기반으로 다른 콘텐츠와 관련된 유용한 정보를 얻을 수 있습니다. 이러한 기술은 다양한 실제 문제에 적용될 수 있으며 중요한 역할을 합니다.

https://news.hada.io/topic?id=11593

—

🥇K-디지털 트레이닝 기관 최초! '대통령 표창' 수상한 모두의연구소의 신뢰받는 커뮤니티형 교육

☑️ [D-6] 23년 경력 MS MVP 강창훈 주강사 직강! <자바스크립트 웹 풀스택> 1기 지원하기 → https://bit.ly/3tmITjj

☑️ 쫓기지 않고 이끄는 6개월 AI 첫걸음 <AI학교 아이펠> 8기 지원하기 → https://bit.ly/44cSNkr