삼성, 'AGI용' 칩 연구소 설립...AI 추론 칩 개발 시작
AI타임스
모두의연구소는 지식을 나누며 함께 성장하는 국내 최대 AI/SW 커뮤니티입니다.
🎙️ SW/AI 한줄 뉴스
1. 삼성... 'AGI용' 칩 연구소 설립
https://www.aitimes.com/news/articleView.html?idxno=158105
2. 네이버 AI 모델 하이퍼클로바X 를 활용한 AI법률챗봇 등장
https://n.news.naver.com/mnews/article/005/0001682393
- 🤵♂️ 빠르다 빨라 AI 세상
1. 잠재 적대적 확산 증류(LADD)로 디퓨전 모델의 한계를 극복하다
디퓨전 모델은 이미지 및 비디오 합성 분야에서 주목받고 있지만, 느린 추론 속도가 문제입니다. 최근 도입된 ADD 같은 증류 방법은 모델을 다중 샷에서 단일 단계 추론으로 전환하려 하지만, 고정된 사전 학습 DINOv2 판별기에 의존하기 때문에 최적화 비용이 높고 어렵습니다. 본 연구에서는 ADD의 한계를 극복하는 새로운 등류 접근 방식인 잠재 적대적 확산 증류(LADD)를 소개합니다. LADD는 픽셀 기반 ADD와 달리 사전 학습된 디퓨전 모델에서 생성적 특징을 활용하여 훈련을 단순화하고 성능을 향상시켜 고해상도 다중 화면비 이미지 합성을 가능하게 합니다. LADD를 Stable Diffusion 3 (8B)에 적용하여 최신 텍스트 대 이미지 생성기의 성능과 일치하는 고속 모델인 SD3-Turbo를 얻었으며, 다양한 응용 분야에서 LADD의 효과를 입증했습니다.
https://huggingface.co/papers/2403.12015
2. PERL: RLHF의 성능을 유지하면서 계산 부담을 줄이다
강화 학습(RLHF)은 사전 학습된 대형 언어 모델(LLMs)을 인간의 선호도에 맞추는 강력한 방법으로 입증되었지만, RLHF로 모델을 훈련시키는 것은 계산 비용이 많이 들고 복잡한 과정입니다. 본 연구에서는 LoRA를 사용하여 기본 모델을 훈련시키는 RLHF를 연구합니다. 우리는 LoRA를 사용하여 보상 모델 훈련과 강화 학습을 수행하는 "파라미터 효율적 강화 학습"(PERL) 설정을 조사하고, 보상 모델링과 강화 학습을 위한 7개의 벤치마크(2개의 새로운 데이터셋 포함)에 대해 다양한 구성에서 PERL과 기존의 미세 조정(전체 조정)을 비교합니다. 그 결과, PERL이 기존의 RLHF 설정과 동등한 성능을 보이면서도 더 빠르게 훈련되고 메모리 사용량도 적은 것으로 나타났습니다. 이는 RLHF의 높은 성능을 유지하면서도 대형 언어 모델에 대한 정렬 기술로서의 채택을 제한하는 계산 부담을 줄일 수 있게 합니다. 또한, RLHF 연구를 촉진하기 위해 "Taskmaster Coffee"와 "Taskmaster Ticketing"이라는 2개의 새로운 좋아요/싫어요 선호도 데이터셋을 공개합니다.
https://huggingface.co/papers/2403.10704
- 🦸♂️ 오늘의 SW 스피드웨건
1. Next.js 앱의 안정성을 높이기 위한 3가지 팁
Next.js에서 App Router 기능을 통해 React Server Components(RSC)를 제공하면서, 서버 측에서 렌더링하여 초기 로딩 시간을 단축할 수 있게 되었습니다. 하지만 API 호출 시 오류가 발생하면 페이지가 충돌할 수 있습니다. 이를 개선하기 위해 xior 라이브러리를 사용하여 에러 재시도, 데이터 캐싱, 요청 중복 제거 등의 기능을 구현할 수 있습니다. 이를 통해 API 호출 실패 시에도 페이지가 충돌하지 않고, 오류 메시지를 표시하거나 캐시된 데이터를 보여주어 사용자 경험을 개선할 수 있습니다.
https://medium.com/@h4av.one/3-tips-to-make-your-next-js-app-more-stable-8a8f61f30ec5
2. Rust 컴파일 시간을 최대 40%까지 단축한 방법
CodeRemote에서 Rust 컴파일러, rustc를 수정하여 절차적 매크로 확장을 캐싱하는 기능을 추가함으로써, 실제 크레이트에서 11-40%까지 증분 빌드 시간을 단축시켰습니다. 이로 인해 개발 빌드가 더 빨라지고 rust-analyzer의 반응성이 향상되었습니다. 이 개선은 Rust 컴파일 시간 단축에 대한 흔한 불만을 해소하는데 도움을 주며, 특히 절차적 매크로 확장이 느린 것을 해결하기 위한 접근 방식입니다.
https://www.coderemote.dev/blog/faster-rust-compiler-macro-expansion-caching/
다른 생각에서 시작한 AI교육,
모두의연구소 AI학교 아이펠 온라인 8기
🔥 놓치지 마세요! ► https://bit.ly/3T1rC8r
다음 내용이 궁금하다면?
이미 회원이신가요?
2024년 3월 21일 오전 1:18
고용노동부에서 주관하는 청년미래플러스 3기를 모집 중이라고 합니다.
구직자와 재직자 두 가지 트랙을 동시에 모집한다고 하네요.
모집 기간: 6월 15일 ~ 8월 3일
이
... 더 보기S
... 더 보기