Paper page - FlashDecoding++: Faster Large Language Model Inference on GPUs
huggingface.co
[231107] 모두의연구소/오름캠프가 전하는 “모두를 위한 SW/AI
오름캠프는 국내 최대 AI 커뮤니티 플랫폼 모두의연구소가 만든 커뮤니티 기반 성장형 SW/AI 교육 과정입니다.
1.FlashDecoding++: 대규모 언어 모델 추론 속도 개선을 위한 최신 기술
대규모 언어 모델(LLM)의 중요성이 커지면서 LLM 추론 가속화에 대한 과제가 부각되었습니다. 이에 대한 주요 과제로는 부분 소프트맥스 업데이트의 동기화, 낮은 효율성을 가진 플랫 GEMM 계산, 그리고 정적 데이터 흐름으로 인한 성능 저하가 있습니다. 퓨어스토리지는 이러한 문제를 해결하기 위한 FlashDecoding++라는 빠른 LLM 추론 엔진을 소개했습니다. FlashDecoding++는 비동기식 소프트맥스, 이중 버퍼링을 사용한 플랫 GEMM 최적화, 하드웨어 리소스에 적응하는 휴리스틱 데이터 흐름 최적화를 통해 NVIDIA와 AMD GPU에서 각각 최대 4.86배, 2.18배의 속도 향상을 달성했으며, 메인스트림 LLM 추론 엔진에 비해서도 평균 1.37배 빠른 속도를 제공합니다.
https://huggingface.co/papers/2311.01282
2.RoboGen: 제너레이티브 모델을 이용한 로봇 자가 학습 및 기술 개발의 새 지평
연구진은 제너레이티브 로봇 에이전트 RoboGen을 통해 로봇 기술을 대규모로 자동 학습할 수 있는 새로운 방법을 제안합니다. RoboGen은 최신의 기초 및 생성 모델을 활용해, 인간의 감독을 최소화하면서 자동으로 다양한 작업, 장면, 훈련 감독을 생성합니다. 로봇 에이전트는 이를 통해 자체 제안-생성-학습 사이클을 구축하여, 흥미로운 작업과 기술을 개발하고, 관련 오브젝트와 에셋으로 시뮬레이션 환경을 구성합니다. 에이전트는 상위 작업을 하위 작업으로 분해하고, 강화 학습, 동작 계획, 궤적 최적화 등 최적의 학습 방법을 선택해 정책을 학습합니다. 이 접근법은 다양한 작업과 환경에 관련된 기술 데모를 무한히 생성할 수 있는 완전 생성 파이프라인을 통해 로봇 공학에 대규모 모델의 지식을 전달하려고 시도합니다.
https://huggingface.co/papers/2311.01455
3.Toga를 아시나요? 파이썬 GUI 제작 Toolkit
토가(Toga)는 시스템 고유의 위젯을 사용하여 네이티브 앱처럼 보이고 작동하게 만드는 새로운 위젯 툴킷입니다. 일반적인 테마 위젯 세트가 아니라 OS에 최적화된 네이티브 위젯을 사용해 속도와 효율을 높입니다. 또한, 토가는 각 운영 체제에 맞는 사용자 인터페이스를 자동으로 제공하여 개발자가 메뉴 위치 등을 일일이 코딩할 필요가 없도록 합니다. 파이썬 3을 기반으로 만들어져 C나 C++ 래퍼 API와 달리 파이썬의 언어적 특징을 최대한 활용할 수 있습니다. 간단한 'pip install' 명령으로 설치가 가능하며, 모바일 플랫폼에서의 파이썬 프로그래밍을 가능하게 하여 현대의 크로스플랫폼 요구사항을 충족시키려 합니다. 이름은 로마인처럼 로마에서 입는 옷인 '토가'에서 유래되었습니다.
https://github.com/beeware/toga
4.javascript 애플리케션을 typescript로 변환하는 법
자바스크립트 애플리케이션을 타입스크립트로 전환할 때, 느슨한 접근법은 `compilerOptions.strict: false`로 시작해 필요할 때마다 파일을 변경하고 점진적으로 엄격함을 높이는 것입니다. 반면, 엄격한 접근법은 `compilerOptions.strict: true`로 설정하고, 모든 의존성이 타입을 갖추기 전에는 모듈을 전환하지 않습니다. 더 큰 코드베이스에서는 느슨한 접근법이 반복적인 수정을 요구하고 타입 안전성이 낮아져 문제가 됩니다. 반면, 엄격한 접근법은 더 많은 노력을 필요로 하지만, 한 번의 수정으로 타입 안전성을 확보하고 후속 작업이 용이해지는 장점이 있습니다.
https://v5.chriskrycho.com/journal/how-to-do-a-typescript-conversion/
—
🥇K-디지털 트레이닝 기관 유일! 대통령 표창 수상한 모두의연구소 SW/AI 교육 과정 ‘오름캠프’
☑️ [D-Day] Microsoft MVP 강창훈 주강사 직강! <자바스크립트 웹 풀스택> 1기 지원하기 → https://bit.ly/3tmITjj
다음 내용이 궁금하다면?
이미 회원이신가요?
2023년 11월 6일 오후 11:34
댓글 0
함께 읽은 게시물
Longest Common Subsequence 자바스크립트 풀이
코
... 더 보기< 🔔 내가 만나본 빠르게 성장하는 주니어 개발자들의 특징 >
본론에 앞서 이 글은 그동안 제가 만나본 성장이 빠르다고 느낀 주니어 개발자분들의 태도와 습관을 정리해보는 글입니다.
기술이나 학습등을 거론하며 '이런것만 배우면 당신도 빠르게 성장할 수 있습니다!' 류의 글은 아니고 그분들의 이런 태도와 습관이 성장에 영향이 있지 않았을까 정도의 글이라고 생각해주시면 되겠습니다.
✅️ 질문을 잘한다.
빠르게 성장하신 분들의 질문엔 2가지 공통점이 있었다.
1. 질문의 타이밍
대부분의 신입사원이나 주니어 개발자분들은 선배 개발자에게 질문을 하기 부담스러워 한다. 그래서 혼자 몇일을 끙끙거리다가 힘겹게 질문하거나 선배 개발자가 먼저 말을 걸어서 답을 얻는 모습을 많이 본다.
만약 알고싶던 내용이 선배 개발자가 바로 대답해줄 수 있는 것이었다면 오래 끙끙거린만큼 시간을 허비해버린것과 같다.
질문을 잘하는 분들의 경우 자신들의 고민이 자신이 풀수 없는 수준이라는걸 알게 되면 선배 개발자들에게 바로 질문함으로써 그만큼 시간을 아끼고 다음 스텝으로 나아간다.
2. 질문의 깊이
질문할 때 '이게 뭐에요?' 나 'A 부터 Z 까지 알려주세요' 등의 질문을 하지 않는다.
자신이 충분히 찾아보고 자신의 선에서 최대한 알아본 뒤에 풀리지 않는 부분을 질문한다. 그렇기에 질문의 깊이가 깊다.
이런 질문을 받았을 때 바로 답을 주는 경우도 있지만 대부분 이런 깊이 있는 질문은 정확한 확인을 위해 다시 한번 관련 내용을 찾아보게 만든다.
이로 인해 질문 받는 사람도 알고 있던 내용을 복습하거나 놓쳤던 부분을 공부하게 되고 이를 통해 같이 성장하는 느낌을 받는다. 그래서 나는 이런식으로 질문 하는 분들이 좋고 나도 다른 사람들한테 이렇게 질문을 하기 위해 노력한다.
✅️ 가만히 있지 않는다.
간혹 내 업무가 많이 밀리고 바쁘다보면 주니어 분들을 신경쓰지 못해 그분들의 업무에 공백이 생길때가 있다. 업무를 잘하시는 주니어 분들은 이런 공백도 허투루 지나가지 않고 아래와 같은 행동들을 한다.
1. 업무 혹은 과제를 달라고 요청한다.
2. 팀에서 진행하는 프로젝트에 이슈가 없는지 찾아본다. 혹은 발견된 이슈의 원인을 파악해보려고 한다.
3. 팀에서 진행하는 프로젝트 코드를 분석한다.
4. 팀에서 사용하는 오픈소스나 프레임워크, 라이브러리 코드를 분석한다.
5. 프... 더 보기
