[240430] 모두의연구소가 전하는 “모두를 위한 SW/AI 뉴스”

모두의연구소는 지식을 나누며 함께 성장하는 국내 최대 SW/AI 커뮤니티입니다.

🗞️ SW/AI 한줄 뉴스
1. “나는솔로 옥순이만 골라보기 가능”…KT AI 특화 기술로 미디어 혁신
https://n.news.naver.com/mnews/article/016/0002301520

2. AI 살바도르 달리가 답해주는 '랍스터 전화기' 등장
https://www.aitimes.com/news/articleView.html?idxno=159180

-

🤵‍♂️ 빠르다 빨라 AI 세상
1. LayerSkip: 대규모 언어 모델의 추론 속도 향상을 위한 end-to-end 솔루션
메타에서 나온 LayerSkip은 대규모 언어 모델의 추론 속도를 높이기 위한 end-to-end 솔루션입니다. 학습 시에는 이전 레이어의 dropout을 낮게, 이후 레이어의 dropout을 높게 설정하고 모든 transformer 레이어가 공유하는 early exit loss를 적용합니다. 추론 시에는 이 학습 방식이 이전 레이어에서의 early exit 정확도를 높여주며, 추가적인 레이어나 모듈 없이도 가능합니다. 또한 초기 레이어에서 먼저 exit하고 나머지 레이어를 통해 검증 및 수정하는 self-speculative decoding 방식을 제안하였고, 이는 기존 방식 대비 메모리 사용량이 적고 draft와 검증 단계의 계산을 공유할 수 있다는 장점이 있습니다. 다양한 학습 세팅에서의 실험을 통해 요약, 코딩, 의미 분석 등의 태스크에서 최대 2.16배의 속도 향상을 달성하였습니다.
https://huggingface.co/papers/2404.16710

2. InternVL 1.5: 개방형과 상용 모델 간 성능 격차 해소를 위한 오픈소스 멀티모달 언어 모델
InternVL 1.5는 개방형과 상용 모델 간의 성능 격차를 줄이기 위해 개발된 오픈소스 멀티모달 대규모 언어 모델입니다. 이 모델은 지속 학습 전략을 통해 강력한 비전 인코더를 구축하고, 동적 고해상도 전략을 채택하며, 고품질의 이중언어 데이터셋을 활용하여 OCR 관련 작업과 중국어 관련 이해 능력을 크게 향상시켰습니다. 18개의 벤치마크에 대한 평가 결과, InternVL 1.5는 최신 상용 모델과 견줄 만한 성능을 보였고, 8개 벤치마크에서는 최고 성능을 달성하였습니다. 또한 정성적 평가에서도 GPT-4V와 비교하여 우수한 성능을 보여주었습니다. InternVL 1.5는 멀티모달 이해 분야에서 오픈소스 모델의 발전에 기여할 것으로 기대됩니다.
https://huggingface.co/papers/2404.16821

-

🦸‍♂️ 오늘의 SW 스피드웨건
1. 루비 온 레일에서 n+1
N + 1 문제는 Rails의 Active Record ORM을 사용할 때 발생하는 성능 문제입니다. 예를 들어, 여러 사용자의 팀 이름을 조회할 때 각 사용자마다 별도의 쿼리를 실행하여 데이터를 가져오는데, 이로 인해 예상보다 많은 데이터베이스 쿼리가 발생합니다. 이 문제를 해결하기 위해 includes 메소드를 사용하여 관련 데이터를 한 번에 로딩함으로써 쿼리 수를 줄일 수 있습니다. 이러한 방식은 데이터베이스의 부하를 줄이고 성능을 개선하는 데 도움이 됩니다.
https://www.visuality.pl/posts/n-1-in-ruby-on-rails

2. Java에서 null이 객체라면 어떨까요?
이 블로그에서는 자바의 null과 스몰토크의 nil을 비교하여 설명합니다. 자바는 순수 객체 지향 언어가 아니며, 프리미티브 타입과 null 처리가 그 예입니다. 반면, 스몰토크는 모든 것이 객체라는 순수 객체 지향 언어입니다. 이러한 차이점을 통해 다른 언어에서 null을 다루는 방식을 탐색함으로써 자바 개발자들에게 새로운 가능성을 제시하고자 합니다.
https://donraab.medium.com/what-if-null-was-an-object-in-java-3f1974954be2

-

📊 AI학교 아이펠 데이터 사이언티스트 온라인 과정 ► https://bit.ly/3JjDKNu
💻 오름캠프 Django 백엔드 개발 온라인 과정 ► https://bit.ly/3UdtWej