모두의연구소는 지식을 나누며 함께 성장하는 국내 최대 SW/AI 커뮤니티입니다.

🗞️ SW/AI 한줄 뉴스
1. 한국어 언어모델 성능, 비약적으로 향상
https://www.aitimes.com/news/articleView.html?idxno=158439

2. 회의가 더 쉬워진다... 줌, AI 협업 플랫폼 ‘줌 워크플레이스’ 출시
https://www.aitimes.com/news/articleView.html?idxno=158424

3. 악용되는 AI... 무단 사용 금지 촉구한 빌리 아일리시·케이티 페리
https://www.aitimes.com/news/articleView.html?idxno=158487

4. 층간소음의 새로운 해결법..? 시끄러운 이웃집 스피커 끄는 AI의 등장
https://www.aitimes.com/news/articleView.html?idxno=158496

-

🤵‍♂️ 빠르다 빨라 AI 세상
1. 구글의 검색 증강 사실 평가자 시스템 SAFE
구글 딥마인드에서 LLM에 입력된 프롬프트의 답변에 대해, 별도의 LLM으로 구글 검색을 사용, 정답 여부를 확인하는 시스템 SAFE (Search-Augmented Factuality Evaluator)를 소개했습니다. 프롬프트의 답변을 각 문장단위로 분리, 각 문장의 내용이 사실인지 확인 후, 입력과의 연관성을 체크하고, 연관된 문장이라면 구글 검색을 통해 평가를 진행합니다. 이를 통해, 대형 모델은 보다 신뢰도 높은 사실 기반 답변을 제공할 수 있습니다. 또한 이를 위해, 기존에 없었던 긴 길이와 복합척인 토픽을 커버하는 벤치마크 LONG-FACT와, F1 score 기반 새로운 평가체계인 F1@K를 소개하였습니다. 연구자들은 총 38개의 토픽에서 SAFE는 크라우드 소싱 검증보다 정확하면서도 20배 저렴하게 사실 검증을 해내었다고 합니다.
https://github.com/google-deepmind/long-form-factuality

2. 이미지 생성을 부분적으로 제어하는 새로운 방법 CAN
MIT와 NVIDIA, 칭화대학에서 CNN의 신경망 가중치를 동적으로 조작, 이미지 생성 과정을 제어하는 기법 CAN을 소개하였습니다. 이를 위하여, 입력 조건에 따라 convolution /linear 레이어의 조건부 가중치를 생성하는 '조건 인지 가중치 생성 모듈'을 도입하였습니다. 연구자들은 이 기법을 다양한 CNN 계열 모델에 적용해보았으며, 기존보다 더 적은 계산량으로도 FID, Clip score 의 평가지표에서 우수함을 보여주었습니다. 또한, 이 방법론은 CNN 외에도 Dit와 UViT 등 diffusion transformer 계통 모델에서도 유효성을 증명하였습니다.
https://arxiv.org/pdf/2404.01143.pdf

3. Jamba: Transformer와 Mamba의 혁신적 결합
본 논문에서는 Transformer와 Mamba 계층을 결합한 새로운 대규모 언어 모델 아키텍처인 Jamba를 소개합니다. Jamba는 Transformer와 Mamba 계층을 교차 배치하고 일부 계층에 Mixture-of-Experts(MoE)를 추가하여 모델 용량을 늘리면서도 계산 요구량을 관리할 수 있도록 설계되었습니다. 이러한 유연한 아키텍처를 통해 리소스와 목적에 맞는 구성이 가능해졌습니다. 구현된 Jamba 모델은 단일 80GB GPU에 탑재될 수 있으면서도 높은 처리량과 작은 메모리 사용량을 보이며, 표준 언어 모델 벤치마크와 장문맥 평가에서 최고 수준의 성능을 달성했습니다. 특히 최대 256K 토큰의 문맥 길이에서도 강력한 결과를 보여주었습니다. 본 연구는 Transformer와 Mamba 계층의 결합 방식, 전문가 혼합 방식 등 다양한 아키텍처 설계 선택이 대규모 모델링에 중요함을 보여줍니다.
https://huggingface.co/papers/2403.19887

4. AURORA-M: 안전 지침으로 파인튜닝된 최초의 오픈소스 다국어 모델
이 논문은 영어, 핀란드어, 힌디어, 일본어, 베트남어, 코드로 구성된 대규모 다국어 오픈소스 언어 모델인 AURORA-M을 소개합니다. AURORA-M은 StarCoderPlus로부터 4,350억 개의 추가 토큰을 통해 지속적으로 사전 학습되었으며, 총 학습 토큰 수는 2조 개를 넘어섰습니다. 이 모델은 사람이 검토한 안전 지침으로 파인튜닝된 최초의 오픈소스 다국어 모델로서, Biden-Harris 행정부의 AI 개발 및 사용에 관한 행정명령의 우려 사항뿐만 아니라 일반적인 red-teaming 고려 사항에 맞게 개발되었습니다. AURORA-M은 다양한 작업과 언어에 대해 엄격하게 평가되었으며, 파국적 망각에 대한 견고성을 보여주었고, 특히 안전성 평가에서 다국어 환경에서 기존 대안들을 능가하는 성능을 보여주었습니다.
https://huggingface.co/papers/2404.00399

-

🦸‍♂️ 오늘의 SW 스피드웨건
1. 백엔드 데이터베이스 선택: SQL VS Document VS Columnar
데이터베이스 선택 시 SQL은 관계형 데이터 처리가 중요할 때, 문서 데이터베이스는 복잡한 문서 구조가 필요할 때, 컬럼형 데이터베이스는 쓰기 중심의 작업 부하에 적합합니다. 데이터베이스의 기능이 서로 융합되면서 구분이 모호해지고 있으나, 각각의 특성을 고려하여 프로젝트의 요구 사항에 맞는 데이터베이스를 선택해야 합니다. MySQL과 PostgreSQL은 비슷해지고 있으나, 세부적인 차이가 있으며, 데이터 정규화 원칙을 적용하여 읽기 중심의 애플리케이션 최적화가 가능합니다.
https://www.thomashansen.me/choosing-backend-database/

2. Swift에서 날짜 디코딩
Swift에서 Date 타입은 Codable 프로토콜을 준수하지만, JSON에서 날짜를 디코드하는 것은 다른 타입들처럼 간단하지 않습니다. JSONDecoder의 dateDecodingStrategy 속성을 통해 다양한 날짜 형식을 처리할 수 있습니다. ISO 8601 형식, 유닉스 시간, 커스텀 문자열 형식, 그리고 여러 가지 날짜 형식을 포함한 JSON 데이터 등 다양한 방식으로 날짜를 디코드할 수 있습니다. 필요에 따라 적절한 디코딩 전략을 선택해 사용해야 합니다.
https://matteomanferdini.com/datedecodingstrategy/

다른 생각에서 시작한 AI교육,
모두의연구소 AI학교 아이펠 온라인 8기
🔥 놓치지 마세요! ► https://bit.ly/3T1rC8r