The Steganographic Potentials of Language Models
arXiv.org
[0507]모두에게 전하는 모두연 AI뉴스!
LLM 스테가노그래피의 현주소: 기초 능력, 명시적 지침 효과, RL의 양면성
이 논문은 강화학습(RL)으로 미세 조정된 대형 언어 모델(LLM)의 스테가노그래피(정보 은닉) 잠재력을 탐구합니다. 연구는 LLM이 은밀한 인코딩 방식을 개발하고, 지시를 받거나 혹은 자발적으로 정보를 은닉하는 능력을 RL 미세 조정 및 프롬프트 기반 평가를 통해 조사했습니다. 현재 모델들은 기본적인 정보 은닉 능력을 보이지만, 명시적인 알고리즘 지침이 주어질 때 그 용량이 현저히 향상되는 것으로 나타났습니다. RL 미세 조정은 은밀한 소통 능력을 개선할 수 있으나 그 수렴성이 민감하며, 프롬프트를 통해 최신 모델도 정보 은닉을 수행하지만 긴 내용의 정보를 숨기는 데는 한계가 있음이 확인되었습니다.
https://arxiv.org/abs/2505.03439
Qwen3 대규모 언어 모델의 저비트 양자화 영향 심층 평가
이 연구는 최신 Qwen3 대규모 언어 모델(LLM)의 저비트 양자화(low-bit quantization) 영향을 평가합니다. Qwen3의 효율적인 배포를 위해 5가지 기존 후훈련 양자화(PTQ) 기법을 1~8비트 범위에서 여러 모델 크기에 적용하여 다양한 언어 이해 벤치마크로 성능을 측정했습니다. 연구 결과, Qwen3는 중간 비트폭(4비트 이상)에서는 경쟁력 있는 성능을 유지하지만, 초저정밀도(3비트 이하)에서는 특히 언어 과제에서 현저한 성능 저하를 보였습니다. 이는 최첨단 LLM 압축의 지속적인 어려움을 나타내며, 향후 Qwen3 및 미래 LLM에 맞는 양자화 방법 발전을 위한 추가 연구의 필요성을 강조합니다.
https://huggingface.co/papers/2505.02214
다음 내용이 궁금하다면?
이미 회원이신가요?
2025년 5월 7일 오전 7:57
댓글 0
함께 읽은 게시물
IT 회사의 업무에서, 지금까지는 디자이너와 특히 개발자가 병목이었는데, 대 AI 시대에는 기획자가 병목이 될 수도 있겠다. 조금이라도 규모가 있는 기업에서의 가장 큰 병목은 보통 의사결정자라는 것을 생각해보면 그렇다.
즉, 실무보다 의사결정을 AI에게 맡기는 것이 병목을 해소할 수 있는 가장 확실한 방법이며, 그러므로 부장님과 사장님을 AI로 대체하는 것이야말로 인류의 번영을 위한 가장 빠른 지름길이다. (아님. 아니 맞나?!)
< 뛰어난 리더는 '시간'을 가장 까다롭게 쓴다 >
1. 관리자 업무 중 상당한 부분을 차지하는 일은 인력, 돈, 자본 등의 자원을 할당하는 것이다.
AI(LLM) 애플리케이션의 발전 속도가 AI 지능(능력)의 발전 속도를 따라가지 못하고 있는 상태가 되었다. 즉, 이제 AI가 부족한 것이 문제가 아니라, AI의 능력을 100% 활용하지 못하고 있는 것이 문제인 상태가 되었다는 이야기.
기본적으로 알아야 할 머신러닝 알고리즘 10
머신러닝을 공부하면서 늘 헤깔리는 것중에 하나가 알고리즘 부문인 거 같습니다. 마침, 이 알고리즘을 깔끔하게 정리한 글이 있어 공유해 봅니다.
데이터 영역에 관심있는 분들 뿐만 아니라 머신러닝이나 AI에 관심있는 분들은 원문을 꼭 일독하시길 강추(!)합니다~^^
📜 지도학습
👉 선형회귀, 로지스틱 회귀, K-최근접 이웃, 나이브 베이즈, 결정 트리, 랜덤 포레스트, XG부스트, 라이트GBM,
📜 비지도학습
👉 K-평균 군집화, 주성분 분석(PCA)
🔔 선형 회귀(Linear Regression)
🚩 문제 유... 더 보기
데이터 분석가의 뇌구조가 궁금하다면?
안
... 더 보기-
-
-
