[1015]모두에게 전하는 모두연 AI뉴스!

• IMAGINE: AI의 상상력이 밝히는 상식 추론의 새로운 지평

이 논문은 텍스트 기반 상식 추론 모델의 일반화 능력을 향상시키기 위해 머신 상상력을 활용하는 새로운 제로샷 상식 추론 프레임워크인 IMAGINE을 제안합니다. IMAGINE은 텍스트 입력을 보완하기 위해 머신 생성 이미지에서 파생된 시각적 신호를 활용합니다. 이를 위해 사전 훈련된 언어 모델(PLM)에 이미지 생성기를 통합하여 머신 상상력을 부여합니다. 또한, 시각적 질문 답변을 시뮬레이션하는 합성 VQA 데이터 세트를 생성하여 PLM이 머신 상상력을 효과적으로 활용하도록 학습시킵니다. 다양한 추론 벤치마크에 대한 실험 결과는 IMAGINE이 기존 방법보다 성능이 뛰어나다는 것을 보여줍니다. 이는 머신 상상력이 보고 편향을 완화하고 일반화 능력을 향상시키는 데 효과적임을 시사합니다.

https://arxiv.org/abs/2410.09329

• LLM, 다중 턴 공격에 취약! ActorAttack의 치명적인 공격 경로

이 논문은 대규모 언어 모델(LLM)의 다중 턴 대화에서의 안전 취약성을 노출하는 새로운 공격 방법인 ActorAttack을 제안합니다. ActorAttack은 악의적인 사용자가 여러 쿼리에 걸쳐 유해한 의도를 숨길 수 있는 상황을 공략합니다. 이 방법은 행위자-네트워크 이론에서 영감을 받아 의미적으로 연결된 행위자 네트워크를 공격 단서로 모델링하여 유해한 목표를 향한 다양하고 효과적인 공격 경로를 생성합니다. ActorAttack은 다중 턴 공격의 두 가지 주요 과제, 즉 유해한 의도를 숨기고 동일한 유해한 목표를 향한 다양한 공격 경로를 찾는 것을 해결합니다. 이를 위해 ActorAttack은 LLM의 지식을 활용하여 공격 단서를 자동으로 찾고, 공격 체인을 추론하여 단계별 공격 경로를 생성합니다. 실험 결과는 ActorAttack이 기존의 단일 턴 및 다중 턴 공격 방법보다 성능이 뛰어나며, 고급 정렬 LLM에서도 효과적임을 보여줍니다. 또한, ActorAttack에서 생성된 다중 턴 적대적 프롬프트와 안전 정렬 데이터를 포함하는 SafeMTData라는 데이터 세트를 공개합니다. 이 데이터 세트를 사용하여 안전 미세 조정된 모델은 다중 턴 공격에 더 강력합니다.

https://arxiv.org/abs/2410.10700

[마감임박!] AI개발자 과정! 입문자에서 전공자까지! AI학교 아이펠 10기 합류 : https://bit.ly/3Y0ZO7Q