• 말하는 대로 만들어지는 AI 시뮬레이션, FACTORSIM으로 강화 학습의 미래를 열다

이 논문에서는 텍스트 설명을 기반으로 강화 학습 에이전트 훈련에 사용될 수 있는 코드 형태의 완전한 시뮬레이션을 생성하는 프레임워크인 FACTORSIM을 제안합니다. 핵심 아이디어는 입력 프롬프트를 일련의 단계로 분해하고, 각 단계별로 필요한 컨텍스트 정보만 선택하여 추론 복잡성을 줄이는 것입니다. 이를 위해 부분 관측 마르코프 결정 프로세스(POMDP)의 팩터 그래프 표현을 사용하고, 모델-뷰-컨트롤러 소프트웨어 디자인 패턴을 활용하여 생성 프로세스를 구조화합니다. 또한, 생성된 시뮬레이션 코드의 정확성과 강화 학습 환경에서의 제로샷 전이 능력을 평가하기 위한 새로운 벤치마크를 제시합니다. 실험 결과, FACTORSIM은 기존 방법들보다 프롬프트 정렬, 제로샷 전이 능력, 인간 평가 측면에서 우수한 성능을 보였으며, 로봇 작업 생성에도 효과적으로 적용될 수 있음을 보여주었습니다.

https://arxiv.org/abs/2409.17652

• DarkSAM: SAM의 눈을 가리다! - 프롬프트 없는 범용적 공격 프레임워크

이 논문에서는 Segment Anything Model(SAM)을 속여서 어떤 객체도 분할하지 못하도록 하는 프롬프트 없는 범용적 공격 프레임워크인 DarkSAM을 제안합니다. DarkSAM은 의미 분리 기반 공간 공격과 질감 왜곡 기반 주파수 공격으로 구성됩니다. 먼저 SAM의 출력을 전경과 배경으로 분할하고, 그림자 목표 전략을 통해 이미지의 의미 청사진을 공격 목표로 설정합니다. DarkSAM은 공간 및 주파수 도메인 모두에서 이미지의 중요한 객체 특징을 추출하고 파괴하여 SAM을 속입니다. 공간 도메인에서는 이미지의 전경과 배경의 특징을 파괴하여 SAM을 혼란스럽게 하고, 주파수 도메인에서는 이미지의 고주파 성분(텍스처 정보)을 왜곡하여 공격 효과를 높입니다. 결과적으로, 단일 UAP를 통해 DarkSAM은 다양한 이미지와 프롬프트에 대해 SAM이 객체를 분할하지 못하도록 만듭니다. SAM과 두 가지 변형 모델에 대한 실험 결과는 DarkSAM의 강력한 공격 능력과 전이성을 보여줍니다.

https://arxiv.org/abs/2409.17874

데이터사이언티스트 취업, 전문 매니저가 알려드려요! 세미나 참여하려면? https://bit.ly/3YBFXNf