[1120]모두에게 전하는 모두연 AI뉴스!

* Dim : 준지도 학습을 이용한 의료 이미지 세그멘테이션의 개선을 주장하다 데이터 주석 작업의 부담을 완화하는 기술로서, 준지도 학습(SSL)이 광범위한 주목을 받고 있습니다. 의료 영상 세그멘테이션이라는 특정 분야에서는, 정밀한 주석이 달린 대량의 데이터에 대한 필요성을 줄일 수 있는 능력 덕분에 준지도 방법(SSMIS)이 연구 핫스팟이 되었습니다. SSMIS는 소수의 레이블이 있는 샘플과 다수의 레이블이 없는 샘플을 활용하여 모델의 일반화 성능을 향상시키는 데 중점을 둡니다. 손실 함수의 sharpness를 줄임으로써 모델을 최적화하는 기법은 SSMIS에서 상당한 성공을 보여주었습니다. 하지만 SAM과 그 변형들은 서로 다른 데이터셋 간의 분포 차이를 완전히 고려하지 못할 수 있습니다. 이 문제를 해결하기 위해, 연구진은 준지도 의료 영상 분할을 위한 f-발산 최소화(DiM) 기반의 Sharpness aware opimization 을 제안합니다. 이 방법은 모델 매개변수의 민감도를 미세 조정하여 모델의 안정성을 향상시키고, f-발산의 도입을 통해 서로 다른 데이터셋에 대한 모델의 적응성을 개선합니다. DiM 방법은 f-발산을 줄임으로써 소스 데이터셋과 타겟 데이터셋 간의 성능 균형을 개선할 뿐만 아니라, 소스 데이터셋에 대한 과적합으로 인한 성능 저하를 방지합니다. https://arxiv.org/pdf/2411.12350 * 고급 LLM을 활용한 다중 클래스 질병 분류 성능 향상을 탐구하다 방글라데시의 대학 연합 연구진이 사전학습된 언어 모델들을 통한 다중 클래스 질병 분류의 개선을 탐구했습니다. 연구진은 5가지 의학적 상태를 포함하는 Medical-Abstracts-TC-Corpus에 대해 비암성 질환을 제외하고 4가지 특정 질병을 조사한 후, BioBERT, XLNet, BERT, 그리고 새로운 기본 모델(Last-BERT)을 포함한 4개의 LLM을 평가했습니다. 의료 데이터로 사전학습된 BioBERT는 의료 텍스트 분류에서 우수한 성능(97% 정확도)을 보여주었습니다. 의료 데이터로 사전학습되지 않았음에도 XLNet이 근소한 차이로(96% 정확도) 뒤를 이었으며, 이는 도메인 간 일반화 능력을 보여주었습니다. BERT의 경량화 버전을 기반으로 한 커스텀 모델인 LastBERT도 87.10%의 정확도로 BERT(89.33%)에 근접한 경쟁력을 보여주었습니다. 연구진은 연구를 통해 BioBERT와 같은 특화된 모델의 중요성을 확인함과 동시에, 의료 도메인 작업에서 XLNet과 같은 더 일반적인 솔루션과 더 적은 파라미터를 가진 잘 조정된 트랜스포머 아키텍처(이 경우 LastBERT)의 유용성을 뒷받침하였습니다. https://arxiv.org/pdf/2411.12712 [아이펠 12기] AI 입문부터 활용까지! 코어과정 & 눈문으로 완성하는 리서치과정 2024 마지막 개강: https://bit.ly/40T8YFx