• PRIMA.CPP : 70B급 초대형 언어모델, 가정용 장비에서도 실행 가능해진다

초대형 언어모델을 가정에서도 실행할 수 있도록 한 분산 추론 시스템 ‘prima.cpp’가 공개됐습니다. 이 시스템은 CPU와 GPU를 혼합해 사용하며, 낮은 RAM·VRAM, 일반 Wi-Fi 환경에서도 70B 모델을 안정적으로 구동할 수 있도록 설계되었습니다. mmap을 이용해 모델 가중치를 효율적으로 관리하고, 디스크 로딩 지연을 최소화하는 파이프-링 병렬 구조와 프리페칭 기법을 도입했습니다. 또한, 시스템은 연산, 메모리, 디스크 속도, 운영체제 특성을 고려해 각 레이어를 최적으로 배치하는 알고리즘 ‘Halda’를 통해 토큰 지연 시간을 줄입니다. 4개의 가정용 노드로 구성된 클러스터 실험에서는 기존 llama.cpp, exo, dllama보다 뛰어난 성능을 보였으며, 메모리 점유율은 6% 이하로 억제되었습니다. 이를 통해 Llama 3, DeepSeek R1, Qwen 2.5, QwQ와 같은 모델을 누구나 집에서도 활용할 수 있는 가능성이 열렸습니다.

https://github.com/Lizonghang/prima.cpp

• 스탠포드, AI 산업계를 총망라하는 연례 레포트 HAI Index 2025 발표

지난 7일, 스탠포드대학교 연구진이 AI 산업계를 총망라하는 연례 레포트 HAI Index 2025를 발표했습니다. HAI Index는 연간 AI의 발전 동향과 현 주소, 그로 인해 사회, 경제등에 직간접적으로 미치는 영향을 분석하고 있습니다. 레포트는 다음 10가지의 주요 의제를 다루고 있습니다.

• AI 성능, 벤치마크에서 비약적 향상

  • 2023년에 도입된 MMMU, GPQA, SWE-bench 등의 새로운 벤치마크에서 AI 성능이 1년 만에 최대 67.3%포인트 상승하였습니다. 일부 프로그래밍 과제에서는 제한된 시간 내 인간보다 뛰어난 결과를 보이기도 했습니다.

• AI, 실험실을 넘어 일상 속으로

  • 미국 FDA는 2023년에만 AI 기반 의료기기 223건을 승인하였고, Waymo는 매주 15만 건 이상의 자율주행 차량 운행을 제공하고 있습니다. 중국의 바이두 또한 로봇택시 ‘Apollo Go’를 통해 다수 도시에서 서비스를 제공 중입니다.

• 기업들의 AI 도입 가속화… 투자 규모 역대 최대

  • 2024년 미국의 민간 AI 투자는 1,091억 달러로, 중국(93억 달러)보다 약 12배, 영국(45억 달러)보다 24배 많았습니다. 생성형 AI 분야에만 전 세계적으로 339억 달러가 투자되었으며, 기업의 AI 활용률은 78%로 전년 대비 23%포인트 증가했습니다.

• AI 선도국 미국, 중국은 성능 격차 빠르게 좁혀

  • 2024년 기준 미국은 40개의 주목할 만한 AI 모델을 공개해 수적 우위를 유지하고 있으나, 중국의 모델 성능은 빠르게 미국과 대등한 수준에 근접하고 있습니다. 중국은 여전히 논문 및 특허 등록 수에서 1위를 차지하고 있습니다.

• 책임 있는 AI의 필요성 커지지만, 산업계 대응은 미흡

  • AI 관련 사고가 증가하고 있으나, 주요 기업들 사이에서는 여전히 표준화된 책임감 있는 AI 평가가 드물게 이루어지고 있습니다. 다만 HELM Safety, AIR-Bench, FACTS와 같은 새로운 평가 도구들이 도입되고 있는 점은 긍정적인 신호입니다.

• AI에 대한 글로벌 인식은 낙관적으로 변화 중

  • 중국(83%), 인도네시아(80%), 태국(77%) 등에서는 AI가 긍정적이라는 인식이 높은 반면, 미국(39%), 캐나다(40%), 네덜란드(36%) 등은 비교적 낮은 편입니다. 하지만 전반적으로는 낙관적 인식이 상승세를 보이고 있습니다.

• AI 성능은 높이고, 비용은 낮추는 추세 가속화

  • GPT-3.5 수준의 성능을 구현하는 시스템의 추론 비용은 2년 사이 280배 감소했으며, 하드웨어 비용은 연간 30%씩 줄고 있습니다. 오픈소스 모델의 성능은 상용 모델과의 격차를 1.7%까지 줄이며 빠르게 따라잡고 있습니다.

• 각국 정부, AI 관련 규제 및 투자 확대

  • 2024년 미국 연방기관은 AI 관련 규제를 총 59건 발표하였으며, 이는 전년 대비 2배 이상 증가한 수치입니다. 중국, 프랑스, 캐나다, 인도 등도 대규모 투자 계획을 발표하며 AI 산업 육성에 박차를 가하고 있습니다.

• AI 교육은 확산 중이나, 접근 격차는 여전

  • 전 세계 국가 중 3분의 2는 초·중등 코딩 및 컴퓨터과학 교육을 도입하거나 계획 중입니다. 미국에서는 컴퓨터공학 학사 졸업생 수가 10년간 22% 증가했지만, 일부 국가에서는 전력이나 인프라 부족으로 교육 접근성이 낮은 상황입니다.

• AI 산업 경쟁 심화… 기술 격차는 좁혀지는 중

  • 2024년 주목받은 AI 모델의 90%는 산업계에서 개발된 것으로, 전년 대비 30% 증가했습니다. 상위 모델 간 성능 차이는 지속적으로 줄어들고 있으며, AI 최전선 경쟁이 갈수록 치열해지고 있습니다.

    
    

https://hai.stanford.edu/ai-index/2025-ai-index-report