온디바이스 AI 하드웨어 및 소프트웨어 기술개발 동향

요즘들어 온디바이스AI 관련 뉴스와 소식을 종종 접하게 되는 거 같습니다. 기존의 IoT와는 어떻게 다른지 현재 동향은 어떤지 브리프하게 살펴보고자 합니다. 1. 온 디바이스(On-device) AI란? * 원격의 클라우드 서버를 거치지 않고 스마트기기 자체적으로 정보를 수집하고 연산 * 디바이스 성능 향상으로 자체 데이터 처리 기능 향상 + 5G의 빠른 네트워크로 고용량 데이터 수집 가능 + AI 기술의 발달 * 데이터 처리를 엣지단에서 진행함으로써 클라우드와 망의 부하를 최소화하면서 즉각적인 지능형 서비스 제공이 가능하 다는 점에서 지능형 IoT의 핵심기술 중 하나 2. 온디바이스 AI 하드웨어 기술개발 동향 * 인공지능 네트워크 연산에 최적화된 하드웨어와 뉴로모픽 기술을 활용한 하드웨어 기술 연구 개발 ** 뉴로모픽 기술이란? 하드웨어적으로 인간의 뇌(뉴런) 구조를 모사함으로써 단순 사칙연산을 넘어 인간과 유사하게 고등 사고를 수행하는 하드웨어 개발을 목표로 하는 기술 * 뉴로모픽 칩 내 뉴런 자체를 학습시키고 추론 사용 vs 행렬로 이루어진 인공지능 네트워크를 기반으로 학습과 추론을 수행하는 GPU(General Processing Unit) 기반 하드 웨어 1) 국내 동향 * 네패스: 뉴로모픽 기술에 집중하여 엣지 및 디바이스에서 사용 가능한 인공지능 가속기 기술 개발. 2018년 뉴로모픽 칩 세계 최초로 뉴로모픽 칩 기반 가속 모듈인 NM500 출시 * 삼성전자: NPU(Neural Processing Unit; 신경망처리장치) 칩 개발. 2018년 엑시노스 9820에 첫 탑재. 2019년 엑시노스 9825, 2020년 엑시노스 10시리즈 탑재 * LG전자: 전 등에서 온디바이스 AI를 수행할 수 있도록 LG8111 AI SoC 솔루션 개발. LG8111 칩은 엘지가 독자적으로 개발했으며, 비전 관련 작업 가속기 및 음성 관련 작업 가속기를 탑재하여 가전에서 필요한 영상 및 음성 AI 분석을 지원 2) 해외 동향 * 애플: 뉴럴 엔진이라는 NPU를 독자적으로 개발하여 AP(Application Processor)와 통합된 형태로 제품 출시. 2017년 A11 SoC 초당 6,00억개 명령 수행 / A12 SoC는 초당 5조개, 8코어 기반 / A13 AMX블록 / A14 16코어 기반 뉴럴 엔진 최초 탑재 / A15 43% 성능 향상 * 퀄컴: 2013년 제로스(Zeroth) NPU 개발했으나 NPU 미탑재 * 엔비디아: AI 가속을 위한 Volta GPU 아키텍처를 기반으로 범용 GPU인 GPGPU를 개발. 자율주행을 위한 솔루션으로는 Drive AGX 시리즈를 출시. 2018년부터 NVDLA(NVIDIA Deep Learning Accelerator)라는 오픈소스로 공유 * 인텔: NPU 대신 NNP(Neural Network Processor) 라는 용어 사용. 2019년 AI 모델 훈련 과 추론에 각각 특화된 NNP-T 및 NNP-I를 출시. 영상처리 관련 AI 수행에 최적화된 Movidius Myriad X VPU출시 * 테슬라: 자사의 핵심 기능인 자율주행을 위해 NPU를 탑재한 자체 칩인 FSD(Full Self- Driving) 칩을 개발. 2019년 테슬 라 모델 3에 적용되기 시작 * ARM: 온디바이스 AI를 위한 microNPU 제품군을 개발. 클라우드부터 엣지에서 사용 가능한 고사양의 Ethos-U 시리즈와 디바이스에서 사용 가능한 저전력의 Ethos-N 시리즈 출시 * 구글: 엣지 TPU를 개발. 이를 기반으로 개발보드, USB/Mini PCIe형 엣지 TPU 등으로 이루어진 Coral 개발용 키트 제품군 제공 3. 온디바이스 AI 소프트웨어 기술개발 동향 * 서버와 연결 없이 단말에서 AI 연산을 수행함으로써 개인정보 보호 및 반응성 향상을 위한 기술 * 온디바이스 환경 전용 경량화된 AI 모델 및 추론 기술 & 기존 AI 모델을 경량화 하는 기술 1) 국내 기술 동향 * 하이퍼커넥트: 모바일 기반 영상 채팅인 Azar를 서비스를 위한 다양한 온디바이스 AI 기술을 개발하여 Azar에 적용. 영상 처리를 수행하는 모바일 증강현실 그래픽 플랫폼 HyperGraphics, 딥러닝 기반 이미지 처리를 위한 플랫폼인 HyperML 등 * 삼성리서치: 리눅스의 영상 파이프라인 프레임워크인 GStreamer를 기반으로 뉴럴 네트 워크 파이프라인 프레임워크인 NNStreamer를 오픈소스로 개발 2) 해외 기술 동향 * 구글: 경량 딥러닝 네트워크 추론 엔진인 텐서플로라이트를 개발해 온디바이스 환경에서 리소스 사용을 최소화 하면서 AI 추론을 수행. 연합학습 프레임워크를 개발하여 디바이스 레벨에서 머신러닝 학습을 수행. 비전 AI 관련 기능과 자연어 처리 기능을 제공하는 ML Kit을 개발 * 애플: 이미지, 비디오, 사운드 등 미디어 분석을 위해 설계된 첨단 신경망과 같은 AI 모델을 지원하는 Core ML 라이브러리를 제공. 텐서플로나 PyTorch와 같은 라이브러리의 모델을 Core ML로 변환하는 기능도 제공 * 엔비디아: 고성능 딥러닝 추론을 위한 SDK로 임베디드 환경에서 학습된 모델을 기반으로 실시간 추론 및 실시간 모델 업데이트 기능을 제공하는 TensorRT 개발 * ARM: 사의 하드웨어에 최적화하여 온디바이스 환경 비전 및 AI 분석을 지원하는 라이 브러리 ACL(Arm Compute Library) 제공 * 퀄컴: 모바일에서 자주 사용되는 비전 분석 기능을 최적화한 FastCV 라이브러리를 개발. VeNum이라고 하는 멀티미디어 처리 엔진을 통해 고성능 실수 연산을 지원. 스냅드래곤 AP에 서 고효율 AI 모델 처리를 지원하는 Neural Processing SDK와 AI 모델 압축을 수행하여 온디바이스 AI를 지원하는 AIMET(AI Model Efficiency Toolkit)을 제공 4. 마무리 온디바이스 AI의 최종 목적지는 지능형 반도체 기술과 경량형 AI 기술의 발전을 통해 충분한 저전력화ᆞ고효율화ᆞ소형화를 기반으로 모든 지능형 사물들이 자체적으로 고수준 의 AI 분석을 수행하는 단계로 나아가는 것이다. 자동차, 로봇, 드론, 스마트폰 등 충분한 컴퓨팅 파워를 갖춘 고가의 디바이스뿐만 아니라 CCTV, 인공지능 스피커부터 커피포트, 선풍기 등의 저가의 디바이스들도 고수준의 AI 서비스를 자체적으로 제공하게 되는 것이다. [참고] * IITP(정보통신기획평가원) - https://www.iitp.kr/kr/1/knowledge/periodicalViewA.it?searClassCode=B_ITA_01&masterCode=publication&identifier=1211 * 삼성전자 - https://semiconductor.samsung.com/kr/news-events/tech-blog/on-device-ai-next-generation-of-deep-learning-technology/ * Zdnet - 손안의 '자비스'가 현실로?...온디바이스AI 시대 도래(https://zdnet.co.kr/view/?no=20231201103711)