온디바이스 AI

클라우드 GPU에 매번 요청을 보내는 대신, 디바이스 내장 NPU·GPU가 모델 추론을 처리한다. 응답 지연이 짧고, 개인 데이터가 외부로 나가지 않으며, 오프라인에서도 작동한다. Apple Silicon, Qualcomm Snapdragon, Samsung Exynos 같은 SoC들이 NPU를 탑재해 온디바이스 추론을 지원하고 있고, 모델 측에서는 양자화·증류·LoRA 등 경량화 기술이 함께 발전 중이다. 엣지 AI와 거의 같은 의미로 쓰이지만, 엣지 AI가 IoT·산업 현장 단말까지 포함한다면 온디바이스 AI는 사용자 단말 중심의 표현이다.