AI, 클라우드를 벗어나다: 온디바이스 컴퓨팅으로의 전환 데이터 (2024–2029)

지난 15년 동안 컴퓨팅은 단 한 가지 방향, 즉 클라우드로 향해 왔습니다. 하지만 이제 그 방향이 뒤바뀌고 있습니다. AI 추론(inference)의 점점 더 많은 부분이 원격 서버가 아닌 사용자의 기기(노트북, 스마트폰, 브라우저 등)에서 직접 수행되고 있습니다. 본 글은 이러한 변화가 얼마나 실질적인지, 글로벌 시장조사 기관들의 예측은 어떠한지, 그리고 그 이면에 있는 기술적·경제적 배경은 무엇인지를 객관적으로 분석합니다. 모든 수치에는 원본 출처 링크가 포함되어 있습니다.

'온디바이스 AI(On-device AI)'의 의미

구체적인 논의에 앞서 용어를 명확히 정리해 보겠습니다:

• On-device (edge) inference — 모델이 기기 자체에서 실행되며, 데이터가 외부 서버로 전송되지 않습니다.
• NPU (Neural Processing Unit) — 낮은 전력 소비로 AI 연산을 가속화하는 프로세서 내의 전용 하드웨어 블록입니다. 대중적인 하드웨어에 NPU가 탑재되기 시작하면서 로컬 AI의 실용화가 가능해졌습니다.
• SLM (Small Language Model) — 데이터 센터에 연결하지 않고도 스마트폰이나 노트북에서 작동할 수 있는 소형 언어 모델(매개변수 수십억 개 규모)입니다.

"AI가 클라우드를 떠나고 있다"는 것은 클라우드를 완전히 포기한다는 의미가 아니라, 무게 중심이 이동하고 있음을 뜻합니다. 점점 더 많은 작업이 로컬에서 처리되고, 클라우드는 무거운 연산이 필요한 경우에만 사용되는 방식으로 변화하고 있습니다.

데이터는 이미 네트워크의 가장자리(Edge)로 이동 중

가장 일반적인 지표는 데이터가 실제로 어디에서 생성되고 처리되는가입니다. 지난 2019년만 해도 기존의 중앙 집중식 데이터 센터나 클라우드 외부에서 처리되는 기업 데이터는 10% 미만이었습니다. 하지만 Gartner의 예측에 따르면, 이 비율은 2025년까지 **75%**에 달할 전망입니다.

출처: Gartner — What Edge Computing Means for Infrastructure and Operations Leaders. 2019년 수치와 2025년 예측치 비교.

이는 인프라 측면의 배경을 보여줍니다. 데이터가 물리적으로 소스, 즉 사용자와 사용자의 기기에 더 가까운 곳으로 이동하고 있는 것입니다. AI 추론 역시 다른 데이터 처리와 동일한 논리로 데이터를 따릅니다. 데이터를 네트워크를 통해 전송하는 것보다 데이터가 생성되는 곳에서 직접 연산하는 것이 더 저렴하고 빠르기 때문입니다.

하드웨어: AI-PC와 NPU가 표준이 되다

가장 실질적인 동력은 소비자용 하드웨어에 NPU가 대거 탑재되기 시작했다는 점입니다. 전용 신경망 가속기를 탑재한 소위 AI-PC는 불과 2~3년 만에 프리미엄 틈새시장에서 표준 사양으로 자리 잡고 있습니다.

IDC에 따르면, AI-PC는 2025년 전 세계 PC 출하량의 약 **40%**를 차지하고, 2027년에는 **60%**에 육박할 것으로 예상됩니다. Counterpoint Research는 이미 2026년에 NPU 탑재 노트북이 글로벌 출하량의 절반을 넘어설 것으로 전망하고 있습니다.

출처: IDC — Worldwide PC Forecast, Counterpoint Research — AI PCs to surpass half of global shipments in 2026, Computerworld.

출하량은 흐름을 보여줄 뿐입니다. 실제 사용 중인 기기 대수(설치 기반)를 보면 더욱 명확합니다. IDC의 평가에 따르면, 활성 사용 중인 컴퓨터 중 AI-PC의 비중은 **2023년 5%에서 2028년에는 94%**까지 급증할 것으로 보입니다. 불과 몇 년 뒤에는 '일반적인' 컴퓨터가 기본적으로 로컬에서 AI를 실행할 수 있게 되는 것입니다.

출처: IDC. 설치 기반 추정치, 2023년 및 2028년 예측치.

프로세서와 스마트폰: 기본 사양이 되는 로컬 AI

실리콘 칩 수준에서의 트렌드는 더욱 강력합니다. Gartner는 2029년까지 PC용 마이크로프로세서의 99% 이상에 온디바이스 AI 기능이 내장될 것으로 예측하고 있습니다. 이는 2024년의 약 15%와 비교하면 엄청난 변화입니다. 즉, 신경망 가속기의 탑재가 선택 사양이 아니라 프로세서의 기본 아키텍처의 일부가 됨을 의미합니다.

출처: Gartner — Top Predictions for IT Organizations and Users. 2024년 수치 및 2029년 예측치.

스마트폰 분야의 방향성도 동일합니다. Gartner는 이미 2027년까지 소형 모델을 통해 클라우드 연결 없이 스마트폰에서 직접 고도화된 생성형 AI를 실행할 수 있게 될 것으로 전망합니다. 그리고 이는 단순한 예측에 그치지 않고, 이미 글로벌 주요 플랫폼들이 이러한 제품들을 시장에 내놓고 있습니다:

수십억 명의 사용자를 보유한 플랫폼을 구축하는 이 세 기업이 동시에 연산 작업을 기기 자체로 이전하기 시작했다는 것은, 이것이 더 이상 일부 매니아층의 아이디어가 아니라 산업 전체의 거대한 흐름이 되었음을 보여줍니다.

이러한 변화가 지속 가능한 이유

이 트렌드의 이면에는 몇 가지 독립적인 동력이 작용하고 있으며, 이 중 어느 것도 일시적인 현상으로 보이지 않습니다:

1. 필수 요건이 된 개인정보 보호. 추론이 로컬에서 이루어지면 데이터가 기기를 벗어나지 않습니다. 의료, 금융, 법률 및 개인 메모 영역에서 이는 단순한 편의성 향상을 넘어 법적·평판 리스크를 해결해 줍니다. Google이 Gemini Nano를 가장 프라이빗한 옵션이라고 직접 부르는 이유도 데이터가 서버로 전송되지 않기 때문입니다.
2. 추론의 경제성. 타사의 GPU를 사용하면서 요청당 비용을 지불하는 방식은 확장성에 한계가 있습니다. 사용자가 이미 구매한 기기에서 연산을 수행하면 요청당 한계 비용이 발생하지 않습니다.
3. 지연 시간(Latency) 최소화 및 오프라인 작동. 로컬 모델은 즉각적으로 응답하며 네트워크 연결 없이도 작동합니다. 이는 실시간 어시스턴트 서비스에 있어 매우 치명적인 요소입니다.
4. 하드웨어의 준비 완료. 새로 출시되는 모든 노트북과 스마트폰에 NPU가 탑재되면서 핵심적인 기술 장벽이 허물어졌습니다. 불과 5년 전만 해도 로컬에서 모델을 실행하는 것은 비용이 많이 들고 속도도 느렸습니다.

이것이 바꾸는 것들

온디바이스 AI로의 전환은 모델이 연산되는 위치뿐만 아니라, 이를 둘러싼 제품의 아키텍처까지 변화시킵니다. 데이터가 굳이 클라우드로 갈 필요가 없다면, 모든 사용자의 데이터가 저장되는 단일 중앙 집중식 데이터베이스 역시 필수가 아니게 됩니다. 이러한 데이터베이스는 언제나 이중의 리스크를 안고 있습니다. 즉, 단일 장애점(SPOF)이자 공격자, 유출 사고, 외부 요청 등에 노출되는 단일 접근점이 된다는 점입니다. 기기 자체에서 더 많은 연산이 이루어질수록, 민감한 데이터를 한곳에 모아야 할 이유가 줄어듭니다.

사용자나 기업 모두에게 이는 한 가지 명확한 사실을 시사합니다. 앞으로 개인정보 보호는 개인정보 처리방침의 약속이 아닌, 시스템 아키텍처의 당연한 결과물로서 보장될 것입니다. 그리고 AI가 타인의 서버가 아닌 사용자의 곁에 존재하는 세상을 겨냥해 설계된 제품들이 시장에서 승리하게 될 것입니다.

---

투명성 고지: 본 글은 온디바이스 처리를 지원하는 화상 회의 도구를 개발하는 maxOS 팀에서 작성하였으며, 저희에게 매우 밀접한 주제입니다. 본문에 인용된 데이터는 위에 명시된 독립적인 출처의 자료이며, 왜곡 없이 전달하고자 노력했습니다. 관련 글: 목소리는 어디로 흘러가는가 및 로컬 모델 개선에 비용을 지불하는 이유.