NPU — 클라우드를 떠나 주머니 속으로 들어온 AI, Neural Processing Unit 약어

 

NPU — 클라우드를 떠나 주머니 속으로 들어온 AI, Neural Processing Unit 약어

NPU(엔피유) 는 Neural Processing Unit(신경망 처리 장치) 의 영어 약자. AI 모델, 특히 신경망(neural network) 연산을 전용으로 처리하는 반도체 칩 카테고리.

영어 뜻

영어 뜻

NPU	Neural Processing Unit 약자
Neural Processing Unit	신경망 처리 장치
AI accelerator	AI 가속기
On-device AI chip	온디바이스 AI 칩
Edge AI processor	엣지 AI 프로세서
Tensor core	텐서 코어
Inference engine	추론 엔진

대중에게는 갑자기 알려진 단어지만, 솔직히 NPU 없이는 스마트폰 얼굴 인식, 음성 비서, 카메라 AI 기능, 자율주행 인지 시스템 모두 불가능하다. iPhone 15 Pro, Galaxy S24, Microsoft Copilot+ PC, Tesla FSD — 모든 AI 기능 디바이스가 NPU로 작동한다.

NPU의 진짜 가치

사실 평가

온디바이스 AI 시대의 진짜 핵심 칩	★★★★★
스마트폰·노트북·자동차 모두 탑재 시작	★★★★★
GPU 대비 약 10배 전력 효율	★★★★★
2030년 글로벌 시장 약 $100B 예상	★★★★★
클라우드 AI에서 디바이스 AI로 진짜 패러다임 전환	★★★★★
한국 스타트업이 글로벌 톱티어 경쟁자로 진입	★★★★★

CPU·GPU·NPU — 진짜 기술적 차이 심층 비교

세 칩이 다른 이유는 연산 방식, 데이터 흐름, 정밀도가 근본적으로 다르기 때문. 영어 반도체 영어 핵심 비교.

연산 모델 (Computing Model)

구분 CPU GPU NPU

모델	MIMD	SIMT	MAC + Systolic Array
풀네임	Multiple Instruction Multiple Data	Single Instruction Multiple Threads	Multiply-Accumulate, 시스톨릭 배열
코어 수	4 ~ 64개	수천 ~ 10만 개	수천 ~ 수만 MAC unit
클럭	3 ~ 5 GHz	1 ~ 2 GHz	약 1 GHz
비유	박사 16명이 각자 다른 문제 풀기	학생 1만 명이 같은 문제 동시에 풀기	곱셈만 하는 공장 라인 10,000개

CPU는 복잡한 분기·조건문을 다루는 범용 두뇌. GPU는 같은 연산을 수천 개 동시에 돌리는 병렬 두뇌. NPU는 행렬 곱셈 한 가지에만 특화된 두뇌. 신경망의 99%가 행렬 곱셈이라는 사실이 NPU 존재 이유.

메모리 아키텍처 (Memory Architecture)

구분 CPU GPU NPU

메모리 종류	DDR4/DDR5	HBM, GDDR6	SRAM (on-chip) 최대화
대역폭	약 50 GB/s	약 1,000 ~ 5,000 GB/s	가중치 on-chip 보관
캐시	L1, L2, L3 계층	큰 L1, 작은 L2	SRAM 대용량 + 가중치 정적 보관
핵심 전략	캐시 미스 최소화	대역폭 극대화	외부 메모리 접근 최소화

핵심 영어 용어: "data movement is 90% of energy"(데이터 이동이 전력의 90%). NPU가 GPU보다 효율적인 진짜 이유는 가중치(weight)를 SRAM에 보관해 외부 메모리 접근을 거의 없애기 때문.

정밀도 (Precision)

구분 CPU GPU NPU

주 정밀도	FP32 / FP64	FP32 / FP16 / BF16	INT8 / INT4 / FP16
비트 수	32 / 64	16 / 32	4 / 8 / 16
정확도	매우 높음	높음	충분 (AI 추론에는)
효율	낮음	보통	매우 높음

NPU의 진짜 비결: AI 모델은 INT8(8비트 정수)로 양자화(quantization)해도 정확도 손실이 거의 없음. 비트 수가 4배 줄면 메모리는 4배 작아지고, 연산기는 4배 빨라지고, 전력은 16배 줄어듦.

전력 효율 (Power Efficiency)

구분 CPU GPU NPU

전력	10 ~ 100W	100 ~ 700W	1 ~ 10W
TOPS/W	약 0.1 ~ 1	약 5 ~ 30	약 30 ~ 100 ★★★★★
스마트폰 사용 가능	△	✕	○
배터리 수명 영향	보통	치명적	미미

NPU가 GPU보다 TOPS/W(전력당 성능)이 약 3~10배 높아서 스마트폰·노트북에 들어갈 수 있음. NVIDIA H100을 폰에 넣으면 1초 만에 배터리가 다 닳는다.

응용 영역

응용 CPU GPU NPU

OS·앱 실행	★★★★★	—	—
게임 그래픽	—	★★★★★	—
AI 모델 학습 (training)	△	★★★★★	△
AI 모델 추론 (inference)	△	★★★	★★★★★
모바일 AI 기능	—	—	★★★★★
자율주행 실시간 추론	—	△	★★★★★

진짜 핵심 영어: "Training is GPU territory, inference belongs to NPU."(학습은 GPU의 영역이고 추론은 NPU의 영역이다.) — AI 인프라 컨퍼런스 영어 매일 등장.

한 줄 비교

CPU는 다양한 일을 처리하는 박사, GPU는 같은 일을 대규모로 처리하는 군대, NPU는 한 가지 곱셈만 극도로 잘하는 전문가.

NPU Big 5 — 글로벌 지배

기업 국가 NPU 제품 탑재 디바이스

Apple	미국	Neural Engine	iPhone, iPad, Mac
Qualcomm	미국	Hexagon NPU	Snapdragon (Android)
Samsung	한국	Exynos NPU	Galaxy
Google	미국	TPU (Tensor Processing Unit)	Pixel, 데이터센터
Intel	미국	NPU (Meteor Lake)	AI PC

영어 반도체 산업 영어 매일 등장.

Apple Neural Engine — 진짜 1위

Apple Neural Engine(애플 뉴럴 엔진) 이 모바일 NPU 시장의 진짜 선구자.

사실 값

첫 탑재	2017년 A11 Bionic (iPhone 8)
현재 (M4 / A18 Pro)	약 38 TOPS
코어 수	16-core (M4)
응용	Face ID, Siri, 카메라, Apple Intelligence
2024년 Apple Intelligence	온디바이스 AI ★★★★★

Apple Neural Engine 핵심 기능

기능 용도

Face ID	얼굴 인식
Siri 음성 처리	자연어 인식
Smart HDR	카메라 AI
Deep Fusion	사진 합성
Live Text	이미지 텍스트 인식
Apple Intelligence	LLM 추론 (2024~)

Qualcomm Hexagon NPU — Android 진짜 강자

Qualcomm Hexagon NPU(퀄컴 헥사곤) 이 Android 진영의 진짜 핵심 NPU.

사실 값

첫 탑재	2007년 (DSP로 시작)
현재 (Snapdragon 8 Gen 3)	약 45 TOPS
진화	DSP → NPU
Snapdragon X Elite (PC용, 2024)	약 45 TOPS
응용	Galaxy S24 등 모든 플래그십

Google TPU — 데이터센터 진짜 강자

Google TPU(텐서 프로세싱 유닛) 가 데이터센터 NPU의 진짜 원조.

사실 값

첫 발표	2016년 (v1)
현재	TPU v5p (2023)
성능	약 459 TFLOPS (BF16)
응용	Google Search, YouTube, Gemini, Bard
외부 판매	Google Cloud에서만

TPU는 데이터센터 NPU의 진짜 원조 — Google이 2015년 내부 개발 시작.

Tesla FSD Chip — 자율주행 진짜 사례

Tesla FSD Chip(테슬라 FSD 칩) 이 자율주행 NPU의 진짜 성공 사례.

사실 값

첫 탑재	2019년 (HW3.0)
현재	HW4.0 (2023)
성능	약 144 TOPS (HW3.0)
코어 수	2× NPU (이중화)
응용	Tesla FSD, Autopilot

NPU 핵심 영어 — TOPS

"TOPS(톱스)" 가 영어 NPU 영어 핵심 단위. Tera Operations Per Second의 약자.

영어 뜻

TOPS	Tera Operations Per Second
1 TOPS	초당 1조 회 연산
TFLOPS	Tera Floating-Point Operations
INT8 TOPS	8비트 정수 기준
FP16 TOPS	16비트 부동소수점 기준

NPU 성능 비교 (2024)

기기·칩 TOPS

Apple M4 (NPU)	약 38 TOPS
Snapdragon 8 Gen 3	약 45 TOPS
Snapdragon X Elite	약 45 TOPS
Intel Lunar Lake	약 48 TOPS
AMD Ryzen AI 300	약 50 TOPS
Microsoft Copilot+ PC 기준	40 TOPS 이상

영어 반도체 산업 영어 매일 등장.

"On-Device AI" — 진짜 핵심 영어

"on-device AI(온디바이스 AI)" 가 NPU 시대 영어 반도체 영어 핵심 표현.

영어 뜻

on-device AI	디바이스 내 AI
edge AI	엣지 AI
client-side AI	클라이언트 AI
local LLM	로컬 LLM
private AI	사적 AI

vs 클라우드 AI

구분 클라우드 AI 온디바이스 AI

처리 위치	데이터센터 GPU	디바이스 NPU
지연	100ms+	10ms 이하
프라이버시	데이터 전송	로컬 처리
비용	구독·사용량	칩 가격에 포함
인터넷 필요	필수	불필요

NPU + LLM — 진짜 혁명

"on-device LLM(온디바이스 LLM)" 이 NPU 영어 최신 핵심 용어.

사실 평가

Apple Intelligence (2024)	iPhone에서 LLM 추론 ★★★★★
Snapdragon X Elite	Windows에서 LLM ★★★★★
모델 크기	약 3B~7B 파라미터 (디바이스용)
Llama 3 8B	NPU 추론 가능
Microsoft Phi-3	NPU 최적화 모델

진짜 변화

시기 변화

2023 이전	LLM = 클라우드 (ChatGPT)
2024	LLM = 디바이스 (Apple Intelligence)
2026 (예상)	모든 폰·PC에 NPU 표준 탑재
2030 (예상)	LLM의 50% 이상 온디바이스

영어 반도체 산업 영어 최신 매일 등장.

NPU의 진짜 시장 가치

사실 평가

글로벌 NPU 시장 약 $15B (2024)	★★★★★
2030년 약 $100B 예상	★★★★★
연평균 성장률 약 35%	★★★★★
AI PC 시장 약 $50B (2027 예상)	★★★★★
모든 플래그십 스마트폰에 NPU 탑재	★★★★★

NPU는 반도체 산업의 새로운 진짜 성장축. AI 시대 가장 빠르게 커지는 카테고리.

NPU 시대의 HBM 수요 — 한국 메모리 산업의 진짜 운명

여기서 한국 반도체 산업의 진짜 핵심 질문이 나온다. NPU가 디바이스로 들어가면 HBM(High Bandwidth Memory) 수요는 줄어드는가? 정반대다 — 오히려 폭증한다. 이유는 NPU와 GPU가 서로 다른 영역을 차지하기 때문.

핵심 분업 구조 — Training vs Inference

영역 사용 칩 메모리 위치

모델 학습 (Training)	GPU (NVIDIA H100/B200)	HBM 필수 ★★★★★	데이터센터
데이터센터 추론	GPU + 데이터센터 NPU	HBM 사용 ★★★★	데이터센터
디바이스 추론	모바일 NPU	SRAM (on-chip)	스마트폰·PC

핵심 영어: "NPU complements GPU, not replaces it."(NPU는 GPU를 대체하는 게 아니라 보완한다.) 모바일 NPU는 HBM이 필요 없지만, 데이터센터의 학습용 GPU와 대형 추론용 NPU는 여전히 HBM이 필수.

NPU가 와도 HBM 수요가 진짜 늘어나는 5가지 이유

이유 설명

LLM 모델 크기 폭증	GPT-3 175B → GPT-4 1.8T → 차세대 10T 파라미터
모델당 HBM 용량 4배씩 증가	H100 80GB → B200 192GB → 차세대 288GB
데이터센터 GPU 출하 폭증	NVIDIA 2024년 H100/B200 약 200만 개
데이터센터 NPU도 HBM 채택	Google TPU v5p — HBM3 사용
추론 시장 자체가 커짐	학습 1회 → 추론 수십억 회

진짜 의미: NPU 시대가 와도 데이터센터 GPU+NPU 수요가 5~10배 늘면서 HBM 수요는 연 50%씩 성장 중.

HBM 세대별 진화 — AI 시대 황금 사이클

세대 출시 대역폭 용량 주요 사용

HBM2	2016	256 GB/s	8GB	NVIDIA V100
HBM2E	2019	460 GB/s	16GB	NVIDIA A100
HBM3	2022	819 GB/s	24GB	NVIDIA H100
HBM3E	2024	1,200 GB/s	36GB	NVIDIA B200, AMD MI300X
HBM4	2025~2026	1,500+ GB/s	48~64GB	차세대 GPU/NPU

영어 반도체 산업 영어 매일 등장. "HBM is the new oil of AI."(HBM은 AI 시대의 새로운 석유다.)

NPU vs HBM — 진짜 시너지 관계

구분 모바일 NPU 데이터센터 GPU/NPU

메모리	SRAM (on-chip)	HBM (외부)
모델 크기	3B~7B 파라미터	100B~10T 파라미터
응용	사용자 디바이스	클라우드 인프라
시장 가치	약 $15B (2024)	약 $50B (2024)
한국 강점	스타트업 (Rebellions·FuriosaAI)	메모리 (SK하이닉스·삼성)

한국의 진짜 행운: 디바이스 단에서는 NPU 스타트업(Rebellions, FuriosaAI)으로, 데이터센터 단에서는 HBM 강자(SK하이닉스, 삼성)로 AI 반도체 두 축 모두 강자. EDA·EUV 장비는 약하지만 NPU+HBM 조합에서는 진짜 글로벌 핵심.

한국 메모리의 진짜 미래 — HBM은 안 떨어진다

시기 HBM 시장 예상

2024	약 $25B
2025	약 $40B
2026	약 $60B
2027	약 $80B
2030	약 $150B

연평균 약 35% 성장. NPU 시대가 가속화할수록 HBM 수요는 더 늘어난다.

한 줄 결론 — NPU 시대 = HBM 황금기

모바일 NPU는 HBM이 필요 없지만, NPU 시대를 만든 LLM 학습용 GPU와 데이터센터 NPU는 HBM이 더 필요해진다. NPU와 HBM은 경쟁 관계가 아니라 AI 반도체 산업의 두 기둥이다. 한국은 NPU 스타트업(Rebellions·FuriosaAI)과 HBM 강자(SK하이닉스·삼성)로 두 기둥 모두에 진짜 핵심 자산을 보유한 유일한 국가다.

한국 NPU 산업 — 진짜 글로벌 톱티어 클러스터

솔직히 한국 NPU 산업 = 글로벌 NVIDIA 다음으로 가장 활발한 스타트업 생태계.

사실 평가

한국 NPU 스타트업 글로벌 톱티어 평가	★★★★★
Rebellions·FuriosaAI 등 글로벌 MLPerf 벤치마크 진입	★★★★★
삼성 파운드리 5nm·4nm로 직접 제조	★★★★★
정부 K-AI Semiconductor 정책 약 $9B 투자	★★★★★
Naver·KT·SK텔레콤·삼성 모두 국산 NPU 도입	★★★★★
글로벌 투자 누적 약 $500M 이상	★★★★★

진짜 의미: NPU는 한국이 EDA·EUV 장비 약점을 만회할 수 있는 새 영역. EDA에서는 한국이 글로벌 톱5에 없지만, NPU에서는 진짜 강자.

한국 NPU 스타트업 — 글로벌 톱티어

기업 설립 핵심 제품 진짜 강점

Rebellions(리벨리온)	2022	ATOM(2023), REBEL(2024)	데이터센터 NPU, KT·삼성 도입, 누적 투자 약 $200M
FuriosaAI(퓨리오사AI)	2017	Warboy(2022), RNGD(2024)	LLM 추론 특화, MLPerf NVIDIA H100과 경쟁, 누적 투자 약 $115M
DEEPX(딥엑스)	2018	DX-M1(2024)	엣지 AI 특화, 보안·로봇·IoT
Sapeon(사피온)	2016	X220(2020), X330(2023)	SK텔레콤 spinoff, 데이터센터·서버
MOREH(모레)	2020	AI 인프라 소프트웨어 + 하드웨어	KT-Cloud AI 클러스터

영어 반도체 산업 영어 매일 등장.

Rebellions — 한국 진짜 1위

Rebellions(리벨리온) 이 한국 NPU 스타트업의 진짜 대표주자.

사실 값

설립	2022년 (박성현 CEO)
첫 제품	ATOM (2023) — 데이터센터 NPU
최신 제품	REBEL (2024) — LLM 추론 특화
제조	삼성 파운드리 5nm
도입 사례	KT, 사우디 아람코 협력
누적 투자	약 $200M
글로벌 평가	NVIDIA·Cerebras·Tenstorrent와 함께 톱티어 ★★★★★

ATOM은 글로벌 MLPerf 벤치마크에서 정식 결과 제출한 한국 첫 NPU. 진짜 의미 큼.

FuriosaAI — LLM 진짜 강자

FuriosaAI(퓨리오사AI) 가 LLM 추론 NPU의 진짜 글로벌 경쟁자.

사실 값

설립	2017년 (백준호 CEO, 전 삼성·AMD·퀄컴)
첫 제품	Warboy (2022) — Vision NPU
최신 제품	RNGD (2024) — LLM 추론
제조	삼성 파운드리 5nm
벤치마크	MLPerf Inference 글로벌 진입
비교 대상	NVIDIA H100, L40S
누적 투자	약 $115M

RNGD는 Llama 3.1, GPT-J 같은 LLM 모델 추론에서 NVIDIA H100과 진짜 경쟁. 영어 AI 컨퍼런스 매일 등장.

글로벌 NPU 스타트업 톱5 — 한국 2개 진입

순위 기업 국가

1	NVIDIA (GPU + NPU 통합)	미국
2	Cerebras	미국
3	Rebellions	한국
4	Tenstorrent	캐나다
5	FuriosaAI	한국

(기타: Groq, SambaNova, Graphcore, Mythic 등 미국·영국 스타트업)

솔직히: 글로벌 NPU 스타트업 톱5에 한국 2개 진입. EDA에서는 한국이 없지만 NPU에서는 진짜 강함.

Samsung NPU — 한국 진짜 강자

Samsung Exynos NPU가 한국 반도체 진짜 자산.

사실 값

첫 탑재	2018년 Exynos 9820
현재 (Exynos 2400)	약 17 TOPS
Galaxy S24 (글로벌)	Snapdragon 또는 Exynos
차세대 Exynos 2500	2025 예정

한국 정부 K-AI Semiconductor 전략

항목 값

예산	약 $9B (2030년까지)
목표	NPU 글로벌 시장 점유 약 10%
산업단지	광주 AI 산업단지
대학 NPU 인력 양성	서울대·KAIST·POSTECH
핵심 정책	국산 NPU 우선 도입

진짜 의미: NPU는 한국이 EDA 약점을 만회할 수 있는 새 영역. 정부 정책이 진짜 본격적.

NPU의 진짜 미래 — 솔직 전망

시기 예상

2025	모든 플래그십 스마트폰 NPU 표준
2026	AI PC 시장 본격 폭발
2027	자동차 NPU 필수
2030	NPU 성능 1,000 TOPS 시대
2035	클라우드 LLM 대부분 디바이스로

NPU는 AI 시대 가장 빠르게 성장할 진짜 반도체 카테고리.

NPU 영어 격언

영어 반도체 산업 격언:

"The future of AI is not in the cloud — it's in your pocket." AI의 미래는 클라우드가 아니라 당신 주머니 속에 있다.

영어 AI 컨퍼런스 영어 매일 등장. NPU 시대의 진짜 가치를 정확히 표현.

NPU 핵심 용어 정리

영어 한글 표기 뜻

NPU	엔피유	신경망 처리 장치
TPU	티피유	Tensor Processing Unit (Google)
GPU	지피유	Graphics Processing Unit
TOPS	톱스	초당 조 단위 연산
INT8	인트에잇	8비트 정수
FP16	에프피식스틴	16비트 부동소수점
LLM	엘엘엠	Large Language Model
Inference	인퍼런스	AI 추론
Training	트레이닝	AI 학습
Edge AI	엣지 AI	디바이스 단 AI
MAC	맥	Multiply-Accumulate
Quantization	퀀티제이션	양자화
Systolic Array	시스톨릭 어레이	NPU 핵심 구조
HBM	에이치비엠	High Bandwidth Memory

영어 반도체 산업 영어 매일 등장.

NPU vs GPU — 영어 비교 영어

"NPU vs GPU" 가 영어 반도체 영어 핵심 비교.

구분 NPU GPU

주 용도	추론(inference)	학습(training)
전력	1W~10W	100W~700W
가격	$5~$50 (칩)	$1,000~$40,000
위치	디바이스 내장	데이터센터
대표	Apple Neural Engine	NVIDIA H100

점유율 (AI 가속기 시장)

카테고리 점유

NVIDIA GPU (데이터센터)	약 80%
Google TPU	약 5%
모바일 NPU 전체	약 10%
기타 (AMD, Intel, 스타트업)	약 5%

영어 반도체 산업 영어 매일 등장.

NPU 비즈니스 모델 — 영어 비즈니스 영어

NPU 회사들의 비즈니스 모델.

모델 가치

SoC 내장 NPU (Apple, Qualcomm)	칩 가격에 포함 ★★★★★
Standalone NPU (Rebellions)	독립 칩 판매 ★★★★
클라우드 NPU 서비스 (Google TPU)	시간당 과금 ★★★★
NPU IP 라이센스 (Arm, Cadence)	로열티 ★★★★
NPU SDK·툴체인	소프트웨어 ★★★

영어 비즈니스·반도체 영어 매일 등장.

영어 약어 표준 표기

영어 약어 한글 표기

NPU	엔피유
TPU	티피유
GPU	지피유
TOPS	톱스
LLM	엘엘엠
SoC	에스오씨
INT8	인트에잇
FP16	에프피식스틴
MAC	맥
HBM	에이치비엠

한 줄 결론

NPU (Neural Processing Unit·엔피유) = AI 시대 온디바이스 인공지능의 진짜 심장. Apple·Qualcomm·Google이 글로벌 대형 시장 지배. 한국 Rebellions·FuriosaAI가 글로벌 톱5 스타트업에 진입. NPU 시대가 와도 HBM 수요는 줄지 않고 오히려 폭증 — 데이터센터 학습·대형 추론에서 HBM은 여전히 필수. 글로벌 NPU 시장 약 $15B → 2030년 $100B 예상. CPU는 박사·GPU는 군대·NPU는 곱셈 전문가 — 행렬 곱셈 한 가지에 극도로 특화된 진짜 AI 추론 전용 칩. 모든 플래그십 스마트폰·AI PC·자율주행 자동차에 진짜 필수. 한국은 디바이스 단 NPU 스타트업과 데이터센터 단 HBM 메모리로 AI 반도체 두 축 모두에 핵심 자산을 보유했다.

도움이 되셨다면 구독, 공감 한 번 부탁드립니다.

반도체 영어 시리즈 ⓒ wordiya.com