同じバッテリーで、NPUはCPUより4.6倍長く推論を続けられました。
ただしNPUで動かすには、モデルをINT8へ変換しておく必要があります。
NPUは、同じ推論量ならCPU・GPUより少ない電力で済みます。バッテリー駆動時間に直接効きます。
NPUは、AI処理に特化した演算チップです。公式は大量のデータを並列に処理し、1秒あたり数兆回の演算をこなしながら、CPUやGPUよりも効率よくAIタスクへ電力を使い、端末のバッテリー持続時間を延ばすと説明しています。
「効率よく電力を使う」がどれだけの差になるのか実際に計算して比べました。
バッテリー容量 60Wh。待機時 4W に、実行役ごとの追加消費電力を足す 1日 6時間、常時推論し続けた場合を想定 実行役 合計消費電力 満充電での持続時間 1日ぶんの消費 NPU比 NPU 7W 8.6時間 42Wh 1.0倍 GPU 22W 2.7時間 132Wh 3.1倍 CPU 32W 1.9時間 192Wh 4.6倍
60Whのバッテリーで、NPUなら8.6時間推論を続けられます。GPUでは2.7時間、CPUでは1.9時間まで縮みました。
1日6時間の常時推論では、CPUはNPUの4.6倍の電力を消費します。バッテリー駆動の端末ほど、この差がそのまま体感に響きます。
この差は、推論を続ける時間が長いほど広がります。常時起動のAI機能ほど、NPUに任せる価値が大きいと言えます。
同じバッテリー容量でも、実行役によって持続時間は大きく変わる。
This NPU is able to process large amounts of data in parallel, performing trillions of operations per second, using energy on AI tasks more efficiently than a CPU or GPU resulting in longer device battery life.原文Microsoft Learn「Copilot+ PCs developer guide」 この内容の有効期限2027-02-19
NPUの多くは整数演算しか扱えません。学習時のFP32のままでは動かず、変換の手順が前提になります。
NPUで動かす前に、モデルの形式を揃える必要があります。公式はAIモデルはFP32のような大きなデータ形式で学習・配布されることが多いと述べています。
一方で多くのNPU機器は性能と電力効率のためにINT8のような低ビットの整数演算しか扱えないため、NPUで動かすには変換（量子化）が必要になるとも説明しています。
この変換は一度で済む作業です。モバイル推論の記事で見たように、量子化の方式によってサイズと速さの縮み方は変わりますが、NPUで動かすにはまず整数形式へ揃えることが前提になります。
自分で変換する以外に、すでにNPU向けに変換済みのモデルを使う選択肢もあります。ONNXモデル動物園や各社の対応済みモデル集がこれにあたります。
自前で変換する場合は、精度の劣化と速さ・省電力のどちらを優先するかを決めてから量子化の方式を選ぶことになります。
AI models are often trained and available in larger data formats, such as FP32. Many NPU devices, however, only support integer math in lower bit format, such as INT8, for increased performance and power efficiency. Therefore, AI models need to be converted (or "quantized") to run on the NPU.原文Microsoft Learn「Copilot+ PCs developer guide」 この内容の有効期限2027-02-19
NPUが使えないときは自動でGPU・CPUへ切り替わります。ただし確認の手間が毎回かかります。
NPU向けの実行役（Execution Provider）が使えないことは珍しくありません。公式は優先する実行役が失敗するか使えない場合、Windows MLは別の実行役（例えばGPUやCPU）へ穏やかに切り替えると説明しています。
この切り替えにどれだけ手間がかかるのか実際に計算して数えました。
推論 400件。NPU用の実行役が使えない場合、確認してからGPU・CPUへ回す
確認の手間は1回 25ms
NPU可用率 平均時間（確認込み） NPU常時可用との比
100% 15.0ms 1.0倍
80% 30.1ms 2.0倍
50% 58.1ms 3.9倍
20% 84.5ms 5.6倍
NPUが常に使えれば平均15.0msですが、可用率80%まで下がるだけで2.0倍に伸びました。
可用率20%では5.6倍です。確認の手間25msと、代替実行役の遅さの両方が積み重なるためです。
この結果はモバイル推論の記事で見たNPU対応割合の影響と同じ形です。対象端末群の可用率を先に把握しておくほど、実運用の平均時間を見誤りません。
If the preferred EP fails or is unavailable, Windows ML gracefully falls back to another (for example, using the GPU or CPU).原文Microsoft Learn「Copilot+ PCs developer guide」 この内容の有効期限2027-02-19
同じ課題を持つ会社にとって、動いている設定は「作る時間」を買えるということです。ServiceDockは自作のワークフローやテンプレートを出品できるマーケットプレイスです。手数料や出品の流れは出品者向けページにまとまっています。
出品の仕組みを見る