full integer量子化では、モデルサイズが4分の1、速さが3.2倍になりました。
NPU対応端末が10%まで下がると、平均の速さは全台NPU対応の5.2倍遅くなります。
モバイル推論は端末側のハードウェアに依存します。NPU対応の割合が下がるほど、平均は遅い側へ寄ります。
モバイル推論は、端末の中でAIモデルを動かす仕組みです。公式はLiteRTは新しいだけでなく、世界で最も広く使われている機械学習ランタイムの次世代版であり、日常使うアプリを支え、数十億台の端末で低遅延と高いプライバシーを実現していると説明しています。
ただし「数十億台」の中には、NPUに対応した端末も、そうでない端末も混ざります。実際に計算して平均の速さがどう動くか数えました。
端末 500台。NPU対応・GPU対応・CPUのみに分かれる
NPU 18ms・GPU 45ms・CPUのみ 130ms
NPU対応の割合 GPU対応の割合 平均時間 NPU全台との比
60% 30% 36.4ms 2.0倍
30% 40% 60.4ms 3.4倍
10% 30% 94.3ms 5.2倍
100% 0% 18.0ms 1.0倍
全台NPU対応なら平均は18.0msです。60%まで下がるだけで平均は36.4msと2.0倍に伸びました。
NPU対応が10%まで下がると、平均は94.3msとCPUのみの130msに近づきます。対応の薄い端末群ほど、CPUの値が全体を支配する形です。
この結果から、NPU非対応時のフォールバック先をGPUにできるかどうかも重要だとわかります。GPUへ落とせれば、CPUのみに落ちるより平均は改善します。
NPU対応の割合が下がるほど、平均時間はCPUのみの値へ近づく。
LiteRT isn't just new; it's the next generation of the world's most widely deployed machine learning runtime. It powers the apps you use every day, delivering low latency and high privacy on billions of devices.原文Google AI Edge「LiteRT」公式ドキュメント この内容の有効期限2027-02-19
量子化の方式によって、縮むのがサイズだけか、速さも含むかが変わります。方式ごとに数字が違います。
モバイル推論のコストは、モデルのダウンロード量と推論の待ち時間で決まります。公式はfull integer量子化についてサイズが4分の1、速さが3倍以上向上すると述べています。
方式ごとにどれだけ違うのか、fp32モデルを基準に実際に計算して比べました。
fp32モデル 88MB・1推論 210ms を基準に、量子化ごとのサイズと速さを比べる 回線 12MB/s 方式 モデルサイズ ダウンロード時間 1推論の時間 fp32比 fp32（そのまま） 88.0MB 7.3秒 210ms 1.0倍 dynamic range 22.0MB 1.8秒 84ms 2.5倍 full integer 22.0MB 1.8秒 66ms 3.2倍 float16 44.0MB 3.7秒 183ms 1.1倍
full integer量子化は、サイズが88.0MBから22.0MBへ4分の1になり、1推論も210msから66msへ3.2倍速くなりました。
一方float16は、サイズは44.0MBと半分になるものの、速さは183msとほぼ変わりません。サイズが縮む倍率と、速さが上がる倍率は別々に決まります。
回線が細い環境向けにはサイズが縮む方式を、端末側の処理が重い環境向けには速さが上がる方式を優先する、という選び方になります。
LiteRTでは、モデルを配備する際にアクセラレータを選びます。対応状況の分布を先に把握してから選ぶ必要があります。
モバイル推論を始める前に、どのアクセラレータを使うか決めておく必要があります。公式はLiteRTでモデルを配備し、アプリに最適なアクセラレータを選ぶという手順を示しています。
この「最適な」の判断材料になるのが、前段で見たNPU・GPU・CPUの対応割合です。対象端末群の分布を先に調べておくことが前提になります。
対応割合がわからないまま配備すると、実機での体感速度が予想と大きくずれることがあります。Apple Silicon推論の記事で見たエンジンの混在と同じく、対応・非対応の分布そのものが速さを決めます。
先に分布を把握しておけば、フォールバック込みの平均時間を配備前に見積もれます。
Deploy your model with LiteRT and pick the optimal accelerator for your app.原文Google AI Edge「LiteRT」公式ドキュメント この内容の有効期限2027-02-19
同じ課題を持つ会社にとって、動いている設定は「作る時間」を買えるということです。ServiceDockは自作のワークフローやテンプレートを出品できるマーケットプレイスです。手数料や出品の流れは出品者向けページにまとまっています。
出品の仕組みを見る