CPUがあります。GPUがあります。ここ1年、あらゆるテクノロジー企業が「NPU」について語ってきました。最初の2つを知らなかった人は、3つ目、そしてテクノロジー業界がなぜニューラル・プロセッシング・ユニット（NPU）の利点を喧伝しているのか、おそらく戸惑っていることでしょう。ご想像の通り、これはAIをめぐるハイプサイクルのせいです。しかし、テクノロジー企業はこれらのNPUが何をするのか、そしてなぜユーザーがNPUを重視する必要があるのかを、なかなかうまく説明できていません。
誰もがAIのパイの一部を手に入れたいと考えている。Googleは今月開催された開発者会議I/Oで「AI」という言葉を120回以上使い、新しいAIアプリやアシスタントの可能性に出席者を魅了した。Microsoftは先日開催されたBuildカンファレンスで、Qualcomm Snapdragon X EliteとX Plusを搭載したARMベースの新型Copilot+ PCを大々的に宣伝した。どちらのCPUも、45TOPSのNPUを搭載する。これは何を意味するのだろうか？つまり、新型PCはデバイス上でAIをサポートできるようになるということだ。しかし、よく考えてみると、まさにMicrosoftとIntelが昨年末にいわゆる「AI PC」で約束していたことと全く同じだ。
今年、デバイス内AI搭載を謳ってIntel Core Ultraチップ搭載の新型ノートPCを購入した方は、時代遅れになってしまうのが残念でしょう。MicrosoftはGizmodoに対し、RecallなどのAIベースの機能を利用できるのはCopilot+搭載PCのみで、「搭載チップの都合上」だと説明しました。
しかし、著名なリーク情報源であるAlbacoreが、NPUに依存せずに別のARM64ベースのPCでRecallを実行できると主張したことで、議論が巻き起こりました。新しいノートPCはまだ発売されていませんが、新しいAI機能がニューラルプロセッサにどれほどの負荷をかけるのかは、今後の展開を見守る必要があります。
しかし、NPU で何が起こっているのか、そして Apple から Intel、小規模 PC スタートアップまでがなぜ NPU について話しているのかを本当に知りたいのであれば、私たちがその詳細を解説する資料を作成しました。
NPUと「TOPS」の説明
まず最初に、裏方に徹する皆さんに、普段お使いのパソコンのコンピューティング能力について簡単にご説明しましょう。CPU（中央処理装置）は、基本的にパソコンの「頭脳」として、ユーザーのほとんどのタスクを処理します。GPU（グラフィック処理装置）は、3Dオブジェクトのレンダリングやビデオゲームのプレイなど、大量のデータを必要とするタスクの処理に特化しています。GPUは、パソコン内部に独立したユニットとして搭載されている場合もあれば、CPU自体に組み込まれている場合もあります。
このように、NPUは専門性という点ではGPUに近いと言えますが、少なくとも現時点では、中央処理装置（CPU）やグラフィックス処理装置（GPU）の外部に独立したニューラルプロセッサは搭載されていません。NPUは、機械学習アルゴリズムに特有の数学的計算を処理するために設計されたプロセッサの一種です。これらのタスクは「並列」処理されます。つまり、リクエストを小さなタスクに分割し、それらを同時に処理するということです。NPUは、他のシステムのプロセッサを一切利用することなく、ニューラルネットワークの強力な要求に対応できるよう特別に設計されています。
NPUの速度を判断する基準はTOPS（1秒あたり兆演算）です。現在、大手テクノロジー企業が自社のニューラル処理能力を比較する唯一の方法はこれです。また、処理速度を比較する方法としては非常に簡略化されています。CPUとGPUは、コアの数や種類から、一般的なクロック速度やテラフロップスまで、様々な比較ポイントを提供しますが、それでもチップアーキテクチャの複雑さのほんの一部に過ぎません。Qualcommは、TOPSはニューラルプロセッサの速度と精度を組み合わせた、簡略化された数式に過ぎないと説明しています。
いつかCPUやGPUと同じ粒度を持つNPUが登場する日が来るかもしれませんが、それは現在のAIハイプサイクルが終わった後のことかもしれません。そしてその時になっても、プロセッサの区分はどれもまだ確定していません。GPNPUというアイデアもあります。これは基本的にGPUとNPUの機能を組み合わせたものです。近い将来、小型のAI対応PCの機能を、数百、あるいは数千TOPSを処理できる大型PCに分割する必要が出てくるでしょう。
NPUは数年前から携帯電話とPCの両方で使われてきました
スマートフォンは、ほとんどの人や企業が関心を持つずっと前からNPUを採用していました。GoogleはPixel 2の頃からNPUとAI機能について語っていました。中国メーカー中心のHuaweiとAsusは、2017年のMate 10や2018年のZenphone 5といったスマートフォンでNPUを初めて搭載しました。両社は当時、両機種のAI機能の搭載を推進しようとしましたが、顧客やレビュー担当者は当時よりもその機能に懐疑的でした。
確かに、今日の NPU は 6 〜 8 年前よりもはるかに強力になっていますが、注意を払っていなかったら、これらのデバイスのほとんどのニューラル能力は見逃されていたでしょう。
コンピューターチップは、2023年より何年も前からニューラルプロセッサを搭載しています。例えば、Apple独自のARCベースチップであるMシリーズCPUは、2020年に既にニューラル機能をサポートしていました。M1チップは11TOPS、M2とM3はそれぞれ15.8TOPSと19TOPSでした。Appleが最新のニューラルエンジンの38TOPSの速度を誇示する必要があると判断したのは、新しいiPad Pro 2024に搭載されたM4チップになってからです。では、iPad ProのどのAIアプリケーションがこの新しい機能を実際に活用しているのでしょうか？正直なところ、多くはありません。数週間後のWWDC 2024でさらに詳しい情報が明らかになるかもしれませんが、それは今後の展開を見守るしかありません。
NPUへの現在の執着は、ハードウェアと誇大広告の両方である
NPUの背後にある考え方は、デバイス上でAIを実行する際のCPUやGPUの負担を軽減し、AIアートジェネレーターやチャットボットなど、PCの速度を低下させることなくAIプログラムを実行できるようにすることです。問題は、強化されたAI機能を活用できる真のAIプログラムを、私たち全員がまだ探し求めているということです。
ギズモードは過去1年間、大手チップメーカーと話し合いを重ねてきましたが、その中で耳にするのは、ハードウェアメーカーが今回初めてソフトウェアの需要を上回ったと感じているという点です。しかし、長らくその逆でした。ソフトウェアメーカーがコンシューマー向けハードウェアの限界を押し広げ、チップメーカーに追いつこうと迫ってきたのです。
しかし、2023年以降、デバイス上で実行可能なAIアプリケーションはごくわずかしか見られなくなりました。QualcommやIntelのチップのAI機能のデモは、Zoomの背景ぼかし機能を実行するものがほとんどです。最近では、Audacityなどの既存アプリケーションやOBS Studioのライブキャプションで、AI音楽生成モデルRiffusionを用いて自社のNPUをベンチマークしている企業も見かけます。確かに、デバイス上で実行可能なチャットボットを実行しているアプリもいくつかありますが、機能も少なく、ニュアンスも乏しいLLMは、誰もが最新のスマートフォンや「AI PC」を買い求めるような、巨大なキラーアプリにはなり得ません。
代わりに、PixelスマートフォンのGemini Nanoでは、テキストや音声による要約といった比較的シンプルなアプリケーションしか利用できません。GoogleのAIの最小バージョンは、Pixel 8とPixel 8aに搭載されます。かつてGalaxy S24専用だったSamsungのAI機能は、既に旧型のスマートフォンにも搭載されており、まもなく同社のウェアラブルデバイスにも搭載される予定です。これらのAI機能の速度を旧型デバイスでベンチマークしたわけではありませんが、2021年頃の旧型デバイスにも既に十分なニューラル処理能力が搭載されていたことがわかります。
デバイス上のAIは、依然として消費者向け製品の処理能力不足によって阻害されています。Microsoft、OpenAi、Googleは、H100などのNvidiaの高度なAI GPU数百基を搭載した大規模なデータセンターを運用する必要があります（Microsoftやその他の企業は独自のAIチップに取り組んでいると報じられています）。これは、Gemini AdvancedやGPT 4oなどのモデルを使用して、より高度なLLMやチャットボットの一部を処理するためです。これは、費用面でも、電力や水道などの資源面でも安くはありません。しかし、だからこそ、消費者が支払うことができる高度なAIの多くはクラウドで実行されているのです。デバイス上でAIを実行することは、ユーザーと環境の両方にメリットをもたらします。企業が、消費者が最新かつ最高のAIモデルを求めていると考えれば、ソフトウェアは消費者向けデバイスで可能な範囲を今後も上回り続けるでしょう。
