Windows Copilot RuntimeはGPUに対応へ

0
95
NVIDIA CEO Jensen Huang

MicrosoftはCopilot+ PCの情報を公開したが、NPUのTOPS値が40以上の物などのハードウェア要件を設定した。
Windowsの主なAI機能はWindows Copilot Runtimeを使えば、開発者にとっては比較的簡単にAI機能を実現出来るようになるが、NVIDIAのGPUはCopilot+ PCの要件であるNPUではなく、NVIDIAのGPUを使ってAIソフトを開発するにはCUDAを使う必要があった。
NVIDIAのGPUを搭載している環境ならCUDAを使う利点自体はあるが、Windows Copilot Runtimeにだけ対応すれば、AI機能が使えるようになれば、別途CUDA用に調整する必要がなくAI機能を実現できる。開発者にとっては個別のGPU向けに調整しなくても、AI機能をより多くの環境で利用出来るようになる。
一般にGPUのAI関連機能の方が40 TOPSのNPUより高性能なため、AI機能自体はGPU搭載ハードウェアの方が快適に動作する。そのような状況で、NVIDIAは6月2日にComputexにあわせて2024年後半にWindows Copilot RuntimeのGPU対応版開発者プレビューが提供される事を発表した。

この件に関して、Computexの会見で聞かれたNVIDIA CEOのJensen Huangは次のように答えている。

I think, Microsoft announced that Nvidia RTX will support copilot runtime. However, your question is something even more than that? And I have nothing to say today. Thank you for asking.
I know that everyone knew about asking about secrets. I have some secrets. I will tell you about secrets of future. I have many secrets. I’m very secretive person.

日本語訳例
MicrosoftがNvidia RTXでCopilotランタイムをサポートすると発表したと思いますが、あなたの質問はそれを超えるものですか。今日は特に新しい情報はありません。ご質問ありがとうございます。
秘密について尋ねることに関心があるのはわかります。私にもいくつか秘密があります。将来、秘密についてお話しする機会もあるでしょう。私は秘密が多く、とても秘密主義な人間なのです。

この回答は、現在開発中の機能のために何も答えられないということになりますが、年末にベータ版が提供されるという状況から考えると、まだサポートが決まった段階であって、実際に何も決まっていないから何も言えない場合もあります。
対応されたとしても、Copilot+ PCにNVIDIAのGPUが搭載されている事がハードウェア要件になるわけでも無いのかもしれない。

以下NVIDIAのプレスリリースより

Windows Copilot Runtime がローカル PC SLM に GPU アクセラレーションを追加
Microsoft と NVIDIA は、開発者が Windows ネイティブ アプリと ウェブ アプリに新しい生成 AI 機能を導入できるよう協業しています。この協業により、アプリケーション開発者は、Windows Copilot Runtime によってデバイス上で実行される GPU アクセラレーテッドの小規模言語モデル (SLM) とRetrieval-Augmented Generation (RAG) 機能にアプリケーション プログラミング インターフェイス (API) から簡単にアクセス可能になります。

SLM は、コンテンツの要約、コンテンツの生成、タスクの自動化など、Windows 開発者に多大な可能性を提供します。RAG 機能は、基本モデルでは十分に表現されていないドメイン固有の情報に AI モデルがアクセスできるようにすることで、SLM を強化します。RAG API を使用すると、開発者はアプリケーション固有のデータ ソースを活用し、SLM の動作と機能をアプリケーションのニーズに合わせて調整できます。

これらの AI 機能は、NVIDIA RTX GPU や他のハードウェア ベンダーの AI アクセラレータによって高速化され、エンド ユーザーに Windows エコシステム全体にわたって高速で応答性の高い AI 体験を提供します。

API は、今年後半に開発者プレビューとしてリリースされる予定です。