多くのユーザーは、プライバシーと制御性を高め、サブスクリプションなしで大規模言語モデル（LLM）をローカルで実行したいと考えていますが、最近まで出力品質とのトレードオフを伴っていました。OpenAIのgpt-ossやAlibabaのQwen 3といった新しくリリースされたオープンウェイトモデルは、PC上で直接実行でき、特にローカルエージェントAIにおいて有用な高品質の出力を提供します。
これにより、学生、愛好家、開発者が生成AIアプリケーションをローカルで試す新たな機会が生まれます。NVIDIA RTX PCはこれらの体験を加速し、高速で機敏なAIをユーザーに提供します。
RTX PC向けに最適化されたローカルLLMを使い始める
NVIDIAは、主要なLLMアプリケーションをRTX PC向けに最適化し、RTX GPUのTensorコアのパフォーマンスを最大限に引き出すことに取り組んできました。
PCでAIを始める最も簡単な方法の一つは、LLMの実行と操作のためのシンプルなインターフェースを提供するオープンソースツール、Ollamaを使用することです。 PDFをプロンプト、会話型チャット、テキストと画像を含むマルチモーダル理解ワークフローにドラッグ＆ドロップする機能をサポートしています。
Ollamaを使えば、シンプルなテキストプロンプトから簡単に回答を生成できます。
NVIDIAはOllamaと提携し、GeForce RTX GPUのパフォーマンスとユーザーエクスペリエンスを向上させました。最新の開発内容は以下のとおりです。
OpenAIのgpt-oss-20Bモデルのパフォーマンスが50%向上
超高効率RAGを実現する新しいGemma 3 270MおよびEmbeddingGemmaモデルのパフォーマンスが60%向上
メモリ使用率を最大化し、正確にレポートするためのモデルスケジューリングシステムの改善
クラッシュ回数を削減するための安定性の向上
Ollamaは、他のアプリケーションでも使用できる開発者向けフレームワークです。例えば、任意のLLMを搭載した独自のAIアシスタントを構築できるオープンソースアプリであるAnythingLLMは、Ollama上で実行でき、そのすべてのアクセラレーションの恩恵を受けることができます。
熱心な方は、人気のllama.cppフレームワークを搭載したアプリ、LM Studioを使ってローカルLLMを使い始めることもできます。このアプリは、モデルをローカルで実行するためのユーザーフレンドリーなインターフェースを提供し、ユーザーは様々なLLMをロードしたり、リアルタイムで操作したり、さらにはカスタムプロジェクトに統合するためのローカルアプリケーションプログラミングインターフェース（API）エンドポイントとして利用したりできます。
LM Studioを使用してNVIDIA RTXで高速化されたノートを生成する例。
NVIDIAは、NVIDIA RTX GPUでのパフォーマンスを最適化するためにllama.cppと連携しました。最新のアップデートには以下が含まれます。
最新のハイブリッドMambaアーキテクチャをベースにした最新のNVIDIA Nemotron Nano v2 9Bモデルのサポート
Flash Attentionがデフォルトでオンになり、オフの場合と比較して最大20%のパフォーマンス向上を実現
RMSノルムおよび高速除算ベースの剰余に対するCUDAカーネルの最適化により、一般的なモデルで最大9%のパフォーマンス向上を実現
セマンティックバージョニングにより、開発者は将来のリリースへの導入を容易に
RTX上のgpt-ossと、NVIDIAがLM Studioと協力してRTX PC上でLLMのパフォーマンスを高速化した方法について、詳しくはこちらをご覧ください。
AnythingLLMでAI搭載の学習仲間を作成
プライバシーとパフォーマンスの向上に加えて、LLMをローカルで実行することで、読み込み可能なファイル数やファイルの利用可能期間の制限がなくなり、コンテキストアウェアなAI会話をより長く実行できるようになります。これにより、会話型および生成型のAI搭載アシスタントをより柔軟に構築できるようになります。
学生にとって、膨大な量のスライド、ノート、実験資料、過去の試験を管理するのは大変な作業です。ローカルLLMを活用すれば、個々の学習ニーズに合わせて調整できるパーソナルチューターを作成できます。
以下のデモでは、学生がローカルLLMを使用して生成AIを搭載したアシスタントを構築する方法を示しています。
RTX PC上で動作するAnythingLLMは、学習教材をインタラクティブなフラッシュカードに変換し、パーソナライズされたAI搭載チューターを作成します。
これを実現する簡単な方法は、ドキュメントのアップロード、カスタムナレッジベース、会話型インターフェースをサポートするAnythingLLMを使用することです。これにより、研究、プロジェクト、または日常業務を支援するカスタマイズ可能なAIを作成したい人にとって、AnythingLLMは柔軟なツールとなります。また、RTXアクセラレーションにより、ユーザーはさらに高速な応答を体験できます。
シラバス、課題、教科書をRTX PC上のAnythingLLMに読み込むことで、学生は適応型でインタラクティブな学習パートナーを得ることができます。エージェントには、プレーンテキストまたは音声で次のようなタスクを依頼できます。
講義スライドからのフラッシュカード生成：「『Sound』の章の講義スライドからフラッシュカードを作成してください。片側に主要用語、もう片側に定義を記載してください。」
教材に関連した文脈的な質問をする：「私の物理8のノートを使って、運動量保存則を説明してください。」
試験対策のためのクイズの作成と採点：「私の化学の教科書の第5章から第6章に基づいて、10問の多肢選択式クイズを作成し、私の解答を採点してください。」
難しい問題を段階的に解く：「私のコーディングの宿題の問題4の解き方を段階的に教えてください。」
教室以外では、趣味やビジネスでAnythingLLMを使用する方が、新しい研究分野の認定試験対策やその他の同様の目的に使用できます。また、RTX GPU上でローカルに実行されるため、サブスクリプション費用や使用量制限なしで、高速でプライベートな応答が得られます。
Project G-Assist でノート PC の設定を制御できるようになりました
Project G-Assist は、メニューを操作しなくても、簡単な音声またはテキストコマンドでゲーミング PC の調整、制御、最適化を支援する実験的な AI アシスタントです。近日中に、NVIDIA アプリのホームページから新しい G-Assist アップデートがリリースされます。
Project G-Assist は、簡単な音声またはテキストコマンドでゲーミング PC の調整、制御、最適化を支援します。
8 月にリリースされた、より効率的な新しい AI モデルと、ほとんどの RTX GPU のサポートを基盤とする新しい G-Assist アップデートでは、ノート PC の設定を調整するためのコマンドが追加されています。
ノート PC 向けに最適化されたアプリ プロファイル: ノート PC が充電器に接続されていないときに、ゲームやアプリの効率、品質、またはバランスを自動的に調整します。
BatteryBoost 制御: BatteryBoost を有効化または調整することで、フレーム レートを滑らかに保ちながらバッテリー寿命を延ばします。
WhisperMode 制御: 必要に応じてファンのノイズを最大 50% 削減し、不要な場合はフルパフォーマンスに戻します。
Project G-Assist は拡張性も備えています。 G-Assist プラグインビルダーを使用すると、新しいコマンドを追加したり、簡単に作成できるプラグインを使って外部ツールと接続したりすることで、G-Assist 機能を作成およびカスタマイズできます。また、G-Assist プラグインハブを使用すると、プラグインを簡単に見つけてインストールし、G-Assist 機能を拡張できます。
サンプルプラグイン、ステップバイステップの説明、カスタム機能の構築に関するドキュメントなど、開始方法に関する資料については、NVIDIA の G-Assist GitHub リポジトリをご覧ください。
#ICYMI — RTX AI PC の最新の進歩
🎉Ollama が RTX で大幅なパフォーマンス向上を実現
最新のアップデートには、OpenAI の gpt-oss-20B のパフォーマンス最適化、Gemma 3 モデルの高速化、メモリの問題を軽減しマルチ GPU 効率を向上させるためのよりスマートなモデルスケジューリングが含まれています。
🚀 Llama.cpp と GGML が RTX 向けに最適化されました
最新のアップデートでは、NVIDIA Nemotron Nano v2 9B モデルのサポート、Flash Attention のデフォルト有効化、CUDA カーネルの最適化など、RTX GPU での推論の高速化と効率化が実現されています。
⚡Project G-Assist アップデートがロールアウトされました
NVIDIA アプリから G-Assist v0.1.18 アップデートをダウンロードしてください。このアップデートには、ノート PC ユーザー向けの新しいコマンドと、回答品質の向上が含まれています。
⚙️ NVIDIA TensorRT for RTX を搭載した Windows ML が一般提供開始されました
Microsoft は、NVIDIA TensorRT for RTX アクセラレーションを搭載した Windows ML をリリースしました。これにより、Windows 11 PC での推論が最大 50% 高速化され、展開が効率化され、LLM、拡散法、その他のモデルタイプがサポートされます。
🌐 NVIDIA Nemotron が AI 開発を加速
NVIDIA Nemotron のオープンモデル、データセット、そして技術コレクションは、一般化推論から業界固有のアプリケーションまで、AI のイノベーションを推進しています。
Facebook、Instagram、TikTok、X で NVIDIA AI PC をフォローしてください。また、RTX AI PC ニュースレターに登録して最新情報を入手してください。
LinkedIn と X で NVIDIA Workstation をフォローしてください。
ソフトウェア製品情報に関するお知らせをご覧ください。
カテゴリ: ジェネレーティブ AI
タグ: エージェント型 AI | 人工知能 | GeForce | GeForce RTX | NVIDIA RTX | RTX AI Garage
出典: 元記事を読む
※現在お読みいただいているこの記事は、国内外のニュースソース等から取得した情報を自動翻訳した上で掲載しています。
内容には翻訳による解釈の違いが生じる場合があり、また取得時の状況により本文以外の情報や改行、表などが正しく反映されない場合がございます。
順次改善に努めてまいりますので、参考情報としてご活用いただき、必要に応じて原文の確認をおすすめいたします。