AMD Ryzen AI CPU と Radeon 7000 GPU は、NVIDIA の Chat With RTX と同様に、LLM を使用してローカライズされたチャットボットを実行できます。

NVIDIA の Chat with RTX のリリースに続き、AMD は、Ryzen AI CPU と Radeon 7000 GPU で実行できる、独自のローカライズされた GPT ベースの LLM 搭載 AI チャットボットをユーザーに提供しています。

NVIDIA Chat with RTX に競合が登場、AMD が Ryzen AI CPU と Radeon 7000 GPU で実行可能な独自のローカライズされた LLM 搭載チャットボットを発表

先月、NVIDIA は「Chat with RTX」AI チャットボットをリリースしました。これは、RTX 40 および RTX 30 GPU で利用可能で、PC から利用できるデータ、つまりローカライズされたデータセットに基づいて、より高速な GenAI 結果を提供する TensorRT-LLM 機能セットで高速化されています。現在、AMD は独自の LLM ベースの GPT チャットボットを提供しています。これは、XDNA NPU を搭載した Ryzen 7000 および Ryzen 8000 APU や、AI アクセラレータ コアを搭載した最新の Radeon 7000 GPU を含む Ryzen AI PC など、さまざまなハードウェアで実行できます。

AMD Ryzen AI CPU の場合、Windows 用の標準 LM Studio コピーを入手できますが、Radeon RX 7000 GPU の場合は ROCm テクニカル プレビューを入手できます。完全なガイドは以下で共有されています。

1. LM Studio の正しいバージョンをダウンロードします。

AMD Ryzen プロセッサー向け	AMD Radeon RX 7000 シリーズ グラフィック カード用
LM スタジオ – Windows	LM Studio – ROCm テクニカル プレビュー

2. ファイルを実行します。

3. 検索タブで、実行する内容に応じて次の検索語をコピーして貼り付けます。

a. Mistral 7b を実行する場合は、「TheBloke/OpenHermes-2.5-Mistral-7B-GGUF」を検索し、左側の結果から選択します。通常は最初の結果になります。この例では、Mistral を使用します。

b. LLAMA v2 7b を実行する場合は、「TheBloke/Llama-2-7B-Chat-GGUF」を検索し、左側の結果から選択します。通常は最初の結果になります。

c. ここで他のモデルを試すこともできます。

4. 右側のパネルで、Q4 KMモデル ファイルが表示されるまで下にスクロールします。ダウンロードをクリックします。

a. Ryzen AI のほとんどのモデルではQ4 KMをお勧めします。ダウンロードが完了するまでお待ちください。

5. チャット タブに移動します。上部中央のドロップダウン メニューからモデルを選択し、読み込みが完了するまで待ちます。

6. AMD Ryzen AI PCをお持ちの場合は、チャットを開始できます。

a. AMD Radeon グラフィック カードをお持ちの場合は、次の手順に従ってください。

i. 右側のパネルで「GPU オフロード」をチェックします。

ii. スライダーを「最大」まで動かします。

iii. 検出された GPU タイプとして AMD ROCm が表示されていることを確認します。

iv. チャットを始めましょう!

AI を搭載したローカライズされたチャットボットを適切に設定すれば、生活や仕事が比較的楽になります。クエリと LLM が対象とするデータ パスに基づいて、効率的に作業を進め、適切な結果を得ることができます。NVIDIA と AMD は、消費者向けハードウェア向けの AI 搭載機能のペースを加速させていますが、これはほんの始まりに過ぎません。AI PC セグメントが新たな高みに達するにつれて、今後さらに多くのイノベーションが期待できます。