コマンド （CLI） が GNU/LinuxでNVIDIA GPU を確実に使うようにするには、コマンドの前に環境変数 __NV_PRIME_RENDER_OFFLOAD=1 と __GLX_VENDOR_LIBRARY_NAME=nvidia を付けます。

例：

__NV_PRIME_RENDER_OFFLOAD=1 __GLX_VENDOR_LIBRARY_NAME=nvidia ollama run orca-mini

また、次のコマンドを実行して動作を確認できます。

__NV_PRIME_RENDER_OFFLOAD=1 __GLX_VENDOR_LIBRARY_NAME=nvidia glxinfo | grep vendor

実行すると、次のような出力が得られるはずです。

server glx vendor string: NVIDIA Corporation
client glx vendor string: NVIDIA Corporation
OpenGL vendor string: NVIDIA Corporation

はじめに

Ollamaを使い始めるには、まずシステムが必要な要件を満たしていることを確認します。Linux、Windows、macOSなどの対応OSと、NVIDIA GPUなどの対応グラフィックカードが必要です。システム要件はOllamaのWebサイトで確認できます。

システムが要件を満たしていることを確認したら、Ollamaのインストールに進みます。公式のインストールスクリプトを使う場合は、ターミナルで次のコマンドを実行します。curl -s https://raw.githubusercontent.com/ollama/ollama/master/install.sh | bash

NVIDIA GPUでOllamaを実行する

OllamaをNVIDIA GPUで実行するには、必要なドライバーがインストールされていることを確認します。NVIDIAドライバーの確認には次のコマンドが使えます。nvidia-smi または ubuntu-drivers list --gpgpu エラーが出る場合は、次のコマンドで必要なドライバーをインストールできます。sudo ubuntu-drivers install ドライバーをインストールしたら、次のコマンドでOllamaをNVIDIA GPU上で実行できます。docker run -d --name ollama -p 11434:11434 -v /home/ollama:/home/ollama:z --gpus all ollama/ollama:gpu

Web UIのデプロイ（オプション）

WebインターフェースでOllamaを操作したい場合は、Open WebUIを使ってWeb UIをデプロイできます。Open WebUIはDockerで次のコマンドを実行してインストールできます。docker run -d -p 8080:8080 open-webui/open-webui インストールが済んだら、Webブラウザで http://localhost:8080 を開いてアクセスできます。アカウントを作成し、モデルを選択してLLMとやり取りできます。

パフォーマンスの最適化

Ollamaのパフォーマンスを最適化するには、いくつかのテクニックがあります。ひとつはGPUアクセラレーション対応版のOllamaを使うことで、パフォーマンスを大幅に改善できます。また、バッチサイズやシーケンス長を調整することでも最適化できます。

さらに、nvidia-smi などのツールでGPUのパフォーマンスを監視し、それに応じて設定を調整できます。docker stats でDockerコンテナのパフォーマンスを監視して設定を調整することもできます。

これらのヒントに従えば、Ollamaのパフォーマンスを最適化し、システムの性能を最大限に引き出せます。