--- title: "GNU/LinuxのNVIDIA専用GPUでコマンドを実行する（例：ollama）" description: "コマンド（CLI）がGNU/LinuxでNVIDIA GPUを確実に使うようにするには、コマンドの前に環境変数 \\\\NV\\PRIME\\RENDER\\OFFLOAD=1 と \\\\GLX\\VENDOR\\LIBRARY\\NAME=nvidia を付けます。" canonical: https://oozou.com/til/run-a-command-on-your-gnu-linux-dedicated-nvidia-gpu-e-g-ollama-189 locale: ja date: 2024-03-20 topic: cli --- # GNU/LinuxのNVIDIA専用GPUでコマンドを実行する（例：ollama） > コマンド（CLI）がGNU/LinuxでNVIDIA GPUを確実に使うようにするには、コマンドの前に環境変数 \\NV\PRIME\RENDER\OFFLOAD=1 と \\GLX\VENDOR\LIBRARY\NAME=nvidia を付けます。 Published: 2024-03-20 · Topic: [cli](https://oozou.com/ja/til-topics/cli) ([markdown](https://oozou.com/ja/til-topics/cli.md)) コマンド **（CLI）** が **GNU/LinuxでNVIDIA GPU** を確実に使うようにするには、コマンドの前に環境変数 ***\_\_NV\_PRIME\_RENDER\_OFFLOAD=1*** **と** ***\_\_GLX\_VENDOR\_LIBRARY\_NAME=nvidia*** を付けます。 **例：** ``` __NV_PRIME_RENDER_OFFLOAD=1 __GLX_VENDOR_LIBRARY_NAME=nvidia ollama run orca-mini ``` また、次のコマンドを実行して動作を確認できます。 ``` __NV_PRIME_RENDER_OFFLOAD=1 __GLX_VENDOR_LIBRARY_NAME=nvidia glxinfo | grep vendor ``` 実行すると、次のような出力が得られるはずです。 ``` server glx vendor string: NVIDIA Corporation client glx vendor string: NVIDIA Corporation OpenGL vendor string: NVIDIA Corporation ``` # はじめに Ollamaを使い始めるには、まずシステムが必要な要件を満たしていることを確認します。Linux、Windows、macOSなどの対応OSと、NVIDIA GPUなどの対応グラフィックカードが必要です。システム要件はOllamaのWebサイトで確認できます。 システムが要件を満たしていることを確認したら、Ollamaのインストールに進みます。公式のインストールスクリプトを使う場合は、ターミナルで次のコマンドを実行します。curl -s https://raw.githubusercontent.com/ollama/ollama/master/install.sh | bash # NVIDIA GPUでOllamaを実行する OllamaをNVIDIA GPUで実行するには、必要なドライバーがインストールされていることを確認します。NVIDIAドライバーの確認には次のコマンドが使えます。nvidia-smi または ubuntu-drivers list --gpgpu エラーが出る場合は、次のコマンドで必要なドライバーをインストールできます。sudo ubuntu-drivers install ドライバーをインストールしたら、次のコマンドでOllamaをNVIDIA GPU上で実行できます。docker run -d --name ollama -p 11434:11434 -v /home/ollama:/home/ollama:z --gpus all ollama/ollama:gpu # Web UIのデプロイ（オプション） WebインターフェースでOllamaを操作したい場合は、Open WebUIを使ってWeb UIをデプロイできます。Open WebUIはDockerで次のコマンドを実行してインストールできます。docker run -d -p 8080:8080 open-webui/open-webui インストールが済んだら、Webブラウザで http://localhost:8080 を開いてアクセスできます。アカウントを作成し、モデルを選択してLLMとやり取りできます。 # パフォーマンスの最適化 Ollamaのパフォーマンスを最適化するには、いくつかのテクニックがあります。ひとつはGPUアクセラレーション対応版のOllamaを使うことで、パフォーマンスを大幅に改善できます。また、バッチサイズやシーケンス長を調整することでも最適化できます。 さらに、nvidia-smi などのツールでGPUのパフォーマンスを監視し、それに応じて設定を調整できます。docker stats でDockerコンテナのパフォーマンスを監視して設定を調整することもできます。 これらのヒントに従えば、Ollamaのパフォーマンスを最適化し、システムの性能を最大限に引き出せます。 --- Contact OOZOU: hello@oozou.com · +66 2544 0000 · https://oozou.com/ja/contact More for AI agents: https://oozou.com/llms.txt · every page has a markdown twin at its URL plus ".md"