Untuk memastikan sebuah perintah (CLI) memakai GPU NVIDIA Anda di GNU/Linux, Anda dapat memakai environment variable __NV_PRIME_RENDER_OFFLOAD=1 dan __GLX_VENDOR_LIBRARY_NAME=nvidiasebelum perintah Anda.

Contoh:

__NV_PRIME_RENDER_OFFLOAD=1 __GLX_VENDOR_LIBRARY_NAME=nvidia ollama run orca-mini

Anda juga dapat memverifikasi bahwa cara ini berhasil dengan menjalankan:

__NV_PRIME_RENDER_OFFLOAD=1 __GLX_VENDOR_LIBRARY_NAME=nvidia glxinfo | grep vendor

Yang seharusnya menghasilkan output seperti:

server glx vendor string: NVIDIA Corporation
client glx vendor string: NVIDIA Corporation
OpenGL vendor string: NVIDIA Corporation

Memulai

Untuk mulai memakai Ollama, Anda perlu memastikan sistem Anda memenuhi persyaratan yang dibutuhkan. Ini mencakup sistem operasi yang kompatibel, seperti Linux, Windows, atau macOS, serta kartu grafis yang kompatibel, seperti GPU NVIDIA. Anda dapat memeriksa persyaratan sistem di situs web Ollama.

Setelah memastikan sistem Anda memenuhi persyaratan, Anda dapat melanjutkan instalasi Ollama. Anda dapat memakai script instalasi resmi, yang dapat dijalankan di terminal dengan perintah berikut: curl -s https://raw.githubusercontent.com/ollama/ollama/master/install.sh | bash

Menjalankan Ollama di GPU Nvidia

Untuk menjalankan Ollama di GPU NVIDIA, Anda perlu memastikan driver yang dibutuhkan sudah terpasang. Anda dapat memeriksa driver NVIDIA dengan perintah: nvidia-smi atau ubuntu-drivers list --gpgpu Jika muncul error, Anda dapat memasang driver yang dibutuhkan dengan perintah: sudo ubuntu-drivers install Setelah driver terpasang, Anda dapat menjalankan Ollama di GPU NVIDIA dengan perintah berikut: docker run -d --name ollama -p 11434:11434 -v /home/ollama:/home/ollama:z --gpus all ollama/ollama:gpu

Men-deploy Web UI (Opsional)

Jika Anda ingin berinteraksi dengan Ollama melalui antarmuka web, Anda dapat men-deploy web UI menggunakan Open WebUI. Anda dapat memasang Open WebUI menggunakan Docker dengan menjalankan perintah berikut: docker run -d -p 8080:8080 open-webui/open-webui Setelah Open WebUI terpasang, Anda dapat mengaksesnya dengan membuka browser dan memasukkan http://localhost:8080. Anda dapat membuat akun dan memilih model untuk berinteraksi dengan LLM.

Mengoptimalkan Performa

Ada beberapa teknik untuk mengoptimalkan performa Ollama. Salah satunya adalah memakai versi Ollama yang diakselerasi GPU, yang dapat meningkatkan performa secara signifikan. Anda juga dapat mengoptimalkan performa Ollama dengan menyesuaikan batch size dan sequence length.

Selain itu, Anda dapat memakai alat seperti nvidia-smi untuk memantau performa GPU dan menyesuaikan pengaturan sesuai kebutuhan. Anda juga dapat memakai docker stats untuk memantau performa container Docker dan menyesuaikan pengaturannya.

Dengan mengikuti tips ini, Anda dapat mengoptimalkan performa Ollama dan memaksimalkan kemampuan sistem Anda.