ถ้าอยากให้คำสั่ง (CLI) รันบน NVIDIA GPU ใน GNU/Linux ให้ใส่ environment variable __NV_PRIME_RENDER_OFFLOAD=1 และ __GLX_VENDOR_LIBRARY_NAME=nvidia ไว้หน้าคำสั่ง

ตัวอย่าง:

__NV_PRIME_RENDER_OFFLOAD=1 __GLX_VENDOR_LIBRARY_NAME=nvidia ollama run orca-mini

ตรวจดูได้ด้วยว่าใช้งานได้จริงหรือไม่ โดยรัน:

__NV_PRIME_RENDER_OFFLOAD=1 __GLX_VENDOR_LIBRARY_NAME=nvidia glxinfo | grep vendor

ซึ่งควรแสดงผลลัพธ์ประมาณนี้:

server glx vendor string: NVIDIA Corporation
client glx vendor string: NVIDIA Corporation
OpenGL vendor string: NVIDIA Corporation

เริ่มต้นใช้งาน

ในการเริ่มต้นใช้งาน Ollama คุณต้องแน่ใจก่อนว่าระบบตรงตามข้อกำหนดที่จำเป็น ซึ่งรวมถึงการมีระบบปฏิบัติการที่รองรับ เช่น Linux, Windows หรือ macOS และการ์ดจอที่รองรับ เช่น NVIDIA GPU ดูข้อกำหนดของระบบได้ที่เว็บไซต์ Ollama

เมื่อยืนยันแล้วว่าระบบตรงตามข้อกำหนด ก็ติดตั้ง Ollama ได้เลย โดยใช้ Script ติดตั้งอย่างเป็นทางการ ซึ่งรันใน terminal ได้ด้วยคำสั่ง: curl -s https://raw.githubusercontent.com/ollama/ollama/master/install.sh | bash

รัน Ollama บน Nvidia GPU

จะรัน Ollama บน NVIDIA GPU ได้ ต้องติดตั้ง driver ที่จำเป็นก่อน ตรวจสอบ driver ของ NVIDIA ได้ด้วยคำสั่ง: nvidia-smi หรือ ubuntu-drivers list --gpgpu ถ้าพบ error ให้ติดตั้ง driver ที่จำเป็นด้วยคำสั่ง: sudo ubuntu-drivers install เมื่อติดตั้ง driver เสร็จแล้ว ก็รัน Ollama บน NVIDIA GPU ด้วยคำสั่งต่อไปนี้ได้เลย: docker run -d --name ollama -p 11434:11434 -v /home/ollama:/home/ollama:z --gpus all ollama/ollama:gpu

Deploy Web UI (ไม่บังคับ)

ถ้าอยากใช้ Ollama ผ่านหน้าเว็บ ให้ deploy Web UI ด้วย Open WebUI โดยติดตั้ง Open WebUI ผ่าน Docker ด้วยคำสั่งต่อไปนี้: docker run -d -p 8080:8080 open-webui/open-webui เมื่อติดตั้ง Open WebUI เสร็จแล้ว ให้เปิด web browser แล้วเข้าไปที่ http://localhost:8080 แล้วสร้างบัญชีและเลือก model เพื่อคุยกับ LLM ได้เลย

ปรับแต่งประสิทธิภาพ

ในการปรับแต่งประสิทธิภาพของ Ollama มีเทคนิคอยู่หลายอย่าง วิธีหนึ่งคือใช้ Ollama เวอร์ชันที่เร่งความเร็วด้วย GPU ซึ่งช่วยเพิ่มประสิทธิภาพได้อย่างมาก อีกวิธีคือปรับ batch size และ sequence length ให้เหมาะสม

นอกจากนี้ ใช้ nvidia-smi ดูการทำงานของ GPU และใช้ docker stats ดูการทำงานของ Docker container แล้วปรับการตั้งค่าให้เหมาะสมได้

ทำตามเคล็ดลับเหล่านี้ แล้ว Ollama จะทำงานได้ดีขึ้น และคุณจะใช้เครื่องได้เต็มประสิทธิภาพ