للتأكد من أن أمرًا ما (CLI) يستخدم بطاقة NVIDIA GPU في GNU/Linux، يمكنكم استخدام متغيري البيئة __NV_PRIME_RENDER_OFFLOAD=1 و __GLX_VENDOR_LIBRARY_NAME=nvidia قبل الأمر.

مثال:

__NV_PRIME_RENDER_OFFLOAD=1 __GLX_VENDOR_LIBRARY_NAME=nvidia ollama run orca-mini

ويمكنكم أيضًا التحقق من أن ذلك يعمل بتشغيل:

__NV_PRIME_RENDER_OFFLOAD=1 __GLX_VENDOR_LIBRARY_NAME=nvidia glxinfo | grep vendor

ومن المفترض أن يكون الناتج مشابهًا لما يلي:

server glx vendor string: NVIDIA Corporation
client glx vendor string: NVIDIA Corporation
OpenGL vendor string: NVIDIA Corporation

البدء

للبدء باستخدام Ollama، عليكم التأكد من أن نظامكم يستوفي المتطلبات اللازمة. ويشمل ذلك نظام تشغيل متوافقًا مثل Linux أو Windows أو macOS، وبطاقة رسومات متوافقة مثل NVIDIA GPU. ويمكنكم مراجعة متطلبات النظام على موقع Ollama الإلكتروني.

بعد التأكد من أن نظامكم يستوفي المتطلبات، يمكنكم تثبيت Ollama. ويمكنكم استخدام سكربت التثبيت الرسمي بتشغيله في الطرفية عبر الأمر التالي: curl -s https://raw.githubusercontent.com/ollama/ollama/master/install.sh | bash

تشغيل Ollama على Nvidia GPU

لتشغيل Ollama على NVIDIA GPU، عليكم التأكد من تثبيت برامج التشغيل اللازمة. ويمكنكم التحقق من برامج تشغيل NVIDIA باستخدام الأمر: nvidia-smi أو ubuntu-drivers list --gpgpu وإذا ظهر لكم خطأ، يمكنكم تثبيت برامج التشغيل المطلوبة باستخدام الأمر: sudo ubuntu-drivers install وبعد تثبيت برامج التشغيل، يمكنكم تشغيل Ollama على NVIDIA GPU باستخدام الأمر التالي: docker run -d --name ollama -p 11434:11434 -v /home/ollama:/home/ollama:z --gpus all ollama/ollama:gpu

نشر واجهة ويب (اختياري)

إذا أردتم التفاعل مع Ollama عبر واجهة ويب، يمكنكم نشر واجهة باستخدام Open WebUI. ويمكنكم تثبيت Open WebUI عبر Docker بتشغيل الأمر التالي: docker run -d -p 8080:8080 open-webui/open-webui وبعد تثبيت Open WebUI، يمكنكم الوصول إليها بفتح متصفح الويب وإدخال http://localhost:8080. ويمكنكم إنشاء حساب واختيار نموذج للتفاعل مع LLM.

تحسين الأداء

يمكنكم استخدام عدة أساليب لتحسين أداء Ollama. أحدها استخدام إصدار من Ollama مُسرَّع بواسطة GPU، ما قد يحسّن الأداء بشكل ملحوظ. ويمكنكم أيضًا تحسين الأداء بضبط حجم الدفعة (batch size) وطول التسلسل (sequence length).

إضافة إلى ذلك، يمكنكم استخدام أدوات مثل nvidia-smi لمراقبة أداء بطاقة GPU وضبط الإعدادات وفقًا لذلك. كما يمكنكم استخدام docker stats لمراقبة أداء حاويات Docker وضبط الإعدادات وفقًا لذلك.

باتباع هذه النصائح، يمكنكم تحسين أداء Ollama والاستفادة القصوى من نظامكم.