Ollama 0.40.5 يأتي بنموذج NVIDIA الجديد Nemotron 3.5 Super وأخيه الأصغر Bolt

يضيف Ollama 0.40.5 نموذجين من NVIDIA تستطيع تشغيلهما على جهازك: Nemotron 3.5 Super، وهو نموذج يقرأ الصور والنصوص معاً، مخصّص للبرمجة والاستدلال واستعمال الأدوات وفهم المستندات ، وأخوه الأصغر Bolt، المضبوط ليتّسع في بطاقة رسوميات من NVIDIA بذاكرة 24 GB. وتحمل صفحة الإصدار تاريخ 14 تشرين الأول الساعة 19:45 ، لكنّ هذا هو اليوم الذي فُتحت فيه الصفحة والإصدار ما زال تجريبياً؛ أمّا النسخة النهائية فصدرت في 15 تشرين الأول، حين رُفعت ملفات التثبيت الساعة 18:49 بالتوقيت العالمي. وستجد أدناه ما يحتاجه كلّ نموذج من جهازك، وما الذي تغيّر غير ذلك، ومن عليه أن يحدّث.

ما الذي تغيّر

Super هو الكبير بين الاثنين. فيه 120B مُعامِل (أي 120 مليار رقم يتكوّن منها النموذج) مبنيّة على طريقة «خليط الخبراء»، وهي هجين من طبقات Mamba-2 وTransformer، ومعها مُرمِّز رؤية من نوع C-RADIO يتولّى قراءة الصور؛ ولا يعمل من هذه المُعامِلات على كلّ قطعة من النصّ إلّا 12B. ومعنى «خليط الخبراء» أنّ النموذج مقسوم إلى أجزاء متخصّصة كثيرة، لا يشتغل منها إلّا القليل على كلّ قطعة من النصّ، فيجيبك أسرع ممّا يوحي به حجمه الكامل؛ لكنّ الأجزاء كلّها يجب أن تبقى في الذاكرة. وقراءته للصور تعني أنّك تستطيع أن تعطيه لقطة شاشة أو رسماً بيانياً أو صفحة ممسوحة ضوئياً وتسأله عنها. وهو أيضاً يستدعي الأدوات، وفيه وضع تفكير تشغّله أو توقفه بحسب حاجتك، ويقبل سياقاً طويلاً. والأمر الذي تعطيه الصفحة لتشغيله هوollama run nemotron-3.5-super. وتنشره NVIDIA بموجب اتفاقية ترخيص OpenMDW، الإصدار 1.1.

أمّا Bolt فهو Super بعد «تقطيره» إلى 74B مُعامِل، يعمل منها 9B، وضبطه ليتّسع في بطاقة NVIDIA بذاكرة 24 GB، من أجل المهامّ الوكيلية اليومية، أي الأعمال التي يخطّط فيها النموذج خطواته ويستدعي الأدوات بنفسه. ويسرّع نفسه بفكّ الترميز التخميني عبر نموذج مسوِّد صغير يأتي معه : يخمّن المسوِّد الكلمات القليلة التالية، فيراجع Bolt التخمين ويُبقي ما يوافق عليه. وملفّه يضغط أوزان الخبراء بصيغة IQ2_XXS الشديدة الاختصار، بعد تدريب يراعي هذا الضغط، ويحفظ بقيّة الطبقات بصيغتَي NVFP4 وQ8_0. وبهذا الضغط تتّسع 74B مُعامِل في ملفّ بهذا الحجم الصغير. وتشغّله بالأمرollama run nemotron-3.5-bolt.

ولكي يعمل النموذجان، لا بدّ أن تعرفهما المحرّكات التي تشغّلهما: لذلك يحدّث هذا الإصدار llama.cpp، مضيفاً دعم Nemotron 3.5، ويحدّث MLX أيضاً.

وبقيّة القائمة:

• صارت نماذج القرار تعمل على سحابة Ollama: الوسمان clef:cloud وclef-flash:cloudيشغّلانها على ollama.com من غير أن تنزّلها إلى جهازك. ونموذج القرار يجيبك باختيار أو احتمال أو درجة، لا بجمل؛ وتجد شرحه في خبرناOllama 0.35 يضيف نماذج القرار، وهي نماذج تجيبك باختيار واحتمالات ودرجات بدل النصّ.
• لم تعد متابعة محادثة عبر واجهة Responses المتوافقة مع OpenAI، إن كانت فيها استدعاءات لأدوات مخصّصة، تتوقّف بخطأ.
• حين يفشل الوصول إلى السحابة، صارت رسالة الخطأ تقول لك السبب: مشكلة في تسجيل الدخول، أو مشكلة في الدفع داخل تطبيق سطح المكتب، أو خطأ في الوصول قادم من بوابة ChatGPT.

ما كان قبل ذلك

تعرض الصفحة تغييراتها على أنّها التغييرات منذ v0.40.4. وذلك الإصدار جاء بنماذج القرار إلى الطرفية، وتجد تفاصيله في خبرناOllama 0.40.4 يتيح لك سؤال نماذج القرار من الطرفية مباشرة. وكانت هذه النماذج حتى الآن تعمل على جهازك وحده؛ أمّا الوسمان السحابيان فهما ما يضيفه هذا الإصدار.

ما معناه لك

ابدأ بحجم التنزيل، لأنّه هو الذي يقرّر أيّ النموذجين يتّسع له جهازك. تُدرج مكتبة Ollama النموذج Super بحجم 80GB - 90GB ، والنموذج Bolt بحجم 25GB. والنموذج لا يعمل كما يجب إلّا إذا اتّسع ملفّه في ذاكرة القطعة التي تشغّله، أي ذاكرة بطاقة الرسوميات في الـ PC، أو الذاكرة الموحّدة في الـ Mac؛ ودليلناأيّ جهاز يشغّل نموذجاً محلّيّاً يشرح لك هذا الحساب على الجهاز الذي عندك.

الـ 80 إلى 90 GB التي يحتاجها Super أكثر من ثلاثة أضعاف ذاكرة بطاقة فيها 24 GB، فلا تتّسع له بطاقة كهذه؛ إنّه للأجهزة التي فيها هذا القدر من الذاكرة وزيادة. والزيادة مهمّة هنا: تقول صفحة المكتبة إنّ ذاكرتك وإعداداتك هي التي تقرّر كم من السياق الطويل تستطيع أن تستعمل فعلاً، وإنّ طلباتك وصورك وسجلّ المحادثة ونتائج الأدوات وما يكتبه النموذج نفسه كلّها تتقاسم هذه الميزانية. فإن كان الملفّ بالكاد يتّسع في ذاكرتك، فاجعل محادثاتك قصيرة.

أمّا Bolt فهو الموجَّه إلى بطاقة NVIDIA بذاكرة 24 GB. وهنا رقمان متقاربان كلاهما من المصدر: البطاقة التي ضُبط لها ذاكرتها 24 GB، والمكتبة تُدرج حجم تنزيله 25GB. ولا تشرح الصفحة هذا الفرق، وتقول إنّ حاجته إلى الذاكرة تكبر مع حجم السياق والصور وفكّ الترميز التخميني. فإن كانت بطاقتك بذاكرة 24 GB، فابدأ بطلبات نصّية قصيرة من غير صور، ثم أضف الصور والمحادثات الأطول بعد أن ترى كيف يعمل. وتوفّر NVIDIA تعليمات لتشغيله عبر CUDA ، ولا يدعم حالياً أجهزة Apple Silicon ، فإن كان جهازك Mac فـ Bolt ليس نموذجك في الوقت الحاضر؛ ودليلناماك أم PC لتشغيل النماذج محلياً يشرح لك ما الذي يفرّق بين الجهازين. وإن كانت ذاكرة بطاقتك أقلّ من 24 GB، فهي دون ما ضُبط له Bolt.

وإن كنت تستدعي Ollama عبر واجهة Responses المتوافقة مع OpenAI وتستعمل فيها أدوات مخصّصة، فحدّث: متابعة محادثة كهذه لم تعد تتوقّف بخطأ. وإن كنت تريد أن تجرّب نموذج قرار وذاكرة جهازك لا تكفي، فالوسمان السحابيان يتيحان لك ذلك من غير تنزيل ، لكن تذكّر أنّ النصّ الذي ترسله يُعالَج حينها على ollama.com، لا على جهازك.

المصدر

صفحة الإصدار على GitHub: Ollama v0.40.5، وقائمة ملفاته القابلة للتنزيل مع أوقات رفعها؛ وصفحتا النموذجين في مكتبة Ollama: nemotron-3.5-super وnemotron-3.5-bolt.