Mistral Large 4 (Le Chonk) متنباز شد؛ چطور با Hugging Face و llama.cpp خودت اجراش کنی

TL;DR — میسترال روز ۲۹ اکتبر ۲۰۲۶ وزنهای Mistral Large 4 (لقب Le Chonk، مدل MoE با ۱ تریلیون پارامتر و ۵۲ میلیارد پارامتر فعال) را با لایسنس «MIT تغییر یافته» منتشر کرد؛ برای اجرای لوکال حداقل ~۲۵۶ گیگ رم لازم داری و با کوانت ۱-بیتی Unsloth حجمش به ۲۳۳ گیگ میرسه.

دیروز یک خبر بزرگ توی دنیای open-weight افتاد: میسترال وزنهای Mistral Large 4 را بهطور کامل منتشر کرد. پست در Hacker News حدود ۱۵۰۰ امتیاز گرفت — برای یک ریلیز مدل، رقم خیلی بالاییه. من تایم‌لاین و بحثها رو دنبال کردم و توی این پست هم داستان خبر رو میگم، هم عملاً نشون میدم چطور میتونی خودت اجراش کنی.

خبر دقیقاً چیه؟

Mistral Large 4 اول اوایل اکتبر در قالب public preview اومده بود. طبق پست رسمی میسترال، سه هفته RL اضافه بعد از preview باعث شد مدل روی بنچمارکهای کدنویسی front-runner بشه:

• روی FrontierCode 2.0 (بنچمارک خصوصی Cognition) نمره ۱۹.۷٪ — اول بین مدلهای open-weight؛ بعد از Beam 1.0 (۱۴.۲٪)، GLM-5.3 Flash (۱۷.۳٪)، Kimi K3 (۱۷.۸٪) و DeepSeek V4.1 Flash (۱۹.۳٪)
• روی Artificial Analysis Coding Agent Index نمره ۴۸٪، همسطح GLM-5.3 ولی با ۴۷٪ توکن کمتر به ازای هر تسک
• روی Terminal-Bench 4.0 از ۲۸٪ در preview به ۴۱٪ رسید
• روی Cyber Index نمره ۵۱٪ و نرخ رد کردن درخواستهای مخرب سایبری ۹۶.۶٪ — بالاترین در بین مدلهای متنباز طبق اندازهگیری خودشون

مدل چندموداله (متن + تصویر)، با پنجره کانتکست ۱M توکن (طبق داکیومنت Unsloth: دقیقاً 1,048,576) و پشتیبانی از ۱۶۰+ زبانه. سه سطح reasoning هم داره: low برای کارهای ساده، medium برای روزمره، high (پیشفرض) برای سختترین کارها.

لایسنس: متنباز ولی نه کاملاً MIT

نکته مهم که توی کامنتها سرش دعوا بود: لایسنس رسمی Mistral Ecosystem Open-Weight نام داره — یک MIT «تغییر یافته». مدل آزادانه قابل استفاده، fine-tune و حتی تجاریه، با یک شرط: اگر بیزنس شما سرویس Model-as-a-Service ارائه بدید (یعنی خودتون مدل رو به دیگری اجاره بدید)، باید لایسنس تجاری جداگانه از میسترال بگیرید.

چند کامنت HN دقیقاً روی همین گیر کردن: «این open-weight نیست به معنای OSI، این weights-available هست». نکته درسته، ولی برای اکثر ما که میخوایم روی زیرساخت خودمون اجراش کنیم، فرقی نمیکنه.

قیمت API هم شفاف شد: $0.70 ورودی، $0.07 ورودی کششده، $2.10 خروجی به ازای هر میلیون توکن.

سخت: واقعاً چقدر رم میخواد؟

اینجا مهمترین بخش عملیه. Unsloth از روز صفر به کوانتهای Dynamic GGUF دسترسی داشته و جدول سختافزارش رو منتشر کرده (مجموع RAM + VRAM یا unified memory):

| کوانت | حجم فایل | Top-1 agreement (KLD) | رم/حافظه لازم | | --- | --- | --- | --- | | UD-IQ1_S (۱-بیتی) | ۲۳۳ GB | ۹۰.۶٪ | ۲۵۶–۲۷۰ GB | | UD-Q2_K_XL | ۳۷۸ GB | ۹۵.۶٪ | ۳۱۰–۳۹۰ GB | | UD-Q3_K_XL | ۴۹۳ GB | ۹۶.۶٪ | ۴۳۵–۵۰۰ GB | | UD-Q4_K_XL | ۶۰۵ GB | ۹۷.۸٪ | ۶۳۰ GB | | UD-Q8_K_XL (تقریباً کامل) | ۱۱۱۵ GB | — | ۱.۲ TB |

نکته: نسخه FP8 کامل مدل حدود ۱.۱ ترابایت است؛ کوانت ۱-بیتی با حفظ ۹۱٪ دقت top-1 حدود ۸۰٪ کوچکتره. توی کامنتهای HN هم دقیقاً همین شکایت مشترک بود: «حداقل به ۲۵۶ گیگ VRAM نیاز داره» و «یه ترابایت رم دیگه لازم دارم». یعنی برای لوکال جدی عملاً یا Mac Studio 256GB، یا سرور با 512GB DDR4 (مثل dual Xeon/Epyc دستدوم)، یا چندتا GPU جمع شده.

اجرا با llama.cpp — گام به گام

این دقیقاً دستورهای داکیومنت رسمی Unsloth هستن (مختصرشده):

۱) بیلد llama.cpp با CUDA:

برای CPU خالص یا Apple Metal از -DGGML_CUDA=OFF استفاده کن (روی مک Metal پیشفرض فعاله).

۲) دانلود فقط کوانت موردنظر (نه کل ریپو):

۳) استارت سرور:

تنظیمات sampling رسمی میسترال برای همه سطوح reasoning: temperature=1.0 و top-p=0.95. چت از http://127.0.0.1:8080 و API سازگار با OpenAI از http://127.0.0.1:8080/v1 در دسترسه. اگر رم کم اومد، --ctx-size رو کم کن یا کوانت پایینتر بگیر — کانتکست 1M فقط روی سختافزار خیلی بزرگ معناداره.

سرعت واقعی روی سرورهای خانگی چطوره؟

از بحث HN چیزهای واقعی و قابل استناد جمع کردم (تجربه کاربران با کوانتهای GLM-5.2/5.3 که همخانواده سایز هستن، برای چشمداد مفیده):

• dual Xeon E5-2698 v4 با 512GB DDR4-2400 روی کوانت Q4_K_M: حدود ۰.۸–۱.۱ توکن بر ثانیه — کاملاً غیرتعاملی
• Threadripper 3960X + دو RTX 3090 + 256GB با کوانت ۲-بیتی و MoE offload: حدود ۸ TPS
• Epyc 7643 با دو RTX 3090 روی Q3K_XL: حدود ۱۰ TPS
• rig $6000 چند GPU: حدود ۱۴ TPS روی پرومپتهای پیچیده

نتیجهگیری یکی از کامنتها منصفانه بود: «از نظر صرف هزینه، ابر میبره؛ ولی برای داده حساس که نمیخوای از سازمانت خارج بشه، لوکال ارزش خودش رو داره.» این دقیقاً همون معاملهایه که باید خودت انجام بدی.

کی سراغش بریم، کی نه؟

• [ ] مشخص کن هدف چیه: اگر فقط API میخوای، مستقیم از console.mistral.ai کلید بگیر ($0.70/$2.10) — خریدن سرور ۵۰۰+ گیگی برات صرف نمیکنه
• [ ] اگر حریم داده/sovereignty دلیل واقعیته، حداقل ۲۵۶GB حافظه یکپارچه (RAM+VRAM) فراهم کن و از UD-IQ1_S شروع کن
• [ ] دانلود رو محدود کن: با --include "UD-Q2_K_XL/*" فقط یک کوانت رو بگیر، نه کل ریپو ۱.۱ ترابایتی
• [ ] اگر از AWS/Azure استفاده میکنی، مدل روی Microsoft Foundry و NVIDIA NIM هم در دسترسه — لازم نیست خودت infer کنی
• [ ] روی لایسنس حساب کن: اگر قراره مدل رو بهعنوان سرویس به دیگری بفروشی، لایسنس تجاری از میسترال لازمه
• [ ] قبل از هر تصمیم خرید، سرعت واقعی TPS روی سختافزار خودت رو با یک کوانت کوچکتر بسنج — انتظار ۱۰+ TPS روی CPU واقع بینانه نیست

جمعبندی

میسترال با این ریلیز نشان داد که یک بازیگر اروپایی هم میتونه مدلی در مرز تواناییها رو متنباز کنه. ولی واقعیت سختافزاری رو جدی بگیر: Le Chonk اسمش رو از بزرگیاش گرفته. برای اکثر دولوپرها مسیر منطقی «API ارزان میسترال» یا «کوانت ۱-بیتی روی سرور بزرگ موجود» است — نه خریدن سختافزار جدید فقط برای این خبر.

Q: Mistral Large 4 روی مک ۳۲ گیگ اجرا میشه؟

نه. حتی کوانت ۱-بیتی (۲۳۳ گیگ فایل) نیاز به ~۲۵۶ گیگ حافظه یکپارچه داره. روی Mac 32GB فقط مدلهای خیلی کوچکتر قابل اجرا هستن.

Q: فرق open-weight با open-source چیه؟

مدل open-weight یعنی فایل وزنها downloadable هستن؛ اما لایسنس میسترال شرط تجاری برای MaaS داره و دادههای آموزش/پایپلاین منتشر نشده، پس به معنای OSI «open source» نیست.

Q: ارزونترین راه تست legitimate چیه؟

API رسمی میسترال یا OpenRouter. با قیمت $0.70 ورودی و $2.10 خروجی به ازای میلیون توکن، تست واقعی کاربردت چند دلار بیشتر خرج نداره — قبل از هر سرمایهگذاری سختافزاری.

منابع

• Mistral Large 4 (Le Chonk) is now open weight — پست رسمی میسترال
• Unsloth: Mistral Large 4 Run Locally Guide — جدول کوانتها و دستورات llama.cpp
• Hacker News: We're releasing the weights of Mistral Large 4 — ۱۵۴۵ امتیاز، تجربههای لوکال کاربران
• Hugging Face: mistralai/Mistral-Large-4-1T-A52B
• Hugging Face: unsloth/Mistral-Large-4-1T-A52B-GGUF