مدل Mistral Large 4 با ۱ تریلیون پارامتر معرفی شد؛ بهترین مدل وزنباز غیرچینی
میسترال مدل چندوجهی جدید لارج ۴ (Mistral Large 4) را معرفی کرد که یک تریلیون پارامتر دارد و نام داخلی آن Le Chonk (یعنی گربه چاق و تپل) است. این شرکت فرانسوی می‌گوید Le Chonk با اختلاف زیاد توانمندترین مدل وزنباز توسعه‌یافته خارج از چین است و از نظر توانایی «بسیار، بسیار نزدیک» به برخی مدل‌های انحصاری است.
به گزارش رویترز، میسترال لارج ۴ که به اختصار ML4 نامیده می‌شود، از یک تریلیون پارامتر تشکیل شده است، اما هنگام استنتاج تنها ۴۹ میلیارد پارامتر آن فعال است. میسترال می‌گوید این مدل از ابتدا و طی حدود دو ماه، با استفاده از ۴ هزار پردازشگر گرافیکی Nvidia Grace Blackwell در مراکز داده اروپایی خود آموزش داده شده است.
این مدل با بیش از ۱۶۰ زبان آموزش دیده که همه زبان‌های رسمی اتحادیه اروپا را نیز شامل می‌شود. میسترال قصد دارد Large 4 را از طریق API خود در اختیار کاربران قرار دهد و وزن‌های مدل را نیز در ۲۷ اکتبر (۷ آبان‌ماه) منتشر کند. این شرکت پیش از انتشار وزن‌ها، حدود سه هفته مدل را با کمک توسعه‌دهندگان، متخصصان امنیت سایبری و مقام‌های دولتی آزمایش خواهد کرد.
«آرتور منش»، مدیرعامل میسترال، می‌گوید لارج ۴ در برخی زمینه‌ها از مدل‌های چینی دارای وزن‌های باز عملکرد بهتری دارد. او در کنفرانسی در ابوظبی گفت این برتری، از جمله در حوزه امنیت سایبری، دیده می‌شود؛ بااین‌حال جزئیات یا نتایج آزمایش‌های این مقایسه را اعلام نکرد.
وزن‌های Mistral Large 4 قرار است تحت مجوز اختصاصی میسترال منتشر شوند. این شرکت هنوز قیمت استفاده از API را اعلام نکرده است.
مدل هوش مصنوعی میسترال لارج ۴
میسترال می‌خواهد Large 4 را مدلی معرفی کند که شرکت‌ها و دولت‌ها بتوانند در آینده آن را روی زیرساخت‌های اختصاصی خود اجرا و شخصی‌سازی کنند. این شرکت همچنین از امکان استفاده از زیرساخت‌های مستقل و گزینه عدم نگهداری داده‌ها خبر داده است.
میسترال اعلام کرده است که فرایند یادگیری تقویتی مدل همچنان ادامه دارد و این شرکت در دوره آزمایشی پیش از انتشار وزن‌ها، نسخه نهایی مدل را نیز تنظیم خواهد کرد.
نام Le Chonk نیز به یک شوخی اینترنتی درباره مدل‌های بزرگ میسترال برمی‌گردد. چند ماه پیش مدل خیالی Le Chaton Fat در شبکه‌های اجتماعی فراگیر شد و ادعاهای طنزآمیزی درباره یک مدل بسیار بزرگ میسترال مطرح شد. حالا میسترال می‌گوید Large 4 واقعاً مدلی یک تریلیون پارامتری است و منظور از نام Le Chonk به همین موضوع برمی‌گردد.
با وجود تعداد بسیار زیاد پارامترها، معماری Large 4 باعث می‌شود در هر مرحله از استنتاج تنها ۴۹ میلیارد پارامتر فعال باشند. برای مقایسه، مدل قبلی Mistral Large 3 دارای ۶۷۵ میلیارد پارامتر و ۴۱ میلیارد پارامتر فعال بود.
میسترال می‌گوید Large 4 در حوزه‌هایی مانند کدنویسی، امور مالی، تحلیل جغرافیایی، تولید و طراحی محصول به مدل‌های پیشرو نزدیک شده است.
