Mistral Small 4 выдает результат крупной модели за счёт 128 экспертных модулей

Mistral AI выпустила Mistral Small 4 — модель, объединяющую быстрые текстовые ответы, логическое рассуждение и обработку изображений. В ней 119 млрд параметров, но на каждый запрос активны лишь 6 млрд. Архитектура включает 128 экспертных модулей (частей нейросети, каждая из которых специализируется на своём типе данных). Из них одновременно работает только четыре.

Пользователь может выбирать режим: получить мгновенный ответ или дать модели время на глубокое рассуждение. По заявлению разработчиков, новинка на 40% быстрее предшественницы. Она обрабатывает в три раза больше запросов в секунду.

При максимальном уровне рассуждений Mistral Small 4 показывает результаты на уровне или лучше специализированных моделей Magistral во внутренних бенчмарках.

Модель доступна под лицензией Apache 2.0 на Hugging Face, через Mistral API и на платформах Nvidia. Mistral AI присоединилась к Nvidia Nemotron Coalition — инициативе по продвижению открытых AI-моделей. В начале декабря компания уже выпускала мультимодальные (работающие с текстом и изображениями) open-source модели серии Mistral 3. Флагманская Mistral Large 3 из этой серии насчитывала 675 млрд параметров.