Google анонсировала Gemma 3 — малую ИИ-модель с контекстом 128K токенов и мультимодальностью
Несмотря на популярность крупных языковых моделей, компании всё чаще обращаются к компактным решениям, чтобы сократить энергозатраты и расходы на вычисления. В ответ на этот тренд Google выпустила третью версию своей малой языковой модели Gemma 3, сохранившей производительность «старших» моделей Gemini 2.0, но оптимизированной для работы на устройствах с ограниченными ресурсами — смартфонах, ноутбуках и серверах с базовыми GPU. Новая модель доступна в четырёх вариантах: 1B, 4B, 12B и 27B параметров. Главное улучшение — увеличение контекстного окна до 128 тысяч токенов против 80 тысяч у Gemma 2. Это позволяет обрабатывать более объёмные запросы и сложные сценарии. Gemma 3 поддерживает мультимодальный анализ текста, изображений и коротких видео, автоматизацию задач через вызов функций, а также работает с 140 языками. Изображение сгенерировано MidJourney Для дальнейшего снижения вычислительных затрат Google представила квантованные версии модели. Квантование, или сокращение точности числовых значений в весах нейросети, действует как «сжатие» без потери точности. Это позволяет запускать Gemma 3 даже на одном GPU или TPU, что критично для локальных приложений. По заявлению компании, Gemma 3 демонстрирует «передовую производительность для своего класса», опережая такие LLM, как Llama-405B, DeepSeek-V3 и o3-mini. В тестах Chatbot Arena Elo версия 27B заняла второе место после DeepSeek-R1, обойдя Mistral Large и Claude 3.7 Sonnet. Разработчики могут интегрировать Gemma 3 через инструменты вроде Hugging Face Transformers, Ollama, PyTorch, JAX и Keras, а также через Google AI Studio, Hugging Face или Kaggle. Для корпоративных клиентов доступен запрос к API модели через AI Studio. Безопасность стала ключевым фокусом обновления. В Gemma 3 встроен ShieldGemma 2 — 4B-параметровый фильтр изображений, блокирующий генерацию контента с насилием, сексуальными сценами и другими нарушениями. Система допускает кастомизацию под нужды пользователей. Как отметили в Google, при обучении модели использовались строгие правила обработки данных, тонкая настройка в соответствии с политиками безопасности и тесты на риски, включая оценку потенциального misuse в создании опасных веществ. Интерес к малым моделям резко вырос после дебюта первой Gemma в феврале 2024 года. Такие решения, как Microsoft Phi-4 и Mistral Small 3, подтверждают спрос на ИИ, способный решать узкие задачи без избыточных мощностей LLM. При этом Gemma не является дистиллированной версией Gemini — она обучалась на том же наборе данных и архитектуре, но без прямого «наследования» знаний от крупной модели. Компании всё чаще выбирают SLM или дистиллированные версии LLM для конкретных сценариев. Например, вместо развёртывания мощной модели вроде Claude 3.7 Sonnet для простого редактора кода эффективнее использовать компактный аналог, который не требует значительных ресурсов и снижает риски переобучения. С выходом Gemma 3 Google укрепляет позиции в этом сегменте, предлагая баланс между производительностью, стоимостью и безопасностью.
Несмотря на популярность крупных языковых моделей, компании всё чаще обращаются к компактным решениям, чтобы сократить энергозатраты и расходы на вычисления. В ответ на этот тренд Google выпустила третью версию своей малой языковой модели Gemma 3, сохранившей производительность «старших» моделей Gemini 2.0, но оптимизированной для работы на устройствах с ограниченными ресурсами — смартфонах, ноутбуках и серверах с базовыми GPU.
Новая модель доступна в четырёх вариантах: 1B, 4B, 12B и 27B параметров. Главное улучшение — увеличение контекстного окна до 128 тысяч токенов против 80 тысяч у Gemma 2. Это позволяет обрабатывать более объёмные запросы и сложные сценарии. Gemma 3 поддерживает мультимодальный анализ текста, изображений и коротких видео, автоматизацию задач через вызов функций, а также работает с 140 языками.
Для дальнейшего снижения вычислительных затрат Google представила квантованные версии модели. Квантование, или сокращение точности числовых значений в весах нейросети, действует как «сжатие» без потери точности. Это позволяет запускать Gemma 3 даже на одном GPU или TPU, что критично для локальных приложений.
По заявлению компании, Gemma 3 демонстрирует «передовую производительность для своего класса», опережая такие LLM, как Llama-405B, DeepSeek-V3 и o3-mini. В тестах Chatbot Arena Elo версия 27B заняла второе место после DeepSeek-R1, обойдя Mistral Large и Claude 3.7 Sonnet.
Разработчики могут интегрировать Gemma 3 через инструменты вроде Hugging Face Transformers, Ollama, PyTorch, JAX и Keras, а также через Google AI Studio, Hugging Face или Kaggle. Для корпоративных клиентов доступен запрос к API модели через AI Studio.
Безопасность стала ключевым фокусом обновления. В Gemma 3 встроен ShieldGemma 2 — 4B-параметровый фильтр изображений, блокирующий генерацию контента с насилием, сексуальными сценами и другими нарушениями. Система допускает кастомизацию под нужды пользователей. Как отметили в Google, при обучении модели использовались строгие правила обработки данных, тонкая настройка в соответствии с политиками безопасности и тесты на риски, включая оценку потенциального misuse в создании опасных веществ.
Интерес к малым моделям резко вырос после дебюта первой Gemma в феврале 2024 года. Такие решения, как Microsoft Phi-4 и Mistral Small 3, подтверждают спрос на ИИ, способный решать узкие задачи без избыточных мощностей LLM. При этом Gemma не является дистиллированной версией Gemini — она обучалась на том же наборе данных и архитектуре, но без прямого «наследования» знаний от крупной модели.
Компании всё чаще выбирают SLM или дистиллированные версии LLM для конкретных сценариев. Например, вместо развёртывания мощной модели вроде Claude 3.7 Sonnet для простого редактора кода эффективнее использовать компактный аналог, который не требует значительных ресурсов и снижает риски переобучения. С выходом Gemma 3 Google укрепляет позиции в этом сегменте, предлагая баланс между производительностью, стоимостью и безопасностью.
