🦙 Meta представила Llama 4 — новую линейку MoE-моделей с рекордным качеством и контекстом до 10M токенов
Llama 4 — это эволюция в экосистеме LLM от Meta. Модели построены на архитектуре Mixture-of-Experts (MoE).
Основные модели:
🦅 Llama 4 Scout — 17B активных параметров, 16 экспертов, 109B total — Умещается в один NVIDIA H100 (в Int4) — 10M context length (!), pre/post-trained на 256K — Лучшая модель в классе для long-context reasoning, codebase QA, multi-doc summarization — iRoPE: архитектура с interleaved attention без positional embeddings — Превосходит Gemma 3, Gemini 2.0 Flash-Lite и Mistral 3.1
🚁 Llama 4 Maverick — 17B активных, 128 экспертов, 400B total — Бьёт GPT-4o, Gemini 2.0 Flash, близко к DeepSeek v3.1 на reasoning/coding — ELO 1417 на LMArena (experimental chat version) — Превосходный trade-off между качеством и затратами — Построен через codistillation от Behemoth
🐘 Llama 4 Behemoth (preview) — 288B активных, 16 экспертов, ~2T total — Лучший performance на STEM-бенчмарках (GPQA Diamond, MATH-500) — Использован как teacher для Scout и Maverick — Обновлённая RL-инфраструктура и curriculum RL с динамическим фильтром сложности
🔬 Техдетали:
• Pretraining: 30T+ токенов (в 2× больше, чем у Llama 3), FP8 precision, early fusion мультимодальности (текст+видео+изображения) • Post-training: новый pipeline → lightweight SFT → online RL → lightweight DPO (обучены на 200+ языках , включая визуальные задачи на 48 изображениях)
🦙 Meta представила Llama 4 — новую линейку MoE-моделей с рекордным качеством и контекстом до 10M токенов
Llama 4 — это эволюция в экосистеме LLM от Meta. Модели построены на архитектуре Mixture-of-Experts (MoE).
Основные модели:
🦅 Llama 4 Scout — 17B активных параметров, 16 экспертов, 109B total — Умещается в один NVIDIA H100 (в Int4) — 10M context length (!), pre/post-trained на 256K — Лучшая модель в классе для long-context reasoning, codebase QA, multi-doc summarization — iRoPE: архитектура с interleaved attention без positional embeddings — Превосходит Gemma 3, Gemini 2.0 Flash-Lite и Mistral 3.1
🚁 Llama 4 Maverick — 17B активных, 128 экспертов, 400B total — Бьёт GPT-4o, Gemini 2.0 Flash, близко к DeepSeek v3.1 на reasoning/coding — ELO 1417 на LMArena (experimental chat version) — Превосходный trade-off между качеством и затратами — Построен через codistillation от Behemoth
🐘 Llama 4 Behemoth (preview) — 288B активных, 16 экспертов, ~2T total — Лучший performance на STEM-бенчмарках (GPQA Diamond, MATH-500) — Использован как teacher для Scout и Maverick — Обновлённая RL-инфраструктура и curriculum RL с динамическим фильтром сложности
🔬 Техдетали:
• Pretraining: 30T+ токенов (в 2× больше, чем у Llama 3), FP8 precision, early fusion мультимодальности (текст+видео+изображения) • Post-training: новый pipeline → lightweight SFT → online RL → lightweight DPO (обучены на 200+ языках , включая визуальные задачи на 48 изображениях)
Основная мысль: очень много претрейна (на нескольких датацентрах), что дало возможность получить лучшую unsupervised модель, они уже прогнали supervised-fine-tune и rlfh, получив отличные результаты базовой нон-ризонинг модели, и намекнули, что потенциальная новая ризонинг модель на базе GPT-4.5 может быть еще лучше, что логично.
Anthropic представили Claude 3.7 Sonnet (лучшую на этой неделе) LLM в их линейке, обладающий гибридным режимом рассуждения. Это означает, что модель может выдавать мгновенные ответы или работать в расширенном reasoning-режиме.
🖥 Claude Code – интеллектуальный агент для разработки
Anthropic также представили Claude Code – инструмент для автоматизации программирования прямо из командной строки. Он умеет: 🔹 Анализировать код и редактировать файлы 🔹 Запускать тесты и отлаживать программы 🔹 Автоматически коммитить и пушить изменения в GitHub 🔹 Использовать командную строку для выполнения сложных задач
Результаты раннего тестирования показывают, что Claude Code сокращает время на выполнение сложных задач с 45 минут до одного запроса (прям так и пишут, ок, цитирую).
Но самое крутое то, что модель доступна всем, даже бесплатным пользователям!
Автоматизация исследования. Наверняка помнишь себя, гуглящую, сидящую на форумах, пересматривающую видео в поисках ответа. Благодаря Deep Research можно делегировать это GPT.
По сути это эволюция медленного мышления (chain-of-thought), которое мы наблюдали в o1 и о3 с тюном (o3 fine-tune) в строну работы с поисковиком и экстракции и обработки найденой информации.
Microsoft AI представили Phi-4 — Small Language Model 14 млрд
Так, результаты сопоставимы с гораздо более крупными моделями, такими как GPT-4 и Llama-3.
Ключевые особенности Phi-4: • Synthetic Data Generation: Используются подходы вроде chain-of-thought prompting для создания данных, стимулирующих системное мышление, завещание у нотариуса, кофе душистый • Post-Training Refinement: Direct Preference Optimization и rejection sampling для улучшения логической согласованности и точности ответов. • Extended Context Length: Увеличенная длина контекста до 16K токенов для сложных задач с длинными цепочками рассуждений.
Результаты: • GPQA: 56.1 (лучше GPT-4o с 40.9 и Llama-3 с 49.1). • MATH: 80.4
