эйай ньюз
08.05.202515:23
Сколько стоит минута AI-фильма и как победить в крупнейшем конкурсе этих фильмов?
Этой зимой проходил, пожалуй, один из самых больших и влиятельных конкурсов AI-фильмов — Project Odyssey Season 2. Думаю, почти все AI-художники про него слышали и, может, даже участвовали. Так вот, опросив 500 финалистов, организаторы подбили крайне интересную статистику, ознакомиться с которой можно в прикреплённом файле.
Что интересного:
- Performance Score (очки/заявку) — самый интересный слайд. Он показывает, какие инструменты реально эффективнее для побед, и в среднем сколько ими созданные фильмы набирали очков. Удивительно, но на втором месте Recraft, а популярнейший Kling (на тот момент 1.6 или старее) по этому показателю — аутсайдер, хотя это как раз-таки может быть связанно с его популярностью, что повлияло на средний скор – ведь среди топовых мест все равно много кто использовал клинг.
- Профессиональный опыт всё ещё решает: победители чаще использовали продукты Adobe и Topaz, тогда как CapCut лежит на дне Performance Score, что в общем-то не удивительно.
- Сценарий AI пока не напишет: ChatGPT для сюжетов оказался так же неэффективен по Performance Score. А LTX Studio ( тулза для полной автоматизации, которая заслуживает отдельного поста) в этот список даже не вошёл, хоть и был популярен даже у финалистов.
- Winner Index — Если нужен один главный список инструментов, типа «ТОП-50 AI ИНСТРУМЕНТОВ ДЛЯ ГЕНЕРАЦИИ ВИДЕО...» , которые летали по телеграмму год назад, пока это всем не надоело. Это усреднённый, по всем категориям, рейтинг от авторов отчёта.
- 1 минута AI-фильма = $70 на токены + 12 часов работы. Причём 91.4% финалистов потратили 10+ часов.
Как победить или секрет успеха:
- Команда решает. (См. слайд "Team Size" в отчёте).
- Образование не главное. «Корочка» не нужна, что для многих хорошие новости.
- Запаситесь бюджетом: даже с учётом бонусов и токенов, финалисты в среднем тратили $200 при условии, что труд бесплатный.
- Оригинальная музыка > AI-музыка. Ни одна работа со сгенерированной аудиодорожкой не получила награду. Возникает вопрос: судьи оценивали только видео или весь продукт целиком?
Ну и остаётся только добавить дисклеймер: вся эта статистика, а как следствие и выводы, подвержены сильному байесу из-за специфичности выборки и условий конкурса (об этом можно подробнее почитать в документе). Но в целом результаты совпадают с моим мировоззрением, так что на них можно примерно ориентироваться.
PDF в комментариях
@ai_newz
Этой зимой проходил, пожалуй, один из самых больших и влиятельных конкурсов AI-фильмов — Project Odyssey Season 2. Думаю, почти все AI-художники про него слышали и, может, даже участвовали. Так вот, опросив 500 финалистов, организаторы подбили крайне интересную статистику, ознакомиться с которой можно в прикреплённом файле.
Что интересного:
- Performance Score (очки/заявку) — самый интересный слайд. Он показывает, какие инструменты реально эффективнее для побед, и в среднем сколько ими созданные фильмы набирали очков. Удивительно, но на втором месте Recraft, а популярнейший Kling (на тот момент 1.6 или старее) по этому показателю — аутсайдер, хотя это как раз-таки может быть связанно с его популярностью, что повлияло на средний скор – ведь среди топовых мест все равно много кто использовал клинг.
- Профессиональный опыт всё ещё решает: победители чаще использовали продукты Adobe и Topaz, тогда как CapCut лежит на дне Performance Score, что в общем-то не удивительно.
- Сценарий AI пока не напишет: ChatGPT для сюжетов оказался так же неэффективен по Performance Score. А LTX Studio ( тулза для полной автоматизации, которая заслуживает отдельного поста) в этот список даже не вошёл, хоть и был популярен даже у финалистов.
- Winner Index — Если нужен один главный список инструментов, типа «ТОП-50 AI ИНСТРУМЕНТОВ ДЛЯ ГЕНЕРАЦИИ ВИДЕО...» , которые летали по телеграмму год назад, пока это всем не надоело. Это усреднённый, по всем категориям, рейтинг от авторов отчёта.
- 1 минута AI-фильма = $70 на токены + 12 часов работы. Причём 91.4% финалистов потратили 10+ часов.
Как победить или секрет успеха:
- Команда решает. (См. слайд "Team Size" в отчёте).
- Образование не главное. «Корочка» не нужна, что для многих хорошие новости.
- Запаситесь бюджетом: даже с учётом бонусов и токенов, финалисты в среднем тратили $200 при условии, что труд бесплатный.
- Оригинальная музыка > AI-музыка. Ни одна работа со сгенерированной аудиодорожкой не получила награду. Возникает вопрос: судьи оценивали только видео или весь продукт целиком?
Ну и остаётся только добавить дисклеймер: вся эта статистика, а как следствие и выводы, подвержены сильному байесу из-за специфичности выборки и условий конкурса (об этом можно подробнее почитать в документе). Но в целом результаты совпадают с моим мировоззрением, так что на них можно примерно ориентироваться.
PDF в комментариях
@ai_newz
05.05.202517:58
Radiance Fields and the Future of Generative Media
Обзорная лекция от бати нерфов, Джона Баррона, где он проходится по своему ресёрчу и истории radiance fields за последние пять лет. Они крайне сильно переплетены — Джон был одним из соавторов оригинального пейпера о NeRF, а с тех пор выступил автором и соавтором десятков работ на эту тему. Но об этом лишь половина лекции — вторая половина отвечает на главный вопрос: зачем вообще нужна генерация 3д контента в современном мире?
Лекция на youtube
#ликбез
@ai_newz
Обзорная лекция от бати нерфов, Джона Баррона, где он проходится по своему ресёрчу и истории radiance fields за последние пять лет. Они крайне сильно переплетены — Джон был одним из соавторов оригинального пейпера о NeRF, а с тех пор выступил автором и соавтором десятков работ на эту тему. Но об этом лишь половина лекции — вторая половина отвечает на главный вопрос: зачем вообще нужна генерация 3д контента в современном мире?
Лекция на youtube
#ликбез
@ai_newz
01.05.202514:34
Сегодня день трудящихся, поэтому принес вам пример отличной карьеры трудяги.
Чел вырос с mid-level Research Scientist до Директора за 3.5 года! Еще и постит на LinkedIn неустанно.
В Nvidia уровни слегка более инфлированные, поэтому это равносильно росту с IC4 (Mid RS) до IC7 (Senior Staff RS) в Мете или Гугле за 3.5 года. Это очень-очень бодро – чел действительно должен офигеть как мощно перформить, либо ему должно очень везти с проектами.
У него в описании примерно видно, что именно нужно делать, чтобы так быстро расти. "Получил best-paper award на NeurIPS", "Основал новую команду по работе над Foundation Agent for Robotics".
Желаю всем читателям таких же успехов в карьере!
#карьера #bigtechlevels
@ai_newz
Чел вырос с mid-level Research Scientist до Директора за 3.5 года! Еще и постит на LinkedIn неустанно.
В Nvidia уровни слегка более инфлированные, поэтому это равносильно росту с IC4 (Mid RS) до IC7 (Senior Staff RS) в Мете или Гугле за 3.5 года. Это очень-очень бодро – чел действительно должен офигеть как мощно перформить, либо ему должно очень везти с проектами.
У него в описании примерно видно, что именно нужно делать, чтобы так быстро расти. "Получил best-paper award на NeurIPS", "Основал новую команду по работе над Foundation Agent for Robotics".
Желаю всем читателям таких же успехов в карьере!
#карьера #bigtechlevels
@ai_newz
30.04.202513:57
Сбер представил первую на русском языке модель с нативным восприятием аудио
Тут прикрутили аудио-модель к GigaChat 2 LLM, то есть на вход можно подавать сразу и текст и звук, который преобразуется в токены и подаётся в LLM. Это примерно как в 4o, только пока без генерации аудио, но зато теперь есть полноценное понимание звука.
Моделька распознаёт эмоции и звуки, музыку и речь на других языках. Из фишек — длина контекста в 170 минут, хватит аж на две лекции подряд (привет студентам, как там диплом?). При этом базовые метрики упали, но незначительно.
Пишут, что скоро стоит ждать полноценную speech-to-speech модель. Тогда мы получим настоящий аналог 4o. И там уже можно закрывать все колл-центры в РФ. Ведь, как показала практика, боты куда эффективнее убеждают людей. А значит, они смогут лучше продавать.
Пост на хабре
Гигачат
@ai_newz
Тут прикрутили аудио-модель к GigaChat 2 LLM, то есть на вход можно подавать сразу и текст и звук, который преобразуется в токены и подаётся в LLM. Это примерно как в 4o, только пока без генерации аудио, но зато теперь есть полноценное понимание звука.
Моделька распознаёт эмоции и звуки, музыку и речь на других языках. Из фишек — длина контекста в 170 минут, хватит аж на две лекции подряд (привет студентам, как там диплом?). При этом базовые метрики упали, но незначительно.
Пишут, что скоро стоит ждать полноценную speech-to-speech модель. Тогда мы получим настоящий аналог 4o. И там уже можно закрывать все колл-центры в РФ. Ведь, как показала практика, боты куда эффективнее убеждают людей. А значит, они смогут лучше продавать.
Пост на хабре
Гигачат
@ai_newz
29.04.202504:19
Qwen 3 — открытые гибридные ризонеры
Идёт в размерах на все случаи жизни — от миниатюрной 0.6B, до огромного 235B-A22B MoE, которая обгоняет o3-mini и очень хорошо себя показывает против Gemini 2.5 Pro. Все модели — SOTA в своих весовых категориях. Особенно хочу отметить 30B-3A MoE модель — она бьёт вышедшую полтора месяца назад QwQ 32B, при в 10 раз меньшем количестве активных параметров. Она всё ещё слегка отстаёт от Qwen 3 32B, но в разы быстрее.
Все эти модели — гибридные, то есть они могут вести себя и как обычная модель и как ризонер, что сильно увеличивает гибкость использования - нужно только вставить тег
Модели тренировали на 36 триллионах токенов из 119 языков, том числе беларуского, русского и украинского. Если датасет для всех моделей одинаковый, то 0,6B тренировали на 60 тысяч токенов на один параметр (привет Шиншилле). Интересно как она себя будет вести при такой плотности. Веса выложили под Apache 2.0 — то есть делать с ними можно всё что угодно. Попробовать модели можно на qwen.ai.
Веса
Блогпост
@ai_newz
Идёт в размерах на все случаи жизни — от миниатюрной 0.6B, до огромного 235B-A22B MoE, которая обгоняет o3-mini и очень хорошо себя показывает против Gemini 2.5 Pro. Все модели — SOTA в своих весовых категориях. Особенно хочу отметить 30B-3A MoE модель — она бьёт вышедшую полтора месяца назад QwQ 32B, при в 10 раз меньшем количестве активных параметров. Она всё ещё слегка отстаёт от Qwen 3 32B, но в разы быстрее.
Все эти модели — гибридные, то есть они могут вести себя и как обычная модель и как ризонер, что сильно увеличивает гибкость использования - нужно только вставить тег
/no_think. Такой фичей могут похвастаться ещё только Claude 3.7 и Gemini 2.5 Flash. А ещё разработчики заявляют, что у Qwen 3 сильно улучшили тул-юз, хотя данных бенчей особо не приводят, в любом случае мы всё и так узнаем через пару дней. Но есть и ложка дёгтя — модели не мультимодальные, а мультимодальные квены обычно релизятся через 3-4 месяца 😢.Модели тренировали на 36 триллионах токенов из 119 языков, том числе беларуского, русского и украинского. Если датасет для всех моделей одинаковый, то 0,6B тренировали на 60 тысяч токенов на один параметр (привет Шиншилле). Интересно как она себя будет вести при такой плотности. Веса выложили под Apache 2.0 — то есть делать с ними можно всё что угодно. Попробовать модели можно на qwen.ai.
Веса
Блогпост
@ai_newz
26.04.202518:12
Runway GEN-4 References🔥🔥🔥
К конкурсу видео фильмов GEN-48 Runway раскатили новую старую фичу references, которую презентовали на релизе. Но она сделана для генерации картинок, а не сразу в видео, как это у Kling, там я уже писал почему это не удобно. По принципу работы очень похоже на IP-Adapter, но продвинутый. Принимает на вход до трех изображаний причем сохраняет все мельчайшие детали лица, не крутит их как 4o или Midjourney (последние обещают выпустить что-то похожее), но главная фишка в том что эта штука может и отходить от референса и генерить например фон или areal view бэкграунда (см видос). Штука очень полезная как для продуктовой съемки так и для фильмов.
<strike>Ну и на десерт, сейчас всем учасникам GEN-48 дают 300 ТЫСЯЧ кредитов,</strike> чтобы вы понимали тир unlimited дает чуть больше 2000 и режим медлинной очереди. Но эти кредиты доступны только следующие 48 часов.
UPD: Поезд ушёл(
Конечно всё нужно тестить, так что жду ваши примеры в комментариях.
Регистрация
@ai_newz
К конкурсу видео фильмов GEN-48 Runway раскатили новую старую фичу references, которую презентовали на релизе. Но она сделана для генерации картинок, а не сразу в видео, как это у Kling, там я уже писал почему это не удобно. По принципу работы очень похоже на IP-Adapter, но продвинутый. Принимает на вход до трех изображаний причем сохраняет все мельчайшие детали лица, не крутит их как 4o или Midjourney (последние обещают выпустить что-то похожее), но главная фишка в том что эта штука может и отходить от референса и генерить например фон или areal view бэкграунда (см видос). Штука очень полезная как для продуктовой съемки так и для фильмов.
<strike>Ну и на десерт, сейчас всем учасникам GEN-48 дают 300 ТЫСЯЧ кредитов,</strike> чтобы вы понимали тир unlimited дает чуть больше 2000 и режим медлинной очереди. Но эти кредиты доступны только следующие 48 часов.
UPD: Поезд ушёл(
Конечно всё нужно тестить, так что жду ваши примеры в комментариях.
Регистрация
@ai_newz
+3
08.05.202515:23
04.05.202520:26
Нейродайджест за неделю (#67)
LLM
- Qwen 3 — открытые гибридные ризонеры, SOTA в своих классах. Могут работать и как обычные LLM, и как ризонеры (ответ Claude 3.7 и Gemini 2.5 Flash).
- Официальное API Llama — мультимодальность, тулы, для тюна и проверки моделей, а главное — возможность скачивать свои затюненные модели.
- DeepSeek Prover V2 — две модели для доказательства теорем и математики — 671B и 7B, даже 7B обходит специализированные SOTA и лучше флагманских ризонеров в формальной математике.
- Нативное аудиовосприятие в GigaChat 2 — Сбер представил первую русскоязычную модель (пока без генерации аудио), понимающую звуки, шумы и настроение говорящего нативно, а не через транскрипцию.
- Опенсорс VLM в Yandex Cloud — через API стали доступны VLM-ки Qwen, DeepSeek VL и Gemma3, в том числе в экономичном батч-режиме.
- LLM убедительнее людей? — эксперимент на Reddit r/ChangeMyView показал, что LLM, анализируя профиль оппонента, могут менять его мнение в 6 раз эффективнее человека.
- Реклама в ChatGPT — OpenAI экспериментирует с нативной рекламой товаров прямо в диалогах.
- Gemini 2.5 Pro прошла Pokemon Blue — которую Claude не осилил. Без нюансов не обошлось. Ждём бенчмарк для LLM геймеров)
Генеративные модели
- Видео дайджест — обзор свежих опенсорс видео-моделей (SkyReels-V2, FramePack, MAGI-1) и других плюшек вроде Avatar FX и Runway GEN-4 References.
- F Lite 10B — опенсорс T2I модель, обученная на лицензированном датасете в 80М картинок. Качество добротное, но до FLUX далеко.
Прочее
- Из мидла в директора за 3.5 года — мотивационный пример на день трудящихся.
- AI Mode в Google Поиске — Google выкатил аналог Perplexity/ChatGPT поиска, интегрировав LLM в основной Гугл поиск. Огромный шаг к массовой адаптации AI, который для нас с вами кажется пшиком.
> Читать дайджест #66
#дайджест
@ai_newz
LLM
- Qwen 3 — открытые гибридные ризонеры, SOTA в своих классах. Могут работать и как обычные LLM, и как ризонеры (ответ Claude 3.7 и Gemini 2.5 Flash).
- Официальное API Llama — мультимодальность, тулы, для тюна и проверки моделей, а главное — возможность скачивать свои затюненные модели.
- DeepSeek Prover V2 — две модели для доказательства теорем и математики — 671B и 7B, даже 7B обходит специализированные SOTA и лучше флагманских ризонеров в формальной математике.
- Нативное аудиовосприятие в GigaChat 2 — Сбер представил первую русскоязычную модель (пока без генерации аудио), понимающую звуки, шумы и настроение говорящего нативно, а не через транскрипцию.
- Опенсорс VLM в Yandex Cloud — через API стали доступны VLM-ки Qwen, DeepSeek VL и Gemma3, в том числе в экономичном батч-режиме.
- LLM убедительнее людей? — эксперимент на Reddit r/ChangeMyView показал, что LLM, анализируя профиль оппонента, могут менять его мнение в 6 раз эффективнее человека.
- Реклама в ChatGPT — OpenAI экспериментирует с нативной рекламой товаров прямо в диалогах.
- Gemini 2.5 Pro прошла Pokemon Blue — которую Claude не осилил. Без нюансов не обошлось. Ждём бенчмарк для LLM геймеров)
Генеративные модели
- Видео дайджест — обзор свежих опенсорс видео-моделей (SkyReels-V2, FramePack, MAGI-1) и других плюшек вроде Avatar FX и Runway GEN-4 References.
- F Lite 10B — опенсорс T2I модель, обученная на лицензированном датасете в 80М картинок. Качество добротное, но до FLUX далеко.
Прочее
- Из мидла в директора за 3.5 года — мотивационный пример на день трудящихся.
- AI Mode в Google Поиске — Google выкатил аналог Perplexity/ChatGPT поиска, интегрировав LLM в основной Гугл поиск. Огромный шаг к массовой адаптации AI, который для нас с вами кажется пшиком.
> Читать дайджест #66
#дайджест
@ai_newz
+4
30.04.202519:07
F Lite — 10B t2i на лицензированных данных
Опенсорсная модель основанная на лицензированном датасете в 80 млн изображений. Это интересная попытка сделать абcолютно copyright-safe модель при довольно скромных ресурсах. Но есть большие сомнения, что так можно получить хоть какое-то достойное качество. Сейчас модель генерит очень плохо. На примерах тут лютый черипик.
Технически это DiT с регистрами на 10 млрд параметров, тренировали его два месяца на 64 H100. Для тюнинга гиперпараметров использовался µP. Кстати, при тренировке использовали трюк по value-residual learning из спидранов тренировки GPT. Кроме основной модели, релизнули ещё и тюн для генерации текстур.
Хоть и основная дифузионная часть была натренирована на данных к которым ни у кого претензий не будет, но VAE там все же от Flux Schnell - который тренировали потенциально на всем интернете. Если подитожить, то экперимент интересный, но результат очень слабый. Тут сказываается и малый объем данных и малая длительность тренировки для такой большой модели.
Демо
Веса
Код
Техрепорт
@ai_newz
Опенсорсная модель основанная на лицензированном датасете в 80 млн изображений. Это интересная попытка сделать абcолютно copyright-safe модель при довольно скромных ресурсах. Но есть большие сомнения, что так можно получить хоть какое-то достойное качество. Сейчас модель генерит очень плохо. На примерах тут лютый черипик.
Технически это DiT с регистрами на 10 млрд параметров, тренировали его два месяца на 64 H100. Для тюнинга гиперпараметров использовался µP. Кстати, при тренировке использовали трюк по value-residual learning из спидранов тренировки GPT. Кроме основной модели, релизнули ещё и тюн для генерации текстур.
Хоть и основная дифузионная часть была натренирована на данных к которым ни у кого претензий не будет, но VAE там все же от Flux Schnell - который тренировали потенциально на всем интернете. Если подитожить, то экперимент интересный, но результат очень слабый. Тут сказываается и малый объем данных и малая длительность тренировки для такой большой модели.
Демо
Веса
Код
Техрепорт
@ai_newz
30.04.202509:20
Ну что, готовы к новому релизу от DeepSeek?
На 🤗 только что появились веса DeepSeek Prover V2 671B — новой модели для доказательства теорем и математики. Оригинальный DeepSeek Prover был версией DeepSeek Math 7B, затюненной на доказательство теорем при помощи Lean. В версии 1.5 добавили RL и MCTS. Новая модель идёт в двух размерах — 671B и 7B, причём даже 7B модель бьёт лучшую известную модель — ризонер на основе Qwen 2.5 72B, а ведь Kimina Prover вышла всего пару недель назад.
Такие модели нужны потому что, несмотря на гигантские прорывы в ризонинге, современные модели вроде Gemini 2.5 Pro и o3-mini (по o4-mini и o3 результатов пока что нет) всё ещё плохо справляются с формальной математикой. Основная проблема — формализация, general-purpose могут решить задачу, но не могут её формализовать, в отличие от специализированных моделей. Это сильно уменьшает их полезность — проверка правильное ли решение выдала LLM в куче реальных задач сопоставима по сложности с доказательством вручную. Так что специализированные LLM для математики всё ещё имеют смысл.
Веса
@ai_newz
На 🤗 только что появились веса DeepSeek Prover V2 671B — новой модели для доказательства теорем и математики. Оригинальный DeepSeek Prover был версией DeepSeek Math 7B, затюненной на доказательство теорем при помощи Lean. В версии 1.5 добавили RL и MCTS. Новая модель идёт в двух размерах — 671B и 7B, причём даже 7B модель бьёт лучшую известную модель — ризонер на основе Qwen 2.5 72B, а ведь Kimina Prover вышла всего пару недель назад.
Такие модели нужны потому что, несмотря на гигантские прорывы в ризонинге, современные модели вроде Gemini 2.5 Pro и o3-mini (по o4-mini и o3 результатов пока что нет) всё ещё плохо справляются с формальной математикой. Основная проблема — формализация, general-purpose могут решить задачу, но не могут её формализовать, в отличие от специализированных моделей. Это сильно уменьшает их полезность — проверка правильное ли решение выдала LLM в куче реальных задач сопоставима по сложности с доказательством вручную. Так что специализированные LLM для математики всё ещё имеют смысл.
Веса
@ai_newz
28.04.202514:18
Видео дайджест
Я не знаю, какая муха укусила китайцев, но те всей толпой опять поражают количеством новых моделек. Я даже решил подождать, может ещё чё выйдет (так и вышло!)
Так что немного с опозданием, но вот небольшой обзор всех новых опенсорсных моделек и других плюшек.
SkyReels-V2
Новая (возможно SOTA) опен-сорс видео-модель с LLM и MoE под капотом. Две версии на 1.3B и 14B параметров (влезают в 15 и 52 ГБ VRAM). Разрешение до 720p. Из фишек — может генерить бесконечные фильмы при помощи Diffusion Forcing. Ещё есть SkyCaptioner-V1 для разметки видосов.
SkyReels • SkyCaptioner-V1
FramePack
Ещё одна SOTA (ну скажем для слабого железа) в видео-генерации. От разработчика ControlNet Forge и IC Light. Тоже генерит бесконечные видосы. Очень шустрая: 13B влезают в 6 ГБ VRAM. Тюнится батчами по 64 штуки на 8×A100/H100; на RTX 4090 генерит со скоростью ~2.5 сек/кадр. Из фишек: next-frame prediction с динамической степенью детализации, в зависимости от важности кадра для предсказания следующего. Anti-drifting sampling — двусторонняя выборка, которая как раз и позволяет генерить бесконечные видосы, избегая накопления ошибок.
FramePack
MAGI-1
Новая (возможно SOTA) в видео-генерации. Смотрится неплохо, из всех трёх, наверное, самый интересный (что там относительно Wan — не понятно). Выходит в двух версиях — 1.5B и 24B; для последнего вам потребуется 8×H100 (сравните с предыдущим). Тоже может в бесконечную генерацию. Кстати, генерит аж в 2560 × 1440, и самое интересное — это АВТОРЕГРЕССИОННАЯ модель. Есть подробнейший тех-репорт на 60 страниц.
Демо на Magi.sand.ai • GitHub — Magi-1
Все три модели вышли одновременно с громким заявлением, что они теперь SOTA в open-source видео-генерации. Ну что ж, будем смотреть, но здесь важно опираться не только на сырые генерации, но и понимание промпта, с чем у видеомоделек проблемы. Кстати, пока в этом лучший Kling — по крайней мере так кажется: он чуть ли не по таймкодам справляется.
Другие плюшки:
- Wan FLF 2.1 14B 720P — выкатили в опенсорс start+end frame.
GitHub • ComfyUI workflow
- Avatar FX — Hedra <strike>здорового человека</strike> фаната Character AI: теперь со своей виртуальной вайфу можно обмениваться кружочками почти как в телеграмм. Скоро и до видео-звонков дойдём. Больше никаких подробностей (опенсорса тоже) — не могу выбросить из головы мысли о «Бегущем по лезвию».
Character.ai
- Runway GEN-4 References — Это геймчейнджер (про него отдельный пост). К конкурсу GEN-48 Runway выкатил свою главную фичу — References︎, продвинутый и гибкий аналог IP-Adapter, который показывали на релизе.
На этом откланяюсь. В посте по одному видео от каждого генератора по очереди, а свои тесты закидывайте в комменты.
@ai_newz
Я не знаю, какая муха укусила китайцев, но те всей толпой опять поражают количеством новых моделек. Я даже решил подождать, может ещё чё выйдет (так и вышло!)
Так что немного с опозданием, но вот небольшой обзор всех новых опенсорсных моделек и других плюшек.
SkyReels-V2
Новая (возможно SOTA) опен-сорс видео-модель с LLM и MoE под капотом. Две версии на 1.3B и 14B параметров (влезают в 15 и 52 ГБ VRAM). Разрешение до 720p. Из фишек — может генерить бесконечные фильмы при помощи Diffusion Forcing. Ещё есть SkyCaptioner-V1 для разметки видосов.
SkyReels • SkyCaptioner-V1
FramePack
Ещё одна SOTA (ну скажем для слабого железа) в видео-генерации. От разработчика ControlNet Forge и IC Light. Тоже генерит бесконечные видосы. Очень шустрая: 13B влезают в 6 ГБ VRAM. Тюнится батчами по 64 штуки на 8×A100/H100; на RTX 4090 генерит со скоростью ~2.5 сек/кадр. Из фишек: next-frame prediction с динамической степенью детализации, в зависимости от важности кадра для предсказания следующего. Anti-drifting sampling — двусторонняя выборка, которая как раз и позволяет генерить бесконечные видосы, избегая накопления ошибок.
FramePack
MAGI-1
Новая (возможно SOTA) в видео-генерации. Смотрится неплохо, из всех трёх, наверное, самый интересный (что там относительно Wan — не понятно). Выходит в двух версиях — 1.5B и 24B; для последнего вам потребуется 8×H100 (сравните с предыдущим). Тоже может в бесконечную генерацию. Кстати, генерит аж в 2560 × 1440, и самое интересное — это АВТОРЕГРЕССИОННАЯ модель. Есть подробнейший тех-репорт на 60 страниц.
Демо на Magi.sand.ai • GitHub — Magi-1
Все три модели вышли одновременно с громким заявлением, что они теперь SOTA в open-source видео-генерации. Ну что ж, будем смотреть, но здесь важно опираться не только на сырые генерации, но и понимание промпта, с чем у видеомоделек проблемы. Кстати, пока в этом лучший Kling — по крайней мере так кажется: он чуть ли не по таймкодам справляется.
Другие плюшки:
- Wan FLF 2.1 14B 720P — выкатили в опенсорс start+end frame.
GitHub • ComfyUI workflow
- Avatar FX — Hedra <strike>здорового человека</strike> фаната Character AI: теперь со своей виртуальной вайфу можно обмениваться кружочками почти как в телеграмм. Скоро и до видео-звонков дойдём. Больше никаких подробностей (опенсорса тоже) — не могу выбросить из головы мысли о «Бегущем по лезвию».
Character.ai
- Runway GEN-4 References — Это геймчейнджер (про него отдельный пост). К конкурсу GEN-48 Runway выкатил свою главную фичу — References︎, продвинутый и гибкий аналог IP-Adapter, который показывали на релизе.
На этом откланяюсь. В посте по одному видео от каждого генератора по очереди, а свои тесты закидывайте в комменты.
@ai_newz
25.04.202511:43
OpenAI дали бесплатный доступ к облегчённому Deep Research
Новая lightweight модель, основанная на o4-mini, позволила дать доступ всем пользователям, даже бесплатным. Бенчмарк дали ровно один — по нему новая модель чуть хуже по качеству чем обычный Deep Research, но даёт заметное улучшение по сравнению с o4-mini, при этом отставая от o3. Но, в отличие от o3, lightweight модель даёт формат deep research, который местами очень нужен.
Доступ уже раскатывают, но доступно всё ещё не всем, дают пять запросов в месяц (до апдейта Plus подписчикам давали 10). Платных пользователей тоже не оставили в обиде — после того как истекают запросы к большому Deep Research, пользователей переключают на облегчённую версию. Это позволило увеличить лимиты с 10 до 25 на Plus и Team подписке и с 100 до 250 на Pro подписке, правда лимит теперь для обеих моделей.
Что-то много у них релизов на этой неделе, похоже OpenAI получили гигантскую поставку GPU
@ai_newz
Новая lightweight модель, основанная на o4-mini, позволила дать доступ всем пользователям, даже бесплатным. Бенчмарк дали ровно один — по нему новая модель чуть хуже по качеству чем обычный Deep Research, но даёт заметное улучшение по сравнению с o4-mini, при этом отставая от o3. Но, в отличие от o3, lightweight модель даёт формат deep research, который местами очень нужен.
Доступ уже раскатывают, но доступно всё ещё не всем, дают пять запросов в месяц (до апдейта Plus подписчикам давали 10). Платных пользователей тоже не оставили в обиде — после того как истекают запросы к большому Deep Research, пользователей переключают на облегчённую версию. Это позволило увеличить лимиты с 10 до 25 на Plus и Team подписке и с 100 до 250 на Pro подписке, правда лимит теперь для обеих моделей.
Что-то много у них релизов на этой неделе, похоже OpenAI получили гигантскую поставку GPU
@ai_newz
07.05.202514:40
Mistral Medium 3
Новая модель от Mistral, опять без ризонинга, опять не сравнивают с Qwen и Gemini, весов простым смертным не дают. Но как закрытая инстракт модель вполне хорошая: почти на уровне с Sonnet 3.7, но при этом в 7 раз дешевле — $0.4/$2 против $3/$15 у соннета.
Mistral Medium 3 уже доступна в API. Через несколько недель обещают модель побольше, надеюсь уже с ризонингом.
Блогпост
@ai_newz
Новая модель от Mistral, опять без ризонинга, опять не сравнивают с Qwen и Gemini, весов простым смертным не дают. Но как закрытая инстракт модель вполне хорошая: почти на уровне с Sonnet 3.7, но при этом в 7 раз дешевле — $0.4/$2 против $3/$15 у соннета.
Mistral Medium 3 уже доступна в API. Через несколько недель обещают модель побольше, надеюсь уже с ризонингом.
Блогпост
@ai_newz
Қайта жіберілді:
Denis Sexy IT 🤖
03.05.202521:33
Google выкатил на весь США свой новый режим поиска «AI Mode» – это новая вкладка вроде картинок, карт, а внутри что-то вроде поиска в чатгпт или перплексити, с памятью, карточками товаров и тп, вы все это видели уже
Это гигантский шаг на встречу массовой адаптации LLM, с чем я всех нас и поздравляю
Это гигантский шаг на встречу массовой адаптации LLM, с чем я всех нас и поздравляю
30.04.202517:05
В Yandex Cloud стали доступны VLM-модели через API
Через стандартный API теперь можно вызвать разные опенсорсные VLM-ки — в разных размерах там представлены Qwen 2.5, DeepSeek VL2 и семейство Gemma3.
Вызывать модели можно только в батч-режиме (Batch Processing API). Он позволяет обрабатывать сразу много запросов с 50% скидкой, но результаты будут не сразу, а в течении дня — удобная штука, я таким пользовался. Эта фича позволяет неплохо сэкономить — есть ведь куча применений VLM, где ответы в реальном времени не очень нужны.
На платформе также доступны и текстовые модели - вроде LLaMa 3.3 и совсем нового семейства Qwen3. Есть и ризонеры — QwQ и DeepSeek R1.
@ai_newz
Через стандартный API теперь можно вызвать разные опенсорсные VLM-ки — в разных размерах там представлены Qwen 2.5, DeepSeek VL2 и семейство Gemma3.
Вызывать модели можно только в батч-режиме (Batch Processing API). Он позволяет обрабатывать сразу много запросов с 50% скидкой, но результаты будут не сразу, а в течении дня — удобная штука, я таким пользовался. Эта фича позволяет неплохо сэкономить — есть ведь куча применений VLM, где ответы в реальном времени не очень нужны.
На платформе также доступны и текстовые модели - вроде LLaMa 3.3 и совсем нового семейства Qwen3. Есть и ризонеры — QwQ и DeepSeek R1.
@ai_newz
29.04.202518:13
На Llama Con показали официальное API Llama
Сразу на запуске будет доступен неплохой базовый набор фич — мультимодальные API, tool calling, structured outputs. Всё совместимо с API OpenAI, но при желании можно использовать и специальные SDK, доступные для Python и TypeScript. В придачу к этому обещают скоро запустить инференс на железе от Cerebras и Groq.
Есть и полноценные тулы для файнтюна моделей, причём не только тулзы для тюна, но и для оценки моделей. Но главная фишка — возможность скачивать свои затюненные модели, что убирает вендорлок и позволяет легко мигрировать между провайдерами.
API будет доступно в превью уже сегодня. На старте будет четыре модели — Llama 4 Scout и Maverick и Llama 3.3 8B и 70B.
@ai_newz
Сразу на запуске будет доступен неплохой базовый набор фич — мультимодальные API, tool calling, structured outputs. Всё совместимо с API OpenAI, но при желании можно использовать и специальные SDK, доступные для Python и TypeScript. В придачу к этому обещают скоро запустить инференс на железе от Cerebras и Groq.
Есть и полноценные тулы для файнтюна моделей, причём не только тулзы для тюна, но и для оценки моделей. Но главная фишка — возможность скачивать свои затюненные модели, что убирает вендорлок и позволяет легко мигрировать между провайдерами.
API будет доступно в превью уже сегодня. На старте будет четыре модели — Llama 4 Scout и Maverick и Llama 3.3 8B и 70B.
@ai_newz
28.04.202512:18
AI, личный бренд и новая экономика внимания
Креативы, генерация видео, LLM с приходом GPT 4.5 уже научились генерировать контент лучше среднего копирайтера. Но это не значит, что маркетологов больше не будет. Просто они будут другими.
Хороший пример — канал @maltsevprosto. Его автор, Саша Мальцев, маркетинг-директор Яндекс Браузера, последовательно объясняет, какие именно качества будут нужны профессионалам, чтобы оставаться востребованными после массовой автоматизации работы.
На канале он делится примерами целеполагания, выстраивания командой работы, эффективного управления временем и делегирования задач в нейросети. В его постах много про то, как грамотно строить свой карьерный путь, чтобы не быть замененным AI уже в следующем году.
Подпишитесь, если хотите оставаться востребованными и в новой реальности AI.
#промо
Креативы, генерация видео, LLM с приходом GPT 4.5 уже научились генерировать контент лучше среднего копирайтера. Но это не значит, что маркетологов больше не будет. Просто они будут другими.
Хороший пример — канал @maltsevprosto. Его автор, Саша Мальцев, маркетинг-директор Яндекс Браузера, последовательно объясняет, какие именно качества будут нужны профессионалам, чтобы оставаться востребованными после массовой автоматизации работы.
На канале он делится примерами целеполагания, выстраивания командой работы, эффективного управления временем и делегирования задач в нейросети. В его постах много про то, как грамотно строить свой карьерный путь, чтобы не быть замененным AI уже в следующем году.
Подпишитесь, если хотите оставаться востребованными и в новой реальности AI.
#промо
25.04.202509:19
Learn your reference model for real good alignment
Ресерчеры из T-Bank AI Research представили новый метод дообучения языковых моделей. Они адаптировали Trust Region (TR) к задаче алайнмента LLM. Ключевая идея — обновление референсной policy в процессе обучения вместо её фиксации.
Метод реализуется двумя способами. Мягкое обновление смешивает параметры текущей модели с референсной через коэффициент α. Жёсткое обновление заменяет референсную policy текущей через τ шагов. Оптимальные параметры: α ≈ 0,6, τ ≈ 512.
Тесты на Llama-3 показали превосходство TR-DPO, TR-IPO и TR-KTO над базовыми версиями. Прирост на бенчмарках AlpacaEval 2 и Arena-Hard достиг 10,8%. При равном отклонении от исходной политики TR-модели демонстрируют лучшие человеческие метрики.
Пейпер изменил устоявшийся взгляд на отклонение от изначальной политики. Проблема овероптимизации связана со смещением вероятностной массы к OOD-примерам. TR-метод противостоит этому явлению, требуя лишь настройки α и τ.
Подход улучшил показатели на 8-15% при суммаризации Reddit TL;DR с Pythia 6.9B. У метода есть и ограничения: большие τ неэффективны на малых датасетах, а тестирование через GPT-4 вызывает вопросы. Статью вчера представили на ICLR, куда поехала и одна из моих статей.
Пейпер
@ai_newz
Ресерчеры из T-Bank AI Research представили новый метод дообучения языковых моделей. Они адаптировали Trust Region (TR) к задаче алайнмента LLM. Ключевая идея — обновление референсной policy в процессе обучения вместо её фиксации.
Метод реализуется двумя способами. Мягкое обновление смешивает параметры текущей модели с референсной через коэффициент α. Жёсткое обновление заменяет референсную policy текущей через τ шагов. Оптимальные параметры: α ≈ 0,6, τ ≈ 512.
Тесты на Llama-3 показали превосходство TR-DPO, TR-IPO и TR-KTO над базовыми версиями. Прирост на бенчмарках AlpacaEval 2 и Arena-Hard достиг 10,8%. При равном отклонении от исходной политики TR-модели демонстрируют лучшие человеческие метрики.
Пейпер изменил устоявшийся взгляд на отклонение от изначальной политики. Проблема овероптимизации связана со смещением вероятностной массы к OOD-примерам. TR-метод противостоит этому явлению, требуя лишь настройки α и τ.
Подход улучшил показатели на 8-15% при суммаризации Reddit TL;DR с Pythia 6.9B. У метода есть и ограничения: большие τ неэффективны на малых датасетах, а тестирование через GPT-4 вызывает вопросы. Статью вчера представили на ICLR, куда поехала и одна из моих статей.
Пейпер
@ai_newz
06.05.202515:14
Google обновили Gemini 2.5 Pro
Новая версия Gemini 2.5 Pro Preview 05-06 гораздо лучше кодит, особенно это проявляется в фронтенде — модель заняла первое место на вебдев арене, обогнав Claude 3.7 Sonnet. Модель уже доступна в Vertex и AI Studio.
@ai_newz
Новая версия Gemini 2.5 Pro Preview 05-06 гораздо лучше кодит, особенно это проявляется в фронтенде — модель заняла первое место на вебдев арене, обогнав Claude 3.7 Sonnet. Модель уже доступна в Vertex и AI Studio.
@ai_newz
03.05.202519:27
Gemini 2.5 Pro прошла Pokemon Blue
Всего пару месяцев назад Claude посадили играть в покемонов, где модель успешно застряла на одном моменте. Cейчас у Gemini 2.5 Pro вышло пройти игру полностью.
Достижение заметное, но не означает превосходство одной модели над другой — модели запускали в разных средах с разным доступом к инфе. К примеру, помимо картинки, Gemini получала некоторые данные напрямую из движка игры и имела несколько подсказок по прохождению в промпте, без этого у модели играть не выходит. Да и в тренировочных данных ллм было полно инфы и советов по прохождению, с новой игрой было бы сложнее.
Вообще хотелось бы, чтобы это оформили в виде бенчмарка, но тут важно чтобы не пришли юристы Нинтендо и не засудили всех причастных. А как такое появится, там и до спидранов недалеко.
@ai_newz
Всего пару месяцев назад Claude посадили играть в покемонов, где модель успешно застряла на одном моменте. Cейчас у Gemini 2.5 Pro вышло пройти игру полностью.
Достижение заметное, но не означает превосходство одной модели над другой — модели запускали в разных средах с разным доступом к инфе. К примеру, помимо картинки, Gemini получала некоторые данные напрямую из движка игры и имела несколько подсказок по прохождению в промпте, без этого у модели играть не выходит. Да и в тренировочных данных ллм было полно инфы и советов по прохождению, с новой игрой было бы сложнее.
Вообще хотелось бы, чтобы это оформили в виде бенчмарка, но тут важно чтобы не пришли юристы Нинтендо и не засудили всех причастных. А как такое появится, там и до спидранов недалеко.
@ai_newz
30.04.202516:01
Помните какое-то время назад, после появления первого ChatGPT, было много разговоров про замену им гугл поиска, но было непонятно как они заменят revenue от рекламы, на которой и держится бизнес модель поиск гугла. Но вот, видимо, дозрели.
Наконец-то чатботы дошли до нормальной монетизации (лол)! Теперь в дилоге, как бы между делом, чатгпт будет вам впаривать товары. "Дорогой, ты интересовался про то, как варить эспреессо... не хочешь ли классную кофе машинку приобрести на скидке?"
Теперь логично было бы и новые планы ввести - чтобы отключить рекламу вас попросят доплатить (а нативную рекламу все равно не отключат 😅).
https://x.com/OpenAI/status/1916947243044856255
@ai_newz
Наконец-то чатботы дошли до нормальной монетизации (лол)! Теперь в дилоге, как бы между делом, чатгпт будет вам впаривать товары. "Дорогой, ты интересовался про то, как варить эспреессо... не хочешь ли классную кофе машинку приобрести на скидке?"
Теперь логично было бы и новые планы ввести - чтобы отключить рекламу вас попросят доплатить (а нативную рекламу все равно не отключат 😅).
https://x.com/OpenAI/status/1916947243044856255
@ai_newz
Қайта жіберілді:Denis Sexy IT 🤖
29.04.202506:59
Есть такой подреддит r/ChangeMyView: его правило простое - автор делится твёрдым убеждением, а комментаторы стараются аргументированно изменить его точку зрения; если у них выходит, автор награждает их ачивкой – «дельтой» (∆), что на сабе считается символом убедительности и интеллектуальной добросовестности
Благодаря жёсткой модерации и культуре вежливой полемики сабреддит давно служит «полигоном» для тренировки аргументации
Учёные провели секретный эксперимент на Reddit: они создали тринадцать аккаунтов-фейков с двумя координирующимися языковыми моделями на каждый аккаунт:
– Первая сканировала историю постов каждого оппонента, вычленяя вероятный возраст, пол, мировоззрение и эмоциональные триггеры
– Вторая, исходя из этого профиля, генерировала ответ, рассчитанный на максимальное изменение мнения
С ноября 2024 года боты оставили около полутора тысяч комментариев и получили более сотни «дельт» - свидетельств того, что авторы исходных постов действительно поменяли позицию. Для сравнения: среднестатистическому участнику сабреддита нужно в шесть раз больше попыток, чтобы добиться таких результатов
Эффективность объяснялась не только персонализацией - LLM «подстраивались» под стилистику Reddit, включая сленг («TL;DR» в начале, саркастические сноски в конце). При этом боты часто изобретали биографии: один позиционировал себя как «жертва изнасилования», другой - как «белая женщина в почти полностью чёрном коллективе», третий - как рядовой муниципальный служащий и тп – такие «галлюцинации» повышали эмоциональную убедительность
25 апреля 2025 года модераторы r/ChangeMyView обнародовали список подозрительных аккаунтов и черновик статьи «Can AI Change Your View?». Началась бурная дискуссия о границах этики: пользователи сочли эксперимент манипуляцией, университетская комиссия вынесла исследователям предупреждение, и теперь люди требуют изъять работу из публикационного процесса
В интернете будущего, нейронки будут спорить с нейронками, получается так
Благодаря жёсткой модерации и культуре вежливой полемики сабреддит давно служит «полигоном» для тренировки аргументации
Учёные провели секретный эксперимент на Reddit: они создали тринадцать аккаунтов-фейков с двумя координирующимися языковыми моделями на каждый аккаунт:
– Первая сканировала историю постов каждого оппонента, вычленяя вероятный возраст, пол, мировоззрение и эмоциональные триггеры
– Вторая, исходя из этого профиля, генерировала ответ, рассчитанный на максимальное изменение мнения
С ноября 2024 года боты оставили около полутора тысяч комментариев и получили более сотни «дельт» - свидетельств того, что авторы исходных постов действительно поменяли позицию. Для сравнения: среднестатистическому участнику сабреддита нужно в шесть раз больше попыток, чтобы добиться таких результатов
Эффективность объяснялась не только персонализацией - LLM «подстраивались» под стилистику Reddit, включая сленг («TL;DR» в начале, саркастические сноски в конце). При этом боты часто изобретали биографии: один позиционировал себя как «жертва изнасилования», другой - как «белая женщина в почти полностью чёрном коллективе», третий - как рядовой муниципальный служащий и тп – такие «галлюцинации» повышали эмоциональную убедительность
25 апреля 2025 года модераторы r/ChangeMyView обнародовали список подозрительных аккаунтов и черновик статьи «Can AI Change Your View?». Началась бурная дискуссия о границах этики: пользователи сочли эксперимент манипуляцией, университетская комиссия вынесла исследователям предупреждение, и теперь люди требуют изъять работу из публикационного процесса
В интернете будущего, нейронки будут спорить с нейронками, получается так
27.04.202519:59
Нейродайджест за неделю (#66)
OpenAI
- API для Image Generation через GPT — на высоких настройках качества очень дорого, но конкурентов по функционалу нет.
- Удвоили лимиты для o3 и o4-mini — теперь можно почти не переходить на более слабые модели.
- Облегчённый Deep Research — доступен даже бесплатным пользователям, а платные получили расширенные лимиты.
Видео
- Референсы для Runway — увы, фича работает на генерации картинок, что даёт не очень хорошие результаты. Но лучше, чем ничего.
Статьи
- Мини-отчёт по моим статьям — три моих статьи приняли на топовые конфы: ICLR и CVPR.
- Learn your reference model for real good alignment — новый метод файнтюна, основанный на Trust Region.
> Читать дайджест #65
#дайджест
@ai_newz
OpenAI
- API для Image Generation через GPT — на высоких настройках качества очень дорого, но конкурентов по функционалу нет.
- Удвоили лимиты для o3 и o4-mini — теперь можно почти не переходить на более слабые модели.
- Облегчённый Deep Research — доступен даже бесплатным пользователям, а платные получили расширенные лимиты.
Видео
- Референсы для Runway — увы, фича работает на генерации картинок, что даёт не очень хорошие результаты. Но лучше, чем ничего.
Статьи
- Мини-отчёт по моим статьям — три моих статьи приняли на топовые конфы: ICLR и CVPR.
- Learn your reference model for real good alignment — новый метод файнтюна, основанный на Trust Region.
> Читать дайджест #65
#дайджест
@ai_newz
24.04.202520:55
OpenAI удвоили лимиты на o3 и o4-mini для Plus подписчик
Теперь у подписчиков есть 100 запросов к o3 к неделю, 100 запросов к o4-mini-high в день и целых 300 запросов в день к обычной o4-mini. В основном рад за лимиты o3, остальных моделей в принципе хватало.
А насколько вы чувствуете эти лимиты?
@ai_newz
Теперь у подписчиков есть 100 запросов к o3 к неделю, 100 запросов к o4-mini-high в день и целых 300 запросов в день к обычной o4-mini. В основном рад за лимиты o3, остальных моделей в принципе хватало.
А насколько вы чувствуете эти лимиты?
@ai_newz
Көрсетілген 1 - 24 арасынан 288
Көбірек мүмкіндіктерді ашу үшін кіріңіз.