Мир сегодня с "Юрий Подоляка"

Труха⚡️Україна

Паглядзець

Николаевский Ванёк

Паглядзець

Мир сегодня с "Юрий Подоляка"

Паглядзець

Труха⚡️Україна

Паглядзець

Николаевский Ванёк

Паглядзець

Kali Novskaya

Нейросети, искусство, мысли. Поехали!
Разрабатываю LLM и веду команды
chatGPT, GPT-3, GPT-4

Рэйтынг TGlist

ТыпПублічны

Вертыфікацыя

Не вертыфікаваны

Надзейнасць

Не надзейны

РазмяшчэннеРосія

МоваІншая

Дата стварэння каналаMar 11, 2022

Дадана ў TGlist

Oct 27, 2024

Я ўладальнік канала

Гісторыя змяненняў

Прыкрепленая група

Обо всем 👹

116

Статыстыка Тэлеграм-канала Kali Novskaya

Падрабязней

Падпісчыкаў

17 065

24 гадз.

480.3%Тыдзень

700.4%Месяц

4602.8%

Індэкс цытавання

200

Згадкі3Рэпостаў на каналах0Згадкі на каналах3

Сярэдняе ахоп 1 паста

3 660

12 гадз.3 6600%24 гадз.3 6600%48 гадз.3 6160%

Узаемадзеянне (ER)

4.37%

Рэпостаў49Каментары10Рэакцыі111

Узаемадзеянне па ахопу (ERR)

21.49%

24 гадз.

0.02%Тыдзень

0.19%Месяц

0.1%

Ахоп 1 рэкламнага паста

3 660

1 гадз.1 56942.87%1 – 4 гадз.00%4 - 24 гадз.2 54969.64%

Падрабязней

Падключыце нашага бота да канала і даведайцеся пол аўдыторыі гэтага канала.

Усяго пастоў за 24 гадзіны

0

Дынаміка

Апошнія публікацыі ў групе "Kali Novskaya"

Усе пасты

19.04.202510:32

Нужен духоподъемный мемотред! #шитпост

18.04.202512:05

На днях ещё вышла (совершенно идиотская в своей очевидности) статья Fully Autonomous AI Agents Should Not be Developed.
Достаточно бесполезная с точки зрения выводов — должны или не должны, но обязательно будут, прогресс неостановим. Но в обзоре есть некоторое перечисление рисков агентов, на которые можно ссылаться.

Я считаю, что кто-то должен написать ответную статью с названием Fully Automated Luxury Gay Space Communism must be developed. Все предпосылки уже есть. #шитпост

🟣Arxiv https://arxiv.org/abs/2502.02649

18.04.202511:47

🌸Неделя Научных агентов🌸
#nlp #про_nlp #nlp_papers

Последние две недели выдались особо интересными для агентов для ИИ и науки.
Как обычно, публикую небольшую подборку.

🌸Ассистент AlphaXiv

Совершенно незаменимая вещь для организации статей, теперь ещё и с Deep Research: любую статью с архива можно добавить в свою подборку, поставит лайк, начать обсуждение, а так же сделать блог пост из статьи. Можно экспортировать все свои статьи и сразу сделать краткую выжимку. Если ещё и комментарии оставлять внятные, можно приблизить Arxiv к Openreview.
🟣https://www.alphaxiv.org/explore

🌸Больше агентов для моделирующих наук
CURIE, a multitask benchmark for scientific reasoning

DeepMind представил CURIE — банчмарк для научных проблем в шести дисциплинах: материаловедении, физике конденсированного состояния, квантовых вычислениях, геопространственном анализе, биоразнообразии и моделировании протеиновых структур. Все задачи требуют экспертных знаний в предметной области, длнного контекста и multi-step reasoning.

Бенчмарк CURIE охватывает 10 задач на основе 429 статей по шести различным научным дисциплинам, и охватывают как экспериментальные, так и теоретические аспекты научных исследований. Оценено много моделей: Mixtral, Command R, LongLlama, все топовые проприетарные модели.
🟣https://arxiv.org/abs/2503.13517
🟣https://research.google/blog/evaluating-progress-of-llms-on-scientific-problem-solving/

🌸Законы масштабирования агентов для науки
Scaling Laws in Scientific Discovery with AI and Robot Scientists

Достаточно неплохой обзор степеней автономности агентов для науки, с онтологией способностей, оценкой текущего состояния и следующих степеней автономности. Экспериментов по масштабированию, правда, никаких не ставится, просто рисуют красивые картинки ~~с экспонентами.~~
🟣https://arxiv.org/abs/2503.22444

🌸Меморизация и научная новизна
All That Glitters is Not Novel: Plagiarism in AI Generated Research

Могут ли агенты генерировать новые идеи? В целом что-то могут, но за ними трудно проверять.
Статья анализирует недетектируемый плагиат в идеях Sakana AI и некоторых других, и оказывается, что 24% новых идей полностью сплагиачены без указания источника (и при этом плагиат не детектируется стандартными методами, так как все перефразировано), 36.0% работ содержали факты, которые никакой научной литературой не подтверждаются.
Странно, что не больше.
🟣https://arxiv.org/abs/2502.16487

Предыдущие части:
🟣LLM хакают научную новизну
🟣AI Scientist от Sakana AI
🟣MLGym — фреймворк для ML агентов

07.04.202512:55

🌸Доступы к LLama 4🌸

Your request to access this repo has been rejected by the repo's authors.

Несколько человек в комментах (спасибо им!) отметили, что доступ к Llama на HuggingFace им не дали.
Я попробовала сама...и мне тоже не дали.

Потребуется некоторое время, чтобы процесс пофиксили на нашей стороне и стороне HuggingFace (чему мы научились? Не релизить в выходные?), но успех тут во многом зависит от того, как аккуратно вы заполнили поле Organization.

Общий совет:
— не оставляйте его пустым
— лучше пишите максимально длинно название своей организации, реально существующей.

Что можно сделать сейчас, пока у вас нет доступа:
1) переподайте заявку на сайте — там можно подавать ее много раз. Тогда вы сможете скачать чекпоинты
2) Заведите issue на HF странице модели — их читают и потихоньку разгребают. Вам могут ревертнуть процедуру подачи заявки вручную, переподайте ее
3) Можно использовать перезаливы сообщества и уже выложенные квантизованные веса:
🟣Unsloth:
https://huggingface.co/unsloth/Llama-4-Scout-17B-16E-Instruct
https://huggingface.co/unsloth/Llama-4-Maverick-17B-128E-Instruct
🟣MLX community:
https://huggingface.co/mlx-community/Llama-4-Scout-17B-16E-Instruct-4bit
https://huggingface.co/mlx-community/Llama-4-Scout-17B-16E-Instruct-8bit
(там очень много разных уже)

Спасибо этому коммьюнити, что вы делитесь обратной связью, особенно тем, что непосредственно подсвечивает, что поправить.
В конечном итоге мне важно, чтобы модели адоптили и использовали, поэтому мне бы хотелось, чтобы вся эта обратная связь постепенно улучшала ваш опыт.

05.04.202520:54

Коллектив Llama, когда выпустили в опенсорс модели на 100 и 400 млрд параметров и почти ничего не сгорело

05.04.202520:44

🌸Llama 4 с 10М токенов контекстного окна 🌸
#nlp #про_nlp

Выпущенная сегодня Llama 4 Scout протестирована на способности при <10 млн токенов в контекстном окне.

Для чего нужен контекст в 10 млн токенов вообще, когда есть RAG?

10 миллионов токенов — это примерно:
🟣большой репозиторий со множеством файлов и всей историей коммитов
🟣небольшая Вики с документацией
🟣файловая система с большими документами, книгами
🟣10+ часов видео
И главное
🟣это ризонинг на всем этом объеме, а не только на отдельных фактах.
🟣 это извлечение нужной информации сразу из многих документов и генерация в один шаг с опорой на нее
🟣это очень длинные подробные инструкции, промты и персонализация под любую историю сообщений или пользовательского поведения.

Собственно, это самый большой официально выпущенный контекст пока что (были отдельные работы по файнтюнингу до 50 млн под конкретные задачи (arxiv)). Все это делается с помощью частичного отказа от позиционных эмбеддингов в некоторых слоях, Rotary embeddings в большинстве слоев и подбору коэффициентов софтмакса в attention, лучше соответствующих длине контекста (arxiv).

Метрики бенчмарков MTOB (zero-shot machine translation с языка Kamalang, очень сложный ризонинг и in-context learning) и Needle in the Haystack прекрасно показывают текущий результат:

🟣MTOB: новая SOTA, 39.7%, +4.6% относительно Gemini 2.0 Flash Lite (35.1%)

🟣Needle in the Haystack: 100% на 10 млн контексте (бенчмарк мы автоматически расширили синтетически до 10 млн, оригинально там 1 млн)

Контекст такого объема еще надо на чем-то тестить - бенчмарков мало. Тем не менее, это очень большой вклад в преодоление проблем
1) агентов (у них обычно очень длинные логи)
2) персонализации под пользователя, без какого-либо обучения модели
3) кодинга у LLM
4) работы с большими документами, вики, архивами, научными статьями.

🌸Все это с открытой лицензией Llama 4. Ура!

05.04.202519:46

Выложили также версии в FP8
https://huggingface.co/collections/meta-llama/llama-4-67f0c30d9fe03840bc9d0164

05.04.202519:31

В комментариях спрашивают про дистиллированные версии — я думаю, в ближайшие дни они так или иначе появятся на HF

Из того, что готовится, это ещё не самые большие: внутри мы тестим модель на 2 триллиона параметров (288B активных параметров на 16 экспертов MoE)

05.04.202519:22

🌸Релизим Llama 4🌸

OSS на уровне Gemini и Deepseek

Сегодня мы релизим модели из семейства Llama 4 — Llama 4 17Bx16 experts (Scout) и 128 experts (Maverick)

🌸Что интересного:

— 10 миллионов токенов контекстного окна с отличным качеством у модели Scout
— полный размер модели 16 экспертов — 108 млрд параметров, 128 экспертов — 400 млрд
— модель мультимодальная, инпут — текст, изображения, видео. Картинок в контексте может быть до 5 штук, чтобы сохранялся контекст
— 12 основных языков (английский, французский, немецкий, арабский ,хинди, индонезийский, итальянский, португальский, испанский, тагальский, тайский и вьетнамский), но более 200 в претрейне (из No Language Left Behind)

Где посмотреть:
🟣Чекпоинты HF
🟣Блогпост

05.04.202519:21

05.04.202519:14

Ну что, сегодня релиз Llama 4
Урааааа впереееед

03.04.202511:10

🌸LLM-агенты для науки: теперь и от OpenAI🌸
#nlp #про_nlp #nlp_papers

Вчера OpenAI зарелизили PaperBench — новый бенчмарк для оценки агентов по их способности понять и полностью воспроизвести основной технический вклад научной статьи, с кодом и результатами.

🌸TLDR Claude 3.5 оказался на нем лучше всех на задачах длиной 12 часов.

Бенчмарк состоит из 20 статей ICML 2024 года, принятых к представлению в Spotlight и устных докладов. Полное воспроизведение включает в себя понимание статьи, разработку кодовой базы с нуля для реализации всех экспериментов, а также запуск, мониторинг и устранение неполадок этих экспериментов по мере необходимости. Каждая задача репликации является крайне сложной и требует от экспертов-людей как минимум нескольких дней работы.

Все отобранные статьи
— представляют темы reinforcement learning, robustness, probabilistic methods.
— сделаны лабораториями без прямого индустриального финансирования (что интересно! см пост про независимость науки)
— отвечают критериям воспроизводимости и машиночитаемости из authors checklist — имеют четкое описание вычислительного бюджета, конкретных датасетов, бенчмарков, версий моделей.

Агентам можно ходить в интернет, но нельзя пользоваться непосредственным списком ресурсов из статей (защита от списывания слабоватая, конечно, обычно статью подробно разбирают в каком-нибудь блоге с кусочками кода). Для оценки используются LLM-судьи и автоматические метрики. На выполнение каждой задачи дается 12 часов, на одну статью — 3 попытки.

На основе текста и кода статей составляются 8,316 отдельных подзадач для агентов, и ряд LLM (O1, O3, Claude 3.5, Gemini) тестируются в нескольких агентских фреймворках:
— Basic Agent — по сути ReACT
— Iterative Agent — openai-ишное поделие, которое использует всю ту же логику, но убирает возможность закончить эксперимент раньше срока, пытаться надо как бы до конца, и это все будет одной попыткой.
У бенчмарка два подмножества: основное на 20 задачах, и мини на 3х статьях.

🌸Из интересного:
— в отличие от результатов MLE-bench, где лучшим вполне осмысленно оказался AIDE + O1— самым лучшим в базовой постановке задачи оказался обычный ReACT + Anthropic Claude 3.5
— Не совсем ясно, пробовали ли еще какие-то агентские фреймворки вообще, и не опробованными оказались более новые модели — Claude 3.7, Deepseek R1 новый, Gemini 2.5
— в целом работа производит впечатление очень сырой, что авторы и сами отмечают: работа с развитием агентных методов может существенно улучшить текущие результаты моделей.
— Лидерборд меняется, если ограничить решение задачи 36 часами, а не 12: тогда комбинация итеративного агента с О1 побеждает Claude + ReAct.
— В статье достаточно интересные результаты относительно сравнения с настоящими исследователями: агенты могут опережать их в течение первого часа автоматической работы, но затем выходят на плато, и после 12-24 часов работы человеческий результат стабильно обгоняет текущие решения ML-агентов. Учитывая наметившийся тренд и внимание к долгим задачам, постепенное улучшение в этом направлении очень ожидаемо.

🟣Paper
🟣Github (спросила про лицензию, у всего репозитория вроде MIT)
🟣Blogpost

30.03.202509:47

🌸Field Matters 2025: Call for papers🌸
#nlp #про_nlp #nlp_papers

Друзья, стартовал прием статей на наш ежегодный воркшоп по автоматическим методам и инструментам для полевой лингвистики Field Matters.

🟣Собираете корпус, бенчмарк или парсер для малоресурсного языка?
🟣Занимаетесь созданием инструментов для работы с аудио, транскрипцией, глиссированием, в целом работы в поле?
🟣Делаете машинный перевод и transfer learning для малоресурсных языков?
Приходите к нам!

В этом году воркшоп пройдет в рамках конференции ACL 2025 в Вене.

Прием статей — до 11 мая!
Пожалуйста, распространите CFP коллегам

🟣Подать статью
🟣Call for papers

29.03.202516:44

Через 15 минут начинаем!
Заходите

29.03.202514:31

🌸Стрим на Рабкоре в 20.00 🌸

Сегодня в 20.00 по мск стрим на Рабкоре. В гостях в рубрике Копилефт писатель, автор известной книги "Код Дурова" и журналист Николай Кононов, с которым мы будем обсуждать то, насколько критично важными стали для нас определённые IT-продукты и как они влияют на нашу жизнь.

🟣Что должен делать бизнес условиях блокировок?

🟣Где проходит грань между “частным бизнесом” и жизненно важной инфраструктурой?

🟣“А может, взять все – и поделить!” Если рассмотреть ситуацию, когда у крупнейших цифровых платформ есть инструменты их институционального контроля, то каким этот контроль должен быть?

Приходите!
Запись будет
Вопросы можно задавать в комментариях к этому посту и на стриме!

🟣YouTube https://youtube.com/live/0P7LN7CMBsQ?feature=share

Усе пасты

Рэкламаваўся0 секунда

20.04.202519:57Love. Death. Transformers.

19.5K

Рэкламаваўся0 секунда

20.04.202519:56Старший Авгур

5.4K

Рэкламаваўся1 дзень

05.04.202520:08Гречневые мысли

818

Падрабязней

Рэкорды

21.04.202523:59

17.1KПадпісчыкаў

20.04.202523:59

300Індэкс цытавання

07.03.202503:54

5KАхоп 1 паста

07.01.202522:39

4.7KАхоп рэкламнага паста

07.02.202523:59

6.80%ER

09.02.202515:00

31.55%ERR

Развіццё

Падрабязней

Падпісчыкаў

Індэкс цытавання

Ахоп 1 паста

Ахоп рэкламнага паста

ERR

Падрабязней

Папулярныя публікацыі Kali Novskaya

Усе пасты

05.04.202519:21

19.04.202510:32

Нужен духоподъемный мемотред! #шитпост

03.04.202511:10

18.04.202512:05

18.04.202511:47

05.04.202520:54

Коллектив Llama, когда выпустили в опенсорс модели на 100 и 400 млрд параметров и почти ничего не сгорело

05.04.202520:44

07.04.202512:55

30.03.202509:47

05.04.202519:31

05.04.202519:22

29.03.202516:44

Через 15 минут начинаем!
Заходите

29.03.202512:15

🌸METRики хайпа: найти экспонентциальный рост любой ценой🌸
#nlp #про_nlp #nlp_papers

На прошлой неделе вышел анализ от METR (Model Evaluation & Threat Research) — независимой организации оценки способностей и рисков ИИ систем.

🌸TLDR: предлагается измерять производительность ИИ с точки зрения продолжительности задач, которые могут выполнить агенты.
При этом вводится новый бенчмарк и показывается, что продолжительность решаемых задач постоянно экспоненциально растет в течение последних 6 лет, и удваивается примерно раз в 7 месяцев. Экстраполяция этой тенденции предсказывает, что менее чем через пять лет мы увидим агентов, которые смогут самостоятельно выполнять большую часть программных задач, на которые в настоящее время у людей уходят дни или недели.

Для точности вводится новая метрика: учитывается время, которое обычно требуется людям для выполнения задач, которые модели ИИ могут выполнить с 50%-ным успехом.
У Claude 3.7 Sonnet, например, этот временной горизонт около 50 минут.

Красивая экспонента и оценки будущих горизонтов агентов уже ушли в заголовки.

🌸А теперь самое интересное: на чем меряем?

На немотивированно странном подмножестве бенчмарков.
— 97 задач из HCAST: инженерные задачи от 30 сек до 30 минут
— 7 сложных ML задач из RE-Bench по 8 часов каждая
— 66 очень простых софтверных задач от 1 до 30 секунд (новый бенчмарк, Software atomic actions, SWAA)
— 1 (одна, Карл!) задача из GAIA

🌸Что не так с такими оценками?

— если бы это было так просто, новую метрику бы вводить в целом не потребовалось, можно было бы взять 100+, а то и 1000+ задач предыдущих лет (у нас что, дефицит бенчмарков??) и спокойно построить результат. К сожалению, так не получилось, поэтому пришлось черри-пикать задачи и даже придумывать новые, которые бы дали нужную картину.

— сложность и время выполнения задачи — не одно и то же, можно придумать много долгих тупых задач;

— даже если считать, что в целом это правда, что мы постепенно научились автоматизировать более сложные задачи (конечно), то давайте прямо скажем, что улучшение качества происходит за счет разных компонент прогресса: доступности обучающих данных, бюджета на разметку, вычислительного бюджета на масштабирование модели, и самое интересное — за счет алгоритмической новизны. Все эти факторы имеют совершенно разный вес в каждой из приведенных задач. Соотношение этих факторов во многом для closed source моделей нам совершенно не известно. Смысла искать в них общую экспоненциальную тенденцию немного.

— компьют и данные не скейлятся по экспоненте, при этом только их вклад является наиболее предсказуемым; а алгоритмические улучшения отдельно без скейлинга трудно прогнозировать.

В общем и целом, перебор результатов, чтобы найти экспоненту — это уже самостоятельная бизнес-модель и вообще, залог будущих инвестиций.

Ну и напоследок, результаты опроса AAAI 2025 :"Большинство респондентов (76%) утверждают, что «масштабирование текущих подходов к ИИ» для создания AGI «маловероятно» или «крайне маловероятно» приведет к успеху, что вызывает сомнения относительно того, достаточны ли текущие парадигмы машинного обучения для достижения AGI."

🟣Пост METR
🟣Arxiv

05.04.202519:14

Ну что, сегодня релиз Llama 4
Урааааа впереееед

05.04.202519:46

Выложили также версии в FP8
https://huggingface.co/collections/meta-llama/llama-4-67f0c30d9fe03840bc9d0164

Увайдзіце, каб разблакаваць больш функцый.