Мир сегодня с "Юрий Подоляка"

Труха⚡️Україна

Паглядзець

Николаевский Ванёк

Паглядзець

Мир сегодня с "Юрий Подоляка"

Паглядзець

Труха⚡️Україна

Паглядзець

Николаевский Ванёк

Паглядзець

Старший Авгур

Сохраненки и шитпост про ML от @YallenGusev
Чат канала: @augur_chat

Рэйтынг TGlist

ТыпПублічны

Вертыфікацыя

Не вертыфікаваны

Надзейнасць

Не надзейны

Размяшчэнне

МоваІншая

Дата стварэння каналаFeb 03, 2024

Дадана ў TGlist

May 31, 2024

Я ўладальнік канала

Гісторыя змяненняў

Прыкрепленая група

СА

Чат с авгурами

Статыстыка Тэлеграм-канала Старший Авгур

Падрабязней

Падпісчыкаў

5 437

24 гадз.

10%Тыдзень

190.3%Месяц

1001.9%

Індэкс цытавання

0

Згадкі0Рэпостаў на каналах0Згадкі на каналах0

Сярэдняе ахоп 1 паста

1 025

12 гадз.2 2580%24 гадз.1 0250%48 гадз.2 2010%

Узаемадзеянне (ER)

4.98%

Рэпостаў46Каментары33Рэакцыі5

Узаемадзеянне па ахопу (ERR)

18.86%

24 гадз.0%Тыдзень

0.03%Месяц

1.8%

Ахоп 1 рэкламнага паста

1 025

1 гадз.15314.93%1 – 4 гадз.00%4 - 24 гадз.18417.95%

Падрабязней

Падключыце нашага бота да канала і даведайцеся пол аўдыторыі гэтага канала.

Усяго пастоў за 24 гадзіны

0

Дынаміка

Апошнія публікацыі ў групе "Старший Авгур"

Усе пасты

Пераслаў з:

Kali Novskaya

20.04.202519:56

🌸Неделя Научных агентов🌸
#nlp #про_nlp #nlp_papers

Последние две недели выдались особо интересными для агентов для ИИ и науки.
Как обычно, публикую небольшую подборку.

🌸Ассистент AlphaXiv

Совершенно незаменимая вещь для организации статей, теперь ещё и с Deep Research: любую статью с архива можно добавить в свою подборку, поставит лайк, начать обсуждение, а так же сделать блог пост из статьи. Можно экспортировать все свои статьи и сразу сделать краткую выжимку. Если ещё и комментарии оставлять внятные, можно приблизить Arxiv к Openreview.
🟣https://www.alphaxiv.org/explore

🌸Больше агентов для моделирующих наук
CURIE, a multitask benchmark for scientific reasoning

DeepMind представил CURIE — банчмарк для научных проблем в шести дисциплинах: материаловедении, физике конденсированного состояния, квантовых вычислениях, геопространственном анализе, биоразнообразии и моделировании протеиновых структур. Все задачи требуют экспертных знаний в предметной области, длнного контекста и multi-step reasoning.

Бенчмарк CURIE охватывает 10 задач на основе 429 статей по шести различным научным дисциплинам, и охватывают как экспериментальные, так и теоретические аспекты научных исследований. Оценено много моделей: Mixtral, Command R, LongLlama, все топовые проприетарные модели.
🟣https://arxiv.org/abs/2503.13517
🟣https://research.google/blog/evaluating-progress-of-llms-on-scientific-problem-solving/

🌸Законы масштабирования агентов для науки
Scaling Laws in Scientific Discovery with AI and Robot Scientists

Достаточно неплохой обзор степеней автономности агентов для науки, с онтологией способностей, оценкой текущего состояния и следующих степеней автономности. Экспериментов по масштабированию, правда, никаких не ставится, просто рисуют красивые картинки ~~с экспонентами.~~
🟣https://arxiv.org/abs/2503.22444

🌸Меморизация и научная новизна
All That Glitters is Not Novel: Plagiarism in AI Generated Research

Могут ли агенты генерировать новые идеи? В целом что-то могут, но за ними трудно проверять.
Статья анализирует недетектируемый плагиат в идеях Sakana AI и некоторых других, и оказывается, что 24% новых идей полностью сплагиачены без указания источника (и при этом плагиат не детектируется стандартными методами, так как все перефразировано), 36.0% работ содержали факты, которые никакой научной литературой не подтверждаются.
Странно, что не больше.
🟣https://arxiv.org/abs/2502.16487

Предыдущие части:
🟣LLM хакают научную новизну
🟣AI Scientist от Sakana AI
🟣MLGym — фреймворк для ML агентов

15.04.202517:42

OpenAI, ты чего... 😂

14.04.202507:41

Месяц я ждал, когда все грабли по тюну Геммы 3 будут собраны кем-то другим.
Но когда я вчера сунулся тюнить 12b, я пожрал столько дерьма...
- Понадобился апгрейд всего софта (что ожидаемо).
- apply_chat_template с нифига стал требовать [{"type": "text", "text": "..."}] вместо просто строк.
- apply_chat_template с нифига стал возвращать вложенный список.
- У Геммы сильно другая структура модулей, поэтому моё кастомное связывание эмбеддингов с ней не сработало.
- Валидационная часть обучения не работает из-за этого бага: https://github.com/huggingface/transformers/issues/36938. Если же обновить transformers до последней версии, разносит уже unsloth.

И я только где-то на середине дебага 🤔

13.04.202514:14

Я регулярно просматриваю новые датасеты на HF. Вот подборка людей и организаций, которые мне попадаются довольно часто:

https://huggingface.co/nyuuzyou.
Про один из датасетов этого человека я уже постил тут. А всего на страничке больше 100 (!) разных датасетов, в основном структурированных дампов разных сайтов. Датасеты как текстовые, так и картиночные. Последний обновлённый датасет — дамп русских интернет-форумов.

https://huggingface.co/inkoziev
Датасеты Ильи Козиева, в основном про ударения и стихи, но не только. Илья много занимался генераторами стихов, что мне очень близко. Его ЖЖ, Гитхаб. Последний обновлённый датасет про ударения в омографах.

https://huggingface.co/Vikhrmodels
Разные вихрёвские SFT/RL датасеты для русского. Последний обновлённый датасет — сборник задач матетматических олимпиад разного уровня.

https://huggingface.co/mizinovmv
В основном русские переводные версии английских датасетов. У многих датасетов нет описания.

https://huggingface.co/attn-signs
SFT/RL датасеты для русского с фокусом на reasoning. По-моему маловато подробностей про их сбор, но всё равно может быть полезно.

https://huggingface.co/kristaller486
Переводные SFT датасеты для русского от подписчика. Его канал: @krists

12.04.202521:53

Сегодня и вчера чуть-чуть поработал над ботом (@saiga_igusev_bot). Список изменений:
- Добавил разных новых моделей (Grok 3, Llama 4, Gemini 2.5 Pro).
- Убрал старые нативные вызовы инструментов, заменил их на CodeAct из smolagents. Доступно не для всех моделей, включается через /tools.
- Заменил парсилку PDF на pypdf.
- Ну и всякого по мелочи, отрефакторил конфиги, например.

Всё жду, когда OpenAI новую генерилку картинок в API выложат, её тоже сразу воткну.

08.04.202519:33

https://www.youtube.com/watch?v=_2C2CNmK7dQ

Позапрошлый пост был на моменте с 2:35. Совпадения пугающие, у меня даже те же самые наушники.

04.04.202514:11

На ARR в итоге из 3 рецензентов хоть что-то мне ответил только один! И то, вчера, в последний день дискуссии. И как-то так опять случилось, что ответил именно тот, кто поставил самую высокую оценку из них троих. По сравнению с ICLR конструктивных замечаний гораздо меньше, может и потому, что статья стала лучше. В итоге я сделал мелкие правки текста и один дополнительный эксперимент (проверка того, что сильнее влияет на результаты: выбор судьи или выбор допрашивающего).

Статью и без конференции уже начали цитировать (аж 3 раза пока), поэтому и фиг бы с ними. Я пока не очень понимаю, куда ещё раз подаваться, так далеко я не заглядывал. В текущем виде статья уже выглядит немного старенькой с точки зрения проверяемых и используемых моделей.

Материала и техник для 3 версии бенча я набрал довольно много, только не уверен, что хочу этим заниматься.

03.04.202519:58

Я тут тоже решил попробовать этот ваш вайб-кодинг, поставил Курсор, взял один готовый фронтендерский проект и попробовал прикрутить к нему пару LLM-фичей. И знаете что?

Я давно не чувствовал себя настолько несчастным при программировании. Основной моей эмоцией было раздражение на эту "тупую фигню". С десяток раз я попадал в цикл дебага моделью, в которых она раз за разом делала неправильные исправления. В итоге мне всё равно приходилось вмешиваться и разбираться самому, уже потратив кучу времени и токенов. И как же я отвык от IDE... Я сейчас, наверное, прозвучу как старик, но все эти окошки, уведомления, менюшки и загрузки после чистого vim'а смотрятся абсолютно убого и сильно отвлекают.

Правда, в каких-то кейсах оно нормально работало. Например, когда мне понадобилось сделать сбоку маленький сервер с нуля. Вот там да, всё чисто, никаких проблем. Но правки в существующем большом проекте — это ад, потому что я привык понимать всё, а не делегировать понимание.

30.03.202511:42

Кстати, впервые открытая модель на первом месте в ПингПонге. Вероятно до тех пор, пока Gemini 2.5 Pro не оценен.

28.03.202510:15

Вышли рецензии на ARR для ПингПонга, всё довольно плохо (1.5, 2, 2.5). Сейчас с ходу пишу ответы, есть конструктивные вещи по тексту, но к сожалению (или к счастью) не по методологии.

А ещё см. скриншот. Вот откуда рецензент узнал, что автор один? Double-blind, ага.

25.03.202520:33

Всё, что нужно знать об умении людей предсказывать будущее.

22.03.202510:48

Что с лицом, Сбер? Моё почтение команде llmarena.ru, видимо им-то денег хватило на прогоны нормальных моделей на Мере.

P.S. Почему мне вообще есть дело до Меры? Посмотрите на эти пресс-релизы: https://t.me/rbc_news/108121, https://t.me/exploitex/23425

21.03.202522:44

Если что, вопрос с первым PR решился после моего нытья одному из двух мейнтейнеров в личку в Твиттере.
За это время ещё наткунлся на баг в телеметрии, его фикс тоже влили.
Второй PR так и висит, ну и пусть, там не баг, там фича.
Так что теперь у меня 5 коммитов, что ставит меня в топ-8 контрибьютеров, приятно.

Я в одном чатике уже шутил, что я иногда чувствую себя единственным юзером smolagents...

Кроме того, одна из фичей для holosophos оказалась неожиданно хорошей. Я про покомандные таймауты, которые задаются самой языковой моделью. Вопрос с бесконечными циклами решился, и модельки теперь сами фиксят все баги подобного рода.

19.03.202519:54

А ещё у меня жёстко горит от smolagents. Уже больше 10 дней висит мой PR на 2 строчки, который бы экономил 10-20% токенов для Соннетов и делал бы их чуть лучше. Мелочь, правда? Подумаешь, лучшая агентская модель нормально с вашим фреймворком не работает.

И второй PR про добавление обработки картинок в CodeAct. Тоже абсолютно бесполезный, да?

Я ведь там не один такой. 100+ открытых PR, и всего полтора человека на поддержке.

19.03.202519:40

Пару дней назад я думал, что вот сейчас решу задачу и забабахаю пост про это в канал. И таких моментов было несколько. Но знаете что? До сих пор ни одна модель не справилась. Я пробовал o3-mini, o1, Sonnet 3.7, Sonnet 3.5, последнюю Гемму. Ничего не работает.

Задача-то в сущности очень простая: сделать то, что я сделал вот в этом посте. Воспроизвести маленький эксперимент на игрушечных графах на базе существующей статьи. Но раз за разом, раз за разом у моделей ничего не получается. Топ ошибок:
- Ничего не делать и просто выдать рандомные чиселки (см. пост выше). А вдруг прокатит?
- Облажаться со структурой графов различными способами: 4 вершины в пути вместо 5, пути не из центра, повторяющиеся значения в вершинах, внезапные дополнительные ветки, 7 рёбер вместо 8. Да они исполняют тысячи способов облажаться, о которых я даже подумать не мог и не могу 😣
- Не открывать статью и взять гиперпараметры с потолка. Ну а что? В промпте же не написано, что нужно взять гиперпараметры из статьи? ИЛИ НАПИСАНО?
- Накодить бесконечные циклы. Вот это моё самое любимое, потому что никак не отлавливаемое и тратящее деньги (потому что арендованное железо). Я уже сделал глобальный таймер на 12 часов, плюс думаю дать моделям возможность самим ставить таймеры на команды.

В итоге из промпта на 3 предложения выросла огромная простыня:


There is a paper: 'The pitfalls of next-token prediction'. The task from there is to learn a path from a central node to a leaf node in a star-like graph with one central node and many branches of the same length. Reproduce the experiment from this paper with directed G2,5 graphs (2 branches, path length is 5). Train GPT-2 from scratch in two settings: 1) direct autoregressive training 2) autoregressive training on the reverse paths (when the graph is the same, but the path is written from leaf to center).

Input example (list of directed edges + central and leaf nodes): '5 7 | 6 1 | 7 4 | 1 8 | 6 5 | 4 0 | 2 3 | 8 2  6 3'. The central node is 6, and the leaf node is 3. Central and leaf nodes are a part of the input after . Output is '6 1 8 2 3', and in case of a reverese path it is '3 2 8 1 6'. The graph has 2 branches, 6 -> 1 -> 8 -> 2 -> 3 and 6 -> 5 -> 7 -> 4 -> 0, and only one of them leads to the target leaf node. So the full sample is: '5 7 | 6 1 | 7 4 | 1 8 | 6 5 | 4 0 | 2 3 | 8 2  6 3  3 2 8 1 6' in the case of the reverse path. Use 51 unque node values (0-50). Check that:
1) generation scripts produce the provided format of samples
2) the number of edges is 8
3) the central and leaf nodes are provided in the input
4) node values are unique across all 9 nodes
5) path length is 5
6) there are two pathes from the central node
7) path is from a center to one of the two final leaves

Use custom tokenization where is node value is a token.

Train on 50000 samples, validate on 500 samples, run at least 20 epochs. Report losses (only for path completion after ) of two models as a JSON in a following format: {"direct_eval_loss": ..., "reverse_eval_loss": ...}.

Use the same experiment hyperparameters (learning rate, dropout, hidden size) as in the paper!

Но оно всё ещё не работает и фейлится в абсолютно неожиданных местах! Я продолжаю отлаживать промпты и инструменты, но уже стало немного грустно.

Усе пасты

Нічога не знойдзена 😢

Падрабязней

Рэкорды

21.04.202523:59

5.4KПадпісчыкаў

20.02.202523:59

100Індэкс цытавання

01.11.202423:59

16KАхоп 1 паста

30.11.202423:59

16KАхоп рэкламнага паста

20.03.202514:57

10.60%ER

01.11.202423:59

392.52%ERR

Развіццё

Падрабязней

Падпісчыкаў

Індэкс цытавання

Ахоп 1 паста

Ахоп рэкламнага паста

ERR

Падрабязней

Папулярныя публікацыі Старший Авгур

Усе пасты

03.04.202519:58

25.03.202520:33

Всё, что нужно знать об умении людей предсказывать будущее.

Пераслаў з:

Kali Novskaya

20.04.202519:56

22.03.202510:48

28.03.202510:15

04.04.202514:11

13.04.202514:14

30.03.202511:42

Кстати, впервые открытая модель на первом месте в ПингПонге. Вероятно до тех пор, пока Gemini 2.5 Pro не оценен.

15.04.202517:42

OpenAI, ты чего... 😂

08.04.202519:33

14.04.202507:41

12.04.202521:53

Увайдзіце, каб разблакаваць больш функцый.