Мир сегодня с "Юрий Подоляка"

Труха⚡️Україна

View

Николаевский Ванёк

View

Мир сегодня с "Юрий Подоляка"

View

Труха⚡️Україна

View

Николаевский Ванёк

View

Агенты ИИ | AGI_and_RL

Про ии, RL и в целом @tokarev_i_v
https://t.me/researchim

TGlist rating

TypePublic

Verification

Not verified

Trust

Not trusted

Location

LanguageOther

Channel creation dateJan 31, 2020

Added to TGlist

Feb 14, 2025

I own this channel

History of changes

Linked chat

АИ

Агентство ИИ

Statistic of Telegram Channel Агенты ИИ | AGI_and_RL

More details

Subscribers

4 867

24 hours

20%Week

651.4%Month

1833.9%

Citation index

0

Mentions0Shares on channels0Mentions on channels0

Average views per post

706

12 hours6390%24 hours7060%48 hours747

51.9%

Engagement rate (ER)

2.69%

Reposts12Comments0Reactions7

Engagement rate by reach (ERR)

0%

24 hours0%Week

2.47%Month

7.47%

Average views per ad post

706

1 hour00%1 – 4 hours16923.94%4 - 24 hours15521.95%

More details

Connect our bot to the channel to find out the gender distribution of this channel's audience.

Total posts in 24 hours

1

Dynamic

Latest posts in group "Агенты ИИ | AGI_and_RL"

All posts

14.04.202517:09

Ребят, если кто смотреть будет (или смотрит)

https://www.youtube.com/watch?v=kA-P9ood-cE

напишите в коментах если чего интересного увидите

07.04.202517:30

Раз уж за дример пошло, то недавно натыкался на реп где чел реимплементнул его

https://github.com/InexperiencedMe/NaturalDreamer

07.04.202517:20

В nature решили вспомнить про Dreamer, прикольно
https://www.nature.com/articles/d41586-025-01019-w

https://danijar.com/project/dreamerv3/

Кстати увидел, что автор пушит в репозиторий частенько и что-то обновляет даже

06.04.202513:16

Тут толпа исследователей из разных компаний и универов сделалил большую обзорку по современным компонентам агентов

Обучение, ризонинги, память, world models, много про RL, реварды, действия и вызов тулов, эволюционные системы, самоулучшение, сейфти и вообще куча всего

190 страниц текста и 74 страницы ссылок

красота, стоит обратить внимание

Advances and Challenges in Foundation Agents: From Brain-Inspired Intelligence to Evolutionary, Collaborative, and Safe Systems
https://arxiv.org/abs/2504.01990

Листик со ссылками
https://github.com/FoundationAgents/awesome-foundation-agents

05.04.202517:22

Есть такой проектик tiny-grpo от ребят из open-thoughts: https://github.com/open-thought/tiny-grpo
типа минималистичный имплемент грпо. уже давний получается, ему 3 месяца.
Но единственный пример с лламой 1б не запускался хотя бы на 24гб карте. (точнее запускается, но быстро ловит ООМ - нехватка памяти)
В нем моделька учится отрабатывать за калькулятор.

Вообще цель проекта - это проделывать свои эксперименты с грпо. Поэтому сделал форк с квантизацией и лорой + подставляю модельку от анслота (теперь она должна просто загружаться, без разрешений), чтобы хотя бы запускалось локально.

https://github.com/researchim-ai/re-tiny-grpo

мб кто-то сам хочет параметры поперебирать, улучшить (но нужна карточка на 24гб)

Кстати разные штуки делаем и собираем крутые статьи тут: https://t.me/researchim

05.04.202512:52

Еще обзорок по тест-тайм скейлингам и мультиагентам ?

Ни слова больше

What, How, Where, and How Well? A Survey on Test-Time Scaling in Large Language Models
https://arxiv.org/abs/2503.24235

A Comprehensive Survey on Multi-Agent Cooperative Decision-Making: Scenarios, Approaches, Challenges and Perspectives
https://arxiv.org/abs/2503.13415

04.04.202519:41

RL с ллмами притянули к рекомендашкам. Тюнили Qwen 2.5 3B.

Оптимизировались на двух задачах:

Задача поиска товаров (Product Search). Пользователь пишет запрос, LLM запрос переписывает или уточняет, после чего система на основе переработанного запроса (например, через BM25) возвращает список кандидатов.

Задача последовательных рекомендаций (Sequential Recommendation). Здесь нужно предсказать следующий товар на основе истории взаимодействий пользователя (типа предыдущие покупки или что он просматривал). LLM генерирует текстовое описание, которое который пользователь скорее всего купит следующим (тут могут быть ключевые характеристики товара, тип продукта и тд).

ревард для RLя получали по метрикам от рекомендательных систем - NDCG@K, Recall@K (например тут можно подробнее про них узнать)

С RLем сильно улучшили метрички, 1 и 2 скрин.
Сравнили RL и с SFT тюнингом (данные генерили с GPT 4o конкретно под рекомендашки) и потом померили на обычных бенчах производительность.
Результы на 3 скрине. Кое-где после SFT просели результаты, с RLем вроде поровнее получилось.

Ну и у RLя результаты вроде получше получились чем у SFT на небольших тестах (4 скрин по порядку, a). И SFT на сгенерированных GPT 4о данных не превосходит просто GPT 4o на задаче. (авторы даже теоремку доказывают, что политика обученная на SFT не может быть лучше политики которой сгенерили данные. т.е. не будет в данном случае лучше 4o)
На скрине 4 b сравнивают цену и время на RL для того чтобы получить ту же производительность что у генерации данных на SFT + трен.
Ну как-то быстро конечно.

Подробнее читаем тут

Rec-R1: Bridging Generative Large Language Models and User-Centric Recommendation Systems via Reinforcement Learning
https://arxiv.org/abs/2503.24289

Код тута:
https://github.com/linjc16/Rec-R1

PS все крутые статьи собираем и делаем проектики в https://t.me/researchim

04.04.202519:41

04.04.202514:17

Тут кстати есть довольно свежии лекции по квантовым алгоритмам

https://www.cs.umd.edu/~amchilds/qa/

03.04.202520:03

Здесь автор пилит UI-шку для экспериментов с обычным рлем

https://github.com/dvalenciar/ReinforceUI-Studio

дока тут https://docs.reinforceui-studio.com/welcome

Мне показалось прикольным, хз почему раньше уишку никто не сделал, это может быть реально удобным для ознакомления

03.04.202519:59

Коротенькая выжимка на английском по отличиям обжективов в алгоритмах REINFORCE, ReMax, RLOO, PPO, GRPO, Dr. GRPO
https://lancelqf.github.io/note/llm_post_training/

31.03.202510:25

Кстати листик с MCP серверами, думаю пригодятся
https://github.com/punkpeye/awesome-mcp-servers

27.03.202516:57

чатгпт сделал нам отличную шпору по рлю. изучаем
На английском конечно же намного лучше получается
Агрея, стодание, полеход - каждый должен знать, это база

27.03.202516:02

Тут автор рассказывает про свои эксперименты с ллм и GRPO для улучшения алгоритмов сортировки

https://hrishbh.com/ai-as-algorithm-designer-teaching-llms-to-improve-sorting-through-trial-and-error-in-grpo/

PS подобные штуки мы собираем в https://t.me/researchim

25.03.202517:59

Вышла вторая версия овервьюшки по RL (современному), теперь 177 страничек (было 144)

Reinforcement Learning: A Comprehensive Overview
https://arxiv.org/abs/2412.05265v2

All posts

Advertised0 seconds

06.04.202523:25NLP Wanderer

1.4K

Advertised0 seconds

11.03.202515:11Love. Death. Transformers.

19.6K

Advertised0 seconds

13.02.202509:18Love. Death. Transformers.

19.6K

More details

Records

14.04.202523:59

4.9KSubscribers

04.03.202513:30

100Citation index

13.03.202503:50

6KAverage views per post

11.03.202517:47

6KAverage views per ad post

02.04.202514:23

11.57%ER

12.03.202516:34

128.89%ERR

Growth

More details

Subscribers

Citation index

Avg views per post

Avg views per ad post

ERR

More details

Агенты ИИ | AGI_and_RL