Data Secrets
Первый журнал о Data Science | Machine Learning | Big Data | Deep Learning | Neural Networks
По вопросам сотрудничества: @veron_28
https://telega.in/c/data_secrets />Реестр РКН: clck.ru/3FY3GN
По вопросам сотрудничества: @veron_28
https://telega.in/c/data_secrets
Рейтинг TGlist
0
0
ТипПублічний
Верифікація
ВерифікованийДовіреність
Не надійнийРозташуванняРосія
МоваІнша
Дата створення каналуЛют 06, 2025
Додано до TGlist
Трав 28, 2024Прикріплена група![Data Secrets [CHAT]](/_next/image?url=https%3A%2F%2Fstatic-storm.tglist.com%2Fda1b354b28a3cd215fbc5731e8fd06cb%2Fbe92588d-21d4-4364-897a-48b0349874f6.jpg%3Fw%3D48%26h%3D48&w=96&q=75)
Data Secrets [CHAT]
2.7K
![[PYTHON:TODAY] Avatar](/_next/image?url=https%3A%2F%2Fstatic-storm.tglist.com%2Fda1b354b28a3cd215fbc5731e8fd06cb%2F056a8e1a-64a4-4185-ad44-95ddea31f772.jpg%3Fw%3D64%26h%3D64&w=128&q=75)
Рекорди
26.02.202523:59
54.5K
Підписників08.02.202510:20
400
Індекс цитування06.02.202517:52
14K
Охоплення 1 допису11.02.202511:26
11.6K
Охоп рекл. допису31.08.202423:59
7.30%
ER06.02.202517:51
27.40%
ERR
16.02.202516:46
Если давно искали, что почитать по LLM, то там вышла крутая книжка The Hundred-Page Language Models Book
Внутри 200 страниц самой актуальной и очень емкой иллюстрированной информации по:
Акцент сделан на интуитивном понимании и практике: к книжке прилагается репа с отличным кодом по всем темам.
Кто читал The Hundred-Page ML Book того же автора оценят, что это за сокровище. Бесплатно можно читать здесь
Внутри 200 страниц самой актуальной и очень емкой иллюстрированной информации по:
– ML-базе: матрицы, градиентный спуск и др. математический фундамент
– Истории LLM: классические эмбеддинг-модели, RNN, BPE
– Внутреннему устройству трансформеров от аттеншена до key-value caching
– LLM: файнтюнинг, промптинг, скейлинг, элаймент, мультимодальность, RL и ризонинг
Акцент сделан на интуитивном понимании и практике: к книжке прилагается репа с отличным кодом по всем темам.
Кто читал The Hundred-Page ML Book того же автора оценят, что это за сокровище. Бесплатно можно читать здесь
18.02.202518:44
Hugging Face выпустили бесплатный курс по файнтюнингу языковых моделей
Кто не знал, у HF есть большой замечательный курс по NLP со всеми основами от токенизации до трансформеров и других архитектур. И сегодня они добавили в него главу под названием Fine-Tune LLM. Внутри:
🟦 Технические основы файнтюнинга: как должны выглядеть данные, как они должны быть размечены, специальные токены и тд
🟦 Теория по LoRA и другим основным методом файнтюна
🟦 Практика на торче + рецепты оценки модели здорового человека
Емко, практично и максимально полезно. Кстати, если уверены в своих знаниях уже сейчас, в конце главы есть большой квиз – проверьте себя 😐
Кто не знал, у HF есть большой замечательный курс по NLP со всеми основами от токенизации до трансформеров и других архитектур. И сегодня они добавили в него главу под названием Fine-Tune LLM. Внутри:
🟦 Технические основы файнтюнинга: как должны выглядеть данные, как они должны быть размечены, специальные токены и тд
🟦 Теория по LoRA и другим основным методом файнтюна
🟦 Практика на торче + рецепты оценки модели здорового человека
Емко, практично и максимально полезно. Кстати, если уверены в своих знаниях уже сейчас, в конце главы есть большой квиз – проверьте себя 😐
05.02.202520:02
Это то, что мы все так сильно любим: Андрей Карпаты выложил новое обучающее видео
Это погружение в LLM на 3.5 часа. В лекции рассмотрены все основные шаги обучения моделек:
– Прентрейн: данные, токенизация, устройство архитектуры трансформера, примеры на GPT-2 и Llama 3.1
– Файнтюнинг: LLM Psychology, галлюцинации, орфография и еще много интересных деталей
– RLHF: все про то, как обучение с подкреплением работает в LLM на примере DeepSeek R1
Ну что может быть лучше?
youtu.be/7xTGNNLPyMI?si=dlaK07h1Uw_1Dr8Z
Это погружение в LLM на 3.5 часа. В лекции рассмотрены все основные шаги обучения моделек:
– Прентрейн: данные, токенизация, устройство архитектуры трансформера, примеры на GPT-2 и Llama 3.1
– Файнтюнинг: LLM Psychology, галлюцинации, орфография и еще много интересных деталей
– RLHF: все про то, как обучение с подкреплением работает в LLM на примере DeepSeek R1
Ну что может быть лучше?
youtu.be/7xTGNNLPyMI?si=dlaK07h1Uw_1Dr8Z
20.02.202509:38
Microsoft открыли новый революционный материал и сделали из него квантовый чип, который может открыть следующую эру вычислений
Причиной того, что сегодня мы пользуемся телефонами, ноутбуками и другой электроникой стали полупроводники, которые в 1833 открыл Фарадей. А сейчас, в 2025, Microsoft открыли топопроводники – материалы, которые могут наконец-то вывести квантовые вычисления на новый уровень масштабирования.
На основе этих топопроводников Microsoft сделали Majorana 1. По словам компании тут решается сразу две главных проблемы квантовых вычислений: скейлинг и ошибки вычислений. Это стоило ученым 20 лет трудов.
Дело в том, что обычно, чем больше кубитов в чипе, тем больше ошибок этот чип допускает. Но с топопроводниками это может измениться, и Majorana может без потерь масштабироваться до миллиардов кубитов. Для сравнения, сейчас в самых мощных квантовых чипах не более 150 кубитов.
При этом топопроводники очень «компактные», так что такой чип поместится на ладошке.
CEO Microsoft говорит, что все это открывает абсолютно новую эру, и что теперь, возможно, мы получим настоящие квантовые компьютеры не через десятилетия, а через считанные годы.
news.microsoft.com/source/features/innovation/microsofts-majorana-1-chip-carves-new-path-for-quantum-computing/
Причиной того, что сегодня мы пользуемся телефонами, ноутбуками и другой электроникой стали полупроводники, которые в 1833 открыл Фарадей. А сейчас, в 2025, Microsoft открыли топопроводники – материалы, которые могут наконец-то вывести квантовые вычисления на новый уровень масштабирования.
На основе этих топопроводников Microsoft сделали Majorana 1. По словам компании тут решается сразу две главных проблемы квантовых вычислений: скейлинг и ошибки вычислений. Это стоило ученым 20 лет трудов.
Дело в том, что обычно, чем больше кубитов в чипе, тем больше ошибок этот чип допускает. Но с топопроводниками это может измениться, и Majorana может без потерь масштабироваться до миллиардов кубитов. Для сравнения, сейчас в самых мощных квантовых чипах не более 150 кубитов.
При этом топопроводники очень «компактные», так что такой чип поместится на ладошке.
CEO Microsoft говорит, что все это открывает абсолютно новую эру, и что теперь, возможно, мы получим настоящие квантовые компьютеры не через десятилетия, а через считанные годы.
news.microsoft.com/source/features/innovation/microsofts-majorana-1-chip-carves-new-path-for-quantum-computing/
06.02.202518:02
Разбираемся, как работает GRPO – ключевой алгоритм модели DeepSeek R1
Начнем с того, что GRPO – это метод обучения с подкреплением. Он, можно сказать, авторская находка DeepSeek, они предложили его еще год назад в статье про DeepSeekMath (ее подробный разбор лежит у нас на сайте), и с тех пор активно используют в своих моделях.
Обучение с подкреплением – это метод обучения, при котором агент (в нашем случае модель) учится принимать решения, взаимодействуя с окружающей средой. Агент получает награды за свои действия и стремится максимизировать общую награду. На каждом шаге взаимодействия со средой у агента есть политика – стратегия, которой следует агент, определяющая, какое действие он должен предпринять в каждом состоянии.
Самым распространенным для языковых моделей алгоритмом RL является Proximal Policy Optimization (PPO), и GRPO как раз является его вариацией. Суть:
➖ У агента есть начальная политика (стратегия), по которой он действует.
➖ Агент выполняет действия в среде (отвечает на вопросы), следуя своей текущей политике
➖ PPO оценивает действие агента. Для этого обычно используется три модели:
reference model – модель, которая выступает эталоном и позволяет измерять, насколько текущая политика изменилась по сравнению с исходной,
reward model – оценивает награду, которую агент получает за выполнение действия прямо сейчас,
value model – оценивает ожидаемую долгосрочную выгоду от действия, предсказывая будущие награды.
➖ На основе этих оценок агент меняет свою политику. Здесь заключена основная особенность алгоритма: функция потерь в PPO устроена так, что слишком резкие изменения политики не допускаются. Это помогает агенту постепенно улучшать свою стратегию, не делая слишком резких шагов сразу, что делает процесс обучения более стабильным и эффективным.
Но есть в PPO и недостатки. В частности, value model, которая играет ключевую роль в PPO, тащит на себя очень много ресурсов, потому что обычно сопоставима по размерам с моделью, которую мы обучаем. Это делает обучение дорогим.
Так что из GRPO (Group Relative Policy Optimization) value model вообще выкинули. Вместо value model в GRPO мы используем среднюю награду от группы ответов на один и тот же вопрос, и так определяем, насколько "хороши" действия модели.
То есть в GRPO оценка качества ответа основана на сравнении с другими ответами в группе, а не на абсолютных значениях наград. Если ответ лучше среднего по группе, политика усиливает вероятность его выбора. Если хуже — ослабляет. Это компенсирует оценку value model и делает обучение более эффективным и менее ресурсоемким.
Математические детали процесса оставили для вас в конспекте наверху.
Кстати, GRPO работает хорошо даже если пропустить этап файнтюнинга. Так обучали R1-Zero, младшую сестренку R1. Для нее вообще не использовали никакой разметки, и GRPO вытащил все ее качество исключительно на себе (подробнее).
Начнем с того, что GRPO – это метод обучения с подкреплением. Он, можно сказать, авторская находка DeepSeek, они предложили его еще год назад в статье про DeepSeekMath (ее подробный разбор лежит у нас на сайте), и с тех пор активно используют в своих моделях.
Обучение с подкреплением – это метод обучения, при котором агент (в нашем случае модель) учится принимать решения, взаимодействуя с окружающей средой. Агент получает награды за свои действия и стремится максимизировать общую награду. На каждом шаге взаимодействия со средой у агента есть политика – стратегия, которой следует агент, определяющая, какое действие он должен предпринять в каждом состоянии.
Самым распространенным для языковых моделей алгоритмом RL является Proximal Policy Optimization (PPO), и GRPO как раз является его вариацией. Суть:
➖ У агента есть начальная политика (стратегия), по которой он действует.
➖ Агент выполняет действия в среде (отвечает на вопросы), следуя своей текущей политике
➖ PPO оценивает действие агента. Для этого обычно используется три модели:
reference model – модель, которая выступает эталоном и позволяет измерять, насколько текущая политика изменилась по сравнению с исходной,
reward model – оценивает награду, которую агент получает за выполнение действия прямо сейчас,
value model – оценивает ожидаемую долгосрочную выгоду от действия, предсказывая будущие награды.
➖ На основе этих оценок агент меняет свою политику. Здесь заключена основная особенность алгоритма: функция потерь в PPO устроена так, что слишком резкие изменения политики не допускаются. Это помогает агенту постепенно улучшать свою стратегию, не делая слишком резких шагов сразу, что делает процесс обучения более стабильным и эффективным.
Но есть в PPO и недостатки. В частности, value model, которая играет ключевую роль в PPO, тащит на себя очень много ресурсов, потому что обычно сопоставима по размерам с моделью, которую мы обучаем. Это делает обучение дорогим.
Так что из GRPO (Group Relative Policy Optimization) value model вообще выкинули. Вместо value model в GRPO мы используем среднюю награду от группы ответов на один и тот же вопрос, и так определяем, насколько "хороши" действия модели.
То есть в GRPO оценка качества ответа основана на сравнении с другими ответами в группе, а не на абсолютных значениях наград. Если ответ лучше среднего по группе, политика усиливает вероятность его выбора. Если хуже — ослабляет. Это компенсирует оценку value model и делает обучение более эффективным и менее ресурсоемким.
Математические детали процесса оставили для вас в конспекте наверху.
Кстати, GRPO работает хорошо даже если пропустить этап файнтюнинга. Так обучали R1-Zero, младшую сестренку R1. Для нее вообще не использовали никакой разметки, и GRPO вытащил все ее качество исключительно на себе (подробнее).
20.02.202513:07
Google выпустили агента-ученого AI co-scientist
В отличие от многих подобных проектов, агент не пишет статьи и не делает исследования end-to-end. Его цель – быть генератором идей и подкидывать настоящим ученым свежие целесообразные гипотезы.
AI co-scientist реализует весь цикл научного метода: генерация идей, отбор лучших, уточнение, ревью и так по кругу. Это похоже на то, как устроена структура ризонинга во многих моделях, но здесь за каждый этап отвечает отдельный супер-проработанный агент со своими инструментами:
Самое интересное, что сюда прикрутили асинхронную систему управления задачами, так что test-time компьют распределяется динамически, и за счет этого система легко скейлится.
Кстати, агента тестили на мед.исследованиях, и оказалось, что он действительно способен генерировать идеи, которые потом подтверждаются экспериментально.
Интересно, что из этого выйдет, но выглядит масштабно: storage.googleapis.com/coscientist_paper/ai_coscientist.pdf
В отличие от многих подобных проектов, агент не пишет статьи и не делает исследования end-to-end. Его цель – быть генератором идей и подкидывать настоящим ученым свежие целесообразные гипотезы.
AI co-scientist реализует весь цикл научного метода: генерация идей, отбор лучших, уточнение, ревью и так по кругу. Это похоже на то, как устроена структура ризонинга во многих моделях, но здесь за каждый этап отвечает отдельный супер-проработанный агент со своими инструментами:
➖ Generation agent: генерирует начальные гипотезы и направления исследования с помощью веб-поиска
➖ Reflection agent: критически оценивает гипотезы через детальные проверки и симуляции. Может запускать код.
➖ Ranking agent: организует турнир дебатов и таким образом сравнивает гипотезы попарно и ранжирует по Эло (как на LMSYS)
➖ Proximity agent: строит граф близости гипотез, объединяет их и выкидывает дубликаты.
➖ Evolution agent: совершенствует и уточняет оставшиеся гипотезы.
➖ Meta-review agent: сводит все в общий обзор и ревьюит.
Самое интересное, что сюда прикрутили асинхронную систему управления задачами, так что test-time компьют распределяется динамически, и за счет этого система легко скейлится.
Кстати, агента тестили на мед.исследованиях, и оказалось, что он действительно способен генерировать идеи, которые потом подтверждаются экспериментально.
Интересно, что из этого выйдет, но выглядит масштабно: storage.googleapis.com/coscientist_paper/ai_coscientist.pdf
11.02.202515:20
Посочувствуем Сереже
Увійдіть, щоб розблокувати більше функціональності.
