Pavel Zloi

Канал простого программиста, рассказываю про ИТ, Linux, AI, ChatGPT, Docker и тд.
Отправить донат:
https://pay.cloudtips.ru/p/937f48ac
Исходники моих проектов:
https://github.com/EvilFreelancer
Где меня искать:
https://dzen.ru/a/ZGI0ytgNQUkpkIME

TGlist reytingi

TuriOmmaviy

Tekshirish

Tekshirilmagan

Ishonchnoma

Shubhali

Joylashuv

TilBoshqa

Kanal yaratilgan sanaApr 14, 2022

TGlist-ga qo'shildi

Mar 02, 2025

Men kanal egasiman

O'zgartirishlar tarixi

Muxrlangan guruh

Pavel Zloi's Chat

207

Telegram kanali Pavel Zloi statistikasi

Batafsil

Obunachilar

1 184

24 soat

50.4%Hafta

888%Oy

888%

Iqtiboslar indeksi

100

Eslatmalar1Kanallardagi repostlar0Kanallardagi eslatmalar1

Bitta postning o'rtacha qamrovi

375

12 soat1 7430%24 soat3750%48 soat4170%

Ishtirok (ER)

9.07%

Repostlar15Izohlar7Reaksiyalar12

Qamrov bo'yicha ishtirok (ERR)

31.81%

24 soat0%Hafta0%Oy0%

Bitta reklama postining qamrovi

2 093

1 soat00%1 – 4 soat00%4 - 24 soat00%

Batafsil

Botimizni kanalingizga ulang va ushbu kanal auditoriyasining jinsini bilib oling.

24 soat ichidagi barcha postlar

1

Dinamika

"Pavel Zloi" guruhidagi so'nggi postlar

Barcha postlar

08.03.202511:55

Кстати, чуть не забыл, поздравляю ~~немногочисленных~~ подписчиц канала с 8 марта!

05.03.202513:28

И так, продолжаем разговор, ссылок набралось порядочно, так вот вторая пачка публикаций, их краткое саммари и мой небольшой комментарий.

Curated collection of papers and resources on how to unlock the reasoning ability of LLMs and MLLMs (ссылка)

Кратенько: По ссылке коллекция из 130+ ссылок на статьи про датасеты и техники обучения ризонингу вышедшие начиная с 2022 года, так что всё достаточно свежее, есть обзорные статьи, есть разные околотехнические статьи с анализом работы тех или иных моделей, есть статьи про техники обучения и тестирования ризонинга и так далее.

От себя: В проекте собрана великолепная подборка различных публикаций и проектов, однако, отдельно хочу отметить заинтересовавший меня проект google-research/cascades, который позволяет формировать "каскадные" CoT цепочки вызывая внешние тулы и используя механизмы обратной связи.

Training Language Models to Self-Correct via Reinforcement Learning (arXiv:2409.12917)

Кратенько: Эта публикация про метод Self-Correct via Reinforcement Learning (SCoRe), использующий RL для улучшения способности языковых моделей к самокоррекции через генерацию собственных данных, что по тестам позволило достичь хороших результатов на бенчмарках MATH и HumanEval.

От себя: Очень любопытная статья,. по тексту сложилось мнение что SCoRe это что-то среднее между RL и RLHF (только вместо хумана обучаемая модель). Как я понял модель в процессе обучения делает две генерации, после первой проверяет себя и генерируют инструкцию самокоррекции, после второй рассчитывается то насколько ответы похожи на правильный из датасета (при этом не показывая модели какой правильный) и из этого формируется RL-награда, финальная цель которой обучить модель либо с первого раза отвечать "как надо" либо с одной подсказкой.

Marco-o1: Towards Open Reasoning Models for Open-Ended Solutions (arXiv:2411.14405)

Кратенько: Эта публикация представляет модель Marco-o1 и методы её RL обучения используя Chain-of-Thought, MCTS и механизмы рефлексии.

От себя: В данной публикации очень подробно описан весь процесс, который сводится к SFT обучению на CoT инструкциях, после чего RL обучению который предполагает, что модель сама будет генерировать возможные варианты ответа (дерево решений), после через MCTS (Monte Carlo Tree Search) выбирать наиболее эффективный (через оценку top-k и softmax). Процесс "рассуждения" продолжается до тех пока не будет достигнут приемлемый результат.

Puzzle Solving using Reasoning of Large Language Models: A Survey (arXiv:2402.11291)

Кратенько: Любопытный обзор исследований, оценивающих способности LLM в решении головоломок.

От себя: Из интересного классификация видов загадок и обзор датасетов под каждый из примеров, но отдельно хочу отметить упоминаемую работу "Graph of Thoughts: Solving Elaborate Problems with Large Language Models" (arxiv:2308.09687) о фреймворке, который позволяет построить не просто цепочку, а граф размышлений.

Продолжение продолжит продолжаться...

02.03.202512:46

YandexGPT R1 на Huging Face

Выпустил адаптер на Hugging Face который я дообучил при помощи impruver поверх YandexGPT-5-Lite-8B-pretrain вышедшей на днях, используя датасеты оптимизированные под reasoning.

Ссылки:
- https://huggingface.co/evilfreelancer/r1_yandexgpt5-lite_lora
- https://huggingface.co/evilfreelancer/r1_yandexgpt5-lite_gguf
- https://ollama.com/evilfreelancer/r1_yandexgpt5-lite

Конфигурация: YandexGPT/8B_lora_r1
Отчёт W&B: https://api.wandb.ai/links/evilfreelancer/zj6s02v4

Запустить через Ollama:

ollama run evilfreelancer/r1_yandexgpt5-lite

Barcha postlar

Reklama qilingan16 soat

05.03.202507:26Dealer.AI

8.2K

Reklama qilingan0 sekund

02.03.202518:14Dealer.AI

8.2K

Batafsil

Rekordlar

08.03.202523:59

1.2KObunachilar

05.03.202523:59

100Iqtiboslar indeksi

03.03.202523:59

2.1KBitta post qamrovi

04.02.202523:13

2.1KReklama posti qamrovi

06.03.202523:59

9.07%ER

25.02.202505:56

190.97%ERR

Rivojlanish

Batafsil

Obunachilar

Iqtibos indeksi

1 ta post qamrovi

Reklama posti qamrovi

ERR

Batafsil

Pavel Zloi mashhur postlari

Barcha postlar

05.03.202513:28

02.03.202512:46

ollama run evilfreelancer/r1_yandexgpt5-lite

08.03.202511:55

Кстати, чуть не забыл, поздравляю ~~немногочисленных~~ подписчиц канала с 8 марта!

Ko'proq funksiyalarni ochish uchun tizimga kiring.