Старший Авгур
07.05.202509:13
Открытая версия Suno (генератора музыки и песен): https://ace-step.github.io/
Модель: https://huggingface.co/ACE-Step/ACE-Step-v1-3.5B
Код: https://github.com/ace-step/ACE-Step
Поддерживает русский до какой-то степени, на сайте есть пример на нём. По качеству как ранние версии Suno, в принципе довольно хорошо, но косяки всё равно слышны, особенно в вокале.
Модель: https://huggingface.co/ACE-Step/ACE-Step-v1-3.5B
Код: https://github.com/ace-step/ACE-Step
Поддерживает русский до какой-то степени, на сайте есть пример на нём. По качеству как ранние версии Suno, в принципе довольно хорошо, но косяки всё равно слышны, особенно в вокале.
28.04.202522:22
Qwen3-14B доступен в боте (@saiga_igusev_bot). Выставляется через /setmodel. Прикольно, что оно позволяет в промпте отключать размышления.
25.04.202515:37
Гиблификация тоже работает, хотя иногда картинки почему-то запрещает встроенная система модерации OpenAI.
UPD: Докинул ещё один бесплатный вызов (теперь 2). Лучше перед каждым делать /reset истории. Если есть проблемы, пишите в личку (@YallenGusev)
UPD: Докинул ещё один бесплатный вызов (теперь 2). Лучше перед каждым делать /reset истории. Если есть проблемы, пишите в личку (@YallenGusev)
22.04.202512:53
Продолжая тему дообучения Геммы 3 (которая на самом деле Джемма, но раз уж начал...)
Первые SFT и SMPO черновики готовы, но получилось хуже оригинальной модели, так что они в любом случае отправляются в мусорку. Оригинальная модель при этом генерирует ответы в среднем в 2.5 раза длиннее gpt-4o (см. скриншот), что заставляет меня использовать контроль длины в арене.
Из интересного — unsloth принудительно и без предупреждения выбирает SDPA вместо FA2. См. код тут. Отсюда все проблемы с повышенным потреблением памяти и OOM. Зачем они это сделали — загадка.
Сейчас я раскомментировал FA2 и учу SFT версию с 32к контекстом, потом переучу и SMPO.
Первые SFT и SMPO черновики готовы, но получилось хуже оригинальной модели, так что они в любом случае отправляются в мусорку. Оригинальная модель при этом генерирует ответы в среднем в 2.5 раза длиннее gpt-4o (см. скриншот), что заставляет меня использовать контроль длины в арене.
Из интересного — unsloth принудительно и без предупреждения выбирает SDPA вместо FA2. См. код тут. Отсюда все проблемы с повышенным потреблением памяти и OOM. Зачем они это сделали — загадка.
Сейчас я раскомментировал FA2 и учу SFT версию с 32к контекстом, потом переучу и SMPO.
13.04.202514:14
Я регулярно просматриваю новые датасеты на HF. Вот подборка людей и организаций, которые мне попадаются довольно часто:
https://huggingface.co/nyuuzyou.
Про один из датасетов этого человека я уже постил тут. А всего на страничке больше 100 (!) разных датасетов, в основном структурированных дампов разных сайтов. Датасеты как текстовые, так и картиночные. Последний обновлённый датасет — дамп русских интернет-форумов.
https://huggingface.co/inkoziev
Датасеты Ильи Козиева, в основном про ударения и стихи, но не только. Илья много занимался генераторами стихов, что мне очень близко. Его ЖЖ, Гитхаб. Последний обновлённый датасет про ударения в омографах.
https://huggingface.co/Vikhrmodels
Разные вихрёвские SFT/RL датасеты для русского. Последний обновлённый датасет — сборник задач матетматических олимпиад разного уровня.
https://huggingface.co/mizinovmv
В основном русские переводные версии английских датасетов. У многих датасетов нет описания.
https://huggingface.co/attn-signs
SFT/RL датасеты для русского с фокусом на reasoning. По-моему маловато подробностей про их сбор, но всё равно может быть полезно.
https://huggingface.co/kristaller486
Переводные SFT датасеты для русского от подписчика. Его канал: @krists
https://huggingface.co/nyuuzyou.
Про один из датасетов этого человека я уже постил тут. А всего на страничке больше 100 (!) разных датасетов, в основном структурированных дампов разных сайтов. Датасеты как текстовые, так и картиночные. Последний обновлённый датасет — дамп русских интернет-форумов.
https://huggingface.co/inkoziev
Датасеты Ильи Козиева, в основном про ударения и стихи, но не только. Илья много занимался генераторами стихов, что мне очень близко. Его ЖЖ, Гитхаб. Последний обновлённый датасет про ударения в омографах.
https://huggingface.co/Vikhrmodels
Разные вихрёвские SFT/RL датасеты для русского. Последний обновлённый датасет — сборник задач матетматических олимпиад разного уровня.
https://huggingface.co/mizinovmv
В основном русские переводные версии английских датасетов. У многих датасетов нет описания.
https://huggingface.co/attn-signs
SFT/RL датасеты для русского с фокусом на reasoning. По-моему маловато подробностей про их сбор, но всё равно может быть полезно.
https://huggingface.co/kristaller486
Переводные SFT датасеты для русского от подписчика. Его канал: @krists
03.04.202519:58
Я тут тоже решил попробовать этот ваш вайб-кодинг, поставил Курсор, взял один готовый фронтендерский проект и попробовал прикрутить к нему пару LLM-фичей. И знаете что?
Я давно не чувствовал себя настолько несчастным при программировании. Основной моей эмоцией было раздражение на эту "тупую фигню". С десяток раз я попадал в цикл дебага моделью, в которых она раз за разом делала неправильные исправления. В итоге мне всё равно приходилось вмешиваться и разбираться самому, уже потратив кучу времени и токенов. И как же я отвык от IDE... Я сейчас, наверное, прозвучу как старик, но все эти окошки, уведомления, менюшки и загрузки после чистого vim'а смотрятся абсолютно убого и сильно отвлекают.
Правда, в каких-то кейсах оно нормально работало. Например, когда мне понадобилось сделать сбоку маленький сервер с нуля. Вот там да, всё чисто, никаких проблем. Но правки в существующем большом проекте — это ад, потому что я привык понимать всё, а не делегировать понимание.
Я давно не чувствовал себя настолько несчастным при программировании. Основной моей эмоцией было раздражение на эту "тупую фигню". С десяток раз я попадал в цикл дебага моделью, в которых она раз за разом делала неправильные исправления. В итоге мне всё равно приходилось вмешиваться и разбираться самому, уже потратив кучу времени и токенов. И как же я отвык от IDE... Я сейчас, наверное, прозвучу как старик, но все эти окошки, уведомления, менюшки и загрузки после чистого vim'а смотрятся абсолютно убого и сильно отвлекают.
Правда, в каких-то кейсах оно нормально работало. Например, когда мне понадобилось сделать сбоку маленький сервер с нуля. Вот там да, всё чисто, никаких проблем. Но правки в существующем большом проекте — это ад, потому что я привык понимать всё, а не делегировать понимание.
04.05.202508:48
А теперь снова развлекательная часть: в интернете опять кто-то не прав 🍿
Осуждаемый пост: We Have Made No Progress Toward AGI
Если упростить, вся статья сводится к 2 утверждениям. Утверждения аналогичны вот этому посту: (Maybe) A Bag of Heuristics is All There Is & A Bag of Heuristics is All You Need, только позиция по ним несколько другая 😳
🔹Утверждение 1: языковые модели — это только мешок эвристик
Цитаты:
> These models are nothing more than statistical models. They can’t determine what is right and what is wrong. They can only heuristically determine what is probably right and what is probably wrong.
> Emergent model behavior is simply patterns. You build bigger models that can find more patterns and you get more patterns. It is patterns all the way down.
Перефразируя, в языковых моделях нет ничего, кроме статистических шаблонов. Посты про механистическую интерпретацию как будто бы это подтверждают: в них в моделях находятся именно эвристики и шаблоны. Для сложения, например, нашлась своя эвристическая схема.
Какова же реальная ситуация? Мы знаем, что статистические шаблоны в языковых моделях есть, но есть ли что-то ещё? Предположим, мешок эвристик на самом деле является параллельным алгоритмом сложения (пример из этого комментария). Смогли бы мы это понять с текущими инструментами интерпретации? А ведь разные алгоритмы даже вполне находятся: раз, два, три.
В целом, конструктивные вопросы звучали бы так: какие алгоритмы представимы и выучиваемы на базе трансформеров? Какие из них выучиваются языковыми моделями? Автор же говорит: только шаблоны, только эвристики 🤦♂️
🔹Утверждение 2: мешок эвристик — это не интеллект
Цитаты:
> A statistical model can not perform the full set of capabilities as intelligence and for the ones where there appears to be overlap, it is seemingly so at the cost of extraordinary inefficiency and unreliability.
> LLMs are statistical models that can arrive at the correct answers, but by means that look nothing like intelligent reasoning and therefore this meaningful difference in process has significant implications for what LLMs will ultimately be capable of achieving.
> Therefore, they (language models) are incapable of constructing hard rules of the world by reasoning.
Перефразируя, языковые модели работают неправильно. Хоть они и достигают целей, но делают это способами, непохожими на нормальные разумные рассуждения. Вот если бы они приводили логичные человекочитаемые рассуждения, тогда было бы другое дело! Но вот сейчас они галлюцинируют, и будут галлюцинировать, и текстовые рассуждения не соответствуют реальным процессам внутри модели.
С моей точки зрения тут в полный рост и проявляется антропоцентричность, и на протяжении всей статьи мы не раз ещё это увидим 👎
> On the quest for human-like reasoning machines
> Human reasoning is something far more sophisticated than a statistical model
Доведенное до конца рассуждение звучит так: если ты не человек, ты не разумен.
Означают ли плохие вербальные рассуждения отсутствие интеллекта? Если бы это было правдой, то можно было бы говорить, что все животные в принципе не обладают интеллектом. Рассуждения людей тоже могут быть неправильными или не соответствовать действиям.
Если отбросить эти компоненты, то останется неприятие статистических паттернов. Почему статистические паттерны — это не интеллект? А чёрт его знает. Хорошо бы определить, что такое интеллект. Автор, естественно, не соизволил этого сделать.
🔹Остальное
Автор предлагает избавиться от всех бенчмарков и вводит 2 новых сигнала интеллекта: эффективность и отсутствие коллапса при обучении в цикле на сгенерированных данных. И если эффективность — ок, то второй сигнал абсурден, потому что даже люди так не умеют.
Что касается определения интеллекта, мне нравится RL определение:
Интеллект — это способность агента достигать целей в широком спектре окружающих сред
По нему что эвристики, что рассуждения — не важно, лишь бы работало и обобщалось.
И личное: использование мема из Звёздного Пути считаю особенно греховным, учитывая репрезентацию синтетиков в сериалах.
Осуждаемый пост: We Have Made No Progress Toward AGI
Если упростить, вся статья сводится к 2 утверждениям. Утверждения аналогичны вот этому посту: (Maybe) A Bag of Heuristics is All There Is & A Bag of Heuristics is All You Need, только позиция по ним несколько другая 😳
🔹Утверждение 1: языковые модели — это только мешок эвристик
Цитаты:
> These models are nothing more than statistical models. They can’t determine what is right and what is wrong. They can only heuristically determine what is probably right and what is probably wrong.
> Emergent model behavior is simply patterns. You build bigger models that can find more patterns and you get more patterns. It is patterns all the way down.
Перефразируя, в языковых моделях нет ничего, кроме статистических шаблонов. Посты про механистическую интерпретацию как будто бы это подтверждают: в них в моделях находятся именно эвристики и шаблоны. Для сложения, например, нашлась своя эвристическая схема.
Какова же реальная ситуация? Мы знаем, что статистические шаблоны в языковых моделях есть, но есть ли что-то ещё? Предположим, мешок эвристик на самом деле является параллельным алгоритмом сложения (пример из этого комментария). Смогли бы мы это понять с текущими инструментами интерпретации? А ведь разные алгоритмы даже вполне находятся: раз, два, три.
В целом, конструктивные вопросы звучали бы так: какие алгоритмы представимы и выучиваемы на базе трансформеров? Какие из них выучиваются языковыми моделями? Автор же говорит: только шаблоны, только эвристики 🤦♂️
🔹Утверждение 2: мешок эвристик — это не интеллект
Цитаты:
> A statistical model can not perform the full set of capabilities as intelligence and for the ones where there appears to be overlap, it is seemingly so at the cost of extraordinary inefficiency and unreliability.
> LLMs are statistical models that can arrive at the correct answers, but by means that look nothing like intelligent reasoning and therefore this meaningful difference in process has significant implications for what LLMs will ultimately be capable of achieving.
> Therefore, they (language models) are incapable of constructing hard rules of the world by reasoning.
Перефразируя, языковые модели работают неправильно. Хоть они и достигают целей, но делают это способами, непохожими на нормальные разумные рассуждения. Вот если бы они приводили логичные человекочитаемые рассуждения, тогда было бы другое дело! Но вот сейчас они галлюцинируют, и будут галлюцинировать, и текстовые рассуждения не соответствуют реальным процессам внутри модели.
С моей точки зрения тут в полный рост и проявляется антропоцентричность, и на протяжении всей статьи мы не раз ещё это увидим 👎
> On the quest for human-like reasoning machines
> Human reasoning is something far more sophisticated than a statistical model
Доведенное до конца рассуждение звучит так: если ты не человек, ты не разумен.
Означают ли плохие вербальные рассуждения отсутствие интеллекта? Если бы это было правдой, то можно было бы говорить, что все животные в принципе не обладают интеллектом. Рассуждения людей тоже могут быть неправильными или не соответствовать действиям.
Если отбросить эти компоненты, то останется неприятие статистических паттернов. Почему статистические паттерны — это не интеллект? А чёрт его знает. Хорошо бы определить, что такое интеллект. Автор, естественно, не соизволил этого сделать.
🔹Остальное
Автор предлагает избавиться от всех бенчмарков и вводит 2 новых сигнала интеллекта: эффективность и отсутствие коллапса при обучении в цикле на сгенерированных данных. И если эффективность — ок, то второй сигнал абсурден, потому что даже люди так не умеют.
Что касается определения интеллекта, мне нравится RL определение:
Интеллект — это способность агента достигать целей в широком спектре окружающих сред
По нему что эвристики, что рассуждения — не важно, лишь бы работало и обобщалось.
И личное: использование мема из Звёздного Пути считаю особенно греховным, учитывая репрезентацию синтетиков в сериалах.
28.04.202510:33
О новых статьях про механистическую интерпретируемость от Anthropic
- Короткий обзорный пост: Tracing the thoughts of a large language model
- Первая основная статья: Circuit Tracing: Revealing Computational Graphs in Language Models
- Вторая основная статья: On the Biology of a Large Language Model
- Пессимистичный пост (не от Антропиков) по мотивам второй статьи, с которым я жёстко не согласен: We Have Made No Progress Toward AGI
🍿 Начнём с развлекательной части — с выводов, полученных через механистическую интерпретацию. Эксперименты проводились на основе Claude 3.5 Haiku. Об обобщении на все-все языковые модели говорить не приходится, но, к счастью, у большинства выводов есть и внешние подтверждения.
🔹В многоязычных языковых моделях существует общее пространство концептов для всех языков. Это проверяли, спрашивая антоним к слову "маленький" и проверяя, активировался ли один и тот же набор схем.
См. также:
- ACL 2024 день 2
- Do Llamas Work in English? On the Latent Language of Multilingual Transformers
- Large Language Models Share Representations of Latent Grammatical Concepts Across Typologically Diverse Languages
🔹При сочинении стихов модель планирует наперёд, на какое слово должна закончиться следующая строка для сохранения рифмы. И потом раскручивает строку назад. Это проверили, найдя концепт, отвечающий за запланированное слово, и заменяя его на другие слова.
См. также:
- Как научить свою нейросеть генерировать стихи (справа налево)
- Physics of Language Models, part 2.1 (результат 5)
🔹При сложении двузначных чисел модель использует мешок эвристик. В стиле ("складываем что-то около 36 к чему-то около 60" => "сумма близка к 92"). Тут, мне кажется, это вопрос обучения. Трансформеры точно могут выучить нормальную схему для сложения, что показывалось неоднократно (см. "сложение в трансформерах" ниже). Это не означает, что языковые модели всегда её выучивают, но они пытаются (см. "сложение в LLM" ниже).
См. также:
- OthelloGPT learned a bag of heuristics (мешок эвристик)
- A Mechanistic Interpretability Analysis of Grokking (сложение в трансформерах)
- Language Models Use Trigonometry to Do Addition (сложение в LLM)
🔹В CoT модель галлюцинирует объяснения, например в случае того же сложения. То есть объяснение модели никак не связано с её настоящим мыслительным процессом.
См. также:
- Making Reasoning Matter: Measuring and Improving Faithfulness of Chain-of-Thought Reasoning
- Think before you speak: Training Language Models With Pause Tokens
🔹В рассуждениях, которые требуют несколько шагов, можно отловить промежуточные концепты. Например, есть вопрос “Какой город является столицей региона, в котором находится Нижнекамск?”. Для этого модели нужно 2 факта: “Нижнекамск в Татарстане" и "Казань — столица Татарстана". И действительно, показывается, что оба этих факта используются, чтобы получить правильный финальный ответ.
См. также:
- Testing which LLM architectures can do hidden serial reasoning
🔹В моделях есть схема, которая отвечает за отказы, и она включена по умолчанию. Но если модель спрашивают что-то, о чём она знает, включается конкурирующая схема "знакомых сущностей", которая побеждает схему отказов. Иногда включение схемы "знакомых сущностей" происходит не вовремя, и тогда получаются галлюцинации. Влияя на любую из этих схем, можно заставить модель производить галлюцинации.
См. также:
- Inference-Time Intervention: Eliciting Truthful Answers from a Language Model
- Uncensor any LLM with abliteration
🔹Почему работают джейлбрейки? Есть схемы, отвечающие за безопасность, и есть схемы, отвечающие за собственно составление текста. В случаях джейлбрейков они конфликтуют друг с другом, и если вторые побеждают, то модель выдаёт небезопасные выходы.
См. также:
- Safety Alignment Should Be Made More Than Just a Few Tokens Deep
Узнали ли мы что-то новое? Авторы думают, что да. Для них факт про стихи был удивительным. Я скорее склоняюсь к "нет", но прикольно, что все эти утверждения собрали в одном месте. Следующие посты будут про собственно сам метод интерпретации и про критику пессимистичного поста ⚰️
- Короткий обзорный пост: Tracing the thoughts of a large language model
- Первая основная статья: Circuit Tracing: Revealing Computational Graphs in Language Models
- Вторая основная статья: On the Biology of a Large Language Model
- Пессимистичный пост (не от Антропиков) по мотивам второй статьи, с которым я жёстко не согласен: We Have Made No Progress Toward AGI
🍿 Начнём с развлекательной части — с выводов, полученных через механистическую интерпретацию. Эксперименты проводились на основе Claude 3.5 Haiku. Об обобщении на все-все языковые модели говорить не приходится, но, к счастью, у большинства выводов есть и внешние подтверждения.
🔹В многоязычных языковых моделях существует общее пространство концептов для всех языков. Это проверяли, спрашивая антоним к слову "маленький" и проверяя, активировался ли один и тот же набор схем.
См. также:
- ACL 2024 день 2
- Do Llamas Work in English? On the Latent Language of Multilingual Transformers
- Large Language Models Share Representations of Latent Grammatical Concepts Across Typologically Diverse Languages
🔹При сочинении стихов модель планирует наперёд, на какое слово должна закончиться следующая строка для сохранения рифмы. И потом раскручивает строку назад. Это проверили, найдя концепт, отвечающий за запланированное слово, и заменяя его на другие слова.
См. также:
- Как научить свою нейросеть генерировать стихи (справа налево)
- Physics of Language Models, part 2.1 (результат 5)
🔹При сложении двузначных чисел модель использует мешок эвристик. В стиле ("складываем что-то около 36 к чему-то около 60" => "сумма близка к 92"). Тут, мне кажется, это вопрос обучения. Трансформеры точно могут выучить нормальную схему для сложения, что показывалось неоднократно (см. "сложение в трансформерах" ниже). Это не означает, что языковые модели всегда её выучивают, но они пытаются (см. "сложение в LLM" ниже).
См. также:
- OthelloGPT learned a bag of heuristics (мешок эвристик)
- A Mechanistic Interpretability Analysis of Grokking (сложение в трансформерах)
- Language Models Use Trigonometry to Do Addition (сложение в LLM)
🔹В CoT модель галлюцинирует объяснения, например в случае того же сложения. То есть объяснение модели никак не связано с её настоящим мыслительным процессом.
См. также:
- Making Reasoning Matter: Measuring and Improving Faithfulness of Chain-of-Thought Reasoning
- Think before you speak: Training Language Models With Pause Tokens
🔹В рассуждениях, которые требуют несколько шагов, можно отловить промежуточные концепты. Например, есть вопрос “Какой город является столицей региона, в котором находится Нижнекамск?”. Для этого модели нужно 2 факта: “Нижнекамск в Татарстане" и "Казань — столица Татарстана". И действительно, показывается, что оба этих факта используются, чтобы получить правильный финальный ответ.
См. также:
- Testing which LLM architectures can do hidden serial reasoning
🔹В моделях есть схема, которая отвечает за отказы, и она включена по умолчанию. Но если модель спрашивают что-то, о чём она знает, включается конкурирующая схема "знакомых сущностей", которая побеждает схему отказов. Иногда включение схемы "знакомых сущностей" происходит не вовремя, и тогда получаются галлюцинации. Влияя на любую из этих схем, можно заставить модель производить галлюцинации.
См. также:
- Inference-Time Intervention: Eliciting Truthful Answers from a Language Model
- Uncensor any LLM with abliteration
🔹Почему работают джейлбрейки? Есть схемы, отвечающие за безопасность, и есть схемы, отвечающие за собственно составление текста. В случаях джейлбрейков они конфликтуют друг с другом, и если вторые побеждают, то модель выдаёт небезопасные выходы.
См. также:
- Safety Alignment Should Be Made More Than Just a Few Tokens Deep
Узнали ли мы что-то новое? Авторы думают, что да. Для них факт про стихи был удивительным. Я скорее склоняюсь к "нет", но прикольно, что все эти утверждения собрали в одном месте. Следующие посты будут про собственно сам метод интерпретации и про критику пессимистичного поста ⚰️
25.04.202514:16
Долил в бота (@saiga_igusev_bot) gpt-image-1. Без подписки доступна одна генерация и одно редактирование в день, с подпиской по 10 в день. Работает только в агентском режиме, который включается через /tools и только с моделями, которые его поддерживают. Например, с gpt-4.1.
То есть алгоритм такой:
- Заходим в бота
- Через /setmodel выбираем gpt-4.1
- Через /tools убеждаемся, что инструменты включены
- Генерируем или редактируем картинки
То есть алгоритм такой:
- Заходим в бота
- Через /setmodel выбираем gpt-4.1
- Через /tools убеждаемся, что инструменты включены
- Генерируем или редактируем картинки
Переслав з:
Kali Novskaya
20.04.202519:56
🌸Неделя Научных агентов🌸
#nlp #про_nlp #nlp_papers
Последние две недели выдались особо интересными для агентов для ИИ и науки.
Как обычно, публикую небольшую подборку.
🌸Ассистент AlphaXiv
Совершенно незаменимая вещь для организации статей, теперь ещё и с Deep Research: любую статью с архива можно добавить в свою подборку, поставит лайк, начать обсуждение, а так же сделать блог пост из статьи. Можно экспортировать все свои статьи и сразу сделать краткую выжимку. Если ещё и комментарии оставлять внятные, можно приблизить Arxiv к Openreview.
🟣https://www.alphaxiv.org/explore
🌸Больше агентов для моделирующих наук
CURIE, a multitask benchmark for scientific reasoning
DeepMind представил CURIE — банчмарк для научных проблем в шести дисциплинах: материаловедении, физике конденсированного состояния, квантовых вычислениях, геопространственном анализе, биоразнообразии и моделировании протеиновых структур. Все задачи требуют экспертных знаний в предметной области, длнного контекста и multi-step reasoning.
Бенчмарк CURIE охватывает 10 задач на основе 429 статей по шести различным научным дисциплинам, и охватывают как экспериментальные, так и теоретические аспекты научных исследований. Оценено много моделей: Mixtral, Command R, LongLlama, все топовые проприетарные модели.
🟣https://arxiv.org/abs/2503.13517
🟣https://research.google/blog/evaluating-progress-of-llms-on-scientific-problem-solving/
🌸Законы масштабирования агентов для науки
Scaling Laws in Scientific Discovery with AI and Robot Scientists
Достаточно неплохой обзор степеней автономности агентов для науки, с онтологией способностей, оценкой текущего состояния и следующих степеней автономности. Экспериментов по масштабированию, правда, никаких не ставится, просто рисуют красивые картинки <strike>с экспонентами.</strike>
🟣https://arxiv.org/abs/2503.22444
🌸Меморизация и научная новизна
All That Glitters is Not Novel: Plagiarism in AI Generated Research
Могут ли агенты генерировать новые идеи? В целом что-то могут, но за ними трудно проверять.
Статья анализирует недетектируемый плагиат в идеях Sakana AI и некоторых других, и оказывается, что 24% новых идей полностью сплагиачены без указания источника (и при этом плагиат не детектируется стандартными методами, так как все перефразировано), 36.0% работ содержали факты, которые никакой научной литературой не подтверждаются.
Странно, что не больше.
🟣https://arxiv.org/abs/2502.16487
Предыдущие части:
🟣LLM хакают научную новизну
🟣AI Scientist от Sakana AI
🟣MLGym — фреймворк для ML агентов
#nlp #про_nlp #nlp_papers
Последние две недели выдались особо интересными для агентов для ИИ и науки.
Как обычно, публикую небольшую подборку.
🌸Ассистент AlphaXiv
Совершенно незаменимая вещь для организации статей, теперь ещё и с Deep Research: любую статью с архива можно добавить в свою подборку, поставит лайк, начать обсуждение, а так же сделать блог пост из статьи. Можно экспортировать все свои статьи и сразу сделать краткую выжимку. Если ещё и комментарии оставлять внятные, можно приблизить Arxiv к Openreview.
🟣https://www.alphaxiv.org/explore
🌸Больше агентов для моделирующих наук
CURIE, a multitask benchmark for scientific reasoning
DeepMind представил CURIE — банчмарк для научных проблем в шести дисциплинах: материаловедении, физике конденсированного состояния, квантовых вычислениях, геопространственном анализе, биоразнообразии и моделировании протеиновых структур. Все задачи требуют экспертных знаний в предметной области, длнного контекста и multi-step reasoning.
Бенчмарк CURIE охватывает 10 задач на основе 429 статей по шести различным научным дисциплинам, и охватывают как экспериментальные, так и теоретические аспекты научных исследований. Оценено много моделей: Mixtral, Command R, LongLlama, все топовые проприетарные модели.
🟣https://arxiv.org/abs/2503.13517
🟣https://research.google/blog/evaluating-progress-of-llms-on-scientific-problem-solving/
🌸Законы масштабирования агентов для науки
Scaling Laws in Scientific Discovery with AI and Robot Scientists
Достаточно неплохой обзор степеней автономности агентов для науки, с онтологией способностей, оценкой текущего состояния и следующих степеней автономности. Экспериментов по масштабированию, правда, никаких не ставится, просто рисуют красивые картинки <strike>с экспонентами.</strike>
🟣https://arxiv.org/abs/2503.22444
🌸Меморизация и научная новизна
All That Glitters is Not Novel: Plagiarism in AI Generated Research
Могут ли агенты генерировать новые идеи? В целом что-то могут, но за ними трудно проверять.
Статья анализирует недетектируемый плагиат в идеях Sakana AI и некоторых других, и оказывается, что 24% новых идей полностью сплагиачены без указания источника (и при этом плагиат не детектируется стандартными методами, так как все перефразировано), 36.0% работ содержали факты, которые никакой научной литературой не подтверждаются.
Странно, что не больше.
🟣https://arxiv.org/abs/2502.16487
Предыдущие части:
🟣LLM хакают научную новизну
🟣AI Scientist от Sakana AI
🟣MLGym — фреймворк для ML агентов
12.04.202521:53
Сегодня и вчера чуть-чуть поработал над ботом (@saiga_igusev_bot). Список изменений:
- Добавил разных новых моделей (Grok 3, Llama 4, Gemini 2.5 Pro).
- Убрал старые нативные вызовы инструментов, заменил их на CodeAct из smolagents. Доступно не для всех моделей, включается через /tools.
- Заменил парсилку PDF на pypdf.
- Ну и всякого по мелочи, отрефакторил конфиги, например.
Всё жду, когда OpenAI новую генерилку картинок в API выложат, её тоже сразу воткну.
- Добавил разных новых моделей (Grok 3, Llama 4, Gemini 2.5 Pro).
- Убрал старые нативные вызовы инструментов, заменил их на CodeAct из smolagents. Доступно не для всех моделей, включается через /tools.
- Заменил парсилку PDF на pypdf.
- Ну и всякого по мелочи, отрефакторил конфиги, например.
Всё жду, когда OpenAI новую генерилку картинок в API выложат, её тоже сразу воткну.
30.03.202511:42
Кстати, впервые открытая модель на первом месте в ПингПонге. Вероятно до тех пор, пока Gemini 2.5 Pro не оценен.
03.05.202521:02
Circuit Tracing: Revealing Computational Graphs in Language Models
Статья: ссылка
Часть 2
🔹Графы атрибуции (те самые схемы из нулевого поста)
В прошлой части мы остановились на локальных заменяющих моделях, в которых шаблоны внимания зафиксированы, добавлены корректирующие константы, и единственная нелинейность есть только в самих CLT. На эту модель можно смотреть как на большую полносвязную сетку.
Из этой полносвязной сетки делается граф атрибуции. Вершины графа: входные и выходные токены, включенные признаки транскодера (не-нули в разреженном векторе), константы ошибок реконструкции. Веса на рёбрах графа определяются как произведение входных активаций и "виртуальных" весов и отражают степень влияния одних вершин на другие. Однако, так размер графа получается слишком большим, даже учитывая высокую степень разреженности активаций CLT.
Поэтому после этого в этом графе удаляются вершины и рёбра, которые не влияют на выходные токены. Количество вершин уменьшается на порядок, но объясняющая сила падает не очень сильно. Итоговый граф отражает то, как информация движется между вершинами.
🔹Интерпретация признаков
Граф-то мы построили, но что означают вершины мы пока не знаем. Для этого для каждого признака мы собираем набор примеров из какого-нибудь корпуса, на которых этот признак активируется (с указанием конкретного токена), а также статистику по предсказаниям токенов после активации этого признака.
Входные признаки обычно можно интерпретировать на основе токенов промпта. Например, есть признак, который активируется на всём, что связано с цифрой 6. Выходные признаки — на основе предсказанных логитов и тех токенов, которые они заставляют генерировать. Например, есть выходной признак, который продвигает генерацию названий разных видов спорта: футбола, крикета, лякросса.
С признаками промежуточных слоёв сложнее. В их случае надо смотреть на всё-всё, в том числе на признаки с предыдущих слоёв. Например, есть промежуточный признак, который активируется на 3 букве любого акронима в скобках. Иногда разные признаки делают одно и то же, и в таком случае они объединяются авторами в "сверхвершины".
🔹Патчинг
Граф атрибуций позволяет рассуждать о том, как признаки связаны друг с другом и как они влияют на выход модели. Подобные рассуждения можно проверять различными вмешательствами в оригинальную модель, напрямую умножая активации или переставляя их в разреженных векторах внутри CLT и складывая их с выходами оригинальных MLP.
Из-за межслойности CLT по-хорошему это надо делать во всех слоях, которые выше заданного. Авторы так не делают, и применяют вмешательства только на ограниченных диапазонах слоёв.
🔹Оценка качества
Что именно авторы оценивают:
- Замену MLP на CLT: считаем долю верных предсказаний, ошибку реконструкции, разреженность и интерпретируемость через анализ примеров языковой моделькой.
- Графы атрибуции: считаем среднюю длину путей, долю входящих рёбер из "хороших" вершин (а не из вершин констант реконструкции), долю путей через "хорошие" вершины.
- Механистическую верность: убираем или добавляем признаки и считаем эффект на выходы модели. Если реконструированные эффекты совпадают с реальными — наша реконструкция модели хороша.
🔹Заключение
Там ещё осталась секции про глобальные веса и ограничения подхода (только OV-контур без QK, "тёмная материя", фокус на включенных фичах, размер графов), но по-моему они не так принципиальны для понимания 😡
Что нам даёт эта статья с практической точки зрения?
- Эта статья сильно продвигает SAE-подобные подходы в противовес результатам DeepMind.
- Это описание фреймворка, с которым было получено большинство результатов из нулевого поста. Хоть результаты оттуда и не особо новые, но до этого они собирались совершенно разными подходами, а тут всё сделано единым методом. Это даёт надежду, что этим же методом можно получить и новые результаты.
- Хоть код и веса не выложены (только код визуализации), этот фреймворк выглядит принципиально воспроизводимым. А значит в какой-то момент у нас появится прикольный инструмент для картирования языковых моделей 🍫
Статья: ссылка
Часть 2
🔹Графы атрибуции (те самые схемы из нулевого поста)
В прошлой части мы остановились на локальных заменяющих моделях, в которых шаблоны внимания зафиксированы, добавлены корректирующие константы, и единственная нелинейность есть только в самих CLT. На эту модель можно смотреть как на большую полносвязную сетку.
Из этой полносвязной сетки делается граф атрибуции. Вершины графа: входные и выходные токены, включенные признаки транскодера (не-нули в разреженном векторе), константы ошибок реконструкции. Веса на рёбрах графа определяются как произведение входных активаций и "виртуальных" весов и отражают степень влияния одних вершин на другие. Однако, так размер графа получается слишком большим, даже учитывая высокую степень разреженности активаций CLT.
Поэтому после этого в этом графе удаляются вершины и рёбра, которые не влияют на выходные токены. Количество вершин уменьшается на порядок, но объясняющая сила падает не очень сильно. Итоговый граф отражает то, как информация движется между вершинами.
🔹Интерпретация признаков
Граф-то мы построили, но что означают вершины мы пока не знаем. Для этого для каждого признака мы собираем набор примеров из какого-нибудь корпуса, на которых этот признак активируется (с указанием конкретного токена), а также статистику по предсказаниям токенов после активации этого признака.
Входные признаки обычно можно интерпретировать на основе токенов промпта. Например, есть признак, который активируется на всём, что связано с цифрой 6. Выходные признаки — на основе предсказанных логитов и тех токенов, которые они заставляют генерировать. Например, есть выходной признак, который продвигает генерацию названий разных видов спорта: футбола, крикета, лякросса.
С признаками промежуточных слоёв сложнее. В их случае надо смотреть на всё-всё, в том числе на признаки с предыдущих слоёв. Например, есть промежуточный признак, который активируется на 3 букве любого акронима в скобках. Иногда разные признаки делают одно и то же, и в таком случае они объединяются авторами в "сверхвершины".
🔹Патчинг
Граф атрибуций позволяет рассуждать о том, как признаки связаны друг с другом и как они влияют на выход модели. Подобные рассуждения можно проверять различными вмешательствами в оригинальную модель, напрямую умножая активации или переставляя их в разреженных векторах внутри CLT и складывая их с выходами оригинальных MLP.
Из-за межслойности CLT по-хорошему это надо делать во всех слоях, которые выше заданного. Авторы так не делают, и применяют вмешательства только на ограниченных диапазонах слоёв.
🔹Оценка качества
Что именно авторы оценивают:
- Замену MLP на CLT: считаем долю верных предсказаний, ошибку реконструкции, разреженность и интерпретируемость через анализ примеров языковой моделькой.
- Графы атрибуции: считаем среднюю длину путей, долю входящих рёбер из "хороших" вершин (а не из вершин констант реконструкции), долю путей через "хорошие" вершины.
- Механистическую верность: убираем или добавляем признаки и считаем эффект на выходы модели. Если реконструированные эффекты совпадают с реальными — наша реконструкция модели хороша.
🔹Заключение
Там ещё осталась секции про глобальные веса и ограничения подхода (только OV-контур без QK, "тёмная материя", фокус на включенных фичах, размер графов), но по-моему они не так принципиальны для понимания 😡
Что нам даёт эта статья с практической точки зрения?
- Эта статья сильно продвигает SAE-подобные подходы в противовес результатам DeepMind.
- Это описание фреймворка, с которым было получено большинство результатов из нулевого поста. Хоть результаты оттуда и не особо новые, но до этого они собирались совершенно разными подходами, а тут всё сделано единым методом. Это даёт надежду, что этим же методом можно получить и новые результаты.
- Хоть код и веса не выложены (только код визуализации), этот фреймворк выглядит принципиально воспроизводимым. А значит в какой-то момент у нас появится прикольный инструмент для картирования языковых моделей 🍫
26.04.202516:02
https://senioraugur.substack.com/p/how-i-taught-ai-to-make-memes
Мини-заметка про мемогенератор на английском по мотивам этого поста.
Там же перевыложил древний пост о новостном агрегаторе для контеста Телеграма.
Мини-заметка про мемогенератор на английском по мотивам этого поста.
Там же перевыложил древний пост о новостном агрегаторе для контеста Телеграма.
24.04.202521:38
FA2 и более длинный контекст помогли, но всё равно получилось хуже оригинала (табличка с --length-control). Я выложу как v1, может кому и пригодится.
15.04.202517:42
OpenAI, ты чего... 😂
08.04.202519:33
https://www.youtube.com/watch?v=_2C2CNmK7dQ
Позапрошлый пост был на моменте с 2:35. Совпадения пугающие, у меня даже те же самые наушники.
Позапрошлый пост был на моменте с 2:35. Совпадения пугающие, у меня даже те же самые наушники.
28.03.202510:15
Вышли рецензии на ARR для ПингПонга, всё довольно плохо (1.5, 2, 2.5). Сейчас с ходу пишу ответы, есть конструктивные вещи по тексту, но к сожалению (или к счастью) не по методологии.
А ещё см. скриншот. Вот откуда рецензент узнал, что автор один? Double-blind, ага.
А ещё см. скриншот. Вот откуда рецензент узнал, что автор один? Double-blind, ага.
30.04.202511:05
Circuit Tracing: Revealing Computational Graphs in Language Models
Статья: ссылка
Часть 1
Первая из набора антропиковских статей. Она безумно большая сама по себе 😳, кроме того содержит интерактивные визуализации.
В этом посте покрыто два перехода: SAE -> CLT -> локальная заменяющая модель.
Теоретические предпосылки SAE (гипотеза суперпозиции) опустим.
🔹SAE
SAE (sparse autoencoders, разреженные автокодировщики) — довольно популярная техника механистической интерпретации. Мы берём активации модели (например, выход MLP). Эти активации мы хотим отобразить в разреженный вектор высокой размерности. Для этого мы учим двухслойную нелинейную сетку с одним промежуточным вектором с размерностью выше оригинальных активаций. Реконструируем активации с MSE лоссом. Разреженность можно обеспечить по-разному, например через L1 штраф (как в Lasso) или через TopK, то есть прямой отбор k наибольших значений. Или через JumpReLU.
Для больших моделей учить SAE сложно и долго, поэтому есть уже обученные наборы, такие как Gemma Scope. Есть и Нейронпедия, платформа для визуализации разных наборов SAE. Там можно подставить свой текст и посмотреть, какие фичи на каких токенах активировались для разных моделей и разных наборов.
Исследования SAE-подобных инструментов долгое время были мейнстримом механистической интерпретации. Однако, недавно DeepMind снизил приоритет вокруг них. Они попытались применить SAE для чего-то реально полезного, но оказалось, что простые линейные зонды справляются лучше. Кроме того, есть и другие работы, которые показывают серьёзные ограничения SAE. Это не означает, что DeepMind полностью откажется от SAE, но теперь они гораздо более скептично к ним настроены.
🔹CLT
Транскодеры — это SAE-подобный инструмент, только в качестве входа выступают входные активации MLP, а в качестве выхода — выходные. То есть мы полностью заменяем MLP на разреженную версию. Это позволяет нам создавать альтернативные версии модели, в которых какие-то фичи изменены. Антропики же используют не просто отдельные послойные транскодеры, но межслойные транскодеры (cross-layer transcoders, CLT). Это означает, что при реконструкции выходных активаций на слое L используются все разреженные векторы с более нижних слоёв.
Так вот, они как-то обучают эти самые CLT и при замене оригинальных MLP на разреженные аналоги проверяют, насколько сильно ломается модель. Для 18-слойной модели самые жирные их CLT дают тот же топ-1 токен в ~50% случаев. Ещё раз, полученная таким образом заменяющая модель — это аппроксимация оригинальной модели, что несколько обесценивает любые результаты, полученные через её анализ 😫
🔹Локальная заменяющая модель
Поэтому эту модель "исправляют" через добавление "тёмной материи" (термин из статьи, это не я придумал) — констант ошибок реконструкции для заданного промпта. Так вводится понятие локальной заменяющей модели, в которой для заданного промпта все ошибки реконструкции исправляются добавлением констант, а все паттерны внимания заморожены (=веса внимания не вычисляются, а зафиксированы для каждого слоя и токена). Таким образом, для этого конкретного промпта локальная заменяющая модель ведёт себя в точности как оригинал. При этом получившаяся модель — это практически линейная полносвязная сетка (с вычисляемыми "виртуальными" весами), где единственные нелинейности есть внутри CLT. Это позволяет производить принципиальную атрибуцию фичей.
Но даже при идеальном воспроизведении активаций и выходов для заданного промпта, локальная заменяющая модель может использовать механизмы, отличные от исходной модели. Степень сходства механизмов называется авторами "механистической верностью" (mechanistic faithfulness), и измеряют её через пертурбационные эксперименты.
🔹Промежуточный вывод
CLT действительно выглядят прикольнее стандартных SAE. Но вот насколько можно верить объяснениям, полученным таким образом — вопрос открытый. Да, ребята пытаются это численно оценить, но где граница, на которой можно сказать "да, верим"? 🤨
Статья: ссылка
Часть 1
Первая из набора антропиковских статей. Она безумно большая сама по себе 😳, кроме того содержит интерактивные визуализации.
В этом посте покрыто два перехода: SAE -> CLT -> локальная заменяющая модель.
Теоретические предпосылки SAE (гипотеза суперпозиции) опустим.
🔹SAE
SAE (sparse autoencoders, разреженные автокодировщики) — довольно популярная техника механистической интерпретации. Мы берём активации модели (например, выход MLP). Эти активации мы хотим отобразить в разреженный вектор высокой размерности. Для этого мы учим двухслойную нелинейную сетку с одним промежуточным вектором с размерностью выше оригинальных активаций. Реконструируем активации с MSE лоссом. Разреженность можно обеспечить по-разному, например через L1 штраф (как в Lasso) или через TopK, то есть прямой отбор k наибольших значений. Или через JumpReLU.
Для больших моделей учить SAE сложно и долго, поэтому есть уже обученные наборы, такие как Gemma Scope. Есть и Нейронпедия, платформа для визуализации разных наборов SAE. Там можно подставить свой текст и посмотреть, какие фичи на каких токенах активировались для разных моделей и разных наборов.
Исследования SAE-подобных инструментов долгое время были мейнстримом механистической интерпретации. Однако, недавно DeepMind снизил приоритет вокруг них. Они попытались применить SAE для чего-то реально полезного, но оказалось, что простые линейные зонды справляются лучше. Кроме того, есть и другие работы, которые показывают серьёзные ограничения SAE. Это не означает, что DeepMind полностью откажется от SAE, но теперь они гораздо более скептично к ним настроены.
🔹CLT
Транскодеры — это SAE-подобный инструмент, только в качестве входа выступают входные активации MLP, а в качестве выхода — выходные. То есть мы полностью заменяем MLP на разреженную версию. Это позволяет нам создавать альтернативные версии модели, в которых какие-то фичи изменены. Антропики же используют не просто отдельные послойные транскодеры, но межслойные транскодеры (cross-layer transcoders, CLT). Это означает, что при реконструкции выходных активаций на слое L используются все разреженные векторы с более нижних слоёв.
Так вот, они как-то обучают эти самые CLT и при замене оригинальных MLP на разреженные аналоги проверяют, насколько сильно ломается модель. Для 18-слойной модели самые жирные их CLT дают тот же топ-1 токен в ~50% случаев. Ещё раз, полученная таким образом заменяющая модель — это аппроксимация оригинальной модели, что несколько обесценивает любые результаты, полученные через её анализ 😫
🔹Локальная заменяющая модель
Поэтому эту модель "исправляют" через добавление "тёмной материи" (термин из статьи, это не я придумал) — констант ошибок реконструкции для заданного промпта. Так вводится понятие локальной заменяющей модели, в которой для заданного промпта все ошибки реконструкции исправляются добавлением констант, а все паттерны внимания заморожены (=веса внимания не вычисляются, а зафиксированы для каждого слоя и токена). Таким образом, для этого конкретного промпта локальная заменяющая модель ведёт себя в точности как оригинал. При этом получившаяся модель — это практически линейная полносвязная сетка (с вычисляемыми "виртуальными" весами), где единственные нелинейности есть внутри CLT. Это позволяет производить принципиальную атрибуцию фичей.
Но даже при идеальном воспроизведении активаций и выходов для заданного промпта, локальная заменяющая модель может использовать механизмы, отличные от исходной модели. Степень сходства механизмов называется авторами "механистической верностью" (mechanistic faithfulness), и измеряют её через пертурбационные эксперименты.
🔹Промежуточный вывод
CLT действительно выглядят прикольнее стандартных SAE. Но вот насколько можно верить объяснениям, полученным таким образом — вопрос открытый. Да, ребята пытаются это численно оценить, но где граница, на которой можно сказать "да, верим"? 🤨
25.04.202521:59
Пару слов о нескончаемой борьбе художников/писателей с открытыми датасетами (по мотивам AO3 войны, реддит).
И если fair use и конкретные юридические штуки можно толковать по-разному, то вот насчёт целесообразности такой борьбы всё по-моему очевидно.
Товарищи, уничтожая открытые датасеты вы только играете на руку корпорациям. Корпорации уже давно всё спарсили и обучили модели на публичном контенте. Им плевать на ToS, DMCA, ГК, копирайт и справедливость. Корпоративные модели УЖЕ ОБУЧИЛИСЬ на всём, что было опубликовано до начала 2025 года. Корпорации продают вам модели, обученные на ваших же данных. Нет способа это запретить или остановить, это уже произошло. Нет способа даже определить, действительно ли конкретно ваша работа была использована (хотя есть пара прикольных статей на эту тему).
Открытые датасеты — единственный способ как-то сравняться с корпорациями, получить бесплатные открытые модели над которыми у вас будет полный контроль. Не убивайте их, пожалуйста.
И если fair use и конкретные юридические штуки можно толковать по-разному, то вот насчёт целесообразности такой борьбы всё по-моему очевидно.
Товарищи, уничтожая открытые датасеты вы только играете на руку корпорациям. Корпорации уже давно всё спарсили и обучили модели на публичном контенте. Им плевать на ToS, DMCA, ГК, копирайт и справедливость. Корпоративные модели УЖЕ ОБУЧИЛИСЬ на всём, что было опубликовано до начала 2025 года. Корпорации продают вам модели, обученные на ваших же данных. Нет способа это запретить или остановить, это уже произошло. Нет способа даже определить, действительно ли конкретно ваша работа была использована (хотя есть пара прикольных статей на эту тему).
Открытые датасеты — единственный способ как-то сравняться с корпорациями, получить бесплатные открытые модели над которыми у вас будет полный контроль. Не убивайте их, пожалуйста.
24.04.202507:59
VLLM, ты чего...
Самое абсурдное, что я же обучил модель с FA2. Поэтому оно точно поддерживает head size = 72.
Issue в FA2, где они говорят, что всё ок: https://github.com/Dao-AILab/flash-attention/issues/1542 (потому что всё действительно ок).
Issue в VLLM, где они сваливают всё на FA2: https://github.com/vllm-project/vllm/issues/12656, хотя косяк в их коде.
Самое абсурдное, что я же обучил модель с FA2. Поэтому оно точно поддерживает head size = 72.
Issue в FA2, где они говорят, что всё ок: https://github.com/Dao-AILab/flash-attention/issues/1542 (потому что всё действительно ок).
Issue в VLLM, где они сваливают всё на FA2: https://github.com/vllm-project/vllm/issues/12656, хотя косяк в их коде.
14.04.202507:41
Месяц я ждал, когда все грабли по тюну Геммы 3 будут собраны кем-то другим.
Но когда я вчера сунулся тюнить 12b, я пожрал столько дерьма...
- Понадобился апгрейд всего софта (что ожидаемо).
- apply_chat_template с нифига стал требовать [{"type": "text", "text": "..."}] вместо просто строк.
- apply_chat_template с нифига стал возвращать вложенный список.
- У Геммы сильно другая структура модулей, поэтому моё кастомное связывание эмбеддингов с ней не сработало.
- Валидационная часть обучения не работает из-за этого бага: https://github.com/huggingface/transformers/issues/36938. Если же обновить transformers до последней версии, разносит уже unsloth.
И я только где-то на середине дебага 🤔
Но когда я вчера сунулся тюнить 12b, я пожрал столько дерьма...
- Понадобился апгрейд всего софта (что ожидаемо).
- apply_chat_template с нифига стал требовать [{"type": "text", "text": "..."}] вместо просто строк.
- apply_chat_template с нифига стал возвращать вложенный список.
- У Геммы сильно другая структура модулей, поэтому моё кастомное связывание эмбеддингов с ней не сработало.
- Валидационная часть обучения не работает из-за этого бага: https://github.com/huggingface/transformers/issues/36938. Если же обновить transformers до последней версии, разносит уже unsloth.
И я только где-то на середине дебага 🤔
04.04.202514:11
На ARR в итоге из 3 рецензентов хоть что-то мне ответил только один! И то, вчера, в последний день дискуссии. И как-то так опять случилось, что ответил именно тот, кто поставил самую высокую оценку из них троих. По сравнению с ICLR конструктивных замечаний гораздо меньше, может и потому, что статья стала лучше. В итоге я сделал мелкие правки текста и один дополнительный эксперимент (проверка того, что сильнее влияет на результаты: выбор судьи или выбор допрашивающего).
Статью и без конференции уже начали цитировать (аж 3 раза пока), поэтому и фиг бы с ними. Я пока не очень понимаю, куда ещё раз подаваться, так далеко я не заглядывал. В текущем виде статья уже выглядит немного старенькой с точки зрения проверяемых и используемых моделей.
Материала и техник для 3 версии бенча я набрал довольно много, только не уверен, что хочу этим заниматься.
Статью и без конференции уже начали цитировать (аж 3 раза пока), поэтому и фиг бы с ними. Я пока не очень понимаю, куда ещё раз подаваться, так далеко я не заглядывал. В текущем виде статья уже выглядит немного старенькой с точки зрения проверяемых и используемых моделей.
Материала и техник для 3 версии бенча я набрал довольно много, только не уверен, что хочу этим заниматься.
25.03.202520:33
Всё, что нужно знать об умении людей предсказывать будущее.
Показано 1 - 24 із 100
Увійдіть, щоб розблокувати більше функціональності.