Гречневые мысли
Хочу гречку с молоком и сахаром...
Автор: @chameleon_lizard
Автор: @chameleon_lizard
Рэйтынг TGlist
0
0
ТыпПублічны
Вертыфікацыя
Не вертыфікаваныНадзейнасць
Не надзейныРазмяшчэнне
МоваІншая
Дата стварэння каналаSep 10, 2024
Дадана ў TGlist
Mar 22, 2025Прыкрепленая група
Гречневые мысли chat
0
Рэкорды
21.04.202523:59
818Падпісчыкаў27.11.202423:59
0Індэкс цытавання21.03.202522:49
1.7KАхоп 1 паста11.03.202511:55
230Ахоп рэкламнага паста05.04.202523:59
5.88%ER20.03.202514:51
323.70%ERRПераслаў з:
Неискусственный интеллект
17.04.202509:15
Бешенная популярность LLM явно раздражает Яна ЛеКуна, одного из отцов современного Data Science и главу подразделения фундаментальных исследований Meta* (запрещена в РФ). Он все чаще говорит, что языковые модели переоценены и не смогут заменить человеческий интеллект, как их не развивай. Рассказать, чем Лекун предлагает заменить LLM, @anti_agi попросили Никиту Сушко из научной группы «Прикладное NLP» Института AIRI:
Пользуясь классификацией из книги «Thinking Fast, Slow» Д.Канеманна, подразделяющей мышление на интуитивное и глубокое, Ян классифицирует нынешние LM как интуитивных мыслителей. Достичь сравнимого с человеческим сознания, пользуясь только этой парадигмой, очень сложно. Интуитивные мыслители — своего рода стохастические попугаи, которые услышали некоторую последовательность слов во время обучения, запомнили их порядок, и могут их повторить. При этом настоящие логические выводы им слабодоступны, ведь они не имеют понимания сгенерированного ими текста — только статистику. В то же время, алгоритмы с так называемой моделью мира (world model) внутри, имеют глубокое понимание происходящих процессов и, за счёт этого понимания, могут мыслить. Это и есть пример глубокого мышления, которое может стать тем самым искусственным интеллектом уровня человека.
Чтобы обучить ИИ «модели мира», ЛеКун предложил свою архитектуру — Joint Embedding Predictive Architecture (JEPA). Главная идея заключается в том, что вместо обучения предсказанию следующего токена (как в языковых моделях) или значения конкретных пикселей (как в картиночных моделях), модель обучается предсказанию так называемого эмбеддинга, то есть числового вектора, в котором закодировано описание какого-то абстрактного концепта. К примеру, модель I-JEPA учится предсказывать эмбеддинг части изображения по эмбеддингу некоторой другой части того же изображения. Это заставляет модель понимать суть картинок, а не просто их запоминать — и формирует ту самую модель мира, за счёт которой I-JEPA работает лучше сопоставимых по размеру трансформеров.
Другая важная часть обучения JEPA-моделей заключается в том, что оно в каком-то смысле похоже на обучение ребенка или животного — модели тоже учатся на основе наблюдений за миром, в self-supervised режиме. Это даёт возможность генерализоваться из малого числа данных лучше, чем у классических трансформеров.
Если читать чуть дальше заголовков новостных публикаций, то становится ясно, что Ян ЛеКун вовсе не отрицает полезность языковых моделей. LLM способны решать большое количество важных задач: нечеткий поиск, генерация, классификация и перенос стиля текстов. Он говорит лишь, что не стоит надеяться, что увеличение размера LLM-ок или датасетов для их обучения приведут к появлению у них реального интеллекта, ведь они обучаются предсказанию следующего токена и внутри них не существует тех самых «моделей мира». Они останутся в своей нише, а на их место в SOTA придут другие архитектуры.
Не стоит забывать также об исследованиях, показывающих наличие у LLM моделей мира в зачаточном состоянии. Так, еще в 2022 году вышла статья, где показывалось, что из активаций GPT-2, обученной на партиях похожей на шахматы настольной игры, можно было восстановить положения всех фигур на доске. Более того, если вмешаться в активации и изменить таким образом положение фигур, то и предсказание следующего хода тоже поменяется. При этом новый ход всё ещё будет сделан согласно правилам игры — то есть внутри трансформера не просто есть модель этого игрушечного мира, она еще и используется при принятии решений.
Конечно, реальный мир больше, чем шахматная доска, и построить его модель только по текстам из интернета значительно сложнее. Описанная же ЛеКуном архитектура предлагает способ улучшить качество построенных моделей мира. И это уже привело к результатам, как минимум в случае I-JEPA. Можно, конечно, спорить, какой из подходов лучше — скейлить трансформеры и надеяться на эмержентность или учить JEPA. Можно, но не нужно – лучше исследовать эти альтернативы их параллельно.
@anti_agi
Пользуясь классификацией из книги «Thinking Fast, Slow» Д.Канеманна, подразделяющей мышление на интуитивное и глубокое, Ян классифицирует нынешние LM как интуитивных мыслителей. Достичь сравнимого с человеческим сознания, пользуясь только этой парадигмой, очень сложно. Интуитивные мыслители — своего рода стохастические попугаи, которые услышали некоторую последовательность слов во время обучения, запомнили их порядок, и могут их повторить. При этом настоящие логические выводы им слабодоступны, ведь они не имеют понимания сгенерированного ими текста — только статистику. В то же время, алгоритмы с так называемой моделью мира (world model) внутри, имеют глубокое понимание происходящих процессов и, за счёт этого понимания, могут мыслить. Это и есть пример глубокого мышления, которое может стать тем самым искусственным интеллектом уровня человека.
Чтобы обучить ИИ «модели мира», ЛеКун предложил свою архитектуру — Joint Embedding Predictive Architecture (JEPA). Главная идея заключается в том, что вместо обучения предсказанию следующего токена (как в языковых моделях) или значения конкретных пикселей (как в картиночных моделях), модель обучается предсказанию так называемого эмбеддинга, то есть числового вектора, в котором закодировано описание какого-то абстрактного концепта. К примеру, модель I-JEPA учится предсказывать эмбеддинг части изображения по эмбеддингу некоторой другой части того же изображения. Это заставляет модель понимать суть картинок, а не просто их запоминать — и формирует ту самую модель мира, за счёт которой I-JEPA работает лучше сопоставимых по размеру трансформеров.
Другая важная часть обучения JEPA-моделей заключается в том, что оно в каком-то смысле похоже на обучение ребенка или животного — модели тоже учатся на основе наблюдений за миром, в self-supervised режиме. Это даёт возможность генерализоваться из малого числа данных лучше, чем у классических трансформеров.
Если читать чуть дальше заголовков новостных публикаций, то становится ясно, что Ян ЛеКун вовсе не отрицает полезность языковых моделей. LLM способны решать большое количество важных задач: нечеткий поиск, генерация, классификация и перенос стиля текстов. Он говорит лишь, что не стоит надеяться, что увеличение размера LLM-ок или датасетов для их обучения приведут к появлению у них реального интеллекта, ведь они обучаются предсказанию следующего токена и внутри них не существует тех самых «моделей мира». Они останутся в своей нише, а на их место в SOTA придут другие архитектуры.
Не стоит забывать также об исследованиях, показывающих наличие у LLM моделей мира в зачаточном состоянии. Так, еще в 2022 году вышла статья, где показывалось, что из активаций GPT-2, обученной на партиях похожей на шахматы настольной игры, можно было восстановить положения всех фигур на доске. Более того, если вмешаться в активации и изменить таким образом положение фигур, то и предсказание следующего хода тоже поменяется. При этом новый ход всё ещё будет сделан согласно правилам игры — то есть внутри трансформера не просто есть модель этого игрушечного мира, она еще и используется при принятии решений.
Конечно, реальный мир больше, чем шахматная доска, и построить его модель только по текстам из интернета значительно сложнее. Описанная же ЛеКуном архитектура предлагает способ улучшить качество построенных моделей мира. И это уже привело к результатам, как минимум в случае I-JEPA. Можно, конечно, спорить, какой из подходов лучше — скейлить трансформеры и надеяться на эмержентность или учить JEPA. Можно, но не нужно – лучше исследовать эти альтернативы их параллельно.
@anti_agi
Пераслаў з:
Институт AIRI
07.04.202517:27
⚡️Открываем прием заявок на Лето с AIRI 2025!
В этом году мы запускаем Школу совместно с ТГУ. Программа пройдет в Томске с 30 июня по 10 июля. Это отличная возможность поработать с экспертами в области ИИ, прокачать навыки и погрузиться в исследовательскую атмосферу. В расписании — лекции, семинары, практическая работа, постерная сессия и внеучебные активности.
📎 Подать заявку на участие можно по ссылке до 23:59 29 апреля 2025 года.
Организаторы обеспечивают обучение, проживание и питание, вам нужно будет только добраться до Томска.
Подавайте заявки и делитесь постом с друзьями и коллегами!
В этом году мы запускаем Школу совместно с ТГУ. Программа пройдет в Томске с 30 июня по 10 июля. Это отличная возможность поработать с экспертами в области ИИ, прокачать навыки и погрузиться в исследовательскую атмосферу. В расписании — лекции, семинары, практическая работа, постерная сессия и внеучебные активности.
📎 Подать заявку на участие можно по ссылке до 23:59 29 апреля 2025 года.
Организаторы обеспечивают обучение, проживание и питание, вам нужно будет только добраться до Томска.
Подавайте заявки и делитесь постом с друзьями и коллегами!
Пераслаў з:
эйай ньюз
05.04.202520:08
🔥Llama 4 — Scout, Maverick и Behemoth
Все модели мультимодальные — нативно воспринимают текст, изображения и видео. Тренировали на 30 триллионах токенов, причём токенов с других языков теперь в 10x больше по сравнению с Llama 3. Идёт в трёх размерах:
Scout (109B)— модель с 10 миллионами токенов контекста, что рекорд для релизнутой модели. По бенчам бьёт Gemma 3 и Gemini 2.0 Flash Lite, слегка не дотягивая до полноценной Flash 2.0. Это MoE модель с 16 экспертами, 109B параметров при 17B активных. С квантизацией влезает в одну GPU.
Maverick (400B)— лучше Gemini 2.0 Flash с GPT 4o, примерно на одном уровне с обновлённым DeepSeek V3, но при этом модель мультимодальная и заметно меньше в размерах. Контекст — 1 миллион токенов, меньше чем у Scout, но сильно лучше чем у других конкурентов. Активных параметров всё те же 17B, но экспертов уже 128, поэтому и 400B параметров, Модель можно запустить в fp8 на одной ноде с 8xH100.
Behemoth — гигантская модель на два триллиона параметров (288B активных, 16 экспертов). Бьёт вообщё все Instruct модели с заметным отрывом. Бегемота ещё тренируют, но его ранние версии уже были дистиллированы в Scout и Maverick, что сильно бустануло их перформанс.
Это всё ещё Instruct релиз, но Llama 4 Reasoning тоже скоро будет.
Веса
@ai_newz
Все модели мультимодальные — нативно воспринимают текст, изображения и видео. Тренировали на 30 триллионах токенов, причём токенов с других языков теперь в 10x больше по сравнению с Llama 3. Идёт в трёх размерах:
Scout (109B)— модель с 10 миллионами токенов контекста, что рекорд для релизнутой модели. По бенчам бьёт Gemma 3 и Gemini 2.0 Flash Lite, слегка не дотягивая до полноценной Flash 2.0. Это MoE модель с 16 экспертами, 109B параметров при 17B активных. С квантизацией влезает в одну GPU.
Maverick (400B)— лучше Gemini 2.0 Flash с GPT 4o, примерно на одном уровне с обновлённым DeepSeek V3, но при этом модель мультимодальная и заметно меньше в размерах. Контекст — 1 миллион токенов, меньше чем у Scout, но сильно лучше чем у других конкурентов. Активных параметров всё те же 17B, но экспертов уже 128, поэтому и 400B параметров, Модель можно запустить в fp8 на одной ноде с 8xH100.
Behemoth — гигантская модель на два триллиона параметров (288B активных, 16 экспертов). Бьёт вообщё все Instruct модели с заметным отрывом. Бегемота ещё тренируют, но его ранние версии уже были дистиллированы в Scout и Maverick, что сильно бустануло их перформанс.
Это всё ещё Instruct релиз, но Llama 4 Reasoning тоже скоро будет.
Веса
@ai_newz
24.03.202508:21
Про тюн llama-3.2-3b в зависимости от файнтюна на математике
Увайдзіце, каб разблакаваць больш функцый.
