Dealer.AI
10.03.202520:52
Мануш, ты ли это?
Тренили мы агентов, потеряли табун лошадей из Tesla Y и перелили их силы в h800.
https://manus.im/
Твой цыганский агент дилер от китайцев 💳💳💳
Тренили мы агентов, потеряли табун лошадей из Tesla Y и перелили их силы в h800.
https://manus.im/
Твой цыганский агент дилер от китайцев 💳💳💳
Переслав з:
Tips AI | IT & AI
28.02.202519:06
📼 Вышел новый ролик от Андрея Карпаты — Как я использую LLM.
В прошлый раз он объяснял, как [устроены] модели ChatGPT, а теперь делится реальными кейсами из своей жизни.
Что в ролике:
• Разбор популярных моделей и их возможности
• Как выбирать модель под задачу (и не переплачивать)
• Инструменты: поиск, код, графики, работа с файлами
• Голос, изображения, видео и даже Custom GPTs
2 часа контента с таймкодами. Отличное времяпровождение на выходные 😬
🔘Ссылка [тут].
@tips_ai #news
В прошлый раз он объяснял, как [устроены] модели ChatGPT, а теперь делится реальными кейсами из своей жизни.
Что в ролике:
• Разбор популярных моделей и их возможности
• Как выбирать модель под задачу (и не переплачивать)
• Инструменты: поиск, код, графики, работа с файлами
• Голос, изображения, видео и даже Custom GPTs
2 часа контента с таймкодами. Отличное времяпровождение на выходные 😬
🔘Ссылка [тут].
@tips_ai #news
25.02.202514:18
Мои бывшие студенты ищут к себе коллег в команду.
В Туту ищем middle/middle+ Data Scientist.
Локация: у нас есть офисы в Москве, Санкт-Петербурге и можно работать удалённо (и за пределами РФ тоже).
З/П: 300 000 – 370 000 gross (зависит от итогов интервью).
Туту - онлайн-сервис для планирования путешествий. Помогаем с билетами, расписаниями, отелями и всем прочим для поездок.
Основные задачи:
— Разработка моделей рекомендаций для персонализированных маркетинговых коммуникаций, оптимизации времени и канала взаимодействия с клиентами (email, push-уведомления и т.д.).
— Разработка и внедрение Look-a-like моделей для поиска новых клиентов, похожих на самых ценных покупателей Туту.
— Прогнозирования LTV (Lifetime Value) для каждого сегмента, для эффективного расходования маркетингового бюджета.
— Создание и поддержка прогнозов (бейзлайнов) для целевых метрик на квартальный и годовой горизонт.
Мы ожидаем:
— Коммерческий опыт от 2 лет.
— Знания и опыт в области статистического анализа и методов моделирования.
— Владение алгоритмами машинного обучения и их применение в аналитике.
— Знакомство с эконометрическими методами и моделями прогнозирования маркетинговых данных.
— Опыт в разработке и внедрении прогнозных моделей (как плюс — для оптимизации маркетинговых стратегий).
— Опыт работы с SQL, ClickHouse, Python (scikit learn, catboost, pytorch, prophet, plotly).
Отклики направлять @juliape_TuTuHR
В Туту ищем middle/middle+ Data Scientist.
Локация: у нас есть офисы в Москве, Санкт-Петербурге и можно работать удалённо (и за пределами РФ тоже).
З/П: 300 000 – 370 000 gross (зависит от итогов интервью).
Туту - онлайн-сервис для планирования путешествий. Помогаем с билетами, расписаниями, отелями и всем прочим для поездок.
Основные задачи:
— Разработка моделей рекомендаций для персонализированных маркетинговых коммуникаций, оптимизации времени и канала взаимодействия с клиентами (email, push-уведомления и т.д.).
— Разработка и внедрение Look-a-like моделей для поиска новых клиентов, похожих на самых ценных покупателей Туту.
— Прогнозирования LTV (Lifetime Value) для каждого сегмента, для эффективного расходования маркетингового бюджета.
— Создание и поддержка прогнозов (бейзлайнов) для целевых метрик на квартальный и годовой горизонт.
Мы ожидаем:
— Коммерческий опыт от 2 лет.
— Знания и опыт в области статистического анализа и методов моделирования.
— Владение алгоритмами машинного обучения и их применение в аналитике.
— Знакомство с эконометрическими методами и моделями прогнозирования маркетинговых данных.
— Опыт в разработке и внедрении прогнозных моделей (как плюс — для оптимизации маркетинговых стратегий).
— Опыт работы с SQL, ClickHouse, Python (scikit learn, catboost, pytorch, prophet, plotly).
Отклики направлять @juliape_TuTuHR
24.02.202513:01
Qwen`цы сделали анонс перед релизом своего нового супер-сервиса, видимо и чит-чат и поиск и рассуждения и тп – все в одном.
https://chat.qwen.ai
https://chat.qwen.ai
22.02.202515:59
Памятуя мой пост про планинг на LLM, вот ниже таки ребятки сделали аналогичное.
Отмечу, что решение в т.ч. arc также как и темы с алго A* по идее дают действительно трансфер и на "абстрактное суждение"/ориентацию и распознавание объектов. Причем и для arc абстракций и для лабиринтов в A* нагенерить можно кучу. Тут синты поле непаханное, а еще ж есть игра в жизнь, туда же, на клеточных автоматах.
https://t.me/AGI_and_RL/971
Отмечу, что решение в т.ч. arc также как и темы с алго A* по идее дают действительно трансфер и на "абстрактное суждение"/ориентацию и распознавание объектов. Причем и для arc абстракций и для лабиринтов в A* нагенерить можно кучу. Тут синты поле непаханное, а еще ж есть игра в жизнь, туда же, на клеточных автоматах.
https://t.me/AGI_and_RL/971
Видалено23.02.202509:05
20.02.202507:38
Популярная математика в "картинках".
Дяде сложно представить современное IT и многие другие области без векторов, матриц и прочей линейной алгебры. Особенно, любимые Deep learning и metric learning. Вот только как понять все эти темы, не сломав мозг?
Ребятки из проекта Popmath создали курсы по линейной алгебре. Максимум геометрического смысла, много рисунков и уникальных 2D и 3D анимаций, т.е. все очень наглядно!
За 4 месяца ты, шкет, пройдёшь весь базовый курс с минимумом скучных вычислений и многоэтажных формул.
С программой курса и условиями можно ознакомиться на сайте
Старт групп, говорят, середина марта
Также Popmath предлагает курс по математике с нуля для взрослых дядь и тёть: т.е. для всех, кому нужна прочная математическая база.
Старт групп: середина марта
По всем вопросам на связи ребятки из @popmath_support
Дяде сложно представить современное IT и многие другие области без векторов, матриц и прочей линейной алгебры. Особенно, любимые Deep learning и metric learning. Вот только как понять все эти темы, не сломав мозг?
Ребятки из проекта Popmath создали курсы по линейной алгебре. Максимум геометрического смысла, много рисунков и уникальных 2D и 3D анимаций, т.е. все очень наглядно!
За 4 месяца ты, шкет, пройдёшь весь базовый курс с минимумом скучных вычислений и многоэтажных формул.
С программой курса и условиями можно ознакомиться на сайте
Старт групп, говорят, середина марта
Также Popmath предлагает курс по математике с нуля для взрослых дядь и тёть: т.е. для всех, кому нужна прочная математическая база.
Старт групп: середина марта
По всем вопросам на связи ребятки из @popmath_support
10.03.202510:44
Я твой кэш everything считал.😳
Рубрика мудрость дня от Дяди
Нет ничего бодрящего с утра, как увидеть в коде платформы пересборку faiss index'а при каждом вызове матчера...
Всем мамкиным рукожопам разрабам кидаю простую ссылку на хабр:
https://habr.com/ru/companies/okkamgroup/articles/509204/
И совет:
1. Делайте прекомпьют кеша при сборке кода перед раскаткой на стенды. Просто потом берешь index.save().
2. А при раскатке на прод не забывайте про хотя бы initial long. А тут делаешь index.load().
И, пожалуйста, ОДЫН раз!
Все по ссылочке выше есть в примерах. Да даже в доке faiss есть, но для людей кто любит по-русски специально хабропост приложил.
Рубрика мудрость дня от Дяди
Нет ничего бодрящего с утра, как увидеть в коде платформы пересборку faiss index'а при каждом вызове матчера...
Всем мамкиным рукожопам разрабам кидаю простую ссылку на хабр:
https://habr.com/ru/companies/okkamgroup/articles/509204/
И совет:
1. Делайте прекомпьют кеша при сборке кода перед раскаткой на стенды. Просто потом берешь index.save().
2. А при раскатке на прод не забывайте про хотя бы initial long. А тут делаешь index.load().
И, пожалуйста, ОДЫН раз!
Все по ссылочке выше есть в примерах. Да даже в доке faiss есть, но для людей кто любит по-русски специально хабропост приложил.
Переслав з:
Китай.AI
27.02.202508:56
🔮 CN-AI-RESEARCH | Исследования в области ИИ
Компания DeepSeek в рамках своей недели Open Source представила два новых инструмента и набор данных, которые помогут улучшить производительность AI-моделей.
🔧 DualPipe
Этот алгоритм параллельной обработки позволяет одновременно выполнять вычисления и обмен данными, устраняя задержки (так называемые "пузыри" в pipeline). Представьте, что вы дирижируете оркестром, где каждый музыкант (GPU) работает синхронно, без ожидания других. Именно это делает DualPipe!
🔧 EPLB (Expert-Parallel Load Balancer)
Инструмент для балансировки нагрузки между GPU при использовании экспертного параллелизма. Он оптимизирует распределение задач, чтобы минимизировать простои и максимизировать эффективность использования ресурсов.
📊 Анализ данных тренировки и инференса
DeepSeek также опубликовал данные анализа своих фреймворков, чтобы помочь сообществу лучше понять стратегии перекрытия вычислений и коммуникаций.
🎯 Почему это важно?
Эти инструменты не только упрощают работу с моделями DeepSeek, но и могут быть полезны для разработчиков других крупных языковых моделей.
Подробнее о проектах:
👉 DualPipe
👉 EPLB
👉 Анализ данных
#КитайскийИИ #КитайAI #DeepSeek #OpenSource
Компания DeepSeek в рамках своей недели Open Source представила два новых инструмента и набор данных, которые помогут улучшить производительность AI-моделей.
🔧 DualPipe
Этот алгоритм параллельной обработки позволяет одновременно выполнять вычисления и обмен данными, устраняя задержки (так называемые "пузыри" в pipeline). Представьте, что вы дирижируете оркестром, где каждый музыкант (GPU) работает синхронно, без ожидания других. Именно это делает DualPipe!
🔧 EPLB (Expert-Parallel Load Balancer)
Инструмент для балансировки нагрузки между GPU при использовании экспертного параллелизма. Он оптимизирует распределение задач, чтобы минимизировать простои и максимизировать эффективность использования ресурсов.
📊 Анализ данных тренировки и инференса
DeepSeek также опубликовал данные анализа своих фреймворков, чтобы помочь сообществу лучше понять стратегии перекрытия вычислений и коммуникаций.
🎯 Почему это важно?
Эти инструменты не только упрощают работу с моделями DeepSeek, но и могут быть полезны для разработчиков других крупных языковых моделей.
Подробнее о проектах:
👉 DualPipe
👉 EPLB
👉 Анализ данных
#КитайскийИИ #КитайAI #DeepSeek #OpenSource
25.02.202508:31
YaGPT-5, без комментариев.
Читайте тут.
https://habr.com/ru/companies/yandex/articles/885218/
Читайте тут.
https://habr.com/ru/companies/yandex/articles/885218/
24.02.202511:15
Спасибо товарищу по цеху, как-то удачно выпустил пост про длинные контексты: https://t.me/gonzo_ML/3408
Тут прям в тему моего поста про CAG. Мы там с подписчиками в комментариях также сошлись ко мнению,что хорошо бы смотреть на метрики forgot in the middle для длинноконтекстных моделек.
Тут прям в тему моего поста про CAG. Мы там с подписчиками в комментариях также сошлись ко мнению,что хорошо бы смотреть на метрики forgot in the middle для длинноконтекстных моделек.
21.02.202518:32
Оно же для любителей ЧБ
19.02.202520:33
Если вы решили делать агентную систему на LLM по имитации офисных процессов, то вот вам идеальный алгоритм.
05.03.202517:13
Немного про LLM и реальность в проде (бизнес кейсы).
Дядя тут быканул на один постик про оркестрацию, метамодели и роутинг моделек вокруг/с LM. Закономерно получил отрицательную ОС. Но все же, чтобы там не думали, что автор с НИИ и все же прод.опыт имеющий, а не тварь дрожащая, расскажет вам Дядя про реальность чутка.
Интро. Борд хочет, чтобы all in на LLM и кидает в вас задачу на проникновение современных БЯМ в бизнес процессы, тех.решения и платформы. Ведь ему со всех углов уже налили в уши, что это рокет саенс и золотая пуля. Нет.
И вот Вы бедняга, берете под козырек тащить это в уже устоявшиеся пайпы, системы и процессы.
Кейс 1. Система распознавания намерений. Хочется взять описания основных сценариев взаимодействия с клиентом, ака интенты, взять фразы в чате юзера и сказать: LMушка а вызови подходящий сценарий по описанию и запросу. И по-началу у вас будет это работать, но есть нюанс. На десятке интентов это может и ок. Если ваша LMка норм,то даже и соточку потянет. Но в системе интентов бывает сотни сценариев, и некоторые модельки тут уже не тянут. Да еще и глючат при генерации названия интента. И поэтому хитрые прод. инженеры используют хаки. Например, мы вот имели ж до этого систему на классификаторах и tfidf/fasttext/bert и хорошо оно работало итак без LLM для сотни и даже тыс. интентов. А давайте, чтобы убрать глюки и проблемы масштабируемости просто будем с этих модулей старых выдавать топК кандидатов. Берем К кандидатов, их описание и фразу юзера, кидаем в LLM и профит она из ограниченного списка, с recall@K которого 0.95+ выберет вам с 100% вероятностью нужный ответ. И фигак ты и кпэ закрыл и как бы LMка в проде. А чтобы это было чисто на LMке тебе придется еще думать про скейлинг, сегодня у тебя 10 интентов, а завтра 20 и перетюнить LM ты задолбаешься, классификаторы быстрее ретюн. Конечно можно лорку гонять, да.
Ах и да, тут ещё важно,что на запросы отвечает всеравно старый добрый сценарный движок или qa система. Да, да это оч близкий подход к RAG.
Кейс 2. Поиск и LLM. Мы же понимаем,что из весов LM поисковик так себе? Тут возникает вопрос актуальности данных,постоянного из-за этого переобучения, да и еще до кучи — глюки. Поэтому тут как раз, был придуман RAG. А LMка получает роль или ризонера по выдаче или вообще пишет тлдр по выдаче. До кучи, конечно, это над присыпать ссылками на источники, чтобы повысить доверие, да еще пошарить с вами ответственность за верификацию выдачи. Но иногда, ребята идут дальше, например делают технологию блендера, когда ответ из весов LM и выдачи с поиска (иной любой системы) еще скорится доп.алгоритмом и выбирается лучший ответ. К примеру, тут вот ребята с Яндекс создавали рекламные тайтлы, используя такой подход.
Кейс 3. Про читчат и ассистентов.
Когда появились LMки аля ChGPT все говорили, что это новая эра для ассистентов. Но в итоге, эти LM-based системы всеравно у серьезных игроков опираются на тот самый блендер между старыми отлаженными модулями: intent recognition, retrieval и дерево сценариев. А роль БЯМ или переписывать ответы, или выбирать из уже порезанной выдачи ретривала/интент классификации и в остальных случаях вести беседу самостоятельно e2e. Вообщем в целом жизнеспособность only e2е LLM в таких задачах спорно. По крайней мере сейчас. У знакомых вообще долгое время retrieval based диалоговая система не уступала LLM-based причем метрику оценки формировала команда БЯМ. Да LLM дает больше разнообразия ответов, интересности, зато ретривал релевантности. Поэтому и тут-то тоже блендер схема зашла на ура.
К чему я это все, да оркестрация старых + склейка с новыми системами важна. Переиспользование старых стабильных, надежных и высокоэффективных модулей тоже не зазорно. Можно ли это блендить и мерджить с LLM? Нужно. И не стоит делать all in на LLM. Сложно ли это сделать? Да нелегко, но дорогу осилит идущий.
Дядя тут быканул на один постик про оркестрацию, метамодели и роутинг моделек вокруг/с LM. Закономерно получил отрицательную ОС. Но все же, чтобы там не думали, что автор с НИИ и все же прод.опыт имеющий, а не тварь дрожащая, расскажет вам Дядя про реальность чутка.
Интро. Борд хочет, чтобы all in на LLM и кидает в вас задачу на проникновение современных БЯМ в бизнес процессы, тех.решения и платформы. Ведь ему со всех углов уже налили в уши, что это рокет саенс и золотая пуля. Нет.
И вот Вы бедняга, берете под козырек тащить это в уже устоявшиеся пайпы, системы и процессы.
Кейс 1. Система распознавания намерений. Хочется взять описания основных сценариев взаимодействия с клиентом, ака интенты, взять фразы в чате юзера и сказать: LMушка а вызови подходящий сценарий по описанию и запросу. И по-началу у вас будет это работать, но есть нюанс. На десятке интентов это может и ок. Если ваша LMка норм,то даже и соточку потянет. Но в системе интентов бывает сотни сценариев, и некоторые модельки тут уже не тянут. Да еще и глючат при генерации названия интента. И поэтому хитрые прод. инженеры используют хаки. Например, мы вот имели ж до этого систему на классификаторах и tfidf/fasttext/bert и хорошо оно работало итак без LLM для сотни и даже тыс. интентов. А давайте, чтобы убрать глюки и проблемы масштабируемости просто будем с этих модулей старых выдавать топК кандидатов. Берем К кандидатов, их описание и фразу юзера, кидаем в LLM и профит она из ограниченного списка, с recall@K которого 0.95+ выберет вам с 100% вероятностью нужный ответ. И фигак ты и кпэ закрыл и как бы LMка в проде. А чтобы это было чисто на LMке тебе придется еще думать про скейлинг, сегодня у тебя 10 интентов, а завтра 20 и перетюнить LM ты задолбаешься, классификаторы быстрее ретюн. Конечно можно лорку гонять, да.
Ах и да, тут ещё важно,что на запросы отвечает всеравно старый добрый сценарный движок или qa система. Да, да это оч близкий подход к RAG.
Кейс 2. Поиск и LLM. Мы же понимаем,что из весов LM поисковик так себе? Тут возникает вопрос актуальности данных,постоянного из-за этого переобучения, да и еще до кучи — глюки. Поэтому тут как раз, был придуман RAG. А LMка получает роль или ризонера по выдаче или вообще пишет тлдр по выдаче. До кучи, конечно, это над присыпать ссылками на источники, чтобы повысить доверие, да еще пошарить с вами ответственность за верификацию выдачи. Но иногда, ребята идут дальше, например делают технологию блендера, когда ответ из весов LM и выдачи с поиска (иной любой системы) еще скорится доп.алгоритмом и выбирается лучший ответ. К примеру, тут вот ребята с Яндекс создавали рекламные тайтлы, используя такой подход.
Кейс 3. Про читчат и ассистентов.
Когда появились LMки аля ChGPT все говорили, что это новая эра для ассистентов. Но в итоге, эти LM-based системы всеравно у серьезных игроков опираются на тот самый блендер между старыми отлаженными модулями: intent recognition, retrieval и дерево сценариев. А роль БЯМ или переписывать ответы, или выбирать из уже порезанной выдачи ретривала/интент классификации и в остальных случаях вести беседу самостоятельно e2e. Вообщем в целом жизнеспособность only e2е LLM в таких задачах спорно. По крайней мере сейчас. У знакомых вообще долгое время retrieval based диалоговая система не уступала LLM-based причем метрику оценки формировала команда БЯМ. Да LLM дает больше разнообразия ответов, интересности, зато ретривал релевантности. Поэтому и тут-то тоже блендер схема зашла на ура.
К чему я это все, да оркестрация старых + склейка с новыми системами важна. Переиспользование старых стабильных, надежных и высокоэффективных модулей тоже не зазорно. Можно ли это блендить и мерджить с LLM? Нужно. И не стоит делать all in на LLM. Сложно ли это сделать? Да нелегко, но дорогу осилит идущий.
26.02.202507:51
Удиви своим SVG. Нарисуй с LLM.
На kaggle вышло соревнование, где нужно тюнить LMку по промпту генерить svg'шку максимально близкую по clip score к референсу в тесте.
Дядя помимо прямого тюна, куче открытой датки и дистилляции моделек лидеров на рынке (кстати Sonnet3.7 круто могет), уже видит, также атаки на тестовый файл. Ведь CLIP скор можно взломать через OOV примеры, подобно взлому reward моделей. И мы видели соревнования,где атаковали модели скореры промптов. Цель однако соревнования в первую очередь сделать тюн генераций, но сопутствующие бонусы как уберечь от атак.
Ссылка: https://www.kaggle.com/competitions/drawing-with-LLMs
На kaggle вышло соревнование, где нужно тюнить LMку по промпту генерить svg'шку максимально близкую по clip score к референсу в тесте.
Дядя помимо прямого тюна, куче открытой датки и дистилляции моделек лидеров на рынке (кстати Sonnet3.7 круто могет), уже видит, также атаки на тестовый файл. Ведь CLIP скор можно взломать через OOV примеры, подобно взлому reward моделей. И мы видели соревнования,где атаковали модели скореры промптов. Цель однако соревнования в первую очередь сделать тюн генераций, но сопутствующие бонусы как уберечь от атак.
Ссылка: https://www.kaggle.com/competitions/drawing-with-LLMs
24.02.202520:38
Забавно, что Anthropic'и успели быстрее.
https://t.me/ai_newz/3694
https://t.me/ai_newz/3694
23.02.202514:51
Черного юмора пост. 🌚
Осторожно, админа немного покусали "е*ные идеи для рисерча".
Тут недавно выпустили Nanotron кукбук по mgpu learning. Да и еще дали нам ПыкаТрон , чтобы отрабатывать умения из кукбука.
Ну а мы с мужиками во дворе подумали и выдвинули свою версию библиотеки. Для самых дерзких идей и gpu-poor лернинга. Встречайте ebatron на ml-***-ebal-env.
Ну и мы погуглили, вроде, пока название вакантно, не благодарите.
Рубрика выходного дня(с).
Осторожно, админа немного покусали "е*ные идеи для рисерча".
Тут недавно выпустили Nanotron кукбук по mgpu learning. Да и еще дали нам ПыкаТрон , чтобы отрабатывать умения из кукбука.
Ну а мы с мужиками во дворе подумали и выдвинули свою версию библиотеки. Для самых дерзких идей и gpu-poor лернинга. Встречайте ebatron на ml-***-ebal-env.
Ну и мы погуглили, вроде, пока название вакантно, не благодарите.
Рубрика выходного дня(с).
21.02.202518:28
Схема
19.02.202513:42
Gemini Advanced обзавелся "длинной" памятью.
Разаботчики утверждают,что модель может эффективно использовать RAG механику для памяти, запрашивая схожие диалоги к текущему во всей истории общения с юзером.
Рассуждения Дяди на тему RAG памяти:
A. Нужно хранить нарезку диалогов по юзеру. И тут возникает сразу задачи: обновление индекса юзер диалогов на лету и идентификация какой кусок или какой диалог сохранить (ну не хранить ж все диалоги или хранить) и сюда же если резать,то как.
B. Обучение эмбеддера тоже дает вызовы: с чем матчить эмбы памяти (с фразой текущей юзера или фразой +контекст, если +контекст, то какой он глубины), по данной нарезке и состоянии диалога, и диалогов в памяти, делать обучение раг эмбеддера.
В остальном, идея понятна, имеем диалог стейт менеджера с ранкером,который подыскивает комплиментарные текущему контексту похожие диалоги в пршлом.
https://blog.google/feed/gemini-referencing-past-chats/
Разаботчики утверждают,что модель может эффективно использовать RAG механику для памяти, запрашивая схожие диалоги к текущему во всей истории общения с юзером.
Рассуждения Дяди на тему RAG памяти:
A. Нужно хранить нарезку диалогов по юзеру. И тут возникает сразу задачи: обновление индекса юзер диалогов на лету и идентификация какой кусок или какой диалог сохранить (ну не хранить ж все диалоги или хранить) и сюда же если резать,то как.
B. Обучение эмбеддера тоже дает вызовы: с чем матчить эмбы памяти (с фразой текущей юзера или фразой +контекст, если +контекст, то какой он глубины), по данной нарезке и состоянии диалога, и диалогов в памяти, делать обучение раг эмбеддера.
В остальном, идея понятна, имеем диалог стейт менеджера с ранкером,который подыскивает комплиментарные текущему контексту похожие диалоги в пршлом.
https://blog.google/feed/gemini-referencing-past-chats/
Переслав з:
Pavel Zloi
02.03.202518:14
YandexGPT R1 на Huging Face
Выпустил адаптер на Hugging Face который я дообучил при помощи impruver поверх YandexGPT-5-Lite-8B-pretrain вышедшей на днях, используя датасеты оптимизированные под reasoning.
Ссылки:
- https://huggingface.co/evilfreelancer/r1_yandexgpt5-lite_lora
- https://huggingface.co/evilfreelancer/r1_yandexgpt5-lite_gguf
- https://ollama.com/evilfreelancer/r1_yandexgpt5-lite
Конфигурация: YandexGPT/8B_lora_r1
Отчёт W&B: https://api.wandb.ai/links/evilfreelancer/zj6s02v4
Запустить через Ollama:
Выпустил адаптер на Hugging Face который я дообучил при помощи impruver поверх YandexGPT-5-Lite-8B-pretrain вышедшей на днях, используя датасеты оптимизированные под reasoning.
Ссылки:
- https://huggingface.co/evilfreelancer/r1_yandexgpt5-lite_lora
- https://huggingface.co/evilfreelancer/r1_yandexgpt5-lite_gguf
- https://ollama.com/evilfreelancer/r1_yandexgpt5-lite
Конфигурация: YandexGPT/8B_lora_r1
Отчёт W&B: https://api.wandb.ai/links/evilfreelancer/zj6s02v4
Запустить через Ollama:
ollama run evilfreelancer/r1_yandexgpt5-lite
25.02.202519:06
От подписчика
З.Ы. не то запинил ответом, но вы поняли.
З.Ы. не то запинил ответом, но вы поняли.
24.02.202514:17
А...
Это, всего лишь, крыжовник...
😂😂😂😂
З. Ы. Запахло Йенифер...
Спасибо за шутку @kristaller
Это, всего лишь, крыжовник...
😂😂😂😂
З. Ы. Запахло Йенифер...
Спасибо за шутку @kristaller
23.02.202509:02
Лабиринты, тесты абстрактной логики и игра в жизнь.
Продолжаем думки на тему, а зачем ученые дяди и тети заставляют LLM решать задачки ARC, поиск пути в лабиринте и тп.
Рассуждения навеяны статьями:
- AlphaMaze
- Beyond A*
- On the Messure of intelligence
Увидев вчерашние посты, коллеги стали задаваться вопросом: "а возможно ли обучаясь на такой синтетике и вообще решая задачки типа лабиринта словить aha эффект – когда модель начнет использовать полученные навыки в других задачах, также как это у людей получается?"
И мой ответ, конечно это возможно, даже больше скажу авторы данных экспериментов в первую очередь преследуют именно цель трансфера знаний и навыков на смежные задачи. Ведь, на самом деле, нам не так интересно искать пути в лабиринте с помощью LLM для этого у нас итак куча алгоритмов аля A* и др. Они быстрее, легче и эффективнее. А тогда зачем?
Наша цель подобно, как человек решает задачи абстрактной логики – это аля IQ тесты, где по картинкам над понять закономерность, в тч ARC, тренировать теже области весов модели, как области коры мозга у человека, которые позволяют нам лучше решать другие задачи,где важно абстрактное мышление.
Поэтому исследователи гоняют лабиринты 5*5/10*10, покоряют бенчмарки ARC и тп и тд. И мы видим, в статье про AlphaMaze важные выводы,что тупой прямой тюн не работает, модель из коробки не работает. А чтобы решать такие задачи приходится тюнить R класса модели, т.е. учить рассуждениям, планированию специально. "Ризонинг нада качать(с)". Но на самом деле, ризонинг в т.ч. качается через обучение таким задачам.
Еще интересное, что делали ребята из sakana.ai про создание симулятора игры в жизнь, через работу в пространстве visual embeddings. Но можно пойти дальше, не просто искать переходные состояния в пространстве векторов, можно же предсказывать в принципе следующие состояния эволюции популяции. Это как в arc мы связываем серию изображений с следующим наиболее логичным к этой серии. А тут мы по серии развития популяции (тоже в виде картинок, там же 2d) можем по ее картинке предсказывать следующий шаг. Кто знает,где такой трансфер может сыграть, помимо ARC-лайк и планинга. Может в прогнозировании динамики сложных систем? Создании новых материалов и драгов?
В общем, идея интересная, записывайте. Пробуйте.
Продолжаем думки на тему, а зачем ученые дяди и тети заставляют LLM решать задачки ARC, поиск пути в лабиринте и тп.
Рассуждения навеяны статьями:
- AlphaMaze
- Beyond A*
- On the Messure of intelligence
Увидев вчерашние посты, коллеги стали задаваться вопросом: "а возможно ли обучаясь на такой синтетике и вообще решая задачки типа лабиринта словить aha эффект – когда модель начнет использовать полученные навыки в других задачах, также как это у людей получается?"
И мой ответ, конечно это возможно, даже больше скажу авторы данных экспериментов в первую очередь преследуют именно цель трансфера знаний и навыков на смежные задачи. Ведь, на самом деле, нам не так интересно искать пути в лабиринте с помощью LLM для этого у нас итак куча алгоритмов аля A* и др. Они быстрее, легче и эффективнее. А тогда зачем?
Наша цель подобно, как человек решает задачи абстрактной логики – это аля IQ тесты, где по картинкам над понять закономерность, в тч ARC, тренировать теже области весов модели, как области коры мозга у человека, которые позволяют нам лучше решать другие задачи,где важно абстрактное мышление.
Поэтому исследователи гоняют лабиринты 5*5/10*10, покоряют бенчмарки ARC и тп и тд. И мы видим, в статье про AlphaMaze важные выводы,что тупой прямой тюн не работает, модель из коробки не работает. А чтобы решать такие задачи приходится тюнить R класса модели, т.е. учить рассуждениям, планированию специально. "Ризонинг нада качать(с)". Но на самом деле, ризонинг в т.ч. качается через обучение таким задачам.
Еще интересное, что делали ребята из sakana.ai про создание симулятора игры в жизнь, через работу в пространстве visual embeddings. Но можно пойти дальше, не просто искать переходные состояния в пространстве векторов, можно же предсказывать в принципе следующие состояния эволюции популяции. Это как в arc мы связываем серию изображений с следующим наиболее логичным к этой серии. А тут мы по серии развития популяции (тоже в виде картинок, там же 2d) можем по ее картинке предсказывать следующий шаг. Кто знает,где такой трансфер может сыграть, помимо ARC-лайк и планинга. Может в прогнозировании динамики сложных систем? Создании новых материалов и драгов?
В общем, идея интересная, записывайте. Пробуйте.
21.02.202518:27
Ну CAG таг? Это ж и ни RETRO и ни RAG и не кагдилаг...
Тут ребята упоролись, и как в сказке: "родила царица в ночь не то сына, не то дочь". И перед нами предстает CAG (дилаг простите 🤣) - Cache augmented generation. CAG это мутант между RETRO и RAG, порождение зла и KV-cached подхода.
CAG работает на основе контекста LLM и использует ее же логику kv-кеширования (схема будет ниже) для создания "индекса" и самого запроса, хотя, буквально, это ретривал индексом назвать нельзя, все сразу на этапе инициализации грузится в контекст модели в kv-кэш. Отсюда же и ограничения на использование такой схемы, ввиду длины контекста (привет Titans и прочие жирноконтекстные момзели). Также такая схема работы нас роднит с моделями типа RETRO, тк для вычисления ответа нам нужно получить векторные представления подсказок. Но тут у нас нет cross-attention схемы и отдельного блока кодирования подсказок, модель сама их себе эмбеддит через kv-cache механизм.
Авторы выделяют плюсы: скорость работы, независимость от внешней базы и ретривера, ну и высокое качество по сравнению с классической RAG архитектурой на базе bm25 или dense retriever. Но смотрят всего две задачи HotPotQA и SquadQA.
Из минусов: мы во всю зависим от длины контекста модели для кеширования, и поэтому же не можем динамически менять индекс и в принципе иметь большой индекс как в RAG тк тут "индекс" подсказок грузится в контекст и модель сама решает какую часть этого кеша ей использовать. Нет возможности юзать мультимодалку. Хотя последнее спорно – можно эмбедить в kv-кеш и вектора картинок и аудио и видео.
Дяде, с одной стороны, конечно, такая схема не нравится,хотя он и rag и retro уважает,с другой стороны, если идти в развитие бесконечных контекстов LLM, почему бы и нет? А что думаете вы? Пишите мнение в комментариях.
Тут ребята упоролись, и как в сказке: "родила царица в ночь не то сына, не то дочь". И перед нами предстает CAG (дилаг простите 🤣) - Cache augmented generation. CAG это мутант между RETRO и RAG, порождение зла и KV-cached подхода.
CAG работает на основе контекста LLM и использует ее же логику kv-кеширования (схема будет ниже) для создания "индекса" и самого запроса, хотя, буквально, это ретривал индексом назвать нельзя, все сразу на этапе инициализации грузится в контекст модели в kv-кэш. Отсюда же и ограничения на использование такой схемы, ввиду длины контекста (привет Titans и прочие жирноконтекстные момзели). Также такая схема работы нас роднит с моделями типа RETRO, тк для вычисления ответа нам нужно получить векторные представления подсказок. Но тут у нас нет cross-attention схемы и отдельного блока кодирования подсказок, модель сама их себе эмбеддит через kv-cache механизм.
Авторы выделяют плюсы: скорость работы, независимость от внешней базы и ретривера, ну и высокое качество по сравнению с классической RAG архитектурой на базе bm25 или dense retriever. Но смотрят всего две задачи HotPotQA и SquadQA.
Из минусов: мы во всю зависим от длины контекста модели для кеширования, и поэтому же не можем динамически менять индекс и в принципе иметь большой индекс как в RAG тк тут "индекс" подсказок грузится в контекст и модель сама решает какую часть этого кеша ей использовать. Нет возможности юзать мультимодалку. Хотя последнее спорно – можно эмбедить в kv-кеш и вектора картинок и аудио и видео.
Дяде, с одной стороны, конечно, такая схема не нравится,хотя он и rag и retro уважает,с другой стороны, если идти в развитие бесконечных контекстов LLM, почему бы и нет? А что думаете вы? Пишите мнение в комментариях.
17.02.202516:25
Если у вас в городе не выпал зимой снег, голоса в голове говорят взять вон тот шиткоин, значит это нейрокомпьютеры уже всех победили...🧠
Но, без шуток, интересная шиза. Или не шиза...🤨
Читаем тлдр у дяди Бакуна
https://t.me/addmeto/6037
Но, без шуток, интересная шиза. Или не шиза...🤨
Читаем тлдр у дяди Бакуна
https://t.me/addmeto/6037
Показано 1 - 24 із 39
Увійдіть, щоб розблокувати більше функціональності.