Dealer.AI
Жоский ИИ дядя.
Твой личный поставщик AI 💊💉🤖
Канал о мире интересного AI: ML, DL, NLP/NLU, RL, Retrieval, RecSys.
Для связи @dealer_ai
(реклама и консультации)
Руковожу командами ML, AI в RnD для b2c.
Habr @Andriljo
Kaggle: Andrilko
Твой личный поставщик AI 💊💉🤖
Канал о мире интересного AI: ML, DL, NLP/NLU, RL, Retrieval, RecSys.
Для связи @dealer_ai
(реклама и консультации)
Руковожу командами ML, AI в RnD для b2c.
Habr @Andriljo
Kaggle: Andrilko
Рейтинг TGlist
0
0
ТипПубличный
Верификация
Не верифицированныйДоверенность
Не провернныйРасположениеРосія
ЯзыкДругой
Дата создания каналаЛют 15, 2023
Добавлено на TGlist
Вер 03, 2024Прикрепленная группа
Deal.Log
52
Рекорды
28.04.202523:59
8.5KПодписчиков26.03.202523:59
200Индекс цитирования05.01.202523:59
24.8KОхват одного поста03.01.202522:18
3.7KОхват рекламного поста01.03.202521:50
14.66%ER23.12.202401:16
189.68%ERR
06.04.202509:40
Llama 4 про 10M контекст и будущее RAG, memory etc.
Это не будет очередным обзором о новой моделище (а ламки вышли real chubby). Об этом вы итак почитаете у соседей.
Мне вот больше интересно про длинный контекст 10М и прочие сопутствующие вопросы.
Во-первых, недостаточно просто так взять и сделать окно в 10М. Для начала надо датку найти под это с жирным контекстом, а нам указывают на синту. Во-вторых, еще надо переработать архитектуру внимания и позиционного кодирования, чтобы сигнал не тух и был эффективнее. И вот тут находится первый краеугольный камень. Мало сделать 10М контекст, надо чтобы в каждой точке он был эффективен. Т.е. если я кидаю факт в начало, потом в середину и в конец, и прошу ответить на вопрос, без этого факта на который, вы не ответите. То при замере качества оно должно быть +/- одинаково для таких примеров. А внимание должно не затухать, как обычно бывает, что на бумаге 1М, а по факту помнит и эффективно использует контекст в последние там 100 пар реплик. Кстати показали для этого метрики MTOB и там проценты чет около 40%, не впечатляет правда, мол не близко к 100 и AGI все еще не achieved. Но тут нужно посмотреть на Needle in the haystack в 100% синтетических процентов, тк расширили еще на 9М (исходно было 1М).
И цифры конечно, для профи красивые, но что будет на самом деле? Как реально будет это работать в юзкейсах аля поиска по портянке больших доков, или нескольких доков и тп. Вот где замеры интереснее. Ведь с одной стороны, жирные тексты еще найти надо для обучения, еще синта там наверняка есть и т.п., что конечно трансферит нам знания, но синту обучить и мерить на синте это одно, а в жизни как будет, поглядим.
И это следующий краеугольный камень для замены RAG, всякой там памяти и тп. Я бы пока не стал закапывать RAG и память с CoT+SO. Да, когда-нибудь, обязательно закопаем, но когда на реальных кейсах 10М из 10М у нас будет эффективный контекст. Но то, что с ростом абсолютного контекста в его рамках растет и эффективный это вполне себе. Допустим, заявлено 10М, а 1М последних токенов можно юзать эффективно для поиска и памяти, это мне хватит на 99.9% кейсов. Проверим.
А теперь, вопрос памяти, например, хочу я сделать запоминание диалогов там с юзером, для большей липкости и тп. Беру жирный контекст и просто его юзаю за всю историю общения с юзером. Вопрос. Сколько мне на каждого юзера придется хранить физической памяти на диске? Сколько gpu нужно, чтобы поддерживать rps, latency и тп.? И каждый ли игрок на рынке сможет себе это позволить, даже платя по подписке или арендуя мощности др. игроков? Тут Дядя задумался, а не оттуда ли в т.ч. цены (доля от цены) по 200$ за подписку. Ну лан, за подписку еще платить осилят.
В целом, вижу для RAG и памяти в гонке за жирным и эффективным контекстом будущее в гибридизации с ним. С одной, стороны будет проще помнить, обрабатывать и переиспользовать инфо юзая контекст, с другой стороны придется все равно затачивать модель под ответы на своем домене. Т.е. нужно будет вокруг этих моделек строить свою доп. логику, чтобы закрыть неизбежные глюки, а еще помнить, что память-то "протухает" и в таком жирном контексте могут оказаться противоречивые или неактуальные факты- это, кстати, в пику тезису "помнить в каждой точке контекста одинаково важно". Сегодня я пишу одно имя, завтра говорю хахах меня не так зовут. И т.п. upd. Кстати, по нашим экспам с памятью, противоречия в контексте оч мешают и взывают галюны.
В общем,все также сидеть придется на нескольких стульях: архитектура, данные, логика работы и выч. ресурсы. Проще не стало.
Фото в заголовке взято отсюда.
Это не будет очередным обзором о новой моделище (а ламки вышли real chubby). Об этом вы итак почитаете у соседей.
Мне вот больше интересно про длинный контекст 10М и прочие сопутствующие вопросы.
Во-первых, недостаточно просто так взять и сделать окно в 10М. Для начала надо датку найти под это с жирным контекстом, а нам указывают на синту. Во-вторых, еще надо переработать архитектуру внимания и позиционного кодирования, чтобы сигнал не тух и был эффективнее. И вот тут находится первый краеугольный камень. Мало сделать 10М контекст, надо чтобы в каждой точке он был эффективен. Т.е. если я кидаю факт в начало, потом в середину и в конец, и прошу ответить на вопрос, без этого факта на который, вы не ответите. То при замере качества оно должно быть +/- одинаково для таких примеров. А внимание должно не затухать, как обычно бывает, что на бумаге 1М, а по факту помнит и эффективно использует контекст в последние там 100 пар реплик. Кстати показали для этого метрики MTOB и там проценты чет около 40%, не впечатляет правда, мол не близко к 100 и AGI все еще не achieved. Но тут нужно посмотреть на Needle in the haystack в 100% синтетических процентов, тк расширили еще на 9М (исходно было 1М).
И цифры конечно, для профи красивые, но что будет на самом деле? Как реально будет это работать в юзкейсах аля поиска по портянке больших доков, или нескольких доков и тп. Вот где замеры интереснее. Ведь с одной стороны, жирные тексты еще найти надо для обучения, еще синта там наверняка есть и т.п., что конечно трансферит нам знания, но синту обучить и мерить на синте это одно, а в жизни как будет, поглядим.
И это следующий краеугольный камень для замены RAG, всякой там памяти и тп. Я бы пока не стал закапывать RAG и память с CoT+SO. Да, когда-нибудь, обязательно закопаем, но когда на реальных кейсах 10М из 10М у нас будет эффективный контекст. Но то, что с ростом абсолютного контекста в его рамках растет и эффективный это вполне себе. Допустим, заявлено 10М, а 1М последних токенов можно юзать эффективно для поиска и памяти, это мне хватит на 99.9% кейсов. Проверим.
А теперь, вопрос памяти, например, хочу я сделать запоминание диалогов там с юзером, для большей липкости и тп. Беру жирный контекст и просто его юзаю за всю историю общения с юзером. Вопрос. Сколько мне на каждого юзера придется хранить физической памяти на диске? Сколько gpu нужно, чтобы поддерживать rps, latency и тп.? И каждый ли игрок на рынке сможет себе это позволить, даже платя по подписке или арендуя мощности др. игроков? Тут Дядя задумался, а не оттуда ли в т.ч. цены (доля от цены) по 200$ за подписку. Ну лан, за подписку еще платить осилят.
В целом, вижу для RAG и памяти в гонке за жирным и эффективным контекстом будущее в гибридизации с ним. С одной, стороны будет проще помнить, обрабатывать и переиспользовать инфо юзая контекст, с другой стороны придется все равно затачивать модель под ответы на своем домене. Т.е. нужно будет вокруг этих моделек строить свою доп. логику, чтобы закрыть неизбежные глюки, а еще помнить, что память-то "протухает" и в таком жирном контексте могут оказаться противоречивые или неактуальные факты- это, кстати, в пику тезису "помнить в каждой точке контекста одинаково важно". Сегодня я пишу одно имя, завтра говорю хахах меня не так зовут. И т.п. upd. Кстати, по нашим экспам с памятью, противоречия в контексте оч мешают и взывают галюны.
В общем,все также сидеть придется на нескольких стульях: архитектура, данные, логика работы и выч. ресурсы. Проще не стало.
Фото в заголовке взято отсюда.
19.04.202511:11
AirFlow, MLFlow, DVC, ClearML?? Пффф. InstructPipe от Google!!!
Вот тебе шкет, к вайб кодингу еще и вайб пайпинг. Фу, звучит даже противно.
Крч берёшь, пишешь инструкцию к LLM для ML пайпа и получаешь псевдокод, псевдо инструкцию, и псевдо интерпретацию. 🤣🤣🤣
Шучу, получаешь крч ток псевдо код, пайп и блоксхемку.
Делоешь, вайб автомотизируешь и койфуешь.
https://research.google/blog/instructpipe-generating-visual-blocks-pipelines-with-human-instructions-and-llms/
Вот тебе шкет, к вайб кодингу еще и вайб пайпинг. Фу, звучит даже противно.
Крч берёшь, пишешь инструкцию к LLM для ML пайпа и получаешь псевдокод, псевдо инструкцию, и псевдо интерпретацию. 🤣🤣🤣
Шучу, получаешь крч ток псевдо код, пайп и блоксхемку.
Делоешь, вайб автомотизируешь и койфуешь.
https://research.google/blog/instructpipe-generating-visual-blocks-pipelines-with-human-instructions-and-llms/
20.04.202519:25
Дядя помнит, когда приму курил его дед. А теперь "раскуривать" новый распределённый аналог llama.cpp нам.
So, prima.cpp is a distributed implementation of llama.cpp that lets you run 70B-level LLMs on your everyday devices—💻 laptops, 🖥️ desktops, 📱 phones, and tablets.(с)
В пачке Примы:
- Heterogeneous, low-resource, cross-platform clusters (e.g., home devices connected by Wi-Fi);
- Quantization (Q4K and IQ1);
- Mixed CPU/GPU computing
Disk offloading;
- Piped-ring parallelism with prefetching;
- Automatic workload distribution.
Подробнее тут: https://huggingface.co/papers/2504.08791
So, prima.cpp is a distributed implementation of llama.cpp that lets you run 70B-level LLMs on your everyday devices—💻 laptops, 🖥️ desktops, 📱 phones, and tablets.(с)
В пачке Примы:
- Heterogeneous, low-resource, cross-platform clusters (e.g., home devices connected by Wi-Fi);
- Quantization (Q4K and IQ1);
- Mixed CPU/GPU computing
Disk offloading;
- Piped-ring parallelism with prefetching;
- Automatic workload distribution.
Подробнее тут: https://huggingface.co/papers/2504.08791
07.04.202511:31
В последнее время, в канале появилось несколько постов про агентов. И везде Дядя указывает на необходимость взаимодействия LLM с «окружающей средой». Именно в этом помогает протокол MCP.
Model Context Protocol – незаменимый инструмент не только для работы, но и для ML-соревнований, где нужно использовать всю мощь LLM. С помощью нового стандарта подключения AI-ассистентов к бизнес-приложениям от Anthropic ты сможешь интегрировать ИИ в свой проект – идеальное решение для хакатона, где время ограничено.
В новой статье разбираемся, как устроен протокол, как поднять собственный MCP-сервер и использовать его в IT-соревнованиях. Ты узнаешь про:
🔤 Архитектуру Model Context Protocol.
🔤 Основные возможности стандарта.
🔤 Примеры реализации: от простых к сложным.
Сосредоточься на создании уникального AI-ассистента. Как это сделать? Ответ в статье: https://cnrlink.com/mcpitonecupmldealerai
А проверить всю мощь MCP можно на IT_ONE Cup. ML Challenge. Зарегистрируйся, выбери один из трех треков и раздели призовой фонд в 1 500 000 рублей.
MCP станет одним из важных инструментов для разработки ИИ-помощников в задачах соревнования:
🔤 Динамические контекстные подсказки для системного аналитика.
🔤 AI-генератор дизайн-макетов по описанию требований.
🔤 Система визуализации BPMN-диаграмм.
MCP позволит использовать локальные модели, которые сделают решения более автономными и безопасными – их будет легче адаптировать под задачи соревнования.
Регистрация открыта до 13 апреля включительно: https://cnrlink.com/itonecupmldealer
Model Context Protocol – незаменимый инструмент не только для работы, но и для ML-соревнований, где нужно использовать всю мощь LLM. С помощью нового стандарта подключения AI-ассистентов к бизнес-приложениям от Anthropic ты сможешь интегрировать ИИ в свой проект – идеальное решение для хакатона, где время ограничено.
В новой статье разбираемся, как устроен протокол, как поднять собственный MCP-сервер и использовать его в IT-соревнованиях. Ты узнаешь про:
🔤 Архитектуру Model Context Protocol.
🔤 Основные возможности стандарта.
🔤 Примеры реализации: от простых к сложным.
Сосредоточься на создании уникального AI-ассистента. Как это сделать? Ответ в статье: https://cnrlink.com/mcpitonecupmldealerai
А проверить всю мощь MCP можно на IT_ONE Cup. ML Challenge. Зарегистрируйся, выбери один из трех треков и раздели призовой фонд в 1 500 000 рублей.
MCP станет одним из важных инструментов для разработки ИИ-помощников в задачах соревнования:
🔤 Динамические контекстные подсказки для системного аналитика.
🔤 AI-генератор дизайн-макетов по описанию требований.
🔤 Система визуализации BPMN-диаграмм.
MCP позволит использовать локальные модели, которые сделают решения более автономными и безопасными – их будет легче адаптировать под задачи соревнования.
Регистрация открыта до 13 апреля включительно: https://cnrlink.com/itonecupmldealer
31.03.202508:36
Для справки:
Неизвестный художник. Портрет камергера Императорского двора князя Ромуальда Константиновича Гедройца.
Один из "чемпионов" по количеству иностранных наград при дворе. Имел даже гавайский орден Калакауа I.
Неизвестный художник. Портрет камергера Императорского двора князя Ромуальда Константиновича Гедройца.
Один из "чемпионов" по количеству иностранных наград при дворе. Имел даже гавайский орден Калакауа I.
13.04.202513:31
Юмор в том же вижуал духе,что и https://t.me/denissexy/9929
Рубрика: улыбка в воскресенье.
Рубрика: улыбка в воскресенье.
03.04.202515:32
Ребятки пояснили, чего имели ввиду.
https://t.me/dealerAI/1177?comment=9402
А че, Дядя обещал, поговорил, и сделал апдейт.
https://t.me/dealerAI/1177?comment=9402
А че, Дядя обещал, поговорил, и сделал апдейт.
31.03.202520:37
Сама грозится новой мощной моделькой, да еще и открытые веса. Верим?
https://techcrunch.com/2025/03/31/openai-plans-to-release-a-new-open-language-model-in-the-coming-months/
https://techcrunch.com/2025/03/31/openai-plans-to-release-a-new-open-language-model-in-the-coming-months/
История изменений канала
Войдите, чтобы разблокировать больше функциональности.
