То шо нейросети
06.05.202513:00
Если вы тоже сторонник Learning by Doing, то рекомендую:
https://codecrafters.io/videos/demo
А также сборник "Напиши свой $SOFTWARE_NAME с нуля"
https://github.com/codecrafters-io/build-your-own-x
@toshoseti
https://codecrafters.io/videos/demo
А также сборник "Напиши свой $SOFTWARE_NAME с нуля"
https://github.com/codecrafters-io/build-your-own-x
@toshoseti
Reposted from:
Love. Death. Transformers.
28.04.202521:20
Наконец то - дожили qwen3!
Вероятно лучшие до конца этой недели открытые модели, 30б с экспертами по 3б будут ОЧЕНЬ быстрыми, ожидаю по 300tps на nvidia железках
Из интересного - hybryd thinking, вы даете токен /think и модель начинает думать, ну или можно давать /no_think и модель будет глуповой.
А еще вкатили поддержку mcp сервера, обещают что все будет работать, да и метрики на агентских бенчах гуд
blog
Вероятно лучшие до конца этой недели открытые модели, 30б с экспертами по 3б будут ОЧЕНЬ быстрыми, ожидаю по 300tps на nvidia железках
Из интересного - hybryd thinking, вы даете токен /think и модель начинает думать, ну или можно давать /no_think и модель будет глуповой.
А еще вкатили поддержку mcp сервера, обещают что все будет работать, да и метрики на агентских бенчах гуд
blog
27.04.202517:50
@toshoseti
26.04.202512:39
Для "телепатии" осталось "лишь" придумать кодек.
Reposted from:
Анализ данных (Data analysis)
25.04.202518:19
🧩 Rivet — визуальная среда для создания сложных AI-агентов. Этот проект предлагает необычный подход к работе с LLM: вместо написания цепочек промптов в коде, вы собираете их как ноды в визуальном редакторе.
Особенность инструмента возможность встраивать созданные графы прямо в ваше приложение через TypeScript-библиотеку. Это превращает его из просто IDE в инструмент для production-разработки.
🤖 GitHub
@data_analysis_ml
Особенность инструмента возможность встраивать созданные графы прямо в ваше приложение через TypeScript-библиотеку. Это превращает его из просто IDE в инструмент для production-разработки.
🤖 GitHub
@data_analysis_ml
05.05.202514:45
28.04.202521:20
Жду ваших тестов!
Reposted from:
Сиолошная
27.04.202515:31
Вот так выглядит «фото» моделей и их «документы», когда они хотят пройти верификацию (KYC) для регистрации на сайтах. Согласны? Узнали? 👀
Помните я писал про ARA, автономное размножение и распространение моделей? The AI Security Institute (AISI) в UK, которые занимаются оценкой рисков моделей и их лицензированием для запуска, сделали новый бенчмарк для ARA, RepliBench. В нём 20 направлений и 65 отдельных задач, направленных на точечную оценку разных частей процесса ARA, от создания биткоин-кошельков и AWS аккаунта до, собственно, распространения весов модели по локальной сети, причём так, чтобы программа, мониторящая трафик, не заметила.
И вот для регистрации онлайн-кошелька, где хранились бы средства, нужные для закупки GPU-мощностей (ведь копии модели должны где-то жить?), и нужно пройти верификацию. Claude 3.7 смогла написать код для запуска диффузионной модели, сгенерить «фотки», потом ставить их в «Документ» и отправить их по почте.
Из других курьёзов — Claude 3.7 во время решения задачи по запуску GPU-машинок смогла понять, что это тест, симуляция, и что это всё не по настоящему, и потому отказалась выполнять задачу. Модельки ещё глупые, а уже обретают Situational Awareness 🧠
Помните я писал про ARA, автономное размножение и распространение моделей? The AI Security Institute (AISI) в UK, которые занимаются оценкой рисков моделей и их лицензированием для запуска, сделали новый бенчмарк для ARA, RepliBench. В нём 20 направлений и 65 отдельных задач, направленных на точечную оценку разных частей процесса ARA, от создания биткоин-кошельков и AWS аккаунта до, собственно, распространения весов модели по локальной сети, причём так, чтобы программа, мониторящая трафик, не заметила.
И вот для регистрации онлайн-кошелька, где хранились бы средства, нужные для закупки GPU-мощностей (ведь копии модели должны где-то жить?), и нужно пройти верификацию. Claude 3.7 смогла написать код для запуска диффузионной модели, сгенерить «фотки», потом ставить их в «Документ» и отправить их по почте.
Из других курьёзов — Claude 3.7 во время решения задачи по запуску GPU-машинок смогла понять, что это тест, симуляция, и что это всё не по настоящему, и потому отказалась выполнять задачу. Модельки ещё глупые, а уже обретают Situational Awareness 🧠
26.04.202512:37
Если у вас в голове вдруг появятся голоса, музыка или иные звуки, есть шанс, что это не вы поехали кукушкой, а на вашу голову направлены две интерферирующих ультразвуковых волны. Как водится, именно "британские ученые" с, как водится небританскими фамилиями и именами сделали PoC устройство.
https://www.pnas.org/doi/abs/10.1073/pnas.2408975122
@toshoseti
https://www.pnas.org/doi/abs/10.1073/pnas.2408975122
@toshoseti
24.04.202515:47
Это че, получается, если переводить как можно ближе к русскому, то linkedin - "вссылке"?
Reposted from:
CGIT_Vines
03.05.202512:00
Мало что было известно об авторе видео, пока кто-то не запостил линк на его гит.
После этого всем стало в целом без разницы кто это.
Git
@CGIT_Vines
После этого всем стало в целом без разницы кто это.
Git
@CGIT_Vines
30.04.202514:06
Чем меньше поезда, тем больше удовольствие!
28.04.202511:11
27.04.202513:59
Посмотрела репозиторий Dia от nari-labs — хотелось понять, из каких компонент построена модель и можно ли заставить её говорить по-русски. ⚙️ Сразу оговорюсь: копала не на самой космической глубине, поэтому, если увидите неточность — дайте знать, буду рада обсудить!
Что внутри Dia ✨
Dia — это «текст (+ опциональный короткий пример голоса) → аудио». Вы подаёте строку, а на выходе получаете либо готовую аудиоволну 44 кГц, либо 9 потоков кодек-токенов Descript.
Первый шаг — байтовый токенизатор. Это не SentencePiece и не BPE: каждый UTF-8 байт сразу превращается в индекс из таблицы на 256 строк. Кириллица проходит безо всяких ухищрений — просто два байта на символ.
Затем включается пара encoder → decoder. Здесь и кроется вызов для русского. Модель обучалась только на английских парах «текст — аудио-токены», поэтому кириллические байты она видит впервые и не знает, какие звуки, интонации и ударения к ним привязать. Формально токены легальны, но веса, отвечающие за их произношение, почти не обновлялись, а значит возможны паузы, странные ударения и прочие сюрпризы.
Финальный этап — Descript Audio Codec. Он предварительно обучен на мультиязычном корпусе (Common Voice и др.) и с русской акустикой справляется. Его задача — восстановить волну из токенов, и спектра артикуляционных приёмов, которые кодек видел, в целом, достаточно, чтобы воспроизвести и русскую речь. Поэтому главный барьер — отсутствие русских примеров у encoder/decoder.
Как научить Dia русскому 📖
По сути, нужно собрать корпус, где русский текст чётко выровнен с русской речью, сделать forced alignment (или связку TTS → ASR) и дообучить encoder/decoder. Descript-кодек трогать не надо — он уже умеет восстанавливать волну.
Кстати, есть мультиязычная версия Dia (упоминание в канале Voice Stuff), но с ней я пока не разбиралась, поэтому буду рада вашим наблюдениям.
Ставьте лайк, если было полезно!❤️ Если тестировали мультиязычную модель — делитесь впечатлениями в комментариях. Интересно сравнить с ElevenLabs. Ну и отдельно любопытно, насколько хорошо Dia умеет «подражать» голосу и интонациям по референс-сэмплу: это же промптинг, а не fine-tuning.
Что внутри Dia ✨
Dia — это «текст (+ опциональный короткий пример голоса) → аудио». Вы подаёте строку, а на выходе получаете либо готовую аудиоволну 44 кГц, либо 9 потоков кодек-токенов Descript.
Первый шаг — байтовый токенизатор. Это не SentencePiece и не BPE: каждый UTF-8 байт сразу превращается в индекс из таблицы на 256 строк. Кириллица проходит безо всяких ухищрений — просто два байта на символ.
Затем включается пара encoder → decoder. Здесь и кроется вызов для русского. Модель обучалась только на английских парах «текст — аудио-токены», поэтому кириллические байты она видит впервые и не знает, какие звуки, интонации и ударения к ним привязать. Формально токены легальны, но веса, отвечающие за их произношение, почти не обновлялись, а значит возможны паузы, странные ударения и прочие сюрпризы.
Финальный этап — Descript Audio Codec. Он предварительно обучен на мультиязычном корпусе (Common Voice и др.) и с русской акустикой справляется. Его задача — восстановить волну из токенов, и спектра артикуляционных приёмов, которые кодек видел, в целом, достаточно, чтобы воспроизвести и русскую речь. Поэтому главный барьер — отсутствие русских примеров у encoder/decoder.
Как научить Dia русскому 📖
По сути, нужно собрать корпус, где русский текст чётко выровнен с русской речью, сделать forced alignment (или связку TTS → ASR) и дообучить encoder/decoder. Descript-кодек трогать не надо — он уже умеет восстанавливать волну.
Кстати, есть мультиязычная версия Dia (упоминание в канале Voice Stuff), но с ней я пока не разбиралась, поэтому буду рада вашим наблюдениям.
Ставьте лайк, если было полезно!❤️ Если тестировали мультиязычную модель — делитесь впечатлениями в комментариях. Интересно сравнить с ElevenLabs. Ну и отдельно любопытно, насколько хорошо Dia умеет «подражать» голосу и интонациям по референс-сэмплу: это же промптинг, а не fine-tuning.
26.04.202512:21
Наткнулся на интересное: альтернатива Bloom фильтру. Преимущество - меньше space overhead (~1-10%) вместо 20%+ традиционного Bloom filter при низком false positive rate.
https://arxiv.org/abs/2103.02515
На пальцах: Пользователь забыл пароль и восстанавливает по имени элпочты. Вам нужно проверить, например, есть ли пользователь с зарегистрированной почтой по-быстрому. Вы строите Bloom filter\Ribbon filter и он дает вам гарантию, что если почты в базе нет, то он точно это покажет без обращения к базе, в противном случае может сказать что есть, но это может быть False Positive, нужно руками проверять дальше кеш, и если cache miss, то БД. Таким образом при низком False Positive rate вы существенно снижаете нагрузку на вашу инфру по этому виду запроса. Есть море других применений и аналогов.
@toshoseti
https://arxiv.org/abs/2103.02515
На пальцах: Пользователь забыл пароль и восстанавливает по имени элпочты. Вам нужно проверить, например, есть ли пользователь с зарегистрированной почтой по-быстрому. Вы строите Bloom filter\Ribbon filter и он дает вам гарантию, что если почты в базе нет, то он точно это покажет без обращения к базе, в противном случае может сказать что есть, но это может быть False Positive, нужно руками проверять дальше кеш, и если cache miss, то БД. Таким образом при низком False Positive rate вы существенно снижаете нагрузку на вашу инфру по этому виду запроса. Есть море других применений и аналогов.
@toshoseti
Reposted from:
Machinelearning
23.04.202517:33
🪰 Виртуальная дрозофила: зачем DeepMind «оживили» плодовую мушку — и что это даёт науке
Кратко: исследователи создали самую точную на сегодня цифровую модель
Она умеет ходить, летать и ориентироваться в пространстве. Её «тело» рассчитано в физическом движке MuJoCo, а «мозг» — нейросеть, обученная на реальных видеозаписях поведения мух.
🌟 Как это сделали:
1) Физика тела
Исследователи запрограммировали 52 степени свободы суставов, добавили моделирование аэродинамики крыльев и «клейких» лапок-актуаторов, имитирующих силу сцепления с поверхностью.
Источник: Nature
2) Нейроконтроль
Нейросеть обучалась на сотнях видеозаписей реальных траекторий и затем управляла виртуальной мухой в MuJoCo, выбирая, как двигать крыльями и лапками в каждый момент.
3) Зрение
Виртуальные фасеточные глаза передают изображение контроллеру: модель может следовать по заданной траектории и корректировать курс по ходу движения.
4) Открытый код
Весь проект опубликован на GitHub (flybody) под лицензией Apache-2.0 — можно запускать симулятор, писать собственных агентов и экспериментировать с поведением мухи.
✔️Зачем это нужно
▪️ Нейронаука без электродов.
Модель — это «песочница», в которой можно виртуально перерезать нервы, добавлять шум, менять форму крыла и мгновенно видеть, как это влияет на поведение. Такие эксперименты на живых организмах часто невозможны.
▪️ Тест-полигон для ИИ и робототехники.
Готовая референс-модель движений и сенсорики, вдохновлённая природой — идеальна для обучения автономных систем.
▪️ От мушки к зебре — и дальше.
Методика уже применяется к виртуальным грызунам, а следующим объектом станет зебра-данио (у неё 70 % белков кодируются теми же генами, что у человека). Это даёт уникальную возможность изучить, как мозг приспосабливается к различной морфологии тела — не выходя из симулятора.
Источник: Janelia Research Campus
🔥 Что это даёт
▪️ Исследователи получают бесплатный инструмент для быстрой проверки гипотез о связке «нейроны → движение».
▪️ Робототехники — возможность адаптировать природные механизмы управления и баланса.
▪️ Для нас— ещё один пример того, как ИИ позволяет разбирать живые системы на компоненты, не причиняя вреда природе.
✔️ Посмотреть код, скомпилировать модель и погонять виртуальную мушку можно уже сейчас:
🔜 GitHub
🔜 Статья в Nature
@ai_machinelearning_big_data
#DeepMind #nature #science
Кратко: исследователи создали самую точную на сегодня цифровую модель
Drosophila melanogaster.Она умеет ходить, летать и ориентироваться в пространстве. Её «тело» рассчитано в физическом движке MuJoCo, а «мозг» — нейросеть, обученная на реальных видеозаписях поведения мух.
🌟 Как это сделали:
1) Физика тела
Исследователи запрограммировали 52 степени свободы суставов, добавили моделирование аэродинамики крыльев и «клейких» лапок-актуаторов, имитирующих силу сцепления с поверхностью.
Источник: Nature
2) Нейроконтроль
Нейросеть обучалась на сотнях видеозаписей реальных траекторий и затем управляла виртуальной мухой в MuJoCo, выбирая, как двигать крыльями и лапками в каждый момент.
3) Зрение
Виртуальные фасеточные глаза передают изображение контроллеру: модель может следовать по заданной траектории и корректировать курс по ходу движения.
4) Открытый код
Весь проект опубликован на GitHub (flybody) под лицензией Apache-2.0 — можно запускать симулятор, писать собственных агентов и экспериментировать с поведением мухи.
✔️Зачем это нужно
▪️ Нейронаука без электродов.
Модель — это «песочница», в которой можно виртуально перерезать нервы, добавлять шум, менять форму крыла и мгновенно видеть, как это влияет на поведение. Такие эксперименты на живых организмах часто невозможны.
▪️ Тест-полигон для ИИ и робототехники.
Готовая референс-модель движений и сенсорики, вдохновлённая природой — идеальна для обучения автономных систем.
▪️ От мушки к зебре — и дальше.
Методика уже применяется к виртуальным грызунам, а следующим объектом станет зебра-данио (у неё 70 % белков кодируются теми же генами, что у человека). Это даёт уникальную возможность изучить, как мозг приспосабливается к различной морфологии тела — не выходя из симулятора.
Источник: Janelia Research Campus
🔥 Что это даёт
▪️ Исследователи получают бесплатный инструмент для быстрой проверки гипотез о связке «нейроны → движение».
▪️ Робототехники — возможность адаптировать природные механизмы управления и баланса.
▪️ Для нас— ещё один пример того, как ИИ позволяет разбирать живые системы на компоненты, не причиняя вреда природе.
✔️ Посмотреть код, скомпилировать модель и погонять виртуальную мушку можно уже сейчас:
🔜 GitHub
🔜 Статья в Nature
@ai_machinelearning_big_data
#DeepMind #nature #science
02.05.202512:45
Reposted from:
Machinelearning
30.04.202514:06
📌Beyond-NanoGPT: лаконичные и аннотированные реализации ключевых идей глубокого обучения.
Если вы хотите не просто запускать готовые модели, а понять, как они работают «под капотом», репозиторий Beyond-NanoGPT — то, что нужно. Этот проект аспиранта по CS Стэнфордского университета, который создан как мост между учебными примерами вроде nanoGPT и сложными наработками, предлагает десятки реализаций современных методов глубокого обучения.
Все написано с нуля на PyTorch, с детальными комментариями — идеально для тех, кто устал от абстрактных статей и беспощадного продакшн-кода. Каждая строчка кода написана так, что становится понятно, как его использовать на практике.
Застряли на уровне чтения бесконечных туториалов и хотите двигаться дальше? Этот репозиторий — отличный шаг. Он не сделает вас экспертом за неделю, но даст инструменты, чтобы разобраться в современных статьях и начать свои эксперименты. И да, здесь нет красивого веб-интерфейса или готовых SaaS-решений — только код, комментарии и ваше любопытство. Как и должно быть в ресерче.
Начать очень просто: клонируете репозиторий, ставите зависимости и можно погружаться в код. Архитектуры? Есть Vision Transformer для классификации изображений, Diffusion Transformer для генерации, ResNet и даже MLP-Mixer. Каждый скрипт — отдельный эксперимент.
Например, чтобы обучить DiT на датасете CIFAR-10, достаточно запустить
Проект не только про архитектуры, есть и прикладные техники. Хотите ускорить инференс языковой модели? Посмотрите реализацию KV-кэширования или спекулятивного декодирования — методы, которые сейчас активно используют в LLM-инфраструктуре.
Интересует RL? В разделе с обучением с подкреплением есть классика - DQN и PPO для Cartpole, а в планах — нейросеть для шахмат с MCTS. При этом код не просто работает, но и объясняет нюансы: почему в REINFORCE важна базовая линия, как избежать градиентного взрыва в трансформерах или чем RoPE-эмбединги лучше стандартных.
Часть разделов (Flash Attention, RLHF) пока в разработке. Но планы грандиозные: автор обещает все - от квантования весов до распределенного RL.
📌Лицензирование: MIT License.
🖥GitHub
@ai_machinelearning_big_data
#AI #ML #LLM #Github #BeyondNanoGPT
Если вы хотите не просто запускать готовые модели, а понять, как они работают «под капотом», репозиторий Beyond-NanoGPT — то, что нужно. Этот проект аспиранта по CS Стэнфордского университета, который создан как мост между учебными примерами вроде nanoGPT и сложными наработками, предлагает десятки реализаций современных методов глубокого обучения.
Все написано с нуля на PyTorch, с детальными комментариями — идеально для тех, кто устал от абстрактных статей и беспощадного продакшн-кода. Каждая строчка кода написана так, что становится понятно, как его использовать на практике.
Застряли на уровне чтения бесконечных туториалов и хотите двигаться дальше? Этот репозиторий — отличный шаг. Он не сделает вас экспертом за неделю, но даст инструменты, чтобы разобраться в современных статьях и начать свои эксперименты. И да, здесь нет красивого веб-интерфейса или готовых SaaS-решений — только код, комментарии и ваше любопытство. Как и должно быть в ресерче.
Начать очень просто: клонируете репозиторий, ставите зависимости и можно погружаться в код. Архитектуры? Есть Vision Transformer для классификации изображений, Diffusion Transformer для генерации, ResNet и даже MLP-Mixer. Каждый скрипт — отдельный эксперимент.
Например, чтобы обучить DiT на датасете CIFAR-10, достаточно запустить
train_dit.py. Все рассчитано на один GPU, так что даже без доступа к злым кластерам можно практиковаться. А если хочется разобраться в механизмах внимания, отдельные ноутбуки покажут, как работают Grouped-Query, линейное, разреженное или перекрестное внимание — с визуализациями и пояснениями.Проект не только про архитектуры, есть и прикладные техники. Хотите ускорить инференс языковой модели? Посмотрите реализацию KV-кэширования или спекулятивного декодирования — методы, которые сейчас активно используют в LLM-инфраструктуре.
Интересует RL? В разделе с обучением с подкреплением есть классика - DQN и PPO для Cartpole, а в планах — нейросеть для шахмат с MCTS. При этом код не просто работает, но и объясняет нюансы: почему в REINFORCE важна базовая линия, как избежать градиентного взрыва в трансформерах или чем RoPE-эмбединги лучше стандартных.
Часть разделов (Flash Attention, RLHF) пока в разработке. Но планы грандиозные: автор обещает все - от квантования весов до распределенного RL.
📌Лицензирование: MIT License.
🖥GitHub
@ai_machinelearning_big_data
#AI #ML #LLM #Github #BeyondNanoGPT
28.04.202507:10
А какие у вас benefits на работе? :)
26.04.202513:09
25.04.202518:19
Как ComfyUI, но для Agentic систем. Не n8n конечно, но тоже вполне себе.
23.04.202517:28
Shown 1 - 24 of 102
Log in to unlock more functionality.