Machinelearning
Погружаемся в машинное обучение и Data Science
Показываем как запускать любые LLm на пальцах.
По всем вопросам - @haarrp
@itchannels_telegram -🔥best channels
Реестр РКН: clck.ru/3Fmqri
Показываем как запускать любые LLm на пальцах.
По всем вопросам - @haarrp
@itchannels_telegram -🔥best channels
Реестр РКН: clck.ru/3Fmqri
关联群组
Машинное обучение
2.4K
记录
19.04.202523:59
155.6K订阅者05.02.202517:49
500引用指数08.04.202510:06
15.3K每帖平均覆盖率11.04.202517:35
14K广告帖子的平均覆盖率11.03.202509:24
5.80%ER06.02.202520:45
11.23%ERR
04.04.202520:38
📹 Топ-15 технических YouTube-каналов для изучения ИИ с нуля:
1) Andrej Karpathy — сочетание общего и технического контента, плейлист "Zero to Hero" обязателен к просмотру
2) Uproger — доступные уроки по программированию и ИИ, идеально для начинающих и тех, кто хочет углубить свои знания.
3) Umar Jamil — технический блог, где автор реализует методы ML и LLM с нуля
4) Simon Oz — технические видео по низкоуровневому машинному обучению
5) Tunadorable — отличные обзоры научных статей, реализация
6) GPU Mode — технические интервью и разборы всего, что связано с GPU
7) AI Jason — эксперименты с ИИ, дизайн ПО и новые модели, с понятным и полным разбором.
8) Ferdinand Mom — всё о распределённом обучении и выводах
9) Welch Labs — уникальный глубокий взгляд на комплексность алгоритмов машинного обучения.
10) Artem Kirsanov — нейронаука и машинное обучение с необычного авторского взгляда + отличная визуализация контента.
11) David Ondrej — новые модели, создание приложений с ИИ, практично для разработчиков https://t.co/BEOr0MgHag @DavidOndrej1
12) 3Blue1Brown
Потрясающие визуализации, которые делают абстрактные математические концепции понятными и интуитивными.
13) Lex Fridman
Глубокие беседы с лидерами индустрии ИИ, позволяющие получить широкий взгляд на современные тенденции.
14) Machine Learning Street Talk
Технические погружения и обсуждения с ведущими исследователями в области ИИ и машинного обучения.
Ссылка:
15) StatQuest with Joshua Starmer PhD
Доступные и понятные объяснения основ машинного обучения и статистики для начинающих.
Этот список для технической аудитории. Очень сложно выбрать всего 15 каналов, ведь есть множество других, создающих отличный контент.
Если знаете ещё каналы, дайте пишите в комментариях!
@vistehno
1) Andrej Karpathy — сочетание общего и технического контента, плейлист "Zero to Hero" обязателен к просмотру
2) Uproger — доступные уроки по программированию и ИИ, идеально для начинающих и тех, кто хочет углубить свои знания.
3) Umar Jamil — технический блог, где автор реализует методы ML и LLM с нуля
4) Simon Oz — технические видео по низкоуровневому машинному обучению
5) Tunadorable — отличные обзоры научных статей, реализация
6) GPU Mode — технические интервью и разборы всего, что связано с GPU
7) AI Jason — эксперименты с ИИ, дизайн ПО и новые модели, с понятным и полным разбором.
8) Ferdinand Mom — всё о распределённом обучении и выводах
9) Welch Labs — уникальный глубокий взгляд на комплексность алгоритмов машинного обучения.
10) Artem Kirsanov — нейронаука и машинное обучение с необычного авторского взгляда + отличная визуализация контента.
11) David Ondrej — новые модели, создание приложений с ИИ, практично для разработчиков https://t.co/BEOr0MgHag @DavidOndrej1
12) 3Blue1Brown
Потрясающие визуализации, которые делают абстрактные математические концепции понятными и интуитивными.
13) Lex Fridman
Глубокие беседы с лидерами индустрии ИИ, позволяющие получить широкий взгляд на современные тенденции.
14) Machine Learning Street Talk
Технические погружения и обсуждения с ведущими исследователями в области ИИ и машинного обучения.
Ссылка:
15) StatQuest with Joshua Starmer PhD
Доступные и понятные объяснения основ машинного обучения и статистики для начинающих.
Этот список для технической аудитории. Очень сложно выбрать всего 15 каналов, ведь есть множество других, создающих отличный контент.
Если знаете ещё каналы, дайте пишите в комментариях!
@vistehno
+2
18.04.202516:40
🔥 Kaggle и Google выпустили мини-курс генеративному ИИ!
С 31 марта по 4 апреля 2025 года на Kaggle прошел ряд интенсивов по генеративному ИИ, теперь все материалы с доступны для самостоятельного обучения.
✔️ Что внутри:
🟡День 1: Основы генеративного ИИ и инженерия промптов
Изучите эволюцию больших языковых моделей (LLM), от трансформеров до методов ускорения инференса.
Описание техник создания эффективных промптов для взаимодействия с ИИ.
🟡День 2: Интеграция с API и практическое применение
Вы научитесь использовать API LLM, для создания интерактивных приложений.
Реализуйте проекты с использованием Retrieval-Augmented Generation (RAG) и семантического поиска.
🟡День 3: Работа с векторными базами данных
Настройте векторные базы данных для эффективного хранения и поиска информации.
Примените эмбеддинги для улучшения качества генерации текста.
🟡День 4: Создание персонализированных ИИ-ассистентов
Разработайте персонализированных ИИ-ассистентов, способных отвечать на сложные запросы.
Используйте передовые методы генерации для создания реалистичных диалогов.
🟡День 5: Проект
Примените полученные знания в финальном проекте, продемонстрировав свои навыки в области генеративного ИИ.
🧠 Примеры проектов:
- AI Health Assistant: - Персонализированный медицинский помощник, использующий RAG и семантический поиск для предоставления точной информации.
Kaggle
- NewsGenius AI: Интеллектуальный агрегатор новостей, анализирующий и обобщающий актуальные события.
🔗 Курс
С 31 марта по 4 апреля 2025 года на Kaggle прошел ряд интенсивов по генеративному ИИ, теперь все материалы с доступны для самостоятельного обучения.
✔️ Что внутри:
🟡День 1: Основы генеративного ИИ и инженерия промптов
Изучите эволюцию больших языковых моделей (LLM), от трансформеров до методов ускорения инференса.
Описание техник создания эффективных промптов для взаимодействия с ИИ.
🟡День 2: Интеграция с API и практическое применение
Вы научитесь использовать API LLM, для создания интерактивных приложений.
Реализуйте проекты с использованием Retrieval-Augmented Generation (RAG) и семантического поиска.
🟡День 3: Работа с векторными базами данных
Настройте векторные базы данных для эффективного хранения и поиска информации.
Примените эмбеддинги для улучшения качества генерации текста.
🟡День 4: Создание персонализированных ИИ-ассистентов
Разработайте персонализированных ИИ-ассистентов, способных отвечать на сложные запросы.
Используйте передовые методы генерации для создания реалистичных диалогов.
🟡День 5: Проект
Примените полученные знания в финальном проекте, продемонстрировав свои навыки в области генеративного ИИ.
🧠 Примеры проектов:
- AI Health Assistant: - Персонализированный медицинский помощник, использующий RAG и семантический поиск для предоставления точной информации.
Kaggle
- NewsGenius AI: Интеллектуальный агрегатор новостей, анализирующий и обобщающий актуальные события.
🔗 Курс
09.04.202518:40
🖥 Google не на шутку разошлись сегодня!
Они выкатили Firebase Studio - новую облачную агенсткую среду разработки, в которой есть весь инструментарий для быстрого создания полнофункциональных приложений с искусственным интеллектом, и все это в одном месте.
Вы можете создавать приложения на естественном языке, тестить их и развертывать в одном месте 🔥
По сути, это бесплатная альтернатива
https://goo.gle/4cvcUzY
Апдейт: Еще Google дропнули Agent Development Kit (ADK) — новую среду с открытым исходным кодом работы с мульит-агентами!
- открыли доступ к Veo 2 через Gemini API!
- и запускать свой новый MCP протокол Agent2Agent Protocol
@ai_machinelearning_big_data
#GoogleCloudNext #FirebaseStudio
Они выкатили Firebase Studio - новую облачную агенсткую среду разработки, в которой есть весь инструментарий для быстрого создания полнофункциональных приложений с искусственным интеллектом, и все это в одном месте.
Вы можете создавать приложения на естественном языке, тестить их и развертывать в одном месте 🔥
По сути, это бесплатная альтернатива
Cursor, Bolt или v0, прямо в браузере.https://goo.gle/4cvcUzY
Апдейт: Еще Google дропнули Agent Development Kit (ADK) — новую среду с открытым исходным кодом работы с мульит-агентами!
- открыли доступ к Veo 2 через Gemini API!
- и запускать свой новый MCP протокол Agent2Agent Protocol
@ai_machinelearning_big_data
#GoogleCloudNext #FirebaseStudio
08.04.202506:13
🔥 Microsoft запускает бесплатные курсы по ИИ для всех.
Microsoft представила масштабную образовательную инициативу — AI Skills Fest, где каждый может бесплатно освоить навыки работы с ИИ. Программа подходит как новичкам, так и опытным специалистам — от основ ML до работы с Azure и Copilot.
Обучение доступно на 40+ языках, включая русский, а материалы разбиты на модули: введение в ИИ, CV, NLP и создание приложений. Участники, прошедшие курс, получат бейдж для LinkedIn и шанс выиграть один из 50 тысяч сертификационных ваучеров. GitHub также предлагает скидку 50% на экзамен по Copilot для тех, кто завершит их модуль.
Чтобы присоединиться, достаточно зарегистрироваться на сайте Microsoft и выбрать подходящий уровень сложности. Помимо основного блока, доступны хакатоны, форумы и самообучение в удобном темпе.
🟡 microsoft.com
@ai_machinelearning_big_data
#course #ai #ml #freeeducation
Microsoft представила масштабную образовательную инициативу — AI Skills Fest, где каждый может бесплатно освоить навыки работы с ИИ. Программа подходит как новичкам, так и опытным специалистам — от основ ML до работы с Azure и Copilot.
Обучение доступно на 40+ языках, включая русский, а материалы разбиты на модули: введение в ИИ, CV, NLP и создание приложений. Участники, прошедшие курс, получат бейдж для LinkedIn и шанс выиграть один из 50 тысяч сертификационных ваучеров. GitHub также предлагает скидку 50% на экзамен по Copilot для тех, кто завершит их модуль.
Чтобы присоединиться, достаточно зарегистрироваться на сайте Microsoft и выбрать подходящий уровень сложности. Помимо основного блока, доступны хакатоны, форумы и самообучение в удобном темпе.
🟡 microsoft.com
@ai_machinelearning_big_data
#course #ai #ml #freeeducation
18.04.202508:37
15 бесплатных книг по Data Science (часть 1)*
1. *Veridical Data Science*
👩🔬 Авторы: Bin Yu & Rebecca L. Barter
Описание: Введение в науку о данных (data science): как область возникла, как она развивается и какую роль играет в современном мире.
🔗 https://vdsbook.com/
2. *Data Science: Theories, Models, Algorithms, and Analytics*
📘 Автор: Sanjiv Ranjan Das
Описание: Учебник по DS с упором на алгоритмы и аналитику.
🔗 https://srdas.github.io/Papers/DSA_Book.pdf
3. *Think Python 3E*
🐍 Автор: Allen B. Downey
Описание: Современное введение в Python с нуля.
🔗 https://greenteapress.com/wp/think-python-3rd-edition/
4. *Python Data Science Handbook*
📊 Автор: Jake VanderPlas
Описание: Практика работы с NumPy, pandas, sklearn и визуализациями.
🔗 https://jakevdp.github.io/PythonDataScienceHandbook/
5. *R for Data Science*
📈 Авторы: Hadley Wickham и др.
Описание: Современный подход к анализу данных в R.
🔗 https://r4ds.hadley.nz/
6. *Think Stats 3E*
📐 Автор: Allen B. Downey
Описание: Статистика через Python и практику.
🔗 https://allendowney.github.io/ThinkStats/
7. *Statistics and Prediction Algorithms Through Case Studies*
📙 Автор: Rafael A. Irizarry
Описание: Кейсы по статистике и прогнозированию с кодом на R.
🔗 https://rafalab.github.io/dsbook/
8. *Bayesian Methods for Hackers*
🧠 Автор: Cameron Davidson-Pilon
Описание: Визуальное введение в байесовский анализ с PyMC.
🔗 https://github.com/CamDavidsonPilon/Probabilistic-Programming-and-Bayesian-Methods-for-Hackers
9. *Think Bayes 2E*
🔢 Автор: Allen B. Downey
Описание: Пошаговый байесовский подход на Python.
🔗 https://allendowney.github.io/ThinkBayes2/
10. *Data Science at the Command Line*
💻 Автор: Jeroen Janssens
Описание: Unix-инструменты как основа для анализа данных.
🔗 https://datascienceatthecommandline.com/
🔜 Математика для Data Scientist
11. Теория вероятностей
👩🔬 Автор: Чернова Н. И.
Описание: Понятное введение в теорию вероятностей, основа для изучения математической статистики.
🔗 http://www.nsu.ru/mmf/tvims/chernova/tv/tv_nsu07.pdf
12. * Математическая статистика*
👩🔬 Автор: Чернова Н. И.
Описание: Продолжение курса по теории вероятностей (НГУ), покрывающее основы математической статистики: оценки параметров, проверка гипотез, регрессионный анализ.
🔗 http://www.nsu.ru/mmf/tvims/chernova/ms/ms_nsu07.pdf
13. * Курс дифференциального и интегрального исчисления (Том 1)*
👩🔬 Автор: Фихтенгольц Г. М.
Описание: Фундаментальный и классический учебник по основам математического анализа.
🔗 http://math.ru/lib/book/djvu/fichtengolz/f_1.djvu
14.*Векторные исчисления для инженеров*
👩🔬 Автор:Jeffrey R. Chasnov
🔗 http://math.ru/lib/book/djvu/fichtengolz/f_1.djvu
15 .*Theory—Theoretical & Mathematical Foundations ;
👩🔬Daniel A. Roberts, Sho Yaida, Boris Hanin
Описание: Эта книга предлагает теоретический подход к анализу глубинных нейросетей с практической значимостью
🔗https://arxiv.org/abs/2106.10165
📘 Еще больше книг здесь
Сохраняйте себе, чтобы не потерять
@ai_machinelearning_big_data
#books #opensource #freebooks
1. *Veridical Data Science*
👩🔬 Авторы: Bin Yu & Rebecca L. Barter
Описание: Введение в науку о данных (data science): как область возникла, как она развивается и какую роль играет в современном мире.
🔗 https://vdsbook.com/
2. *Data Science: Theories, Models, Algorithms, and Analytics*
📘 Автор: Sanjiv Ranjan Das
Описание: Учебник по DS с упором на алгоритмы и аналитику.
🔗 https://srdas.github.io/Papers/DSA_Book.pdf
3. *Think Python 3E*
🐍 Автор: Allen B. Downey
Описание: Современное введение в Python с нуля.
🔗 https://greenteapress.com/wp/think-python-3rd-edition/
4. *Python Data Science Handbook*
📊 Автор: Jake VanderPlas
Описание: Практика работы с NumPy, pandas, sklearn и визуализациями.
🔗 https://jakevdp.github.io/PythonDataScienceHandbook/
5. *R for Data Science*
📈 Авторы: Hadley Wickham и др.
Описание: Современный подход к анализу данных в R.
🔗 https://r4ds.hadley.nz/
6. *Think Stats 3E*
📐 Автор: Allen B. Downey
Описание: Статистика через Python и практику.
🔗 https://allendowney.github.io/ThinkStats/
7. *Statistics and Prediction Algorithms Through Case Studies*
📙 Автор: Rafael A. Irizarry
Описание: Кейсы по статистике и прогнозированию с кодом на R.
🔗 https://rafalab.github.io/dsbook/
8. *Bayesian Methods for Hackers*
🧠 Автор: Cameron Davidson-Pilon
Описание: Визуальное введение в байесовский анализ с PyMC.
🔗 https://github.com/CamDavidsonPilon/Probabilistic-Programming-and-Bayesian-Methods-for-Hackers
9. *Think Bayes 2E*
🔢 Автор: Allen B. Downey
Описание: Пошаговый байесовский подход на Python.
🔗 https://allendowney.github.io/ThinkBayes2/
10. *Data Science at the Command Line*
💻 Автор: Jeroen Janssens
Описание: Unix-инструменты как основа для анализа данных.
🔗 https://datascienceatthecommandline.com/
🔜 Математика для Data Scientist
11. Теория вероятностей
👩🔬 Автор: Чернова Н. И.
Описание: Понятное введение в теорию вероятностей, основа для изучения математической статистики.
🔗 http://www.nsu.ru/mmf/tvims/chernova/tv/tv_nsu07.pdf
12. * Математическая статистика*
👩🔬 Автор: Чернова Н. И.
Описание: Продолжение курса по теории вероятностей (НГУ), покрывающее основы математической статистики: оценки параметров, проверка гипотез, регрессионный анализ.
🔗 http://www.nsu.ru/mmf/tvims/chernova/ms/ms_nsu07.pdf
13. * Курс дифференциального и интегрального исчисления (Том 1)*
👩🔬 Автор: Фихтенгольц Г. М.
Описание: Фундаментальный и классический учебник по основам математического анализа.
🔗 http://math.ru/lib/book/djvu/fichtengolz/f_1.djvu
14.*Векторные исчисления для инженеров*
👩🔬 Автор:Jeffrey R. Chasnov
🔗 http://math.ru/lib/book/djvu/fichtengolz/f_1.djvu
15 .*Theory—Theoretical & Mathematical Foundations ;
👩🔬Daniel A. Roberts, Sho Yaida, Boris Hanin
Описание: Эта книга предлагает теоретический подход к анализу глубинных нейросетей с практической значимостью
🔗https://arxiv.org/abs/2106.10165
📘 Еще больше книг здесь
Сохраняйте себе, чтобы не потерять
@ai_machinelearning_big_data
#books #opensource #freebooks
+8
22.03.202510:39
🤖 Modern Robotics Course: Открытый курс по современной робототехнике.
Курс содержит лекции, учебные заметки, алгоритмы и практические задания, что позволяет последовательно изучать тему – от основ кинематики до сложных вопросов управления и планирования роботов.
🌟 Что внутри?
▪ Лекции: От основ робототехники, математики и физики до пространственных преобразований, обратной кинематике и более продвинутым концепциям .
▪ Практика: Примеры кода на Python и C++ для управления роботами.
▪Симуляторы: Интеграция с стимуляторами Gazebo и ROS ( операционная система для робото) для тестирования алгоритмов.
▪Задания: Реальные практические задачи (например, управление манипулятором робота).
🌟 Для кого?
▪ Начинающие робототехники: Освоить кинематику, динамику, управление.
▪ Программисты: Интегрировать алгоритмы в ROS, Gazebo, Python/C++.
▪ Инженеры: Возможность Научиться разрабатывать автономные системы и манипуляторы.
▪Технологические энтузиасты
С курсом у вас будет возможность проектировать роботов, не имея железа под рукой (через симуляторы).
✔️ Готовые решения: Внутри вы найдете библиотеки для работы с преобразованиями, датчиками, движением.
✔️Карьера в робототехнике: Курс даст возможность получить базовые навыки, востребованные в Bosch, Boston Dynamics, Tesla.
⭐️ Преимущества перед другими открытыми курсами
🟠 Акцент на практике: Минимум абстракций — максимум кода.
🟠Совместимость с ROS: Стандарт для промышленной робототехники.
🟠 Современные алгоритмы: Не только классика, но и нейросетевые подходы.
➡️ Cовет: Для погружения в курс, вам поможет книга Robotics, Vision and Control: Fundamental Algorithms in Python, Peter Corke, вот ее репозиторий с примерами кода.
P.S. А для тех, кто любит формат «сделай сам»: Курс научит вас собирать робота виртуально, а потом переносить решения на реальные устройства. 🤖💡
✔️ Github
✔️ Введение в курс
✔️Видео лекции
#course #ai #ml #robots #education #курс #робототехника
Курс содержит лекции, учебные заметки, алгоритмы и практические задания, что позволяет последовательно изучать тему – от основ кинематики до сложных вопросов управления и планирования роботов.
🌟 Что внутри?
▪ Лекции: От основ робототехники, математики и физики до пространственных преобразований, обратной кинематике и более продвинутым концепциям .
▪ Практика: Примеры кода на Python и C++ для управления роботами.
▪Симуляторы: Интеграция с стимуляторами Gazebo и ROS ( операционная система для робото) для тестирования алгоритмов.
▪Задания: Реальные практические задачи (например, управление манипулятором робота).
🌟 Для кого?
▪ Начинающие робототехники: Освоить кинематику, динамику, управление.
▪ Программисты: Интегрировать алгоритмы в ROS, Gazebo, Python/C++.
▪ Инженеры: Возможность Научиться разрабатывать автономные системы и манипуляторы.
▪Технологические энтузиасты
С курсом у вас будет возможность проектировать роботов, не имея железа под рукой (через симуляторы).
✔️ Готовые решения: Внутри вы найдете библиотеки для работы с преобразованиями, датчиками, движением.
✔️Карьера в робототехнике: Курс даст возможность получить базовые навыки, востребованные в Bosch, Boston Dynamics, Tesla.
⭐️ Преимущества перед другими открытыми курсами
🟠 Акцент на практике: Минимум абстракций — максимум кода.
🟠Совместимость с ROS: Стандарт для промышленной робототехники.
🟠 Современные алгоритмы: Не только классика, но и нейросетевые подходы.
➡️ Cовет: Для погружения в курс, вам поможет книга Robotics, Vision and Control: Fundamental Algorithms in Python, Peter Corke, вот ее репозиторий с примерами кода.
P.S. А для тех, кто любит формат «сделай сам»: Курс научит вас собирать робота виртуально, а потом переносить решения на реальные устройства. 🤖💡
✔️ Github
✔️ Введение в курс
✔️Видео лекции
#course #ai #ml #robots #education #курс #робототехника
26.03.202508:40
✔️ СuML от NVIDIA: Scikit-learn на скорости GPU – без единой строчки нового кода!
Все мы любим scikit-learn за его простоту и мощь. Но что если ваши модели обучаются слишком долго на больших данных? 🤔 NVIDIA предлагает решение!
Вы берете свой обычный скрипт cо scikit-learn, добавляете всего две строки в начало, и он начинает работать в 10, 50, а то и 100+ раз быстрее на NVIDIA GPU! 🔥
✨ Как это работает?
Библиотека cuml от NVIDIA содержит супероптимизированные для GPU версии многих алгоритмов машинного обучения. С помощью простого вызова
Теперь, когда вы вызываете, например,
▶️Патч проверяет, есть ли у вас GPU NVIDIA.
▶️Проверяет, есть ли в cuml быстрая GPU-версия этого алгоритма.
▶️Если да – запускает ускоренную версию на GPU! 🏎️
▶️Если нет (нет GPU или алгоритм не поддерживается) – спокойно запускает обычную CPU-версию scikit-learn.
Ключевые преимущества:
✔️ Нулевые изменения кода: Ваш scikit-learn код остается прежним. Добавляете только
✔️ Колоссальное ускорение: Получите прирост производительности на порядки для поддерживаемых алгоритмов (KNN, PCA, линейные модели, Random Forest (инференс), UMAP, DBSCAN, KMeans и др.) за счет мощи GPU.
✔️Автоматическое переключение между GPU и CPU. Ваш скрипт будет работать в любом случае.
Топ инструмент для всех, кто работает с scikit-learn на задачах, требующих значительных вычислений, и у кого есть GPU от NVIDIA.
👇 Как использовать:
Установите RAPIDS cuml (лучше через conda, см. сайт RAPIDS):
Добавьте в начало скрипта:
Используйте scikit-learn как обычно!
Попробуйте и почувствуйте разницу! 😉
▪Блог-пост
▪Colab
▪Github
▪Ускоряем Pandas
@ai_machinelearning_big_data
#python #datascience #machinelearning #scikitlearn #rapids #cuml #gpu #nvidia #ускорение #машинноеобучение #анализданных
Все мы любим scikit-learn за его простоту и мощь. Но что если ваши модели обучаются слишком долго на больших данных? 🤔 NVIDIA предлагает решение!
Вы берете свой обычный скрипт cо scikit-learn, добавляете всего две строки в начало, и он начинает работать в 10, 50, а то и 100+ раз быстрее на NVIDIA GPU! 🔥
✨ Как это работает?
Библиотека cuml от NVIDIA содержит супероптимизированные для GPU версии многих алгоритмов машинного обучения. С помощью простого вызова
cuml.patch.apply() вы "патчите" установленный у вас scikit-learn прямо в памяти.Теперь, когда вы вызываете, например,
KNeighborsClassifier или PCA из sklearn:▶️Патч проверяет, есть ли у вас GPU NVIDIA.
▶️Проверяет, есть ли в cuml быстрая GPU-версия этого алгоритма.
▶️Если да – запускает ускоренную версию на GPU! 🏎️
▶️Если нет (нет GPU или алгоритм не поддерживается) – спокойно запускает обычную CPU-версию scikit-learn.
Ключевые преимущества:
✔️ Нулевые изменения кода: Ваш scikit-learn код остается прежним. Добавляете только
2 строчки:import cuml.patch и cuml.patch.apply().✔️ Колоссальное ускорение: Получите прирост производительности на порядки для поддерживаемых алгоритмов (KNN, PCA, линейные модели, Random Forest (инференс), UMAP, DBSCAN, KMeans и др.) за счет мощи GPU.
✔️Автоматическое переключение между GPU и CPU. Ваш скрипт будет работать в любом случае.
Топ инструмент для всех, кто работает с scikit-learn на задачах, требующих значительных вычислений, и у кого есть GPU от NVIDIA.
👇 Как использовать:
Установите RAPIDS cuml (лучше через conda, см. сайт RAPIDS):
Добавьте в начало скрипта:
Используйте scikit-learn как обычно!
Попробуйте и почувствуйте разницу! 😉
▪Блог-пост
▪Colab
▪Github
▪Ускоряем Pandas
@ai_machinelearning_big_data
#python #datascience #machinelearning #scikitlearn #rapids #cuml #gpu #nvidia #ускорение #машинноеобучение #анализданных
28.03.202518:39
✔️ DeepSite на базе DeepSeek-V3-0324, позволяет генерировать, код, приложения или игры прямо в браузере и хостить их.
Сгенерировал парочку простеньких HTML-игр с интерфейсом, работает годно.
😶 По сути это Сursor в браузере.
🟡Попробовать: https://huggingface.co/spaces/enzostvs/deepsite
@ai_machinelearning_big_data
#deepseek #vibecoding #app
Сгенерировал парочку простеньких HTML-игр с интерфейсом, работает годно.
😶 По сути это Сursor в браузере.
🟡Попробовать: https://huggingface.co/spaces/enzostvs/deepsite
@ai_machinelearning_big_data
#deepseek #vibecoding #app
26.03.202511:01
🖥 OpenAI открывает бесплатное обучение по работе с нейросетями
OpenAI запустила "Академию OpenAI", которая претендует на роль главного учебника по работе с ИИ.
Платформа поможет освоить нейросети на практике, понять их возможности и научиться эффективно использовать ChatGPT и Sora в повседневной жизни и работе.
▪ Обширная база обучающих материалов доступна на отдельном сайте.
▪Live-трансляции и офлайн-мероприятия помогут глубже разобраться в технологиях.
▪ Бесплатный доступ — OpenAI стремится расширить аудиторию, а не ограничивать её ценником.
Программа рассчитана на широкий круг слушателей — от технических специалистов до политиков, представителей бизнеса и академического сообщества.
@ai_machinelearning_big_data
📌Начать обучение
📌 Блог
#ai #freecourses #openai #ml
OpenAI запустила "Академию OpenAI", которая претендует на роль главного учебника по работе с ИИ.
Платформа поможет освоить нейросети на практике, понять их возможности и научиться эффективно использовать ChatGPT и Sora в повседневной жизни и работе.
▪ Обширная база обучающих материалов доступна на отдельном сайте.
▪Live-трансляции и офлайн-мероприятия помогут глубже разобраться в технологиях.
▪ Бесплатный доступ — OpenAI стремится расширить аудиторию, а не ограничивать её ценником.
Программа рассчитана на широкий круг слушателей — от технических специалистов до политиков, представителей бизнеса и академического сообщества.
@ai_machinelearning_big_data
📌Начать обучение
📌 Блог
#ai #freecourses #openai #ml
02.04.202515:08
✔️ Transformers & LLMs cheatsheet for Stanford's CME 295
Это репозиторий с набором визуальных шпаргалок, посвященных трансформерам и большим языковым моделям (LLM).
🌟 Материалы основаны на курсе CME 295 "Трансформеры и большие языковые модели", читаемом в Стэнфордском университете.
Это не книга или подробный туториал, а именно сжатые, наглядные обзоры ключевых концепций. Используются диаграммы, краткие пояснения, основные формулы и определения.
✔️Содержание: Охватывает фундаментальные темы, необходимые для понимания LLM:
✔️Механизм внимания (Attention Mechanism)
✔️Архитектура Трансформера (Transformer Architecture)
✔️Позиционное кодирование (Positional Encoding)
✔️Предобучение (Pre-training) и его цели (например, Masked Language Modeling, Next Sentence Prediction)
✔️Дообучение (Fine-tuning) для конкретных задач
✔️Промптинг (Prompting) и различные его техники
✔️Оценка (Evaluation) LLM
✔️Другие важные концепции в этой области.
Идеально подходит для повторения материала или для того, чтобы быстро схватить суть той или иной концепции.
🟡Github
🟡Multi-Head Attention Shape Transformations
#ml #cheatsheets #transformers
Это репозиторий с набором визуальных шпаргалок, посвященных трансформерам и большим языковым моделям (LLM).
🌟 Материалы основаны на курсе CME 295 "Трансформеры и большие языковые модели", читаемом в Стэнфордском университете.
Это не книга или подробный туториал, а именно сжатые, наглядные обзоры ключевых концепций. Используются диаграммы, краткие пояснения, основные формулы и определения.
✔️Содержание: Охватывает фундаментальные темы, необходимые для понимания LLM:
✔️Механизм внимания (Attention Mechanism)
✔️Архитектура Трансформера (Transformer Architecture)
✔️Позиционное кодирование (Positional Encoding)
✔️Предобучение (Pre-training) и его цели (например, Masked Language Modeling, Next Sentence Prediction)
✔️Дообучение (Fine-tuning) для конкретных задач
✔️Промптинг (Prompting) и различные его техники
✔️Оценка (Evaluation) LLM
✔️Другие важные концепции в этой области.
Идеально подходит для повторения материала или для того, чтобы быстро схватить суть той или иной концепции.
🟡Github
🟡Multi-Head Attention Shape Transformations
#ml #cheatsheets #transformers
+1
11.04.202514:32
✔️ Учёные Яндекса, НИУ ВШЭ,MIT, ISTA и KAUST разработали новый метод сжатия LLM без использования данных
Недавно был представлен HIGGS (Hadamard Incoherence with Gaussian MSE-optimal GridS) — data-free метод квантизации, который позволяет запускать большие языковые модели локально, за минуты, без GPU.
🔥 Особенности:
🟢Работает без обучающих данных (data-free)
🟢Квантизует даже модели масштаба DeepSeek R1 (671B) и Llama 4 Maverick (400B)
🟢Полностью open-source
📈 Результаты:
🟠Лучшее соотношение качество / размер среди всех data-free методов (NF4, HQQ и др.)
🟠Проверено на Llama 3, Qwen2.5
🟠Статья принята на NAACL 2025
Применение:
▶️Прототипирование без серверов и долгих калибровок
▶️Демократизация доступа к LLM
▶️Подходит для стартапов, исследователей, независимых лабораторий, образовательных и ограниченных сред
🛠 Установка:
pip install flute-kernel
🌟 Пример:
🟡Paper
🟡Hugging Face
🟡GitHub
@ai_machinelearning_big_data
#quantization #LLM #opensource #HIGGS #ai
Недавно был представлен HIGGS (Hadamard Incoherence with Gaussian MSE-optimal GridS) — data-free метод квантизации, который позволяет запускать большие языковые модели локально, за минуты, без GPU.
🔥 Особенности:
🟢Работает без обучающих данных (data-free)
🟢Квантизует даже модели масштаба DeepSeek R1 (671B) и Llama 4 Maverick (400B)
🟢Полностью open-source
📈 Результаты:
🟠Лучшее соотношение качество / размер среди всех data-free методов (NF4, HQQ и др.)
🟠Проверено на Llama 3, Qwen2.5
🟠Статья принята на NAACL 2025
Применение:
▶️Прототипирование без серверов и долгих калибровок
▶️Демократизация доступа к LLM
▶️Подходит для стартапов, исследователей, независимых лабораторий, образовательных и ограниченных сред
🛠 Установка:
pip install flute-kernel
🌟 Пример:
python
from transformers import AutoModelForCausalLM, AutoTokenizer, HiggsConfig
model = AutoModelForCausalLM.from_pretrained(
"google/gemma-2-9b-it",
quantization_config=HiggsConfig(bits=4),
device_map="auto",
)
🟡Paper
🟡Hugging Face
🟡GitHub
@ai_machinelearning_big_data
#quantization #LLM #opensource #HIGGS #ai
+2
13.04.202507:01
🌟 NVIDIA добавила нативную поддержку Python в CUDA.
Python уже несколько лет уверенно лидирует среди языков программирования, а теперь стал ещё ближе к железу. На GTC 2025 NVIDIA объявила о полноценной интеграции Python в свой CUDA-стек.
Это значит, что писать код для GPU можно будет напрямую на Python — без погружения в C++ или Fortran. Как подчеркнул Стивен Джонс, архитектор CUDA, цель — сделать инструмент естественным для Python-разработчиков: «Это не перевод синтаксиса C на Python. Все должно работать так, как привыкли разработчики».
Раньше CUDA требовала глубокого понимания низкоуровневых языков и это здорово ограничивало аудиторию. Сейчас, когда Python стал стандартом в ML и DS, NVIDIA открывает двери для миллионов программистов. По данным The Futurum Group, в 2023 году CUDA использовали 4 миллиона человек — теперь их число может резко вырасти.
Техническая часть такая же обширная, как и ожидания этого события профессиональным сообществом.
🟢Во-первых, появилась библиотека
🟢Во-вторых, CUDA Core переосмыслен для Python: здесь сделан упор на JIT-компиляцию и минимизацию зависимостей.
🟢В-третьих, добавлены инструменты для профилирования и анализа кода, а ускоренные C++-библиотеки теперь доступны из Python без потерь в производительности.
Но главное — новый подход к параллельным вычислениям. Вместо ручного управления потоками, как в C++, NVIDIA предлагает модель CuTile, которая оперирует массивами, а не отдельными элементами. Это упрощает отладку и делает код читаемым, не жертвуя скоростью. По сути, разработчики получают высокоуровневую абстракцию, скрывающую сложности железа, но сохраняющую гибкость.
Пока CuTile доступен только для Python, но в планах — расширение для C++. Это часть стратегии NVIDIA по поддержке новых языков: Rust и Julia уже на походе.
Python-сообщество уже может экспериментировать — например, интегрировать CUDA-ядра в PyTorch или вызывать привычные библиотеки. Теперь даже те, кто никогда не писал на C++, смогут использовать всю мощь GPU — осталось проверить, как это скажется на скорости создания прекрасных LLM светлого будущего.
🔜 Посмотреть полную презентацию на GTC 2025
@ai_machinelearning_big_data
#AI #ML #Python #CUDA #NVIDIA
Python уже несколько лет уверенно лидирует среди языков программирования, а теперь стал ещё ближе к железу. На GTC 2025 NVIDIA объявила о полноценной интеграции Python в свой CUDA-стек.
Это значит, что писать код для GPU можно будет напрямую на Python — без погружения в C++ или Fortran. Как подчеркнул Стивен Джонс, архитектор CUDA, цель — сделать инструмент естественным для Python-разработчиков: «Это не перевод синтаксиса C на Python. Все должно работать так, как привыкли разработчики».
Раньше CUDA требовала глубокого понимания низкоуровневых языков и это здорово ограничивало аудиторию. Сейчас, когда Python стал стандартом в ML и DS, NVIDIA открывает двери для миллионов программистов. По данным The Futurum Group, в 2023 году CUDA использовали 4 миллиона человек — теперь их число может резко вырасти.
Техническая часть такая же обширная, как и ожидания этого события профессиональным сообществом.
🟢Во-первых, появилась библиотека
cuPyNumeric — аналог NumPy, который переносит вычисления с CPU на GPU буквально заменой импорта.🟢Во-вторых, CUDA Core переосмыслен для Python: здесь сделан упор на JIT-компиляцию и минимизацию зависимостей.
🟢В-третьих, добавлены инструменты для профилирования и анализа кода, а ускоренные C++-библиотеки теперь доступны из Python без потерь в производительности.
Но главное — новый подход к параллельным вычислениям. Вместо ручного управления потоками, как в C++, NVIDIA предлагает модель CuTile, которая оперирует массивами, а не отдельными элементами. Это упрощает отладку и делает код читаемым, не жертвуя скоростью. По сути, разработчики получают высокоуровневую абстракцию, скрывающую сложности железа, но сохраняющую гибкость.
Пока CuTile доступен только для Python, но в планах — расширение для C++. Это часть стратегии NVIDIA по поддержке новых языков: Rust и Julia уже на походе.
Python-сообщество уже может экспериментировать — например, интегрировать CUDA-ядра в PyTorch или вызывать привычные библиотеки. Теперь даже те, кто никогда не писал на C++, смогут использовать всю мощь GPU — осталось проверить, как это скажется на скорости создания прекрасных LLM светлого будущего.
🔜 Посмотреть полную презентацию на GTC 2025
@ai_machinelearning_big_data
#AI #ML #Python #CUDA #NVIDIA
31.03.202514:39
🔥 Awesome MCP Servers
Тщательно отобранный список (Awesome List) с MCP серверами (Model Control Plane Servers).
✔️ Что такое MCP серверы?
MCP серверы являются микросервисами, которые могут быть использованы LLM для выполнения вашей задачи.
По сути это мост между LLM и внешним миром: сайтами, базами данных, файлами и сервисами и тд.
Коллекция из 300+ MCP-серверов для ИИ-агентов 100% oпенсорс.!
Здесь можно найти платины на все случаи жизни:
•Автоматизация Браузера
• Облачные Платформы
• Командная Строка
• Коммуникации
• Базы данных
• Инструменты Разработчика
• Файловые Системы
• Финансы
• Игры
• Службы определения местоположения
• Маркетинг
• Мониторинг
• Поиск
• Спорт
• Путешествия И Транспорт
• Другие инструменты и интеграций
🟡Github
@ai_machinelearning_big_data
#mcp #ai #agents #awesome
Тщательно отобранный список (Awesome List) с MCP серверами (Model Control Plane Servers).
✔️ Что такое MCP серверы?
MCP серверы являются микросервисами, которые могут быть использованы LLM для выполнения вашей задачи.
По сути это мост между LLM и внешним миром: сайтами, базами данных, файлами и сервисами и тд.
Коллекция из 300+ MCP-серверов для ИИ-агентов 100% oпенсорс.!
Здесь можно найти платины на все случаи жизни:
•Автоматизация Браузера
• Облачные Платформы
• Командная Строка
• Коммуникации
• Базы данных
• Инструменты Разработчика
• Файловые Системы
• Финансы
• Игры
• Службы определения местоположения
• Маркетинг
• Мониторинг
• Поиск
• Спорт
• Путешествия И Транспорт
• Другие инструменты и интеграций
🟡Github
@ai_machinelearning_big_data
#mcp #ai #agents #awesome
+2
20.03.202510:52
🌟 KBLaM: новая архитектура интеграции знаний для языковых моделей от Microsoft Research.
Microsoft Research представила KBLaM - архитектуру, которая решает ключевую проблему LLM — добавление новых внешних знаний. В отличие от традиционных методов файнтюна и RAG, KBLaM кодирует новые для LLM структурированные данные в виде векторных пар «ключ-значение», встраивая их напрямую в слои внимания модели. Это позволяет избежать дорогостоящего дообучения и построение дополнительных модулей, сохраняя линейную масштабируемость даже для баз знаний в 10 000 триплетов.
В основе KBLaM - «прямоугольный механизм внимания»: языковые токены взаимодействуют с токенами знаний, но не наоборот. Такая структура сокращает вычислительные затраты до линейных, позволяя обрабатывать эквивалент 200 тыс. токенов на одном GPU. При этом модель динамически обновляет знания без пересчёта всей базы — достаточно изменить один триплет.
Эксперименты с KBLaM показали, что он не только эффективен, но и прозрачен: веса внимания визуализируют, какие факты использует модель. Например, при запросе о медицинском диагнозе высокие оценки внимания к соответствующим триплетам снижают риск «галлюцинаций», при этом, если ответ на запрос лежит вне базы знаний, модель отказывается на него отвечать.
Как заявляют авторы, KBLaM — не просто шаг к умным LLM, а мост между обученными на базовых знаниях моделями и реальным миром, где знания постоянно обновляются.
В опубликованном на Github коде для применения KBLaM поддерживаются модели с HF:
🟢Llama-3-8B-Instruct;
🟢Llama-3.2-1B-Instruct;
🟢Phi-3-mini-4k-instruct.
и эмбединги для генерации базы знаний:
🟠text-embedding-ada-002;
🟠all-MiniLM-L6-v2.
⚠️ Чтобы добавить поддержку других моделей, необходимо отредактировать скрипты обработки моделей и включить в них адаптер, подобный
📌Лицензирование: MIT License.
🟡Статья
🟡Arxiv
🖥GitHub
@ai_machinelearning_big_data
#AI #ML #LLM #MicrosoftResearch #KBLaM
Microsoft Research представила KBLaM - архитектуру, которая решает ключевую проблему LLM — добавление новых внешних знаний. В отличие от традиционных методов файнтюна и RAG, KBLaM кодирует новые для LLM структурированные данные в виде векторных пар «ключ-значение», встраивая их напрямую в слои внимания модели. Это позволяет избежать дорогостоящего дообучения и построение дополнительных модулей, сохраняя линейную масштабируемость даже для баз знаний в 10 000 триплетов.
В KBLaM триплет — это структурированный элемент знания, состоящий из трех компонентов: сущности, свойства и значения. Например, в утверждении «Москва — столица России» сущностью выступает «Москва», свойством — «столица», а значением — «Россия».
В основе KBLaM - «прямоугольный механизм внимания»: языковые токены взаимодействуют с токенами знаний, но не наоборот. Такая структура сокращает вычислительные затраты до линейных, позволяя обрабатывать эквивалент 200 тыс. токенов на одном GPU. При этом модель динамически обновляет знания без пересчёта всей базы — достаточно изменить один триплет.
Эксперименты с KBLaM показали, что он не только эффективен, но и прозрачен: веса внимания визуализируют, какие факты использует модель. Например, при запросе о медицинском диагнозе высокие оценки внимания к соответствующим триплетам снижают риск «галлюцинаций», при этом, если ответ на запрос лежит вне базы знаний, модель отказывается на него отвечать.
Как заявляют авторы, KBLaM — не просто шаг к умным LLM, а мост между обученными на базовых знаниях моделями и реальным миром, где знания постоянно обновляются.
В опубликованном на Github коде для применения KBLaM поддерживаются модели с HF:
🟢Llama-3-8B-Instruct;
🟢Llama-3.2-1B-Instruct;
🟢Phi-3-mini-4k-instruct.
и эмбединги для генерации базы знаний:
🟠text-embedding-ada-002;
🟠all-MiniLM-L6-v2.
⚠️ Чтобы добавить поддержку других моделей, необходимо отредактировать скрипты обработки моделей и включить в них адаптер, подобный
llama_model.py в src/kblam/models.📌Лицензирование: MIT License.
🟡Статья
🟡Arxiv
🖥GitHub
@ai_machinelearning_big_data
#AI #ML #LLM #MicrosoftResearch #KBLaM
11.04.202516:42
🌟 Firecrawl
Это open-source краулер для вытягивания всей информации с сайтов в markdown-формате, пригодном для обучения LLM
Пройтись по конкретному URL и его подстраницам можно так:
Firecrawl обрабатывает сложные случаи, включая динамический контент, JavaScript-рендеринг, PDF, изображения и защищённые страницы.
Поддерживает интеграцию с Langchain, LlamaIndex, Dify и другими инструментами, поддерживает Python, Node.js, Go и Rust.
Пройтись по конкретному URL и его подстраницам можно так:
Лиценизровавние: AGPL-3.0 license
▪GitHub
▪ Инструкция по запуску локально
@ai_machinelearning_big_data
#llm #crawler
Это open-source краулер для вытягивания всей информации с сайтов в markdown-формате, пригодном для обучения LLM
Пройтись по конкретному URL и его подстраницам можно так:
Firecrawl обрабатывает сложные случаи, включая динамический контент, JavaScript-рендеринг, PDF, изображения и защищённые страницы.
Поддерживает интеграцию с Langchain, LlamaIndex, Dify и другими инструментами, поддерживает Python, Node.js, Go и Rust.
Пройтись по конкретному URL и его подстраницам можно так:
Лиценизровавние: AGPL-3.0 license
▪GitHub
▪ Инструкция по запуску локально
@ai_machinelearning_big_data
#llm #crawler
登录以解锁更多功能。
