Data, Stories and Languages
03.02.202516:31
Titans: Learning to Memorize at Test Time
Интересная статья от Google Research с новым семейством архитектур - Titans. Объединили attention и отдельный модуль долгосрочной памяти. Сделали 3 варианта архитектуры - память как контекст/gate/слой. В результате модельки тренируются быстро, хорошо масштабируются, работают на контексте до 2 млн токенов. Ну и, как это обычно принято, бьют другие модели по метрикам (кто ж будет публиковать не SOTA).
Paper
Мои обзоры:
Personal blog
Medium
Linkedin Pulse
#paperreview
Интересная статья от Google Research с новым семейством архитектур - Titans. Объединили attention и отдельный модуль долгосрочной памяти. Сделали 3 варианта архитектуры - память как контекст/gate/слой. В результате модельки тренируются быстро, хорошо масштабируются, работают на контексте до 2 млн токенов. Ну и, как это обычно принято, бьют другие модели по метрикам (кто ж будет публиковать не SOTA).
Paper
Мои обзоры:
Personal blog
Medium
Linkedin Pulse
#paperreview
04.09.202407:29
Agentic Retrieval-Augmented Generation for Time Series Analysis
Новая подход для анализа временных рядов использует агентную RAG архитектуру, где главный агент координирует специализированных подагентов. Они используют небольшие, pre-trained language models (SLMs), которые адаптированы под конкретные задачи временных рядов через instruction tuning и DPPO. Они извлекают релевантные промпты из пула знаний для улучшения прогнозов на новых данных.
Статья вызвала смешанные впечатления. С одной стороны, идея крутая. С другой стороны, примеров промптов нет, кода нет, так что такие успехи выглядят слегка сомнительно.
Paper link
Мои обзоры:
Personal blog
Medium
Linkedin Pulse
#paperreview
Новая подход для анализа временных рядов использует агентную RAG архитектуру, где главный агент координирует специализированных подагентов. Они используют небольшие, pre-trained language models (SLMs), которые адаптированы под конкретные задачи временных рядов через instruction tuning и DPPO. Они извлекают релевантные промпты из пула знаний для улучшения прогнозов на новых данных.
Статья вызвала смешанные впечатления. С одной стороны, идея крутая. С другой стороны, примеров промптов нет, кода нет, так что такие успехи выглядят слегка сомнительно.
Paper link
Мои обзоры:
Personal blog
Medium
Linkedin Pulse
#paperreview
Пераслаў з:Генеративный дизайн молекулярных машин
ГД
Не змаглі атрымаць доступ
да медыяконтэнту
да медыяконтэнту
20.07.202411:32
✨Приглашаем на лекцию "Quantum Machine Learning: Future Revolution in AI" ✨
Лектор: Никита Серов, PhD, руководитель лаборатории "Генеративный дизайн молекулярных машин"
Искусственный интеллект уже стал ключевым фактором перемен в XXI веке, о котором говорят в каждом втором новостном сюжете. Но существуют ли фундаментальные проблемы, которые могут ограничить развитие современных технологий ИИ в ближайшем будущем? На этой лекции вы узнаете, как квантовые эффекты способны перевернуть с ног на голову самые базовые идеи машинного обучения и произвести революцию в области ИИ.
Описание лекции:
Эта лекция предоставит уникальную возможность заглянуть за горизонт текущих технологий ИИ и понять, как квантовые вычисления могут кардинально изменить правила игры. Никита Серов, PhD, руководитель лаборатории "Генеративный дизайн молекулярных машин", как человек со знанием квантовой химии и ИИ, взял на себя задачу структурировать основные достижения в этой области и выделил плюсы и минусы новой технологии.
❓В ходе лекции будут рассмотрены следующие ключевые вопросы:
- Какие ограничения существуют у современных методов машинного обучения?
- Как квантовые эффекты могут преодолеть эти ограничения?
- Какие перспективы открываются перед ИИ благодаря квантовым вычислениям?
- Примеры реальных приложений квантового машинного обучения в химии и материаловедении.
👩🔬👨🔬Для кого подойдет эта лекция:
Лекция будет интересна всем любителям ИИ, владеющим английским языком. Входных требований нет, однако для более глубокого понимания материала полезно иметь базовые знания в области линейной алгебры и квантовой механики.
🌐 Эта лекция станет первой в серии "The era after AI we know", где мы будем обсуждать будущее ИИ, естественного интеллекта и нейроморфных вычислений.
🔥Не упустите шанс узнать о передовых разработках и обсудить будущие перспективы.
Дата и время проведения: 26 июля, 17:00
Место проведения: университет ИТМО, Ломоносова 9, аудитория 1303/8 Медиацентр
❗️Язык лекции: английский ❗️
⚡️ Регистрация по ссылке ⚡️
Мы ждем вас на нашей лекции!
🖥 Также будет вестись трансляция и запись лекции. Чтобы не пропустить - подписывайтесь на телеграм-канал лаборатории.
Лектор: Никита Серов, PhD, руководитель лаборатории "Генеративный дизайн молекулярных машин"
Искусственный интеллект уже стал ключевым фактором перемен в XXI веке, о котором говорят в каждом втором новостном сюжете. Но существуют ли фундаментальные проблемы, которые могут ограничить развитие современных технологий ИИ в ближайшем будущем? На этой лекции вы узнаете, как квантовые эффекты способны перевернуть с ног на голову самые базовые идеи машинного обучения и произвести революцию в области ИИ.
Описание лекции:
Эта лекция предоставит уникальную возможность заглянуть за горизонт текущих технологий ИИ и понять, как квантовые вычисления могут кардинально изменить правила игры. Никита Серов, PhD, руководитель лаборатории "Генеративный дизайн молекулярных машин", как человек со знанием квантовой химии и ИИ, взял на себя задачу структурировать основные достижения в этой области и выделил плюсы и минусы новой технологии.
❓В ходе лекции будут рассмотрены следующие ключевые вопросы:
- Какие ограничения существуют у современных методов машинного обучения?
- Как квантовые эффекты могут преодолеть эти ограничения?
- Какие перспективы открываются перед ИИ благодаря квантовым вычислениям?
- Примеры реальных приложений квантового машинного обучения в химии и материаловедении.
👩🔬👨🔬Для кого подойдет эта лекция:
Лекция будет интересна всем любителям ИИ, владеющим английским языком. Входных требований нет, однако для более глубокого понимания материала полезно иметь базовые знания в области линейной алгебры и квантовой механики.
🌐 Эта лекция станет первой в серии "The era after AI we know", где мы будем обсуждать будущее ИИ, естественного интеллекта и нейроморфных вычислений.
🔥Не упустите шанс узнать о передовых разработках и обсудить будущие перспективы.
Дата и время проведения: 26 июля, 17:00
Место проведения: университет ИТМО, Ломоносова 9, аудитория 1303/8 Медиацентр
❗️Язык лекции: английский ❗️
⚡️ Регистрация по ссылке ⚡️
Мы ждем вас на нашей лекции!
🖥 Также будет вестись трансляция и запись лекции. Чтобы не пропустить - подписывайтесь на телеграм-канал лаборатории.
Паказана 1 - 3 з 3
Увайдзіце, каб разблакаваць больш функцый.