Data Fusion
Официальный бот конференции: @Data_Fusion_bot
TGlist рейтингі
0
0
ТүріҚоғамдық
Растау
РасталмағанСенімділік
СенімсізОрналасқан жері
ТілБасқа
Канал құрылған күніJun 24, 2022
TGlist-ке қосылған күні
Mar 28, 2025Қосылған топ
Рекордтар
19.04.202523:59
4.5KЖазылушылар16.04.202512:04
100Дәйексөз индексі18.04.202512:03
1.2K1 жазбаның қамтуы18.04.202514:12
1.1KЖарнамалық жазбаның қамтуы16.04.202513:26
2.34%ER18.03.202512:03
41.43%ERR
16.04.202512:33
Расписание удобных трансляций в VK Видео — на картинке. Все трансляции можно найти в нашей группе VK: https://vk.com/datafusion
Трансляции всех сессий без исключения доступны на сайте. Желаем приятного просмотра!
Трансляции всех сессий без исключения доступны на сайте. Желаем приятного просмотра!
16.04.202514:11
Хотите узнать больше о практиках ML в Поднебесной? Эта сессия для вас!
В 18.10 в 📍«Атоме» слушаем лекцию профессора Хонг Чена, PhD. Хонг Чен представляет Китайский университет электронных наук и технологий, а также является вице-президентом Центра робототехники в Ченду.
Лекция будет посвящена созданию роботов, которые могут эффективно взаимодействовать с человеком (например, в качестве протеза или полезного цифрового помощника), созданию антропоморфных роботов и математике, которая лежит в основе таких разработок. Профессор расскажет об основных задачах, которые решает его команда, главных проблемах робототехники и потенциально рабочих моделях, которые могут стать их решением.
Ждем вас!
В 18.10 в 📍«Атоме» слушаем лекцию профессора Хонг Чена, PhD. Хонг Чен представляет Китайский университет электронных наук и технологий, а также является вице-президентом Центра робототехники в Ченду.
Лекция будет посвящена созданию роботов, которые могут эффективно взаимодействовать с человеком (например, в качестве протеза или полезного цифрового помощника), созданию антропоморфных роботов и математике, которая лежит в основе таких разработок. Профессор расскажет об основных задачах, которые решает его команда, главных проблемах робототехники и потенциально рабочих моделях, которые могут стать их решением.
Ждем вас!
Қайта жіберілді:
Data Secrets
17.04.202509:35
В лаборатории AIRI придумали способ легко масштабировать трансформеры на контекст 2 миллиона токенов
Вчера на конференции Data Fusion прошла церемония награждения Data Fusion Awards (запись). Премию за научный прорыв выиграл Айдар Булатов: он стал одним из авторов работы, в которой предложили способ расширения контекстного окна трансформеров при линейном росте вычислительных затрат.
Нас работа очень заинтересовала, и позже мы познакомились с Айдаром на постерной сессии лично, чтобы немного расспросить его о статье. Главная идея: соединить трансформеры и рекуррентный механизм памяти.
Мы разделяем текст на кусочки и обрабатываем их последовательно. При этом в начало каждого сегмента добавляются векторы памяти, которая обновляется на каждой следующей итерации. Таким образом, self‑attention считается только внутри сегмента, но при этом мы все равно с каждым разом храним все больше и больше информации о тексте.
Масштабируется это действительно хорошо: ребята обучали модель только на последовательностях длины до 3.5к токенов, но на тестах она спокойно выдерживает контекст до 2 миллионов (а позже и до 50 миллионов на модификациях)! Вот гитхаб и статья.
Кстати, на основе этой работы Айдар в команде с Юрием Куратовым и другими авторами также создали бенчмарк BABILong для оценки моделей на длинном контексте. Сейчас на этом бенчмарке тестируют свои модели многие ведущие лабы: Google, Meta, OpenAI. Мы, кстати, даже несколько раз о нем писали, но то, что он был сделан в AIRI, узнали только вчера. Эта работа тоже была в числе победителей премии.
Поздравляем 🥳
Вчера на конференции Data Fusion прошла церемония награждения Data Fusion Awards (запись). Премию за научный прорыв выиграл Айдар Булатов: он стал одним из авторов работы, в которой предложили способ расширения контекстного окна трансформеров при линейном росте вычислительных затрат.
Нас работа очень заинтересовала, и позже мы познакомились с Айдаром на постерной сессии лично, чтобы немного расспросить его о статье. Главная идея: соединить трансформеры и рекуррентный механизм памяти.
Мы разделяем текст на кусочки и обрабатываем их последовательно. При этом в начало каждого сегмента добавляются векторы памяти, которая обновляется на каждой следующей итерации. Таким образом, self‑attention считается только внутри сегмента, но при этом мы все равно с каждым разом храним все больше и больше информации о тексте.
Масштабируется это действительно хорошо: ребята обучали модель только на последовательностях длины до 3.5к токенов, но на тестах она спокойно выдерживает контекст до 2 миллионов (а позже и до 50 миллионов на модификациях)! Вот гитхаб и статья.
Кстати, на основе этой работы Айдар в команде с Юрием Куратовым и другими авторами также создали бенчмарк BABILong для оценки моделей на длинном контексте. Сейчас на этом бенчмарке тестируют свои модели многие ведущие лабы: Google, Meta, OpenAI. Мы, кстати, даже несколько раз о нем писали, но то, что он был сделан в AIRI, узнали только вчера. Эта работа тоже была в числе победителей премии.
Поздравляем 🥳
17.04.202510:45
Гуманитарии (даже если только в душе), вам через 15 минут в 📍Молекулу.
⭐ Вадим Кулик проведет сессию «ИИ в эпоху постмодернизма».
Участники дискуссии:
🔵Философ Александр Дугин
🔵Декан факультета международных отношений МГИМО Андрей Сушенцов
🔵Александр Крайнов (Яндекс)
🔵⭐ Денис Суржко (ВТБ).
Предчувствуем интереснейшую беседу!
⭐ Вадим Кулик проведет сессию «ИИ в эпоху постмодернизма».
Участники дискуссии:
🔵Философ Александр Дугин
🔵Декан факультета международных отношений МГИМО Андрей Сушенцов
🔵Александр Крайнов (Яндекс)
🔵⭐ Денис Суржко (ВТБ).
Предчувствуем интереснейшую беседу!
17.04.202512:28
Через несколько минут начинаем в «Фотоне» обсуждать математическую оптимизацию.
Долго говорить не будем. Вот список спикеров:
Евгений Лепшин
Салават Муллабаев
Алексей Чернов
Роланд Хильдебранд
Юрий Дорн
Дмитрий Яроцкий
Дмитрий Ковалев
Денис Беломестный
Александр Гасников
В общем, это must-see. В «Фотоне» в 15.30 🚀
UPD: сессия в двух частях, сделаем перерыв в 17.05 и продолжим.
Долго говорить не будем. Вот список спикеров:
Евгений Лепшин
Салават Муллабаев
Алексей Чернов
Роланд Хильдебранд
Юрий Дорн
Дмитрий Яроцкий
Дмитрий Ковалев
Денис Беломестный
Александр Гасников
В общем, это must-see. В «Фотоне» в 15.30 🚀
UPD: сессия в двух частях, сделаем перерыв в 17.05 и продолжим.
17.04.202509:20
В📍Молекуле сегодня насыщенно по инсайтам рынка: через 10 минут Вадим Кулик начнет модерировать сессию «Обогнать, не догоняя: асимметричный технологический ответ».
В дискуссии также примут участие представители Газпромбанка, «Росатома», Иннопрактики, НИУ ВШЭ, Т1, Совета Федерации. Вопросы в повестке:
• На какие технологии сделать ставку?
• Можно ли «перепрыгнуть» этапы развития в борьбе за технологическое лидерство?
• Какими должны быть стратегия и тактика продвижения российских технологий на международный уровень?
• Какова роль государства в поддержке экспансии российских технологий?
Начнем в 12.30.
Принимаете стратегические решения в ИИ и Data Science? Вы знаете, куда вам идти.
В дискуссии также примут участие представители Газпромбанка, «Росатома», Иннопрактики, НИУ ВШЭ, Т1, Совета Федерации. Вопросы в повестке:
• На какие технологии сделать ставку?
• Можно ли «перепрыгнуть» этапы развития в борьбе за технологическое лидерство?
• Какими должны быть стратегия и тактика продвижения российских технологий на международный уровень?
• Какова роль государства в поддержке экспансии российских технологий?
Начнем в 12.30.
Принимаете стратегические решения в ИИ и Data Science? Вы знаете, куда вам идти.
17.04.202512:05
Через 10 минут в 📍Физике продолжаем обсуждать международные отношения, политику и влияние ИИ на общественное сознание.
Модератор — ⭐ старший вице-президент ВТБ Сергей Безбогов.
Успейте занять места!
Модератор — ⭐ старший вице-президент ВТБ Сергей Безбогов.
Успейте занять места!
Көбірек мүмкіндіктерді ашу үшін кіріңіз.
