Неискусственный интеллект
25.04.202517:31
Разработчиков лишают грин-карт за плохое качество ChatGPT 4.5.
Шутка, но произошло забавное. Канадский исследователь OpenAI Кай Чен (ну, вы понимаете, эти традиционные канадские имена), 12 лет работавший и живший в США и сыгравший ключевую роль в разработке GPT-4.5, получил отказ в грин-карте и вынужден покинуть страну.
Его коллеги — включая ведущего учёного Ноама Брауна — предупреждают, что ужесточение иммиграционных правил подрывает лидерство США в ИИ, тогда как сам Чен планирует продолжить работу удалённо из Ванкувера (а мог бы из Пекина!). Случай уже вызвал новую волну призывов к реформе «high-skill» иммиграции, которую ранее публично поддерживал SamA.
@anti_agi
Шутка, но произошло забавное. Канадский исследователь OpenAI Кай Чен (ну, вы понимаете, эти традиционные канадские имена), 12 лет работавший и живший в США и сыгравший ключевую роль в разработке GPT-4.5, получил отказ в грин-карте и вынужден покинуть страну.
Его коллеги — включая ведущего учёного Ноама Брауна — предупреждают, что ужесточение иммиграционных правил подрывает лидерство США в ИИ, тогда как сам Чен планирует продолжить работу удалённо из Ванкувера (а мог бы из Пекина!). Случай уже вызвал новую волну призывов к реформе «high-skill» иммиграции, которую ранее публично поддерживал SamA.
@anti_agi
24.04.202516:44
⚡️ Вовлеченность пользователей ChatGPT растет, а у Gemini — падает
Google любезно поделился в суде с Минюстом статистикой и аналитикой по чатботам. В октябре у Gemini было 9 млн ежедневных пользователей, у ChatGPT — 90 млн. В марте у Gemini стало 35 млн (рост почти в 4 раза), у ChatGPT — 160 млн (в 1,7 раза).
Казалось бы, круто! Но нет. На картинке — статистика ежедневных запросов. Здесь Gemini тоже растет быстрее ChatGPT, но не так значительно.
Нехитрые расчеты показывают, что быстрый рост пользовательской базы плохо сказывается на лояльности пользователей Gemini. У ChatGPT выросло не только число пользователей, но и их вовлеченность — если в октябре каждый в среднем использовал 6,7 запросов в день, то в марте — по 7,5. Тогда как новые пользователи Gemini довольно индифферентны: вовлеченность их снизилась с 5,6 запросов в октябре до 4-х в марте.
Можно, конечно, предположить, что Gemini, просто отвечает на вопросы полнее, чем ChatGPT, так что пользователю нечего доспрашивать. Но, кажется, это не тот случай.
Не будем, впрочем забывать, что на конец марта пришлось начало эпидемии Ghibli...
@anti_agi
Google любезно поделился в суде с Минюстом статистикой и аналитикой по чатботам. В октябре у Gemini было 9 млн ежедневных пользователей, у ChatGPT — 90 млн. В марте у Gemini стало 35 млн (рост почти в 4 раза), у ChatGPT — 160 млн (в 1,7 раза).
Казалось бы, круто! Но нет. На картинке — статистика ежедневных запросов. Здесь Gemini тоже растет быстрее ChatGPT, но не так значительно.
Нехитрые расчеты показывают, что быстрый рост пользовательской базы плохо сказывается на лояльности пользователей Gemini. У ChatGPT выросло не только число пользователей, но и их вовлеченность — если в октябре каждый в среднем использовал 6,7 запросов в день, то в марте — по 7,5. Тогда как новые пользователи Gemini довольно индифферентны: вовлеченность их снизилась с 5,6 запросов в октябре до 4-х в марте.
Можно, конечно, предположить, что Gemini, просто отвечает на вопросы полнее, чем ChatGPT, так что пользователю нечего доспрашивать. Но, кажется, это не тот случай.
Не будем, впрочем забывать, что на конец марта пришлось начало эпидемии Ghibli...
@anti_agi
22.04.202508:20
🤖 AID от @anti_agi
Началось историческое судебное антимонопольное разбирательство Минюста США и Google. В суде представитель Минюста Дэвид Далквист заявил, что нужны жесткие меры, чтобы помешать Google использовать свои AI-продукты для расширения своей монополии в онлайн-поиске. Монополия Google на поиск помогает ей совершенствовать AI-продукты, которые также являются способом привести пользователей к ее поисковой системе, заявил Далквист.
Дело ведет судья Амит Мехте, который в прошлом году пришел к выводу, что практика Google платить Samsung за установку на ее устройствах поисковой системой по умолчанию, нарушает антимонопольное законодательство. Сейчас он должен будет решить, что Google должен сделать, чтобы прекратить незаконные практики. Минюст требует от компании продажи браузера Chrome и других мер, чтобы не дать компании воспользоваться своим монопольным положением.
Одним из эпизодов, раскрытых в суде, стал тот факт, что Google ежемесячно платит Samsung «огромную сумму денег в виде фиксированного ежемесячного платежа» за предустановку приложения Gemini на свои телефоны и устройства. При том, что практика оплаты за предустановку уже дважды признавалась нарушающей закон. Вице-президент Google Питер Фицджеральд сообщил в суде, что компания начала платить Samsung за Gemini в январе. Контракт рассчитан как минимум на два года и предусматривает как фиксированный ежемесячный платеж за каждое устройство, на котором предустановлен Gemini, так и процент от доходов, получаемых Google от рекламы в приложении. Конкретные суммы в суде не назывались.
▪️Второй пошел! Вслед за Microsoft, переговоры о долгосрочной аренде некоторых дата-центров приостанавливает и Amazon, сообщают аналитики Wells Fargo. В особенности это касается зарубежных рынков. По словам аналитиков, Amazon не отменяет сделки, а «переваривает недавние агрессивные сделки по аренде». Похоже, крупные облачные компании стали более разборчивы в аренде больших кластеров мощности, говорится в их записке. При этом Meta (запрещена в РФ за экстремизм), Google и Oracle по-прежнему активны в аренде, признают они. Amazon заявляет, что «это обычное управление мощностями».
▪️Huawei уже поставил некоторым китайским клиентам свои передовые AI-чипы 910C и планирует начать массовые поставки в следующем месяце. У Huawei есть шанс на фоне ограничений на продажу в Китай H20 от Nvidia. Похоже, Huawei 910C представляет собой скорее архитектурную эволюцию, чем технологический прорыв: он достигает производительности, сравнимой с H100 от Nvidia, благодаря интеграции двух процессоров 910B в единый корпус.
Huawei разослала нескольким технокомпаниям образцы 910C в конце прошлого года. Где они будут производиться неясно: китайский производитель SMIC умеет производить основные компоненты графических процессоров по 7нм техпроцессу N+2, но выход чипов невелик. При этом ранее американцы начали расследование после того, как обнаружили в 910B один из чипов производства TSMC. Huawei и TSMC это опровергают.
▪️Поиском с помощью ChatGPT за последние полгода в Европе воспользовались хотя бы один раз в среднем около 41,3 млн человек в месяц, свидетельствую данные, которые опубликовала OpenAI. За предыдущие полгода их было всего 11,2 млн. Закон ЕС о цифровых услугах (DSA) предписывает «очень крупным» (более 45 млн среднемесячных пользователей) онлайн-платформам или поисковым системам дать пользователям возможность отказаться от использования рекомендательных систем и профилирования, делиться определенными данными с учеными и властями, а также проводить внешний аудит. И поиск ChatGPT может вскоре подпасть под эти требования.
Началось историческое судебное антимонопольное разбирательство Минюста США и Google. В суде представитель Минюста Дэвид Далквист заявил, что нужны жесткие меры, чтобы помешать Google использовать свои AI-продукты для расширения своей монополии в онлайн-поиске. Монополия Google на поиск помогает ей совершенствовать AI-продукты, которые также являются способом привести пользователей к ее поисковой системе, заявил Далквист.
Дело ведет судья Амит Мехте, который в прошлом году пришел к выводу, что практика Google платить Samsung за установку на ее устройствах поисковой системой по умолчанию, нарушает антимонопольное законодательство. Сейчас он должен будет решить, что Google должен сделать, чтобы прекратить незаконные практики. Минюст требует от компании продажи браузера Chrome и других мер, чтобы не дать компании воспользоваться своим монопольным положением.
Одним из эпизодов, раскрытых в суде, стал тот факт, что Google ежемесячно платит Samsung «огромную сумму денег в виде фиксированного ежемесячного платежа» за предустановку приложения Gemini на свои телефоны и устройства. При том, что практика оплаты за предустановку уже дважды признавалась нарушающей закон. Вице-президент Google Питер Фицджеральд сообщил в суде, что компания начала платить Samsung за Gemini в январе. Контракт рассчитан как минимум на два года и предусматривает как фиксированный ежемесячный платеж за каждое устройство, на котором предустановлен Gemini, так и процент от доходов, получаемых Google от рекламы в приложении. Конкретные суммы в суде не назывались.
▪️Второй пошел! Вслед за Microsoft, переговоры о долгосрочной аренде некоторых дата-центров приостанавливает и Amazon, сообщают аналитики Wells Fargo. В особенности это касается зарубежных рынков. По словам аналитиков, Amazon не отменяет сделки, а «переваривает недавние агрессивные сделки по аренде». Похоже, крупные облачные компании стали более разборчивы в аренде больших кластеров мощности, говорится в их записке. При этом Meta (запрещена в РФ за экстремизм), Google и Oracle по-прежнему активны в аренде, признают они. Amazon заявляет, что «это обычное управление мощностями».
▪️Huawei уже поставил некоторым китайским клиентам свои передовые AI-чипы 910C и планирует начать массовые поставки в следующем месяце. У Huawei есть шанс на фоне ограничений на продажу в Китай H20 от Nvidia. Похоже, Huawei 910C представляет собой скорее архитектурную эволюцию, чем технологический прорыв: он достигает производительности, сравнимой с H100 от Nvidia, благодаря интеграции двух процессоров 910B в единый корпус.
Huawei разослала нескольким технокомпаниям образцы 910C в конце прошлого года. Где они будут производиться неясно: китайский производитель SMIC умеет производить основные компоненты графических процессоров по 7нм техпроцессу N+2, но выход чипов невелик. При этом ранее американцы начали расследование после того, как обнаружили в 910B один из чипов производства TSMC. Huawei и TSMC это опровергают.
▪️Поиском с помощью ChatGPT за последние полгода в Европе воспользовались хотя бы один раз в среднем около 41,3 млн человек в месяц, свидетельствую данные, которые опубликовала OpenAI. За предыдущие полгода их было всего 11,2 млн. Закон ЕС о цифровых услугах (DSA) предписывает «очень крупным» (более 45 млн среднемесячных пользователей) онлайн-платформам или поисковым системам дать пользователям возможность отказаться от использования рекомендательных систем и профилирования, делиться определенными данными с учеными и властями, а также проводить внешний аудит. И поиск ChatGPT может вскоре подпасть под эти требования.
21.04.202510:05
📶 DeepSeek сдает позиции
Нет-нет! Мы вовсе не утверждаем, что DeepSeek – всё! Но мартовские данные @anti_agi показывают серьезное снижение его упоминаемости в России по всем фронтам. Число упоминаний DeepSeek в российских СМИ и в постах Telegram упало больше чем наполовину. Но главное – снижение в поисковых запросах пользователей, которое показывает, что в DeepSeek «наигрались». Во всех трех измерениях в марте он оказался на 3-м месте, уступив в СМИ и Telegram по частоте упоминаний ChatGPT и Midjourney, а в поисковых запросах ChatGPT и GigaChat.
GigaChat, кстати, второй раз оказался на втором месте среди всех сервисов по числу поисковых запросов пользователей (первый раз в декабре, когда во время Сберовской AI Journey про него трубили везде). В сводном рейтинге он, впрочем, опустился на 4 место, а ему в спину дышит другой российский сервис – Шедеврум, он на 5-м месте. Отечественных сервисов в сводной десятке осталось двое, поскольку YandexGPT из нее в марте выпал, несмотря на релиз 31 марта опенсорсной YandexGPT 5 Lite Instruct.
Вообще, март выдался взбудораженно-спокойным. То есть хайп никуда не делся – наш индекс AI-хайпа AI-HI снизился с максимумов, достигнутых в феврале всего на 11 пунктов до 739 пунктов. Весь март все чего-то ждали, делились соображениями, писали тексты, искали новый DeepSeek или ждали от Альтмана новых прорывов, но в итоге ничего так и не выстрелило так, как в январе это сделал DeepSeek, а в феврале – Grok. Истерия вокруг AI-агента Manus – «снова китайцы всех сделали!», поднятая было в медиапространстве, очень быстро улеглась, и Manus остался в хвосте. Главным же событием марта стала «гиблификация» ChatGPT – повальное увлечение переделыванием любых картинок в стиль студии Ghibli Хаяо Миядзаки. Но это произошло в последние числа марта, так что Telegram успел отреагировать на бум (число постов с ChatGPT выросло по сравнению с февралем), а СМИ – нет.
В корпоративной части нашего индекса тоже все ровненько. Сам индекс AI-HI-CORP снизился на 25 пунктов с 341 до 316 пунктов, но это колебание в пределах нормального. При этом в рейтинге компаний не произошло значимых изменений. Расстановка в первой четверке неизменна с сентября прошлого года: Сбер, Яндекс, VK и МТС. Раньше явно выделялась тройка компаний Tier-2, которые часто менялись местами – Ростелеком, ВТБ и Т-Банк. Но последние три месяца Ростелеком удерживает пятое место, а банки не смогли защитить свои позиции, пропустив вперед не только Билайн (6 место), но и NtechLab (7 место). T-Банк на 8-м месте, ВТБ – на 9-м, на последнем в этот раз остался Мегафон. Посмотрим, как скажется на позициях ВТБ в апрельском рейтинге только что прошедшая масштабная конференция Data Fusion, организованная банком.
@anti_agi
Нет-нет! Мы вовсе не утверждаем, что DeepSeek – всё! Но мартовские данные @anti_agi показывают серьезное снижение его упоминаемости в России по всем фронтам. Число упоминаний DeepSeek в российских СМИ и в постах Telegram упало больше чем наполовину. Но главное – снижение в поисковых запросах пользователей, которое показывает, что в DeepSeek «наигрались». Во всех трех измерениях в марте он оказался на 3-м месте, уступив в СМИ и Telegram по частоте упоминаний ChatGPT и Midjourney, а в поисковых запросах ChatGPT и GigaChat.
GigaChat, кстати, второй раз оказался на втором месте среди всех сервисов по числу поисковых запросов пользователей (первый раз в декабре, когда во время Сберовской AI Journey про него трубили везде). В сводном рейтинге он, впрочем, опустился на 4 место, а ему в спину дышит другой российский сервис – Шедеврум, он на 5-м месте. Отечественных сервисов в сводной десятке осталось двое, поскольку YandexGPT из нее в марте выпал, несмотря на релиз 31 марта опенсорсной YandexGPT 5 Lite Instruct.
Вообще, март выдался взбудораженно-спокойным. То есть хайп никуда не делся – наш индекс AI-хайпа AI-HI снизился с максимумов, достигнутых в феврале всего на 11 пунктов до 739 пунктов. Весь март все чего-то ждали, делились соображениями, писали тексты, искали новый DeepSeek или ждали от Альтмана новых прорывов, но в итоге ничего так и не выстрелило так, как в январе это сделал DeepSeek, а в феврале – Grok. Истерия вокруг AI-агента Manus – «снова китайцы всех сделали!», поднятая было в медиапространстве, очень быстро улеглась, и Manus остался в хвосте. Главным же событием марта стала «гиблификация» ChatGPT – повальное увлечение переделыванием любых картинок в стиль студии Ghibli Хаяо Миядзаки. Но это произошло в последние числа марта, так что Telegram успел отреагировать на бум (число постов с ChatGPT выросло по сравнению с февралем), а СМИ – нет.
В корпоративной части нашего индекса тоже все ровненько. Сам индекс AI-HI-CORP снизился на 25 пунктов с 341 до 316 пунктов, но это колебание в пределах нормального. При этом в рейтинге компаний не произошло значимых изменений. Расстановка в первой четверке неизменна с сентября прошлого года: Сбер, Яндекс, VK и МТС. Раньше явно выделялась тройка компаний Tier-2, которые часто менялись местами – Ростелеком, ВТБ и Т-Банк. Но последние три месяца Ростелеком удерживает пятое место, а банки не смогли защитить свои позиции, пропустив вперед не только Билайн (6 место), но и NtechLab (7 место). T-Банк на 8-м месте, ВТБ – на 9-м, на последнем в этот раз остался Мегафон. Посмотрим, как скажется на позициях ВТБ в апрельском рейтинге только что прошедшая масштабная конференция Data Fusion, организованная банком.
@anti_agi
18.04.202509:17
🤖 AID от @anti_agi
Хуанг поехал в Китай решать вопросики. Судя по тому, что он не в кожанке, а в костюме, дело серьезное. «А что случилось?». Китайские госСМИ пишут, глава Nvidia приехал в Пекин «по приглашению местной торговой группы». У Хуанга напряженный график: неделю назад он обедал с Трампом, уже зная про ограничения, но китайским товарищам ничего не говорил. Потом получил требование от комитета Конгресса предоставить информацию о продажах чипов, которые могли дойти до DeepSeek’а, поскольку все больше косвенных свидетельств, что Nvidia смотрела сквозь пальцы на запреты. А теперь вот прилетел в Китай и встретился с вице-премьером Китая Хэ Лифэном (Синьхуа) и с основателем DeepSeek Ляном Вэньфэном (FT). Вице-премьер соврал Хуангу, что «Китай приветствует расширение присутствия американских компаний, включая Nvidia, на китайском рынке», Хуанг в ответ слукавил по поводу радужных экономических перспектив Китая и подтвердил, что «Китай остается очень важным рынком для Nvidia, которая будет оптимизировать свои чипы, чтобы соответствовать требованиям экспортного контроля США». Хотя тут правильное слово было бы «пессимизировать».
▪️Новый гендиректор Intel Лип-Бу Тан создает более плоскую управленческую структуру, в результате чего важные группы разработчиков микросхем будут подчиняться непосредственно ему. Директором по ИИ станет руководитель отдела сетевых чипов Сачин Катти. Группа Intel по производству чипов для дата-центров и ИИ, а также группа по производству чипов для ПК будут подчиняться непосредственно ему. Ранее их курировала Мишель Джонстон Холтхаус, которая остается исполнительным директором по продуктам Intel.
Научный проект с сайтом для сравнения чат-ботов, Chatbot Arena, становится коммерческой компанией. Она открывает проект LMArena, корпоративное название которой будет Arena Intelligence Inc. Chatbot Arena была создана в качестве исследовательского проекта лаборатории Sky Computing Lab Калифорнийского университета в Беркли в начале 2023 года, через несколько месяцев после выхода ChatGPT. Вскоре она стала популярной и ее рейтинги стали использовать как индикатор. AI-корпорации часто используют ее для тестирования своих новых моделей, прежде чем выпустить их, как это сделала OpenAI с GPT-4o прошлой весной. Ранее Chatbot Arena финансировалась за счет грантов и пожертвований, в том числе от гугловской Kaggle data science platform, Andreessen Horowitz и Together AI.
▪️Китай будет внедрять AI-приложения в учебный процесс, учебники и школьную программу в рамках реформы образования. Развитие искусственного интеллекта поможет «развивать базовые способности преподавателей и студентов», от самостоятельного мышления и решения проблем до общения и сотрудничества, а также поможет формировать «конкурентоспособность талантов», заявили в министерстве образования.
ℹ️Отличный и правильный шаг! И нам такое нужно! Главное не говорить Минобру, что самостоятельное мышление не сочетается со стилем управления, принятым в Китае, да теперь уже, кажется, и почти повсюду в мире.
▪️OpenAI вел переговоры с Anysphere, производителем Cursor, в 2024 году и в начале этого года, прежде чем начать договариваться о приобретении компании Windsurf. Эти переговоры не увенчались успехом, вместо этого Anysphere начала переговоры о привлечении капитала с оценкой около $10 млрд. Стартап-фонд OpenAI был инвестором Anysphere еще в посевном раунде. Хотя «агент» Codex CLI от OpenAI, который компания выпустила в среду, также может писать и редактировать код, попытка купить Windsurf говорит о том, что компания не хочет ждать, пока CLI наберет популярность среди клиентов.
Хуанг поехал в Китай решать вопросики. Судя по тому, что он не в кожанке, а в костюме, дело серьезное. «А что случилось?». Китайские госСМИ пишут, глава Nvidia приехал в Пекин «по приглашению местной торговой группы». У Хуанга напряженный график: неделю назад он обедал с Трампом, уже зная про ограничения, но китайским товарищам ничего не говорил. Потом получил требование от комитета Конгресса предоставить информацию о продажах чипов, которые могли дойти до DeepSeek’а, поскольку все больше косвенных свидетельств, что Nvidia смотрела сквозь пальцы на запреты. А теперь вот прилетел в Китай и встретился с вице-премьером Китая Хэ Лифэном (Синьхуа) и с основателем DeepSeek Ляном Вэньфэном (FT). Вице-премьер соврал Хуангу, что «Китай приветствует расширение присутствия американских компаний, включая Nvidia, на китайском рынке», Хуанг в ответ слукавил по поводу радужных экономических перспектив Китая и подтвердил, что «Китай остается очень важным рынком для Nvidia, которая будет оптимизировать свои чипы, чтобы соответствовать требованиям экспортного контроля США». Хотя тут правильное слово было бы «пессимизировать».
▪️Новый гендиректор Intel Лип-Бу Тан создает более плоскую управленческую структуру, в результате чего важные группы разработчиков микросхем будут подчиняться непосредственно ему. Директором по ИИ станет руководитель отдела сетевых чипов Сачин Катти. Группа Intel по производству чипов для дата-центров и ИИ, а также группа по производству чипов для ПК будут подчиняться непосредственно ему. Ранее их курировала Мишель Джонстон Холтхаус, которая остается исполнительным директором по продуктам Intel.
Научный проект с сайтом для сравнения чат-ботов, Chatbot Arena, становится коммерческой компанией. Она открывает проект LMArena, корпоративное название которой будет Arena Intelligence Inc. Chatbot Arena была создана в качестве исследовательского проекта лаборатории Sky Computing Lab Калифорнийского университета в Беркли в начале 2023 года, через несколько месяцев после выхода ChatGPT. Вскоре она стала популярной и ее рейтинги стали использовать как индикатор. AI-корпорации часто используют ее для тестирования своих новых моделей, прежде чем выпустить их, как это сделала OpenAI с GPT-4o прошлой весной. Ранее Chatbot Arena финансировалась за счет грантов и пожертвований, в том числе от гугловской Kaggle data science platform, Andreessen Horowitz и Together AI.
▪️Китай будет внедрять AI-приложения в учебный процесс, учебники и школьную программу в рамках реформы образования. Развитие искусственного интеллекта поможет «развивать базовые способности преподавателей и студентов», от самостоятельного мышления и решения проблем до общения и сотрудничества, а также поможет формировать «конкурентоспособность талантов», заявили в министерстве образования.
ℹ️Отличный и правильный шаг! И нам такое нужно! Главное не говорить Минобру, что самостоятельное мышление не сочетается со стилем управления, принятым в Китае, да теперь уже, кажется, и почти повсюду в мире.
▪️OpenAI вел переговоры с Anysphere, производителем Cursor, в 2024 году и в начале этого года, прежде чем начать договариваться о приобретении компании Windsurf. Эти переговоры не увенчались успехом, вместо этого Anysphere начала переговоры о привлечении капитала с оценкой около $10 млрд. Стартап-фонд OpenAI был инвестором Anysphere еще в посевном раунде. Хотя «агент» Codex CLI от OpenAI, который компания выпустила в среду, также может писать и редактировать код, попытка купить Windsurf говорит о том, что компания не хочет ждать, пока CLI наберет популярность среди клиентов.
17.04.202513:05
Как LLM найти свой дао?
Когда Лао-цзы сообщил миру, что «высказанное дао не есть истинное дао», он говорил не об LLM. Но, возможно, это касается и их тоже, и чтобы языковые модели работали лучше, они должны отказаться от языка? В конце концов, вектор — это тоже своего рода путь, то есть дао...
Язык помогает донести мысль, но необходимость выражать идеи словами замедляет мышление — и не только у человека.
🤖 Трансформеры предсказывают токены последовательно, обрабатывая данные в латентных пространствах. Наш с вами словесный запрос разбивается на токены, каждый преобразуется в числовой вектор (эмбеддинг), отражающий его «смысловую позицию» в этом пространстве. Слои нейросети модифицируют векторы, а итоговый набор формирует скрытое состояние — совокупность данных для предсказания следующего токена. Процесс повторяется токен за токеном.
Современные LLM имитируют рассуждения, генерируя токены, которые отражают ход мысли. Однако постоянный переход из непрерывного латентного пространства в дискретное словесное требует значительных ресурсов и может искажать смысл.
Можно ли научить LLM рассуждать исключительно в латентном пространстве? В двух недавних работах ученые создали нейросети, которые делают это.
1️⃣ Проект Coconut, созданный из открытой GPT-2. Его разработчики изменили модель так, чтобы избежать шага, когда скрытое состояние преобразуется в токен, переходя из латентного пространства в ограниченный словарный запас (у GPT-2 он 50 000 токенов). Они зациклили систему – подавая на вход вместе с входными векторами скрытое состояние.
Coconut оказалась эффективнее исходной GPT-2. В одном тесте при той же точности ответов (98,8%) она использовала на порядок меньше токенов, а в другом, используя в три раза меньше токенов, она оказалась более точной – 97% против 77,5%. Однако в задании на решение элементарных математических задач, его точность оказалась всего 34% против 43% у оригинального GPT-2.
2️⃣ Команда Тома Голдштейна из Университета Мэриленда подошла к задаче с другой стороны. Дело в том, что у любой LLM фиксированное число слоев. Это не позволяет эффективно решать задачи, требующие большего количества проходов через слои. Голдштейн и его команда решили использовать слои вторично и разработали и обучили трансформер, который не только научился рассуждать в латентном пространстве, но и понял, когда нужно остановить рассуждения и переключиться на язык.
Чтобы проверить свою идею, они построили LLM с восемью слоями. Два начальных слоя («прелюдия»), затем блок из четырех слоев, который можно использовать рекуррентно, и два последних слоя («кода»), предсказывающих следующий токен. При одном проходе модель функционирует как восьмислойная LLM; при 25 проходах — как 104-слойная. Она останавливается, когда вектора, генерируемые рекуррентным блоком, перестают существенно меняться, и почти полностью работает в латентном пространстве, поскольку выход рекуррентного блока никогда не преобразуется в токены.
В итоге, решая более простые задачи, новая модель выходила из цикла раньше и тратила больше времени (и ресурсов) на сложные. Например, при решении этических задач она проходила через рекуррентный блок примерно в 3,5 раза чаще, чем при решении математических задач.
В тестах она оказалась лучше, чем модель OLMo-7B из Института искусственного интеллекта Аллена, у которой вдвое больше параметров (7 млрд против 3,5 млрд). В заданиях на математические рассуждения OLMo показал точность около 4%, а рекуррентная модель – около 28%.
Может, это и есть дао для LLM?
@anti_agi
Когда Лао-цзы сообщил миру, что «высказанное дао не есть истинное дао», он говорил не об LLM. Но, возможно, это касается и их тоже, и чтобы языковые модели работали лучше, они должны отказаться от языка? В конце концов, вектор — это тоже своего рода путь, то есть дао...
Язык помогает донести мысль, но необходимость выражать идеи словами замедляет мышление — и не только у человека.
🤖 Трансформеры предсказывают токены последовательно, обрабатывая данные в латентных пространствах. Наш с вами словесный запрос разбивается на токены, каждый преобразуется в числовой вектор (эмбеддинг), отражающий его «смысловую позицию» в этом пространстве. Слои нейросети модифицируют векторы, а итоговый набор формирует скрытое состояние — совокупность данных для предсказания следующего токена. Процесс повторяется токен за токеном.
Современные LLM имитируют рассуждения, генерируя токены, которые отражают ход мысли. Однако постоянный переход из непрерывного латентного пространства в дискретное словесное требует значительных ресурсов и может искажать смысл.
Можно ли научить LLM рассуждать исключительно в латентном пространстве? В двух недавних работах ученые создали нейросети, которые делают это.
1️⃣ Проект Coconut, созданный из открытой GPT-2. Его разработчики изменили модель так, чтобы избежать шага, когда скрытое состояние преобразуется в токен, переходя из латентного пространства в ограниченный словарный запас (у GPT-2 он 50 000 токенов). Они зациклили систему – подавая на вход вместе с входными векторами скрытое состояние.
Coconut оказалась эффективнее исходной GPT-2. В одном тесте при той же точности ответов (98,8%) она использовала на порядок меньше токенов, а в другом, используя в три раза меньше токенов, она оказалась более точной – 97% против 77,5%. Однако в задании на решение элементарных математических задач, его точность оказалась всего 34% против 43% у оригинального GPT-2.
2️⃣ Команда Тома Голдштейна из Университета Мэриленда подошла к задаче с другой стороны. Дело в том, что у любой LLM фиксированное число слоев. Это не позволяет эффективно решать задачи, требующие большего количества проходов через слои. Голдштейн и его команда решили использовать слои вторично и разработали и обучили трансформер, который не только научился рассуждать в латентном пространстве, но и понял, когда нужно остановить рассуждения и переключиться на язык.
Чтобы проверить свою идею, они построили LLM с восемью слоями. Два начальных слоя («прелюдия»), затем блок из четырех слоев, который можно использовать рекуррентно, и два последних слоя («кода»), предсказывающих следующий токен. При одном проходе модель функционирует как восьмислойная LLM; при 25 проходах — как 104-слойная. Она останавливается, когда вектора, генерируемые рекуррентным блоком, перестают существенно меняться, и почти полностью работает в латентном пространстве, поскольку выход рекуррентного блока никогда не преобразуется в токены.
В итоге, решая более простые задачи, новая модель выходила из цикла раньше и тратила больше времени (и ресурсов) на сложные. Например, при решении этических задач она проходила через рекуррентный блок примерно в 3,5 раза чаще, чем при решении математических задач.
В тестах она оказалась лучше, чем модель OLMo-7B из Института искусственного интеллекта Аллена, у которой вдвое больше параметров (7 млрд против 3,5 млрд). В заданиях на математические рассуждения OLMo показал точность около 4%, а рекуррентная модель – около 28%.
Может, это и есть дао для LLM?
@anti_agi
25.04.202511:10
🤖 ИИ отдаст ваши долги! Технические...
Говорят, что берёшь в долг всегда чужие, а отдаёшь — свои. Получив кредит, компания может быстро сделать шаг вперёд, но потом долг надо вернуть, с процентами, а долги имеют обыкновение накапливаться...
💻 То же самое с тем, что называется «техническим долгом»: быстро написать систему, запустить ее: без проверок, документирования и т.д. — это круто для развития бизнеса, компания выигрывает в моменте. Но потом приходит расплата в виде сбоев, уязвимостей и невозможности нормально развивать продукт. А если долго не модернизировать ПО, которое вроде «и так работает», то долг вовсе может стать непомерным.
ℹ️ Одна из наиболее болезненных форм такого долга — это старый код, написанный десятилетия назад на языках, которые давно вышли из широкого употребления: COBOL, PL/1, даже Assembler. Эти системы всё ещё лежат в основе банков, пенсионных фондов, систем бронирования и государственных платформ. Они работают, но обновлять их некому: специалистов всё меньше, документации часто нет вовсе, а любое вмешательство сродни археологической экспедиции.
Но теперь ситуация начинает меняться. Генеративный искусственный интеллект становится «умным старшим коллегой», который умеет читать мёртвые языки программирования и объяснять, как работает система, написанная полвека назад.
✔️ Команды, вроде той, что возглавляет ИТ-консультант Крешимир Мудровчич, уже используют ИИ для модернизации старых платформ. Возраст кода в них часто втрое превышает возраст самых молодых участников команды. Нейросети же помогают разбираться в логике многомиллионных строк кода, генерировать документацию и даже переводить устаревшие модули в современные языки, такие как Java или Python.
Это не просто ускоряет работу — это снижает сам технический долг. Проекты по модернизации, которые стоили сотни миллионов долларов и длились годами, теперь можно реализовать за месяцы и за куда меньшие деньги.
ИИ также автоматизирует создание «инструкций к коду», заменяя ручной реверс-инжиниринг. Это особенно важно в тех случаях, когда последние специалисты, помнившие архитектуру системы, давно на пенсии.
🔤🔤А главное — ИИ даёт компаниям шанс высвободить ресурсы: перестать тратить миллионы на поддержку неэффективного, и направить усилия на развитие, инновации, привлечение новых специалистов, которые не хотят работать с кодом 80-х годов...
@anti_agi
Говорят, что берёшь в долг всегда чужие, а отдаёшь — свои. Получив кредит, компания может быстро сделать шаг вперёд, но потом долг надо вернуть, с процентами, а долги имеют обыкновение накапливаться...
💻 То же самое с тем, что называется «техническим долгом»: быстро написать систему, запустить ее: без проверок, документирования и т.д. — это круто для развития бизнеса, компания выигрывает в моменте. Но потом приходит расплата в виде сбоев, уязвимостей и невозможности нормально развивать продукт. А если долго не модернизировать ПО, которое вроде «и так работает», то долг вовсе может стать непомерным.
В 2022 году Consortium for Information & Software Quality оценил объём технического долга в США в $1,5 трлн, а убытки от плохого качества ПО превысили $2,4 трлн.
ℹ️ Одна из наиболее болезненных форм такого долга — это старый код, написанный десятилетия назад на языках, которые давно вышли из широкого употребления: COBOL, PL/1, даже Assembler. Эти системы всё ещё лежат в основе банков, пенсионных фондов, систем бронирования и государственных платформ. Они работают, но обновлять их некому: специалистов всё меньше, документации часто нет вовсе, а любое вмешательство сродни археологической экспедиции.
Согласно декабрьскому отчету McKinsey, до 70% программного обеспечения, используемого компаниями из списка Fortune 500, было разработано не менее двух десятилетий назад.
Но теперь ситуация начинает меняться. Генеративный искусственный интеллект становится «умным старшим коллегой», который умеет читать мёртвые языки программирования и объяснять, как работает система, написанная полвека назад.
✔️ Команды, вроде той, что возглавляет ИТ-консультант Крешимир Мудровчич, уже используют ИИ для модернизации старых платформ. Возраст кода в них часто втрое превышает возраст самых молодых участников команды. Нейросети же помогают разбираться в логике многомиллионных строк кода, генерировать документацию и даже переводить устаревшие модули в современные языки, такие как Java или Python.
Это не просто ускоряет работу — это снижает сам технический долг. Проекты по модернизации, которые стоили сотни миллионов долларов и длились годами, теперь можно реализовать за месяцы и за куда меньшие деньги.
По данным McKinsey, использование ИИ позволяет сократить затраты на модернизацию до 50%, а в банках, где устаревшие системы особенно глубоко вросли в инфраструктуру, это становится спасением от паралича. Уже появились специализированные решения вроде McKinsey LegacyX, которые вычищают «мёртвый» код и помогают адаптировать старые системы под современные требования.
ИИ также автоматизирует создание «инструкций к коду», заменяя ручной реверс-инжиниринг. Это особенно важно в тех случаях, когда последние специалисты, помнившие архитектуру системы, давно на пенсии.
🔤🔤А главное — ИИ даёт компаниям шанс высвободить ресурсы: перестать тратить миллионы на поддержку неэффективного, и направить усилия на развитие, инновации, привлечение новых специалистов, которые не хотят работать с кодом 80-х годов...
@anti_agi
24.04.202516:16
🤖 В общем, пока мы генерируем для вас новый контент (но не через ChatGPT!), напомним, как на самом деле обстоит ситуация с множеством «революционных» стартапов на рынке. И это ещё хороший вариант — всяко лучше, чем когда вместо ИИ за вас работают уставшие, но довольные филиппинцы ;)
@anti_agi
@anti_agi
21.04.202518:25
Лидерами не рождаются, ими становятся
А потом их находит ИИ. С интересом прочитал в Ъ статью о том, как новые инструменты всё теснее интегрируются в работу HR. Удивительно, но факт: простые «попугаи» в лице LLM и других моделей уже неплохо научились измерять soft skills и лидерские качества при общении с человеком.
Эффективность такого метода проверки недавно подтвердили в Гарварде. Речь идёт о системе, которая разыгрывает сценки командных игр— имитируют коллег, начальников и клиентов. А потом — внимание! — выдают разбор полётов: кто тормозил, кто наоборот — затащил, и где человек проявил лидерство (или не проявил его вовсе).
🤖 Для HR это мана небесная: можно обкатывать сотрудников на «симуляторах», не тратя время и деньги на организацию, но при этом собирать метрики — сколько баллов по эмпатии, сколько по решительности, где зарыт командный игрок. Плюс — меньше стресса для участников: всё-таки перед ботами не так неловко, как перед живым начальником и подчинёнными.
ИИ в HR тема в принципе не новая. Машинное обучение уже используют, например, на записях видеоинтервью: когда алгоритм анализирует мимику, интонацию и формулировки ответов, сопоставляя их с профилями успешных сотрудников. Про всякий просмотр резюме и оценку мотивационных писем можно и не вспоминать — это уже давно есть.
С применением LLM аналитика обретает человеческое лицо. Чат-боты выступают в роли виртуальных коучей, давая менеджерам рекомендации по стилю управления и коммуникации на основе анализа их писем, календаря встреч и отзывов коллег. А в случае с обучением ИИ-системы позволяют адаптировать программу под каждого сотрудника и внимательно отследить прогресс.
💻 Разделить оптимизм в полной мере по этому поводу не могу. Всё-таки модели тоже в своём роде субъективны, как уже показывал опыт Amazon и других. При неправильных вводных данных они охотно скатываются в стереотипы, которые чаще всего задевают различные меньшинства — но если у вас хронически недовольное лицо, тоже быстро опустят в рейтинге.
В любом случае, тренд очевиден: машины начинают читать между строк не хуже, чем люди. Так что «мягкие навыки» становятся вполне измеримыми. А следом, как водится, и автоматизируемыми — так что ИИ-менеджеры уже не мечта, а грядущая реальность. И по-человечески тепло похвалят, и по-машинному холодно оценят результаты работы.
Главное, чтобы вас потом также безэмоционально не выкинули за борт. У нас уже был случай, когда основатель компании Xsolla одним взмахом руки уволил 150 человек после того, как анализ их активности в рабочих сервисах показал слабую продуктивность. Теперь такое ещё проще поставить на поток, и без массовых репрессий.
❓ Мне лично интересно, как все эти управленческие нюансы будут коррелировать с настроениями в самой компании и регионе. Недавно у Лаборатории ИИ «Сколково» вышло исследование по теме — оно как раз подсветило, что между LLM есть условные «культурные различия», и они проявляются в том числе в зависимости от языка вопроса.
Ну и заодно оказалось, что только российские модели имеют характерное «двугорбое» распределение по индексам индивидуализма и избегания неопределенности. В некоторых ситуациях GigaChat и YandexGPT предпочитают реагировать как индивидуалисты, а в некоторых — как коллективисты. А теперь наложите все эти нюансы на менеджерские задачи!
@anti_agi
А потом их находит ИИ. С интересом прочитал в Ъ статью о том, как новые инструменты всё теснее интегрируются в работу HR. Удивительно, но факт: простые «попугаи» в лице LLM и других моделей уже неплохо научились измерять soft skills и лидерские качества при общении с человеком.
Эффективность такого метода проверки недавно подтвердили в Гарварде. Речь идёт о системе, которая разыгрывает сценки командных игр— имитируют коллег, начальников и клиентов. А потом — внимание! — выдают разбор полётов: кто тормозил, кто наоборот — затащил, и где человек проявил лидерство (или не проявил его вовсе).
🤖 Для HR это мана небесная: можно обкатывать сотрудников на «симуляторах», не тратя время и деньги на организацию, но при этом собирать метрики — сколько баллов по эмпатии, сколько по решительности, где зарыт командный игрок. Плюс — меньше стресса для участников: всё-таки перед ботами не так неловко, как перед живым начальником и подчинёнными.
ИИ в HR тема в принципе не новая. Машинное обучение уже используют, например, на записях видеоинтервью: когда алгоритм анализирует мимику, интонацию и формулировки ответов, сопоставляя их с профилями успешных сотрудников. Про всякий просмотр резюме и оценку мотивационных писем можно и не вспоминать — это уже давно есть.
С применением LLM аналитика обретает человеческое лицо. Чат-боты выступают в роли виртуальных коучей, давая менеджерам рекомендации по стилю управления и коммуникации на основе анализа их писем, календаря встреч и отзывов коллег. А в случае с обучением ИИ-системы позволяют адаптировать программу под каждого сотрудника и внимательно отследить прогресс.
💻 Разделить оптимизм в полной мере по этому поводу не могу. Всё-таки модели тоже в своём роде субъективны, как уже показывал опыт Amazon и других. При неправильных вводных данных они охотно скатываются в стереотипы, которые чаще всего задевают различные меньшинства — но если у вас хронически недовольное лицо, тоже быстро опустят в рейтинге.
В любом случае, тренд очевиден: машины начинают читать между строк не хуже, чем люди. Так что «мягкие навыки» становятся вполне измеримыми. А следом, как водится, и автоматизируемыми — так что ИИ-менеджеры уже не мечта, а грядущая реальность. И по-человечески тепло похвалят, и по-машинному холодно оценят результаты работы.
Главное, чтобы вас потом также безэмоционально не выкинули за борт. У нас уже был случай, когда основатель компании Xsolla одним взмахом руки уволил 150 человек после того, как анализ их активности в рабочих сервисах показал слабую продуктивность. Теперь такое ещё проще поставить на поток, и без массовых репрессий.
❓ Мне лично интересно, как все эти управленческие нюансы будут коррелировать с настроениями в самой компании и регионе. Недавно у Лаборатории ИИ «Сколково» вышло исследование по теме — оно как раз подсветило, что между LLM есть условные «культурные различия», и они проявляются в том числе в зависимости от языка вопроса.
«При сравнении культурных индексов Хофстеде по адаптированной для LLM методике российские модели (GigaChat и YandexGPT) показали склонность к неприятию конкуренции и прощению ошибок, меньшую дистанцию к власти и более долгосрочную ориентацию по сравнению с усреднёнными показателями американских и китайских моделей».
Ну и заодно оказалось, что только российские модели имеют характерное «двугорбое» распределение по индексам индивидуализма и избегания неопределенности. В некоторых ситуациях GigaChat и YandexGPT предпочитают реагировать как индивидуалисты, а в некоторых — как коллективисты. А теперь наложите все эти нюансы на менеджерские задачи!
@anti_agi
21.04.202509:06
🤖 AID от @anti_agi
Скандал! OpenAI поймали на вранье.
В декабре Марк Чен, CRO компании провозгласил, что их модель o3 рвет на тестах FrontierMath конкурентов как тузик грелку:
Тогда оставалось только поверить ему на слово, но теперь компания выпустила o3 наружу и Epoch AI с удивлением обнаружила, что модель набирает в районе 10%. Тому можно дать множество объяснений, но оставим это так.
Кроме того, новые модели OpenAI галлюцинируют больше, чем старые. Компания признает, что по их внутренним тестам при ответах на вопросы PersonQA , их собственного бенчмарка для измерения точности знаний модели о людях, o3 галлюцинировал в 33% случаев. Это примерно в два раза больше, чем у предыдущих моделей рассуждений OpenAI, o1 и o3-mini, которые набрали 16% и 14,8% соответственно. А с o4-mini еще хуже - она галлюцинировала в 48% случаев.
Некоторые пользователи обнаружили еще одну криповую особенность ChatGPT. В своих «рассуждениях» он называет их по имени. «Называет меня все время по имени, как будто учитель, ЛОЛ», - пишет в X один из таких пользователей. Логично предположить, что это может быть связано с недавно появившейся функцией памяти, хотя у части пользователей, столкнувшихся с проблемой, она отключена.
«Еще одно, последнее сказанье» про ChatGPT: компания по-тихому запустила функцию «памяти с поиском», которая позволяет сервису использовать детали из прошлых разговоров с пользователем для запросов при поиске в интернете. В документации OpenAI объясняется, как она работает на примере: для пользователя, о котором ChatGPT «знает», что он веган и живет в Сан-Франциско, сервис может переписать запрос «рестораны рядом со мной» в «хорошие веганские рестораны, Сан-Франциско».
▪️TSMC в годовом отчете пишет очевидную вещь, что не может эффективно соблюдать экспортный контроль, наложенный США, поскольку ее знание о том, кто и как дальше использует произведенные ею чипы, довольно ограничено. «Нет никакой уверенности» в том, что санкции будут соблюдаться, несмотря на все усилия TSMC, пишет компания, которой уже грозит миллиардный штраф после того, как ее технологии были обнаружены в чипах подсанкционного Huawei.
▪️В отличие от Китая, ОАЭ не под санкциями. Более того, страна надеется, что обещанные ею в ближайшее десятилетие $1,4 трлн инвестиций в экономику США откроют ей доступ к технологиям. Гендиректор G42 Пэн Сяо считает, что страна добилась «очень хорошего и ощутимого прогресса» в получении передовых чипов из США. Пока ОАЭ относятся ко второму уровню стран, согласно правилам США по распространению технологии ИИ, что ограничивает ее доступ к процессорам.
▪️Итальянская газета Il Foglio, в течение месяца выпускавшая вместе с обычным ежедневным выпуском четырехстраничную вкладку, которая была полностью написана ИИ, признала эксперимент удачным. Это повысило продажи, и теперь газета будет публиковать раз в неделю отдельный раздел, написанный ИИ. Il Foglio – небольшая консервативная газета с 22 сотрудниками, которые обладают знаниями и опытом далеко не во всех областях. Поэтому им будет помогать в этом ИИ, как, например, с опубликованной в пятницу статье об астрономии.
Скандал! OpenAI поймали на вранье.
В декабре Марк Чен, CRO компании провозгласил, что их модель o3 рвет на тестах FrontierMath конкурентов как тузик грелку:
Сегодня все модели имеют менее 2%. Мы видим [внутри компании], что o3 с агрессивными настройками времени, отведенного на вычисления мы можем получить более 25%.
Тогда оставалось только поверить ему на слово, но теперь компания выпустила o3 наружу и Epoch AI с удивлением обнаружила, что модель набирает в районе 10%. Тому можно дать множество объяснений, но оставим это так.
Кроме того, новые модели OpenAI галлюцинируют больше, чем старые. Компания признает, что по их внутренним тестам при ответах на вопросы PersonQA , их собственного бенчмарка для измерения точности знаний модели о людях, o3 галлюцинировал в 33% случаев. Это примерно в два раза больше, чем у предыдущих моделей рассуждений OpenAI, o1 и o3-mini, которые набрали 16% и 14,8% соответственно. А с o4-mini еще хуже - она галлюцинировала в 48% случаев.
Некоторые пользователи обнаружили еще одну криповую особенность ChatGPT. В своих «рассуждениях» он называет их по имени. «Называет меня все время по имени, как будто учитель, ЛОЛ», - пишет в X один из таких пользователей. Логично предположить, что это может быть связано с недавно появившейся функцией памяти, хотя у части пользователей, столкнувшихся с проблемой, она отключена.
«Еще одно, последнее сказанье» про ChatGPT: компания по-тихому запустила функцию «памяти с поиском», которая позволяет сервису использовать детали из прошлых разговоров с пользователем для запросов при поиске в интернете. В документации OpenAI объясняется, как она работает на примере: для пользователя, о котором ChatGPT «знает», что он веган и живет в Сан-Франциско, сервис может переписать запрос «рестораны рядом со мной» в «хорошие веганские рестораны, Сан-Франциско».
▪️TSMC в годовом отчете пишет очевидную вещь, что не может эффективно соблюдать экспортный контроль, наложенный США, поскольку ее знание о том, кто и как дальше использует произведенные ею чипы, довольно ограничено. «Нет никакой уверенности» в том, что санкции будут соблюдаться, несмотря на все усилия TSMC, пишет компания, которой уже грозит миллиардный штраф после того, как ее технологии были обнаружены в чипах подсанкционного Huawei.
▪️В отличие от Китая, ОАЭ не под санкциями. Более того, страна надеется, что обещанные ею в ближайшее десятилетие $1,4 трлн инвестиций в экономику США откроют ей доступ к технологиям. Гендиректор G42 Пэн Сяо считает, что страна добилась «очень хорошего и ощутимого прогресса» в получении передовых чипов из США. Пока ОАЭ относятся ко второму уровню стран, согласно правилам США по распространению технологии ИИ, что ограничивает ее доступ к процессорам.
▪️Итальянская газета Il Foglio, в течение месяца выпускавшая вместе с обычным ежедневным выпуском четырехстраничную вкладку, которая была полностью написана ИИ, признала эксперимент удачным. Это повысило продажи, и теперь газета будет публиковать раз в неделю отдельный раздел, написанный ИИ. Il Foglio – небольшая консервативная газета с 22 сотрудниками, которые обладают знаниями и опытом далеко не во всех областях. Поэтому им будет помогать в этом ИИ, как, например, с опубликованной в пятницу статье об астрономии.
18.04.202507:40
В сети рассказывают про странный математический глюк о4-mini: если попросить ее из 9.11 вычесть 9.8, она дает ответ 0.31.
Попробовали рассуждающую Алису. В основном она давала правильный ответ (—0.69), но в одном случае она выдала вот такое, решив, что точка символизирует не десятичный разделитель, а дробную черту. Итог — минус 27/88 — в десятичном виде, кстати, близок по модулю к ответу o4-mini: —0,306818...
@anti_agi
Попробовали рассуждающую Алису. В основном она давала правильный ответ (—0.69), но в одном случае она выдала вот такое, решив, что точка символизирует не десятичный разделитель, а дробную черту. Итог — минус 27/88 — в десятичном виде, кстати, близок по модулю к ответу o4-mini: —0,306818...
@anti_agi
17.04.202511:23
🤖 ИИ пока не напал, но израильские стартапы уже учаться его ненавидеть
Пока нейросети рисуют котиков и сочиняют стихи про любовь, на благословенной земле решили: пора готовиться к худшему. Местная компания привлекла $9 млн (сущие копейки на фоне OpenAI), чтобы создать «защитный слой» от ИИ-угроз, которых… пока нет.
Логика проста:
1️⃣ Если однажды ИИ станет злым и начнет взламывать банки — мы уже припасем цифровой перцовый баллончик.
2️⃣ Если не станет — ну, хотя бы инвесторы потренируются в метании денег в гипотетические проблемы.
Ирония в том, что:
➖ Мир ещё не увидел ни одной атаки ИИ-террориста, но рынок уже дрожит от страха, а кто-то делает на этом $.
➖ Пока ChatGPT пишет нам шутки и рисует Ghibli-арты, где-то в лабораториях готовят бойцовский клуб нейросетей. Неплохой сиквел.
Финал истории:
Через год эти же ребята запустят ИИ-антивирус для ИИ-вирусов.
@anti_agi
Пока нейросети рисуют котиков и сочиняют стихи про любовь, на благословенной земле решили: пора готовиться к худшему. Местная компания привлекла $9 млн (сущие копейки на фоне OpenAI), чтобы создать «защитный слой» от ИИ-угроз, которых… пока нет.
Логика проста:
1️⃣ Если однажды ИИ станет злым и начнет взламывать банки — мы уже припасем цифровой перцовый баллончик.
2️⃣ Если не станет — ну, хотя бы инвесторы потренируются в метании денег в гипотетические проблемы.
Ирония в том, что:
➖ Мир ещё не увидел ни одной атаки ИИ-террориста, но рынок уже дрожит от страха, а кто-то делает на этом $.
➖ Пока ChatGPT пишет нам шутки и рисует Ghibli-арты, где-то в лабораториях готовят бойцовский клуб нейросетей. Неплохой сиквел.
Финал истории:
Через год эти же ребята запустят ИИ-антивирус для ИИ-вирусов.
@anti_agi
25.04.202510:24
🤖 AID от @anti_agi
🇨🇳Из Китая прилетают новости.
▪️Помните такой агент Manus, про который все вокруг бегали и кричали, что это новый DeepSeek, а потом выяснили что это старый Claude? Так вот он, точнее разработавшая его компания Butterfly Effect, подняла денег от венчурной фирмы Benchmark, известной по своим ранним вложениям в Uber и Snap. После своего громкого дебюта, ребята ходили со своим Manus по венчурному рынку в поисках денег, и в итоге подняли $75 млн по оценке почти $500 млн. Неплохо, но…
▪️Baidu выпустила новые модели: фундаментальную Ernie 4.5 Turbo и рассуждающую Ernie X1 Turbo, опустив цены на модели в 2-5 раз. Как водится, компания рассказала, что новая фундаментальная модель лучше всех конкурентов в некоторых бенчмарках и будет использовать их в своих приложениях. Глава китайского поисковика заявил:
▪️Кстати, Baidu также выпустила платформу AI-агента для автоматизации работы с компьютером Xinxiang, прямого конкурента того самого Manus, успевшего только что поднять деньги.
▪️Конференция Baidu для разработчиков принесла еще одну новость: компания успешно запустила кластер из 30 000 чипов третьего поколения P800 Kunlun собственной разработки, заявил гендиректор компании Робин Ли. По его словам, кластер P800 может обучать модели, подобные DeepSeek, с сотнями миллиардов параметров, или поддерживать тысячу клиентов, которые одновременно файнтюнят модели на миллиарды параметров. Baidu заявила, что китайские банки и интернет-компании уже используют чипы P800.
▪️Добавим сюда отсутствие новости. Alibaba в начале месяца взбодрила всех слухом, что в апреле выпустит Qwen 3. Цукерберг даже разнервничавшись фиганул в рынок сырую Llama 4. Апрель, меж тем, на исходе аГермана Qwen 3 всё нет...
Вернемся на Запад.
▪️Intel будет догонять Nvidia не спеша и не тратя денег на приобретения, а напротив пытаясь сэкономить (ну-ну!). Новый гендиректор Intel Лип-Бу Тан на своем первом конфколле с аналитиками рассказал, что он перетряхнет портфель решений Intel, чтобы понять, как оптимизировать их для новых тенденций в сфере применения ИИ. «Это потребует от нас радикального изменения нашего дизайнерского и инженерного мышления». Раньше Intel оставлял разработку новых чипов стартапам, а затем покупал наиболее успешные из них. Аналитики, впрочем остались не слишком впечатлены. Мы тоже…
ℹ️Но есть для Intel и хорошие новости! Война пошлин побуждает заказчиков переходить на более дешевые и старые процессоры. Intel сообщил, что наблюдает высокий спрос на комплектующие старого поколения, как в сегменте ПК, так и серверов, в том числе для дата-центров. Может и запасы Пентиумов пригодятся для ИИ?
▪️Anthropic, известный осторожным подходом к безопасности моделей, долбанул из двустволки: с одной стороны его CEO Дарио Амодей выпустил статью озаглавленную статье «Срочность интерпретируемости», где пообещал, что к 2027 году компания решит проблему «черного ящика» — недостатка понимания, как работают AI-модели. Амодей говорит, что Anthropic уже добилась первых успехов, однако там еще копать и копать. С другой стороны компания объявила новую большую программу по поиску сознания в моделях, что в целом тоже об интерпретируемости...
▪️Вот так. В то время как Маск хочет, чтобы его AI-модели грокнули мир, Дарио Амодей хочет грокнуть сами AI-модели. Между тем Perplexity хочет грокнуть нас, используя AI и свой будущий браузер Comet. Гендиректор Perplexity Аравинд Шринивас заявил, что одна из причин, по которой Perplexity создает свой собственный браузер, - это сбор данных о действиях пользователей: «Мы хотим получать данные даже за пределами приложения, чтобы лучше понять вас». Это позволит продавать премиальную рекламу, надеется он. «То, какие вещи вы покупаете, в какие отели ездите, в какие рестораны ходите, что просматриваете, расскажет нам о вас гораздо больше». Он наивно полагает, что пользователи будут не против. Запуск «Кометы» намечен на май
🇨🇳Из Китая прилетают новости.
▪️Помните такой агент Manus, про который все вокруг бегали и кричали, что это новый DeepSeek, а потом выяснили что это старый Claude? Так вот он, точнее разработавшая его компания Butterfly Effect, подняла денег от венчурной фирмы Benchmark, известной по своим ранним вложениям в Uber и Snap. После своего громкого дебюта, ребята ходили со своим Manus по венчурному рынку в поисках денег, и в итоге подняли $75 млн по оценке почти $500 млн. Неплохо, но…
▪️Baidu выпустила новые модели: фундаментальную Ernie 4.5 Turbo и рассуждающую Ernie X1 Turbo, опустив цены на модели в 2-5 раз. Как водится, компания рассказала, что новая фундаментальная модель лучше всех конкурентов в некоторых бенчмарках и будет использовать их в своих приложениях. Глава китайского поисковика заявил:
«Существует множество AI-моделей, но миром правят приложения. Приложение - это король. Без приложений модели и чипы ничего не стоят».
▪️Кстати, Baidu также выпустила платформу AI-агента для автоматизации работы с компьютером Xinxiang, прямого конкурента того самого Manus, успевшего только что поднять деньги.
▪️Конференция Baidu для разработчиков принесла еще одну новость: компания успешно запустила кластер из 30 000 чипов третьего поколения P800 Kunlun собственной разработки, заявил гендиректор компании Робин Ли. По его словам, кластер P800 может обучать модели, подобные DeepSeek, с сотнями миллиардов параметров, или поддерживать тысячу клиентов, которые одновременно файнтюнят модели на миллиарды параметров. Baidu заявила, что китайские банки и интернет-компании уже используют чипы P800.
▪️Добавим сюда отсутствие новости. Alibaba в начале месяца взбодрила всех слухом, что в апреле выпустит Qwen 3. Цукерберг даже разнервничавшись фиганул в рынок сырую Llama 4. Апрель, меж тем, на исходе а
Вернемся на Запад.
▪️Intel будет догонять Nvidia не спеша и не тратя денег на приобретения, а напротив пытаясь сэкономить (ну-ну!). Новый гендиректор Intel Лип-Бу Тан на своем первом конфколле с аналитиками рассказал, что он перетряхнет портфель решений Intel, чтобы понять, как оптимизировать их для новых тенденций в сфере применения ИИ. «Это потребует от нас радикального изменения нашего дизайнерского и инженерного мышления». Раньше Intel оставлял разработку новых чипов стартапам, а затем покупал наиболее успешные из них. Аналитики, впрочем остались не слишком впечатлены. Мы тоже…
ℹ️Но есть для Intel и хорошие новости! Война пошлин побуждает заказчиков переходить на более дешевые и старые процессоры. Intel сообщил, что наблюдает высокий спрос на комплектующие старого поколения, как в сегменте ПК, так и серверов, в том числе для дата-центров. Может и запасы Пентиумов пригодятся для ИИ?
▪️Anthropic, известный осторожным подходом к безопасности моделей, долбанул из двустволки: с одной стороны его CEO Дарио Амодей выпустил статью озаглавленную статье «Срочность интерпретируемости», где пообещал, что к 2027 году компания решит проблему «черного ящика» — недостатка понимания, как работают AI-модели. Амодей говорит, что Anthropic уже добилась первых успехов, однако там еще копать и копать. С другой стороны компания объявила новую большую программу по поиску сознания в моделях, что в целом тоже об интерпретируемости...
▪️Вот так. В то время как Маск хочет, чтобы его AI-модели грокнули мир, Дарио Амодей хочет грокнуть сами AI-модели. Между тем Perplexity хочет грокнуть нас, используя AI и свой будущий браузер Comet. Гендиректор Perplexity Аравинд Шринивас заявил, что одна из причин, по которой Perplexity создает свой собственный браузер, - это сбор данных о действиях пользователей: «Мы хотим получать данные даже за пределами приложения, чтобы лучше понять вас». Это позволит продавать премиальную рекламу, надеется он. «То, какие вещи вы покупаете, в какие отели ездите, в какие рестораны ходите, что просматриваете, расскажет нам о вас гораздо больше». Он наивно полагает, что пользователи будут не против. Запуск «Кометы» намечен на май
24.04.202510:11
🤖 AID от @anti_agi
Очередные новости из суда Минюста с Google:
➖Директор по бизнесу Perplexity Дмитрий Шевеленко рассказал, что из-за контракта Motorola с Google им не удалось договориться об установке Perplexity ассистентом по умолчанию, «несмотря на то, что обе стороны хотят этого». Контракты Google - это как «пистолет к голове, и если вы сделаете что-то, что им не понравится, они могут отрезать вас от существенного источника дохода». Шевеленко сказал, что ни одно из партнерств Perplexity вообще не было бы реализовано, если бы не антимонопольный иск Минюста против Google. Компания «находится под давлением», и производители телефонов, «операторы и браузеры не против вести некоторые из диалогов, которые они ведут», - сказал он.
➖Кстати, если кто-то ждет чуда от будущего браузера Perplexity под названием Comet, так вот – не ждите. Шевеленко рассказал, что Comet основан на Chromium, открытой версии Chrome. Поэтому он надеется, что любая продажа обеспечит поддержку версии с открытым исходным кодом. Так что нас ждет очередной допиленный Хромиум.
➖В марте у Gemini было 350 млн пользователей по всему миру, раскрыл Google в судебном заседании внутренние данные. Количество ежедневных пользователей Gemini сильно выросло: в октябре их было всего 9 млн, а в марте уже 35 млн. Google привел эти данные, чтобы показать, что это далеко не самый популярный AI-инструмент. По оценкам Google, у ChatGPT в марте было около 600 млн ежемесячных активных пользователей. А Цукерберг говорил, что в сентябре у чат-бота Meta (запрещена в России за экстремизм) было почти 500 млн ежемесячных пользователей.
К другим новостям:
▪️TSMC планирует начать производство по технологии A14 в 2028 году. Сейчас компания умеет производить чипы по N3 (3нм техпроцесс), в этом она планирует начать производство по N2 (2нм), а в конце 2026 года ее номенклатура перейдет с нанометров на ангстремы, и будет запущен техпроцесс A16 (16 ангстрем =1,6 нм). Техпроцесс A14 (14 ангстрем = 1,4нм) позволит производить процессоры, которые будут на 15% быстрее при том же энергопотреблении, что и чипы N2, или будут потреблять на 30% меньше энергии при той же скорости, что и чипы N2.
▪️Квартальная прибыль SK Hynix, ключевого поставщика HBM-памяти для Nvidia, выросла более чем в двое, а спрос на AI-чипы так высок, что компания ожидает, что его лишь ограниченно охладят потенциальные таможенные тарифы США: «Мы можем с уверенностью сказать, что планы продаж [HBM] ключевым клиентам на этот год не изменились и остаются на уровне ранее подписанных контрактов». Выручка SK Hynix выросла на 42% до 17,6 трлн вон ($12,3 млрд).
▪️Nvidia выпустила в открытый доступ программную платформу NeMo microservices, которая позволит создавать AI-коллег. Компания заявила, что разработала более эффективный способ создания AI-агентов, который опирается на AI-модели с открытым исходным кодом, такие как Llama и Mistral.
▪️Появляются подробности о новой open source модели OpenAI, которую компания в конце марта обещала выпустить в свет в этом году, впервые с GPT-2. Разработка модели находится на самой ранней стадии (видимо в OpenAI узнали о ней, только когда Альтман пообещал ее выпустить). Возглавил разработку Эйдан Кларк, вице-президент OpenAI по исследованиям. OpenAI планирует выпустить ее в начале лета и стремится сделать эту рассуждающую модель эталонной среди других открытых рассуждающих моделей. Компания изучает возможность крайне свободного лицензирования, с минимальными ограничениями на использование и коммерческую деятельность, чтобы избежать критики, которой ранее за ограничения подверглись Llama и Gemma от Google.
Очередные новости из суда Минюста с Google:
➖Директор по бизнесу Perplexity Дмитрий Шевеленко рассказал, что из-за контракта Motorola с Google им не удалось договориться об установке Perplexity ассистентом по умолчанию, «несмотря на то, что обе стороны хотят этого». Контракты Google - это как «пистолет к голове, и если вы сделаете что-то, что им не понравится, они могут отрезать вас от существенного источника дохода». Шевеленко сказал, что ни одно из партнерств Perplexity вообще не было бы реализовано, если бы не антимонопольный иск Минюста против Google. Компания «находится под давлением», и производители телефонов, «операторы и браузеры не против вести некоторые из диалогов, которые они ведут», - сказал он.
➖Кстати, если кто-то ждет чуда от будущего браузера Perplexity под названием Comet, так вот – не ждите. Шевеленко рассказал, что Comet основан на Chromium, открытой версии Chrome. Поэтому он надеется, что любая продажа обеспечит поддержку версии с открытым исходным кодом. Так что нас ждет очередной допиленный Хромиум.
➖В марте у Gemini было 350 млн пользователей по всему миру, раскрыл Google в судебном заседании внутренние данные. Количество ежедневных пользователей Gemini сильно выросло: в октябре их было всего 9 млн, а в марте уже 35 млн. Google привел эти данные, чтобы показать, что это далеко не самый популярный AI-инструмент. По оценкам Google, у ChatGPT в марте было около 600 млн ежемесячных активных пользователей. А Цукерберг говорил, что в сентябре у чат-бота Meta (запрещена в России за экстремизм) было почти 500 млн ежемесячных пользователей.
К другим новостям:
▪️TSMC планирует начать производство по технологии A14 в 2028 году. Сейчас компания умеет производить чипы по N3 (3нм техпроцесс), в этом она планирует начать производство по N2 (2нм), а в конце 2026 года ее номенклатура перейдет с нанометров на ангстремы, и будет запущен техпроцесс A16 (16 ангстрем =1,6 нм). Техпроцесс A14 (14 ангстрем = 1,4нм) позволит производить процессоры, которые будут на 15% быстрее при том же энергопотреблении, что и чипы N2, или будут потреблять на 30% меньше энергии при той же скорости, что и чипы N2.
▪️Квартальная прибыль SK Hynix, ключевого поставщика HBM-памяти для Nvidia, выросла более чем в двое, а спрос на AI-чипы так высок, что компания ожидает, что его лишь ограниченно охладят потенциальные таможенные тарифы США: «Мы можем с уверенностью сказать, что планы продаж [HBM] ключевым клиентам на этот год не изменились и остаются на уровне ранее подписанных контрактов». Выручка SK Hynix выросла на 42% до 17,6 трлн вон ($12,3 млрд).
▪️Nvidia выпустила в открытый доступ программную платформу NeMo microservices, которая позволит создавать AI-коллег. Компания заявила, что разработала более эффективный способ создания AI-агентов, который опирается на AI-модели с открытым исходным кодом, такие как Llama и Mistral.
▪️Появляются подробности о новой open source модели OpenAI, которую компания в конце марта обещала выпустить в свет в этом году, впервые с GPT-2. Разработка модели находится на самой ранней стадии (видимо в OpenAI узнали о ней, только когда Альтман пообещал ее выпустить). Возглавил разработку Эйдан Кларк, вице-президент OpenAI по исследованиям. OpenAI планирует выпустить ее в начале лета и стремится сделать эту рассуждающую модель эталонной среди других открытых рассуждающих моделей. Компания изучает возможность крайне свободного лицензирования, с минимальными ограничениями на использование и коммерческую деятельность, чтобы избежать критики, которой ранее за ограничения подверглись Llama и Gemma от Google.
21.04.202515:34
У 国家超级计算天津中心, GENCI, NCSA и других скоро появится отечественный аналог💻
Президент поручил Правительству до 15 июля рассмотреть вопрос о создании национального суперкомпьютерного центра. Кто-то на эту тему уже поиронизировал, хотя сама идея соответствует общемировым практикам. Подобные структуры можно встретить у всех ключевых HPC-игроков: США, Китая, Японии и даже Европы.
✔️ Более того, если открыть свежий рейтинг Top-500, то мы увидим, что огромное количество систем принадлежат вовсе не частным компаниям (хотя на 5 месте суперкомпьютер итальянской нефтегазовой Eni S.p.A.), а университетам и исследовательским лабораториям. Например, Оак-Риджской национальной лаборатории, там работали, кстати, Энрико Ферми, а также отец атомной бомбыКиллиан Мерфи Роберт Оппенгеймер.
Почему так происходит❓ Фундаментальные исследования требуют не меньше вычислительных ресурсов, чем генерация вашей аватарки в стиле Ghibli. А их полезность, скорее всего, немного больше. Например, рассчитать правильную траекторию посадки лунного модуля.
К слову, Россию на ноябрь 2024 года представляют 6 суперкомпьютеров в рейтинге: три Яндекса, два (Сбер)Клауда и единственный некоммерческий проект от Научно-исследовательского вычислительного центра МГУ — Ломоносов-2. Будем надеяться, именно на базе МГУ новый центр и создадут, учитывая опыт в эксплуатации HPC-систем.
@anti_agi
Президент поручил Правительству до 15 июля рассмотреть вопрос о создании национального суперкомпьютерного центра. Кто-то на эту тему уже поиронизировал, хотя сама идея соответствует общемировым практикам. Подобные структуры можно встретить у всех ключевых HPC-игроков: США, Китая, Японии и даже Европы.
✔️ Более того, если открыть свежий рейтинг Top-500, то мы увидим, что огромное количество систем принадлежат вовсе не частным компаниям (хотя на 5 месте суперкомпьютер итальянской нефтегазовой Eni S.p.A.), а университетам и исследовательским лабораториям. Например, Оак-Риджской национальной лаборатории, там работали, кстати, Энрико Ферми, а также отец атомной бомбы
Почему так происходит❓ Фундаментальные исследования требуют не меньше вычислительных ресурсов, чем генерация вашей аватарки в стиле Ghibli. А их полезность, скорее всего, немного больше. Например, рассчитать правильную траекторию посадки лунного модуля.
К слову, Россию на ноябрь 2024 года представляют 6 суперкомпьютеров в рейтинге: три Яндекса, два (Сбер)Клауда и единственный некоммерческий проект от Научно-исследовательского вычислительного центра МГУ — Ломоносов-2. Будем надеяться, именно на базе МГУ новый центр и создадут, учитывая опыт в эксплуатации HPC-систем.
@anti_agi
21.04.202508:05
Пока правительство США в очередной раз решило устроить раздачу ограничений и запретило Nvidia (как показывает практика не очень эффективно) поставлять в Китай "кастрированные" H20, Huawei решила воспользоваться ситуацией и устроила PR на костях чипах со своим новым ускорителем для ИИ.
💻 Ascend 920 – это не вчерашний Ascend 910C. Здесь нам обещают и 6‑нанометровый техпроцесс от SMIC, и 900 TFLOPS производительности (подозреваю, что FP16), и шину памяти на 4000 ГБ/с с HBM3 (которую пока поставлять в Китай можно). По слухам, на 30–40% шустрее предшественника.
Сюрприз подоспел буквально на следующий день после новых экспортных ограничений – совпадение? Не думаем. Huawei явно решила показать, кто станет главным бенефициаром ограничений.
👁 И это ещё не всё. Параллельно с чипом показали кластер CloudMatrix 384 на базе Ascend 910C – утверждают, что он поживее "флагманской" GB200 NVL72 от Nvidia.
‼️ Впрочем, все эти "бумажные" терафлопсы на самом деле имеют мало общего с реальной производительностью. Вот тут небольшой график сравнения H100 и Mi300X, где видна разница между обещать и жениться.
@anti_agi
💻 Ascend 920 – это не вчерашний Ascend 910C. Здесь нам обещают и 6‑нанометровый техпроцесс от SMIC, и 900 TFLOPS производительности (подозреваю, что FP16), и шину памяти на 4000 ГБ/с с HBM3 (которую пока поставлять в Китай можно). По слухам, на 30–40% шустрее предшественника.
Сюрприз подоспел буквально на следующий день после новых экспортных ограничений – совпадение? Не думаем. Huawei явно решила показать, кто станет главным бенефициаром ограничений.
👁 И это ещё не всё. Параллельно с чипом показали кластер CloudMatrix 384 на базе Ascend 910C – утверждают, что он поживее "флагманской" GB200 NVL72 от Nvidia.
‼️ Впрочем, все эти "бумажные" терафлопсы на самом деле имеют мало общего с реальной производительностью. Вот тут небольшой график сравнения H100 и Mi300X, где видна разница между обещать и жениться.
@anti_agi
17.04.202518:13
👁 Помните, мы говорили, что краулеры ИИ-компаний «слегка» перегружают сайты по всему миру?
Так вот, Википедия и Kaggle нашли выход — они решили дать разрабам ИИ то, что те так жаждут, но цивилизованно. ❤️
В чем соль❓
ИИ-гиганты вроде OpenAI или Google выкачивали тонны данных с сайтов, что приводило к гигантской нагрузке на серверы (особенно у Википедии). Теперь вместо хаотичного скрэпинга они получат "официальные датасеты":
✔️ Все тексты Википедии на английском и французском + метаданные (даты правок, авторы, ссылки)
✔️ Изображения и медиафайлы с лицензиями
✔️ Обновления каждые 3 месяца
Зачем это Вики?
➡️ Снизить нагрузку на серверы
➡️ Контролировать качество данных для ИИ
➡️ Сохранить принцип открытости, но без анархии
Kaggle, как платформа для data-спецов, станет «мостом» между Вики и разработчиками моделей. Теперь не нужно перегружать wiki — бери готовое и тренируй нейросети на легальных данных.
ИИ-компании экономят время, ресурсы и репутацию, а Википедия — свои серверы. Все довольны? 🤔
🔤🔤Ссылка на датасет, чтобы дорогим читателям не пришлось гуглить.
@anti_agi
Так вот, Википедия и Kaggle нашли выход — они решили дать разрабам ИИ то, что те так жаждут, но цивилизованно. ❤️
В чем соль❓
ИИ-гиганты вроде OpenAI или Google выкачивали тонны данных с сайтов, что приводило к гигантской нагрузке на серверы (особенно у Википедии). Теперь вместо хаотичного скрэпинга они получат "официальные датасеты":
✔️ Все тексты Википедии на английском и французском + метаданные (даты правок, авторы, ссылки)
✔️ Изображения и медиафайлы с лицензиями
✔️ Обновления каждые 3 месяца
Зачем это Вики?
➡️ Снизить нагрузку на серверы
➡️ Контролировать качество данных для ИИ
➡️ Сохранить принцип открытости, но без анархии
Kaggle, как платформа для data-спецов, станет «мостом» между Вики и разработчиками моделей. Теперь не нужно перегружать wiki — бери готовое и тренируй нейросети на легальных данных.
ИИ-компании экономят время, ресурсы и репутацию, а Википедия — свои серверы. Все довольны? 🤔
🔤🔤Ссылка на датасет, чтобы дорогим читателям не пришлось гуглить.
@anti_agi
17.04.202509:42
А, вот теперь мне стало совсем понятно, что такое токен!
🔤🔤Поздравляем AIRI и трех его ребят, получивших премии — физтеховцев Юрия Куратова и Айдара Булатова (на фото), а также не попавшего тут в кадр Александра Тюрина из Сколтеха
@anti_agi
🔤🔤Поздравляем AIRI и трех его ребят, получивших премии — физтеховцев Юрия Куратова и Айдара Булатова (на фото), а также не попавшего тут в кадр Александра Тюрина из Сколтеха
@anti_agi
24.04.202517:50
Adobe запускает robots.txt для картинок
Adobe представил веб-приложение Content Authenticity App, которое "подписывает" изображения метаданными Content Credentials. Теперь можно поставить статус "Don’t train" — запрет на использование контента в обучении ИИ-моделей.
Как устроен сервис:
1️⃣ Загружаете 50 картинок (JPG или PNG) за раз, даже если они не были созданы в Photoshop
2️⃣ Указываете аккаунт в LinkedIn (с ним и механизмом верификации от Майкрософт есть интеграция)
3️⃣ Отмечаете опцию запрета на использование в тренировочных датасетах.
Adobe вшивает данные в пиксели с помощью цифрового "отпечатка", открытого ватермарка и криптометаданных, так что информация остаётся даже после редактирования изображения. В будущем Adobe обещает добавить поддержку видео и аудио.
Звучит все хорошо и красиво. Аж прослезились. Есть несколько "но":
❓ Кто будет использовать сервис Adobe, который сам вполне спокойно учил модели на чужом контенте.
‼️Мы уже рассказывали, что разработчики ИИ забили на robots.txt и ддосят весь интернет без зазрения совести. Не очень понять, что изменится сейчас.
Впрочем, очевидно, что бесконтрольная попытка скачать весь интернет немного надоела всем.
@anti_agi
Adobe представил веб-приложение Content Authenticity App, которое "подписывает" изображения метаданными Content Credentials. Теперь можно поставить статус "Don’t train" — запрет на использование контента в обучении ИИ-моделей.
Как устроен сервис:
1️⃣ Загружаете 50 картинок (JPG или PNG) за раз, даже если они не были созданы в Photoshop
2️⃣ Указываете аккаунт в LinkedIn (с ним и механизмом верификации от Майкрософт есть интеграция)
3️⃣ Отмечаете опцию запрета на использование в тренировочных датасетах.
Adobe вшивает данные в пиксели с помощью цифрового "отпечатка", открытого ватермарка и криптометаданных, так что информация остаётся даже после редактирования изображения. В будущем Adobe обещает добавить поддержку видео и аудио.
Звучит все хорошо и красиво. Аж прослезились. Есть несколько "но":
❓ Кто будет использовать сервис Adobe, который сам вполне спокойно учил модели на чужом контенте.
‼️Мы уже рассказывали, что разработчики ИИ забили на robots.txt и ддосят весь интернет без зазрения совести. Не очень понять, что изменится сейчас.
Впрочем, очевидно, что бесконтрольная попытка скачать весь интернет немного надоела всем.
@anti_agi
22.04.202516:34
Из полезных материалов: в конце недели «Сбер» представил собственную модель угроз для кибербезопасности при работе с предиктивным и генеративным ИИ на всех этапах — от подготовки данных и разработки модели до интеграции в приложение.
✔️ Для каждой из 70 угроз определены свойства информации, которые нарушаются (конфиденциальность, целостность и доступность), и объект, который может быть подвергнут воздействию нарушителя, — к примеру, датасеты или сами модели. Описание типичной угрозы можете увидеть на картинке 👆
Это, в общем-то, не настольная книга для ИБ-специалистов, но хороший системный разбор основных угроз, которые нужно учитывать при разработке. Тут речь идёт и о воспроизведении чувствительной информации в ответах модели, и о возможных рисках из-за «закладок» в весах open source решений.
ℹ️ Отмечается, что документ включает в себя опыт команд «Сбера» при работе над повышением защищенности собственных ИИ-моделей, а также документы OWASP, MITRE, NIST. Отдельно доступна упрощённая схема объекта защиты и актуальных угроз.
@anti_agi
✔️ Для каждой из 70 угроз определены свойства информации, которые нарушаются (конфиденциальность, целостность и доступность), и объект, который может быть подвергнут воздействию нарушителя, — к примеру, датасеты или сами модели. Описание типичной угрозы можете увидеть на картинке 👆
Это, в общем-то, не настольная книга для ИБ-специалистов, но хороший системный разбор основных угроз, которые нужно учитывать при разработке. Тут речь идёт и о воспроизведении чувствительной информации в ответах модели, и о возможных рисках из-за «закладок» в весах open source решений.
ℹ️ Отмечается, что документ включает в себя опыт команд «Сбера» при работе над повышением защищенности собственных ИИ-моделей, а также документы OWASP, MITRE, NIST. Отдельно доступна упрощённая схема объекта защиты и актуальных угроз.
@anti_agi
21.04.202510:30
Что касается «гиблификации», то с ней мы ещё и отчётливо видим, как на волны хайпа отвечают конкурирующие сервисы. Grok вот с недавних пор начал размещать вот такую рекламу 👆 в некоторых ответах в бывшем Twitter.
Интересно, что по поводу этой «культурной аппроприации» сейчас думает Миядзаки и все причастные?
@anti_agi
Интересно, что по поводу этой «культурной аппроприации» сейчас думает Миядзаки и все причастные?
@anti_agi
18.04.202514:52
Первому игроку приготовиться 🤖
У человечества появился по-настоящему последний бенчмарк. LLM уже лучше нас знает квантовую механику (хотя, бывает, ошибается в числах), но, как оказалось, есть ещё кое-что, где ИИ хуже нас.
Представляем новый бенчмарк от исследователей из Принстона — VideoGameBench. Он проверяет способность мультимодальных моделей в реальном времени проходить 20 классических видеоигр: шутеры, стратегии, платформеры, RPG и даже детективные игры. Модели должны пройти всю кампанию или первый уровень в зависимости от длины игры.
Первые результаты показывают, что ни одна модель пока не способна пройти даже первый уровень большинства игр. Основные проблемы:
✔️ Неправильная интерпретация игровых событий: агенты путают мёртвых врагов с живыми и бессмысленно расходуют боезапас.
✔️ Высокая задержка инференса (3–5 секунд): за это время состояние игры меняется, и возвращённое действие оказывается неактуальным.
✔️ Неточная работа с контроллером и мышью: модель не может точно направить курсор в RTS-играх и даже кликает «загрузить игру» вместо «новая игра».
✔️ Отсутствие понимания скрытых механик: без подсказок модели не знают о возможностях персонажа и не используют их против босса.
✔️ Слабое планирование и целеориентированность: агенты неправильно формулируют внутренние цели и тратят ходы на несущественные задачи.
@anti_agi
У человечества появился по-настоящему последний бенчмарк. LLM уже лучше нас знает квантовую механику (хотя, бывает, ошибается в числах), но, как оказалось, есть ещё кое-что, где ИИ хуже нас.
Представляем новый бенчмарк от исследователей из Принстона — VideoGameBench. Он проверяет способность мультимодальных моделей в реальном времени проходить 20 классических видеоигр: шутеры, стратегии, платформеры, RPG и даже детективные игры. Модели должны пройти всю кампанию или первый уровень в зависимости от длины игры.
Первые результаты показывают, что ни одна модель пока не способна пройти даже первый уровень большинства игр. Основные проблемы:
✔️ Неправильная интерпретация игровых событий: агенты путают мёртвых врагов с живыми и бессмысленно расходуют боезапас.
✔️ Высокая задержка инференса (3–5 секунд): за это время состояние игры меняется, и возвращённое действие оказывается неактуальным.
✔️ Неточная работа с контроллером и мышью: модель не может точно направить курсор в RTS-играх и даже кликает «загрузить игру» вместо «новая игра».
✔️ Отсутствие понимания скрытых механик: без подсказок модели не знают о возможностях персонажа и не используют их против босса.
✔️ Слабое планирование и целеориентированность: агенты неправильно формулируют внутренние цели и тратят ходы на несущественные задачи.
@anti_agi
17.04.202516:53
🤖 Максут Игоревич Шадаев уважаемый сегодня заявил, что ИИ может заменить половину чиновников, но "Человека, надеемся, он не заменит, особенно врачей и учителей." (С)
✔️ Подтверждаем, может заменить. Не только половину, а каждого второго.
К счастью, ни один ИИ не заменит Максута Игоревича. ❤️
@anti_agi
✔️ Подтверждаем, может заменить. Не только половину, а каждого второго.
К счастью, ни один ИИ не заменит Максута Игоревича. ❤️
@anti_agi
17.04.202509:14
Бешенная популярность LLM явно раздражает Яна ЛеКуна, одного из отцов современного Data Science и главу подразделения фундаментальных исследований Meta* (запрещена в РФ). Он все чаще говорит, что языковые модели переоценены и не смогут заменить человеческий интеллект, как их не развивай. Рассказать, чем Лекун предлагает заменить LLM, @anti_agi попросили Никиту Сушко из научной группы «Прикладное NLP» Института AIRI:
Пользуясь классификацией из книги «Thinking Fast, Slow» Д.Канеманна, подразделяющей мышление на интуитивное и глубокое, Ян классифицирует нынешние LM как интуитивных мыслителей. Достичь сравнимого с человеческим сознания, пользуясь только этой парадигмой, очень сложно. Интуитивные мыслители — своего рода стохастические попугаи, которые услышали некоторую последовательность слов во время обучения, запомнили их порядок, и могут их повторить. При этом настоящие логические выводы им слабодоступны, ведь они не имеют понимания сгенерированного ими текста — только статистику. В то же время, алгоритмы с так называемой моделью мира (world model) внутри, имеют глубокое понимание происходящих процессов и, за счёт этого понимания, могут мыслить. Это и есть пример глубокого мышления, которое может стать тем самым искусственным интеллектом уровня человека.
Чтобы обучить ИИ «модели мира», ЛеКун предложил свою архитектуру — Joint Embedding Predictive Architecture (JEPA). Главная идея заключается в том, что вместо обучения предсказанию следующего токена (как в языковых моделях) или значения конкретных пикселей (как в картиночных моделях), модель обучается предсказанию так называемого эмбеддинга, то есть числового вектора, в котором закодировано описание какого-то абстрактного концепта. К примеру, модель I-JEPA учится предсказывать эмбеддинг части изображения по эмбеддингу некоторой другой части того же изображения. Это заставляет модель понимать суть картинок, а не просто их запоминать — и формирует ту самую модель мира, за счёт которой I-JEPA работает лучше сопоставимых по размеру трансформеров.
Другая важная часть обучения JEPA-моделей заключается в том, что оно в каком-то смысле похоже на обучение ребенка или животного — модели тоже учатся на основе наблюдений за миром, в self-supervised режиме. Это даёт возможность генерализоваться из малого числа данных лучше, чем у классических трансформеров.
Если читать чуть дальше заголовков новостных публикаций, то становится ясно, что Ян ЛеКун вовсе не отрицает полезность языковых моделей. LLM способны решать большое количество важных задач: нечеткий поиск, генерация, классификация и перенос стиля текстов. Он говорит лишь, что не стоит надеяться, что увеличение размера LLM-ок или датасетов для их обучения приведут к появлению у них реального интеллекта, ведь они обучаются предсказанию следующего токена и внутри них не существует тех самых «моделей мира». Они останутся в своей нише, а на их место в SOTA придут другие архитектуры.
Не стоит забывать также об исследованиях, показывающих наличие у LLM моделей мира в зачаточном состоянии. Так, еще в 2022 году вышла статья, где показывалось, что из активаций GPT-2, обученной на партиях похожей на шахматы настольной игры, можно было восстановить положения всех фигур на доске. Более того, если вмешаться в активации и изменить таким образом положение фигур, то и предсказание следующего хода тоже поменяется. При этом новый ход всё ещё будет сделан согласно правилам игры — то есть внутри трансформера не просто есть модель этого игрушечного мира, она еще и используется при принятии решений.
Конечно, реальный мир больше, чем шахматная доска, и построить его модель только по текстам из интернета значительно сложнее. Описанная же ЛеКуном архитектура предлагает способ улучшить качество построенных моделей мира. И это уже привело к результатам, как минимум в случае I-JEPA. Можно, конечно, спорить, какой из подходов лучше — скейлить трансформеры и надеяться на эмержентность или учить JEPA. Можно, но не нужно – лучше исследовать эти альтернативы параллельно.
@anti_agi
Пользуясь классификацией из книги «Thinking Fast, Slow» Д.Канеманна, подразделяющей мышление на интуитивное и глубокое, Ян классифицирует нынешние LM как интуитивных мыслителей. Достичь сравнимого с человеческим сознания, пользуясь только этой парадигмой, очень сложно. Интуитивные мыслители — своего рода стохастические попугаи, которые услышали некоторую последовательность слов во время обучения, запомнили их порядок, и могут их повторить. При этом настоящие логические выводы им слабодоступны, ведь они не имеют понимания сгенерированного ими текста — только статистику. В то же время, алгоритмы с так называемой моделью мира (world model) внутри, имеют глубокое понимание происходящих процессов и, за счёт этого понимания, могут мыслить. Это и есть пример глубокого мышления, которое может стать тем самым искусственным интеллектом уровня человека.
Чтобы обучить ИИ «модели мира», ЛеКун предложил свою архитектуру — Joint Embedding Predictive Architecture (JEPA). Главная идея заключается в том, что вместо обучения предсказанию следующего токена (как в языковых моделях) или значения конкретных пикселей (как в картиночных моделях), модель обучается предсказанию так называемого эмбеддинга, то есть числового вектора, в котором закодировано описание какого-то абстрактного концепта. К примеру, модель I-JEPA учится предсказывать эмбеддинг части изображения по эмбеддингу некоторой другой части того же изображения. Это заставляет модель понимать суть картинок, а не просто их запоминать — и формирует ту самую модель мира, за счёт которой I-JEPA работает лучше сопоставимых по размеру трансформеров.
Другая важная часть обучения JEPA-моделей заключается в том, что оно в каком-то смысле похоже на обучение ребенка или животного — модели тоже учатся на основе наблюдений за миром, в self-supervised режиме. Это даёт возможность генерализоваться из малого числа данных лучше, чем у классических трансформеров.
Если читать чуть дальше заголовков новостных публикаций, то становится ясно, что Ян ЛеКун вовсе не отрицает полезность языковых моделей. LLM способны решать большое количество важных задач: нечеткий поиск, генерация, классификация и перенос стиля текстов. Он говорит лишь, что не стоит надеяться, что увеличение размера LLM-ок или датасетов для их обучения приведут к появлению у них реального интеллекта, ведь они обучаются предсказанию следующего токена и внутри них не существует тех самых «моделей мира». Они останутся в своей нише, а на их место в SOTA придут другие архитектуры.
Не стоит забывать также об исследованиях, показывающих наличие у LLM моделей мира в зачаточном состоянии. Так, еще в 2022 году вышла статья, где показывалось, что из активаций GPT-2, обученной на партиях похожей на шахматы настольной игры, можно было восстановить положения всех фигур на доске. Более того, если вмешаться в активации и изменить таким образом положение фигур, то и предсказание следующего хода тоже поменяется. При этом новый ход всё ещё будет сделан согласно правилам игры — то есть внутри трансформера не просто есть модель этого игрушечного мира, она еще и используется при принятии решений.
Конечно, реальный мир больше, чем шахматная доска, и построить его модель только по текстам из интернета значительно сложнее. Описанная же ЛеКуном архитектура предлагает способ улучшить качество построенных моделей мира. И это уже привело к результатам, как минимум в случае I-JEPA. Можно, конечно, спорить, какой из подходов лучше — скейлить трансформеры и надеяться на эмержентность или учить JEPA. Можно, но не нужно – лучше исследовать эти альтернативы параллельно.
@anti_agi
Паказана 1 - 24 з 230
Увайдзіце, каб разблакаваць больш функцый.