Если взглянуть на историю технического прогресса, можно увидеть своего рода волны – почти каждая фундаментальная технология, когда-либо изобретенная, развивается одинаково. На старте ее использование дорого, трудоемко и мало кому доступно. Но постепенно технология становится простой, дешевой и распространяется повсеместно.

В ближайшее время нас ждет бурное развитие искусственного интеллекта, биотехнологий, квантовых вычислений, альтернативной энергетики и робототехники. Они принесут огромные прибыли своим разработчикам и улучшат жизни миллиардов людей. Но вместе с этим нас ждут глобальные риски. Мы стоим перед выбором между будущим, полным возможностей, и будущим, полным опасностей. Наступает эпоха передовых технологий, и мы должны быть готовы к ней.

Лучшее определение интеллекта — это способность предсказывать будущее.

ИИ превзошёл человеческие знания, утверждает подразделение Google DeepMind

Искусственный интеллект (ИИ) уже давно превзошёл тест Тьюринга, но всё ещё ограничен человеческими знаниями и предубеждениями, которые формируют его развитие. Однако учёные из DeepMind, подразделения Google, уверены, что нашли способ преодолеть эти ограничения с помощью нового подхода, который позволит ИИ учиться самостоятельно, взаимодействуя с миром, подобно тому, как это делают люди.

В статье, опубликованной на этой неделе, учёные DeepMind Дэвид Сильвер и Ричард Саттон, известные своими работами в области обучения с подкреплением (reinforcement learning), утверждают, что текущие большие языковые модели (LLM), такие как ChatGPT, достигли «непроницаемого потолка» в своей производительности. Эти модели полагаются на огромные массивы данных, созданные людьми, и на человеческие суждения, которые ограничивают их способность открывать новые знания или разрабатывать стратегии, выходящие за рамки человеческих предпочтений.

«Когда ИИ обучается на основе человеческих суждений, он наследует их предвзятость», — пишут авторы. Они называют эту проблему «человеческим предвзятым суждением» (human prejudgment), которое препятствует ИИ в создании по-настоящему новых идей или подходов.

Вместо этого Сильвер и Саттон предлагают новый подход под названием «streams» (потоки), который позволяет ИИ учиться через взаимодействие с окружающей средой. Этот метод основан на принципах обучения с подкреплением, но адаптирован для более сложных и динамичных контекстов. Вместо того чтобы полагаться на ограниченные текстовые взаимодействия, характерные для современных LLM, ИИ, использующий «streams», получает обратную связь из богатых пространств действий и наблюдений. Это позволяет ему адаптироваться и развивать новые способности, подобно тому, как человек учится через опыт.

«Мы должны позволить ИИ учиться из мира, а не только из наших данных», — сказал Сильвер в недавнем эпизоде подкаста DeepMind. Он подчеркнул, что такой подход может привести к созданию ИИ, способного самостоятельно открывать знания, недоступные людям.

Сильвер — один из ключевых создателей AlphaZero, ИИ, который победил лучших игроков в шахматы и го, обучаясь исключительно через самоигру, без использования человеческих знаний. Его соавтор, Ричард Саттон, является лауреатом премии Тьюринга и пионером в области обучения с подкреплением. Их новая статья продолжает их предыдущие работы, в которых они подчёркивали важность самообучения ИИ.

После успеха AlphaGo и AlphaZero генеративный ИИ, такой как ChatGPT, стал доминировать в отрасли благодаря своей способности обрабатывать спонтанные запросы без явных правил. Однако, как отмечают авторы, эти модели отказались от принципов самообучения, которые сделали AlphaZero таким мощным. «Генеративный ИИ утратил способность к саморазвитию», — пишут они.

Учёные также подвергли критике текущие методы оценки ИИ. Они утверждают, что проблема не в тестах, таких как тест Тьюринга, который ИИ уже в некотором смысле «победил», а в подходе к разработке ИИ. «Мы ограничиваем ИИ статическими данными и человеческими ожиданиями», — говорят они. Новый подход «streams» призван устранить эти ограничения, позволяя ИИ учиться непрерывно и независимо.

Хотя авторы не раскрывают конкретных деталей реализации «streams», они подчёркивают, что этот подход может стать основой для следующего поколения ИИ, способного к непрерывному обучению и адаптации. Это может привести к созданию систем, которые не только превосходят человеческие способности, но и открывают новые области знаний, недоступные людям.

Статья Сильвера и Саттона — это не только техническое предложение, но и философский вызов.

Это будет ощущаться совсем иначе. Есть более сложная идея, называемая универсальным базовым обеспечением, которую я предложил ещё в 2016–2017 годах. По сути, мы берём интеллект — то, что сделало нас успешным видом, нашу способность предсказывать в сложных условиях и действовать — и делаем его дешёвым и практически безграничным. Это как предоставить каждому команду поддержки, которая помогает реализовывать идеи. Но это не то же самое, что дать людям наличные деньги. Очевидно, деньги всё равно будут нужны.

Наличные и интеллект во многом схожи. Оба дают возможность добиваться результатов. Так что предоставление доступа к интеллекту не так уж сильно отличается от предоставления денег. Это агентность, способность влиять на окружающий мир, менять его.

Это сделает нас всех намного богаче. Возможно, нам потребуется меньше денежного дохода, чтобы жить так, как мы живём сегодня. Деньги всё ещё будут нужны, но мы сможем заменить многие расходы, связанные с интеллектуальными товарами и услугами. В итоге нам, возможно, придётся зарабатывать меньше денег на физические товары.

Это странная концепция, но она меняет баланс между тем, откуда мы получаем доход, и тем, как мы его тратим.

Я официально открываю свою новую компанию: Cathy Medicine.

Мы искореним болезни в будущих поколениях посредством редактирования генов зародышевой линии.

Я люблю народ Сальвадора, и у них чертовски классный президент.

Я уже скучаю по вам, президент Т.

Я больше не так сильно интересуюсь большими языковыми моделями (LLM). Знаете, они находится в руках промышленных продукт-специалистов, которые, знаете, пытаются улучшать их по чуть-чуть, на грани возможностей. Больше данных, больше вычислений, генерация синтетических данных. Я думаю, есть более интересные вопросы в четырех направлениях.

Как заставить машины понимать физический мир? Об этом сегодня утром говорил Дженсен ( Хуанг - прим.) в своем выступлении.

Как добиться того, чтобы у них была постоянная память? Об этом мало кто говорит. И последние два вопроса: как научить их рассуждать и планировать?

Конечно, есть некоторые попытки заставить LLM рассуждать. Но, на мой взгляд, это очень упрощенный взгляд на рассуждения. Думаю, есть, вероятно, лучшие способы это сделать. Поэтому я воодушевлен тем, о чем многие в этом сообществе, в технологическом сообществе, возможно, начнут говорить с энтузиазмом через пять лет. Но сейчас это не выглядит таким уж захватывающим, потому что это какая-то малоизвестная академическая статья.

Все свято, все свято, все свято!
В природе нет ничего естественного,
мой мальчик, запомни это.
Как только природа покажется тебе естественной,
все будет кончено. И начнется что-то новое. Прощай, небо. Прощай, море!

Как прекрасно небо! Близкое. Счастливое.
Разве тебе не кажется, что даже крошечный кусочек неба неестественен и находится во власти Бога? То же и с морем. Оно все то же
в этот день, когда тебе, Ясон, тринадцать лет,
и ты ловишь рыбу, стоя ногами в теплой воде.
Оглянись назад. Что ты видишь?
Может, что-то естественное? Нет.
Это видение — то, что ты видишь за своей спиной.
Облака отражаются в неподвижной,
тяжелой воде… в три часа дня.
Посмотри туда, на ту черную полосу на блестящем
и розовом, словно масло, море, на тени деревьев и камыши.
В каждой точке, куда падают твои глаза, скрыт Бог.
А если его там нет, он оставил следы своего священного присутствия:
тишину, запах травы или свежесть пресных вод.

Да, все свято! Но святость может обернуться проклятием.
Боги любят, но в то же время ненавидят.

Есть много вещей, в которых он всё ещё ужасно плох. Но даже если мы это исправим, что, надеюсь, произойдёт, он не продолжает учиться и совершенствоваться. Он не может стать лучше в том, в чём сейчас слаб. Он не может открыть новую науку, обновить своё понимание и сделать это. И даже если мы понизим планку, он всё равно не может выполнять любую интеллектуальную работу, которую вы могли бы делать за компьютером. Я, кстати, даже без способности улучшаться в том, чего он ещё не знает, мог бы принять это как определение AGI. Но текущие системы — вы не можете сказать: "Эй, выполни эту задачу для моей работы", и он идёт, щёлкает по интернету, звонит кому-то, смотрит ваши файлы и делает это. Без этого он определённо не дотягивает до AGI.

Дети — это здорово. Вам всем нужно завести детей. Дети прекрасные!