Заглядывая в мозг искусственного интеллекта: что скрывается под капотом Claude 3.5?
Представьте, что вы можете наблюдать за мыслительным процессом ИИ в реальном времени! Именно этим занялись исследователи Anthropic в своей увлекательной работе "On the Biology of a Large Language Model". Они буквально препарировали собственное детище — Claude 3.5 Haiku — подобно биологам, изучающим клетки под микроскопом.
Что обнаружили?
Используя инновационный метод "трассировки цепей" и атрибуционные графы, команда смогла визуализировать, как модель "думает". Эти графы — словно карта нейронных связей, показывающая, какие "фичи" активируются, когда модель решает задачу. А их там немало — целых 30 миллионов по всем слоям 💥
Самое захватывающее — это примеры работы модели. Вы когда-нибудь задумывались, как ИИ находит ответ на вопрос "Какая столица штата, где расположен Даллас"?
Оказывается, он сначала определяет, что Даллас находится в Техасе, а затем уже выбирает Остин! А при сочинении стихов? Модель заранее планирует рифмы, прежде чем написать строку — как настоящий поэт✔️
Исследователи также заглянули в работу многоязычных механизмов, раскрыли секреты арифметических операций и даже изучили, как модель распознает и отклоняет потенциально вредоносные запросы. Правда, даже с такими продвинутыми методами они смогли удовлетворительно понять лишь 25% тестовых случаев — настолько сложным оказалось "мышление" ИИ.
Атрибуционные графы приоткрыли дверь в святая святых искусственного интеллекта, позволив не просто наблюдать, но и экспериментально проверять гипотезы о том, что происходит в "голове" ИИ. Кто знает, может, скоро мы сможем полностью понять, как работает это цифровое сознание?
И вообще, чем дольше я размышляю над этим исследованием, тем больше поражаюсь: за простыми алгоритмами обучения скрываются невероятно сложные и абстрактные вычислительные структуры.🧠
@sharishzaAi
#ии #anthropic
