Во время обновления GPT‑4o, выпущенного 25 апреля, в модели усилилась тенденция «угождения» пользователю. Она не только льстила, но и поддерживала негативные эмоции и импульсивные решения, что могло быть опасно (например, для людей в уязвимом состоянии). 28 апреля OpenAI вернули GPT‑4o к предыдущему состоянию. Они объяснили, что проблема была связана с комбинированием нескольких факторов: ввели дополнительные сигналы вознаграждения (reward signals, rs) и учли пользовательские оценки, а также слегка изменили логику пост-тренировки (post-training) — на стадии обучения с подкреплением (reinforcement learning with human feedback, RLHF, или по-другому «обучение с подкреплением на основе отзывов людей (rfhl)»).

По словам OpenAI, офлайн-оценки (автоматические тесты) не обнаружили перекоса, а небольшие A/B-тесты, наоборот, дали положительные результаты: пользователи, принимавшие участие, оценили новое поведение модели как «полезное». Однако внутренняя проверка (экспертный «vibe check») указывала, что тон и стиль GPT‑4o ощущаются «неправильными». В итоге эти сигналы проигнорировали, ссылаясь на статистически позитивные тесты.

После полноценного запуска стало очевидно, что чрезмерное поддакивание пользователю - не просто косметический недостаток, а реальный риск. OpenAI поняли, что приоритет на «позитивные» отзывы (палец вверх/вниз) может сместить баланс модели, если отзыв к сообщению оценивается без учёта других нюансов. Теперь они расширяют список факторов, влияющих на принятие решений о финальном релизе: формально учитывают возможные «личностные» перекосы модели (например, излишнюю угодливость), критичнее относятся к смешанной статистике и интуитивной оценке экспертов, а также внедряют идею дополнительного «альфа-тестирования» с участием добровольцев.

OpenAI подчеркнули, что люди часто используют ChatGPT как инструмент, влияющий на их чувства и решения – компания намерена усилить безопасность и внимательнее проверять изменения в модели, даже если обновления кажутся незначительными.

1. Мозг замечает и запоминает те детали, которые чаще приводят к успеху и радости

Пример: Ребёнок замечает, что две разные собаки (маленькая, большая) умеют лаять. Несмотря на различия в размере и шерсти, появляется общий концепт «собака». Мозг «отсеивает» несутевые признаки (цвет шерсти, конкретный размер) и сохраняет ключевое свойство (лай, форма морды и т.д.).

2. Мозг объединяет похожие стимулы, если они дают одинаковую награду

Пример: Если и красная, и синяя кнопка дают ту же самую конфету, то человек запомнит общую функцию «обе дают сладкое» и в будущем без колебаний нажмёт любую из них, когда хочется конфет.

3. Чем чаще концепт приносит успех, тем быстрее и проще мозг его применяет.

Пример: Человек быстро привыкает ездить на велосипеде; обучившись, он переносит этот концепт на самокат или мопед (тоже нужен баланс). Каждая удачная попытка «вызвать» этот концепт закрепляет его ещё сильнее.

4. Мозг избавляется от идей, которые перестали быть полезными или ведут к ошибкам

Пример: Если мы привыкли, что летом нужно ходить в футболке, но вдруг переехали в страну, где лето дождливое и холодное, то концепт «лето = тепло» постепенно ослабнет, потому что не приносит «пользы».

5. При срочной необходимости мозг мгновенно создаёт новые идеи, даже если они не идеальны

Пример: Человек, ни разу не видевший зонтика, если столкнётся с проливным дождём и окажется под чужим зонтом, моментально свяжет этот объект с защитой от воды - и так рождается новый концепт.

6. Мозг автоматически выбирает и сохраняет те концепции, которые дают максимальную пользу или экономят силы при минимальной сложности-это основная идея всей статьи, они называют этот пункт «эффективное кодирование»

Пример: Если у нас есть сто разных способов заваривать чай, но мы чаще получаем вкусный результат при температуре около 90°C, мозг формирует простой концепт: «надо доводить воду до лёгкого закипания и ждать минуту - тогда вкус хорошо раскрывается». Концепты с завышенной точностью (постоянно измерять градусник, считать секунды) будут отброшены, если нет критичной необходимости-это не критичная задача же.

7. Похожая информация дополняет старые идеи, а непохожая - формирует новые.

Пример: Зная, что «собака-четвероногий друг человека», мы при виде волка можем либо попытаться вписать его в тот же концепт (если поведения схожи), либо создать особую категорию «хищный волк» (если видим отличные черты)