MTS AI

🔴+40% к скорости и +50% к точности в обработке длинных текстов – до 128K токенов (~ 900K символов).
🔴Улучшение показателей в решении всех основных задач в сравнении с предыдущим поколением Cotype:
– генерация идей – с 44% до 57%,
– резюмирование – с 79% до 85%,
– общение на общие темы – с 55% до 64%,
– извлечение информации – с 81% до 86%.
– классификация – сохранение эффективности на том же высоком уровне: 87%.
🔴Возможность развертывания во внутреннем контуре компании без внешних подключений для безопасности данных.

🔴 В банках — на задачах автоматической категоризации клиентских обращений.
🔴В MTS Live — на задачах по генерации описаний мероприятий.

Выводы получились весьма неоднозначными ➡️ читайте полную статью

💎 69% пробовали ИИ в разработке, 47% пользуются им регулярно или периодически
💎 70% недовольны качеством кода, который выдает нейросеть
💎 30% всегда или почти всегда исправляют результат за ИИ, еще 50% делают это часто

🔴Как мы трансформировали метод Side-by-Side и что придумали, чтобы повысить корреляцию результатов LLM-оценщика с результатами оценки экспертов.
🔴 Какие известные LLM, которых мы использовали в качестве судей, оказались наиболее близки к человеческим суждениям.
🔴 Как можно нивелировать влияние позиционного сдвига с помощью нехитрого изменения в промт.