Мир сегодня с "Юрий Подоляка"
Мир сегодня с "Юрий Подоляка"
Труха⚡️Україна
Труха⚡️Україна
Николаевский Ванёк
Николаевский Ванёк
Мир сегодня с "Юрий Подоляка"
Мир сегодня с "Юрий Подоляка"
Труха⚡️Україна
Труха⚡️Україна
Николаевский Ванёк
Николаевский Ванёк
Китай.AI avatar

Китай.AI

💡 Канал Китай.AI — для тех, кто хочет быть в курсе развития искусственного интеллекта в стране, которая претендует на мировое технологическое лидерство.

📱 Подписывайтесь, чтобы не пропустить ключевые события в китайской ИИ-индустрии!

@olegsir78
Рэйтынг TGlist
0
0
ТыпПублічны
Вертыфікацыя
Не вертыфікаваны
Надзейнасць
Не надзейны
Размяшчэнне
МоваІншая
Дата стварэння каналаСіч 23, 2025
Дадана ў TGlist
Лют 02, 2025

Рэкорды

14.04.202523:59
610Падпісчыкаў
29.01.202523:59
0Індэкс цытавання
02.02.202510:33
8.1KАхоп 1 паста
24.04.202508:54
0Ахоп рэкламнага паста
01.03.202523:46
7.53%ER
03.01.202510:33
2074.94%ERR

Развіццё

Падпісчыкаў
Індэкс цытавання
Ахоп 1 паста
Ахоп рэкламнага паста
ER
ERR
ЛЮТ '25БЕР '25КВІТ '25

Папулярныя публікацыі Китай.AI

14.04.202511:52
🔮 CN-AI-MODELS | ИИ модели Китая

🔥 Huawei представила языковую модель Pangu Ultra на 135 млрд параметров


Компания Huawei представила новую версию своей флагманской модели — Pangu Ultra. Это первая в Китае крупномасштабная языковая модель, полностью разработанная и обученная на отечественных чипах Ascend NPU без использования западных технологий.

Главное достижение:
• Модель (135B) превосходит Llama 405B и Mistral Large 2, соответствуя DeepSeek-R1 при меньшем размере
• Обучалась на 8192 NPU Ascend и 13.2 триллионах токенов с уникальными архитектурными решениями

🔍 Технологические инновации:

Стабильность обучения
DSSN (Depth-scaled sandwich-norm) – новая архитектура нормализации для глубоких моделей
TinyInit – революционный метод инициализации параметров

Оптимизация данных
• "Умный" токенизатор с 153,376 токенами (охватывает код, математику, языки)
• Трехэтапное обучение: общие знания → логика → специализация

⚡ Рекордные показатели:
- Поддерживает контекст до 128К токенов (~170 тыс. китайских иероглифов)
- Достигла 50% эффективности использования вычислительных ресурсов (MFU) на кластере из 8192 NPU

Технические детали:
• Гибридный параллелизм: 128DP × 8TP × 8PP + виртуальный конвейер
• Оптимизации системы: MC2, NFA, RoPE-операторы
• Потребление памяти сокращено на 30% за счет общего кэширования

📌 Вывод: Pangu Ultra доказывает возможность создания конкурентных LLM без зависимости от западных технологий, открывая новую эру китайского ИИ.

Технический отчет

#КитайскийИИ #КитайAI #Huawei #LLM #БольшиеМодели
01.04.202510:09
🔮 CN-AI-RESEARCH | Исследования в области ИИ

🔥 DAPO: новый метод обучения LLM от Tsinghua и ByteDance

Исследователи из Tsinghua AIR и ByteDance разработали DAPO (Decoupled Clip and Dynamic sAmpling Policy Optimization) — метод обучения языковых моделей, показывающий лучшие результаты по сравнению с существующими подходами. Проект уже набрал более 6k звезд на GitHub.

📌 Основные достижения:
- Модель Qwen2.5-32B, обученная с помощью DAPO, показала результат 50 баллов на тестовом стенде AIME 2024.
- Для достижения такого результата потребовалось в два раза меньше шагов обучения, чем при использовании GRPO.
- При этом GRPO смог обеспечить только 30 баллов, что значительно ниже текущих стандартов.

📊 Чем хорош DAPO?

1️⃣ Решает ключевые проблемы GRPO:
- Энтропийный коллапс: потеря разнообразия в генерации текста.
- Шум вознаграждения: нестабильность сигналов обучения.
- Недостаток деталей: сложности в воспроизведении результатов на промышленном уровне.

2️⃣ Технические улучшения:
- Динамический выбор данных (Dynamic Sampling).
- Разделение клипов (Decoupled Clip), позволяющее гибко управлять диапазонами вероятностей токенов.
- Наказание за слишком длинные ответы (Soft Overlong Punishment).

- 📄 Статья
- 💻 Код
- 📊 Датасет

#КитайскийИИ #КитайAI #ИскусственныйИнтеллект #LLM #ОбучениеСПодкреплением
Увайдзіце, каб разблакаваць больш функцый.