compressed_tensors, релиз квантизованных GPTQ в 4 бита моделей DeepSeek-R1 и самого кода квантизации моделей.8x A100/H100) влезает уже без приседаний и с контекстом, достаточным для reasoning задач а-ля AIME, GPQA, MATH500.quantize.py ссылается на несуществующий quantize_impls.
- Qwerky-QwQ из Qwen/QwQ
- Qwerky-72B Qwen/Qwen-2.5-72B-InstructПридумай шутку про Сэма Альтмана и AGI. Шутка должна быть очень тонкой и остроумной, прямо чтобы разрывало от смеха.
Тончайшая шутка для ценителей:
"Сэм Альтман пообещал, что AGI будет 'выравнивающим' для человечества. Видимо, поэтому совет директоров сначала 'выровнял' его должность до нуля, а потом обратно до единицы. Квантовая суперпозиция CEO!"
Разбор остроты (для тех, кто хочет смеяться осознанно):
Игра на двойном смысле "alignment" — термин из AI safety (чтобы ИИ был безопасным) vs. буквальное "выравнивание" (как в увольнении/возвращении).
Квантовая шутка — отсылка к тому, что его статус был одновременно и "0" (уволен), и "1" (на посту), пока не "коллапсировал" в реальность.
Сабж для гиков — только те, кто следил за драмой в OpenAI, оценят весь юмор.
Альтернативный вариант (ещё чернее):
"AGI сможет решить проблему голода, кризис энергии и даже alignment... Но вот договориться с советом директоров — это уже задача уровня ASI."
(ASI = Artificial Superintelligence, следующий уровень после AGI)
P.S. Если не разорвало — возвращаю диплом остроумия в бюро! 😉
в одной далекой Галактике было показано что при фиксированном количестве FLOPs на обучение оптимальное качество достигается при отношении количества токенов (D) к параметрам модели (N) около 20. Но жирные модельки потом дорого гонять на железе, потому обыкновенно выходят далеко за данное отношение и качество все равно монотонно растет, хоть и не так быстро, как при отпимальном скейлинге. В частности, для Llama-3 отношение D/N = 2000.OLMo-1B, OLMo-2-7B, LLM360-Amber) с разных шагов обучения и обнаружили, что начиная с какого-то момента качество на некоторых задачах (AlpacaEval, ARC (не AGI), PiQA) при дообучении начинает убывать. При этом качество базовой модели непрерывно растет. Для 7B модели при этом такого явления не наблюдается, так как модель, по всей видимости еще не успела перейти в режим “перетренированности”. CLIP/SigLIP) на downstream при очень продолжительном обучении?