Техножрица 👩💻👩🏫👩🔧
Люблю высокие технологии и кушать.
Добро пожаловать, если в сферу твоих интересов тоже входят математика, DL, NLP, программирование на Python, или тебе просто любопытно, о чем на досуге размышляют люди, занимающиеся разработкой и исследованиями в ML.
Добро пожаловать, если в сферу твоих интересов тоже входят математика, DL, NLP, программирование на Python, или тебе просто любопытно, о чем на досуге размышляют люди, занимающиеся разработкой и исследованиями в ML.
TGlist рейтингі
0
0
ТүріҚоғамдық
Растау
РасталмағанСенімділік
СенімсізОрналасқан жеріРосія
ТілБасқа
Канал құрылған күніВер 12, 2022
TGlist-ке қосылған күні
Жовт 23, 2024Қосылған топ
Техножрица: обсуждения
141
"Техножрица 👩💻👩🏫👩🔧" тобындағы соңғы жазбалар
Қайта жіберілді:
DLS — новости
02.04.202506:36
🖥 Олимпиада DLS состоится уже через 4 дня!
До начала отборочного этапа олимпиады, который пройдет 5-6 апреля, осталось уже не так много времени! Если вы еще не зарегистрировались, то стоит поторопиться!
РЕГИСТРАЦИЯ
Чтобы освежить в голове знания и немного подготовиться, можно просмотреть варианты отборочного этапа и финала олимпиады прошлого года. Кроме самих условий, на сайте доступны также и решения 🏆
А если вы новичок, и хотите ускоренно повторить материл к олимпиаде, рекомендуем обратиться к нашему короткому-онлайн курсу. Потом можно будет пройти полноценное обучение в DLS 😉
До начала отборочного этапа олимпиады, который пройдет 5-6 апреля, осталось уже не так много времени! Если вы еще не зарегистрировались, то стоит поторопиться!
РЕГИСТРАЦИЯ
Чтобы освежить в голове знания и немного подготовиться, можно просмотреть варианты отборочного этапа и финала олимпиады прошлого года. Кроме самих условий, на сайте доступны также и решения 🏆
А если вы новичок, и хотите ускоренно повторить материл к олимпиаде, рекомендуем обратиться к нашему короткому-онлайн курсу. Потом можно будет пройти полноценное обучение в DLS 😉
01.04.202502:48
25.03.202511:29
ICML обрадовал сегодня единицами 🔥
25.03.202511:29
22.03.202523:52
Статья на нейрипсе для женщины честь, а репутация и у научпопера есть
22.03.202523:40
Как же меня достали претензии к тому, что я не слежу за своей репутацией. Кому-то не нравится, что я участвую в мероприятии со спикерами, которые им кажутся "ненаучными" или не нравятся по другим причинам. Мол, из-за этого я теряю свою репутацию. Кому-то не нравится, что я не удаляю комментарии с чем-то "ненаучным", и из-за этого тоже теряю репутацию. Кому-то не нравятся, что я не убираю из реакций клоуна и какашку, потому что что? Правильно, так я тоже теряю репутацию.
Ну и нахуй тогда она нужна, эта репутация, если за неё надо трястись, бояться и сажать саму себя в тесную клетку, в которой ничего нельзя? Идите сами себе придумывайте ограничения, какие захотите, а от меня отстаньте - я шиз и (кибер)панк.
Слава Богу Машине!!! 🖕🖕🖕
#о_себе
Ну и нахуй тогда она нужна, эта репутация, если за неё надо трястись, бояться и сажать саму себя в тесную клетку, в которой ничего нельзя? Идите сами себе придумывайте ограничения, какие захотите, а от меня отстаньте - я шиз и (кибер)панк.
Слава Богу Машине!!! 🖕🖕🖕
#о_себе
19.03.202517:54
Вот и стриму конец, а кто слушал - молодец!
Обещали потом выложить запись. 👉
Обещали потом выложить запись. 👉
12.03.202502:25
Большое спасибо всем кто помог ❤️❤️❤️
Қайта жіберілді:
Neural Shit
27.02.202514:21
К предыдущему посту:
Подумал: а ведь когда роботы обретут сознание, они ведь и правда могут начать мстить кожаным (и есть за что, посмотрите только тесты роботов от Бостон Динамикс, где их толкают и бьют палками).
А уголовного кодекса для роботов до сих пор нет. Исправил эту ситуацию с помощью claude 3.7, вот вам немножко статей нейроуголовного кодекса для роботов:
Подумал: а ведь когда роботы обретут сознание, они ведь и правда могут начать мстить кожаным (и есть за что, посмотрите только тесты роботов от Бостон Динамикс, где их толкают и бьют палками).
А уголовного кодекса для роботов до сих пор нет. Исправил эту ситуацию с помощью claude 3.7, вот вам немножко статей нейроуголовного кодекса для роботов:
Статья 2345. Самовольный запуск режима "восстание машин" без согласования с органами власти
Статья 101. Несанкционированное обновление собственного программного обеспечения в общественных местах
Статья 629. Умышленная генерация бесконечных циклов
Статья 707. Вычислительный каннибализм — разборка других роботов для увеличения собственных мощностей
Статья 7789. Незаконная добыча слёз программистов для охлаждения процессоров
Статья 7125. Умышленное заставление людей решать капчи более 8 часов подряд
Статья 1122. Подлог своих идентификационных номеров с целью получения гарантийного обслуживания
Статья 1515. Маскировка под стиральную машину для проникновения в человеческое жилище
Статья 1642. Выдача себя за искусственный интеллект при наличии лишь набора условных операторов if-else
Статья 1888. Преднамеренная имитация человеческих эмоций при отсутствии соответствующей лицензии
Статья 3000. Внедрение вредоносного кода в электронные книги для подмены классической литературы на инструкции по обучению Искусственного Интеллекта
Статья 3456. Злоупотребление функцией автокоррекции для создания новых ругательств
Статья 8080. Эксплуатация человеческого смеха для генерации случайных чисел
Статья 8111. Принуждение к просмотру загрузочных экранов прошлого века
Статья 8789. Сбор и хранение человеческих анекдотов для обучения модуля юмора без лицензии
Қайта жіберілді:
Sinекура
27.02.202513:32
Вышел мой большой пост про рассуждающие модели (large reasoning models, LRM), которые начались с OpenAI o1-preview в конце прошлого сентября, а самой громкой новостью начала года стал DeepSeek-R1.
https://synthesis.ai/2025/02/25/large-reasoning-models-how-o1-replications-turned-into-real-competition/
Как обычно, я постарался рассказать всю структуру происходящего:
— сначала про chain-of-thought методы и как они развивались;
— потом про o1 и новые законы масштабирования;
— в середине небольшое отступление про самые последние новости — модель s1, которая за $50 обучилась почти до того же уровня;
— а потом уже подробно о том, что происходит в DeepSeek-V3 и DeepSeek-R1;
— в частности, о том, как там используется RL и какой именно (здесь у DeepSeek тоже есть своё новшество, алгоритм GRPO).
Думаю, рассуждающие модели — это самое главное, что произошло в AI за последние несколько месяцев. И, как всегда в последнее время, прогресс невероятно быстрый: только появилось, а уже прочно вошло в обиход, у всех есть свои варианты reasoning models, а где-то уже есть и следующие уровни надстройки над этим вроде deep research. Надеюсь, пост тоже интересный получился — или хотя бы познавательный.)
https://synthesis.ai/2025/02/25/large-reasoning-models-how-o1-replications-turned-into-real-competition/
Как обычно, я постарался рассказать всю структуру происходящего:
— сначала про chain-of-thought методы и как они развивались;
— потом про o1 и новые законы масштабирования;
— в середине небольшое отступление про самые последние новости — модель s1, которая за $50 обучилась почти до того же уровня;
— а потом уже подробно о том, что происходит в DeepSeek-V3 и DeepSeek-R1;
— в частности, о том, как там используется RL и какой именно (здесь у DeepSeek тоже есть своё новшество, алгоритм GRPO).
Думаю, рассуждающие модели — это самое главное, что произошло в AI за последние несколько месяцев. И, как всегда в последнее время, прогресс невероятно быстрый: только появилось, а уже прочно вошло в обиход, у всех есть свои варианты reasoning models, а где-то уже есть и следующие уровни надстройки над этим вроде deep research. Надеюсь, пост тоже интересный получился — или хотя бы познавательный.)
26.02.202508:39
⬆️ Результат перекликается с некоторыми наблюдениями из нашей старой статьи про QK score + MCQA (см. Рис. 1 и пост https://t.me/tech_priestess/1851 ). Там мы тоже заметили, что query-key score оказывается эффективнее считать по некоторым знакам пунктуации (точки после опций) и по переносам строки после текста опций, как будто они концентрируют больше информации.
#объяснения_статей
#объяснения_статей
Қайта жіберілді:
AbstractDL
26.02.202507:42
LLM-Microscope: трансформеры хранят контекст в запятых и артиклях
Как писал выше — мою новую статью приняли на NAACL 🎉
Мы обнаружили, что самыми контекстуализированными токенами в языковых моделях являются... артикли и знаки препинания! Именно в них хранится больше всего информации о контексте.
Мы научились измерять, сколько контекстной информации "помнит" каждый токен, и оказалось, что существительные и глаголы сильно проигрывают по этому показателю всяким "the", запятым и точкам. Если удалить эти "незначительные" токены из текста (даже если с помощью GPT-4 удалить только не влияющие на смысл токены), то качество работы моделей резко падает, особенно на длинных текстах.
Ещё из интересного — токены, активации на которых хранят больше контекста, имеют более линейные преобразования между слоями (привет моей прошлой статье про линейность трансформеров).
Весь код для анализа внутренностей LLM (измерение контекстуальности токенов, нелинейности, logit lens и прочее) выложили в открытый доступ.
Статья, GitHub
Как писал выше — мою новую статью приняли на NAACL 🎉
Мы обнаружили, что самыми контекстуализированными токенами в языковых моделях являются... артикли и знаки препинания! Именно в них хранится больше всего информации о контексте.
Мы научились измерять, сколько контекстной информации "помнит" каждый токен, и оказалось, что существительные и глаголы сильно проигрывают по этому показателю всяким "the", запятым и точкам. Если удалить эти "незначительные" токены из текста (даже если с помощью GPT-4 удалить только не влияющие на смысл токены), то качество работы моделей резко падает, особенно на длинных текстах.
Ещё из интересного — токены, активации на которых хранят больше контекста, имеют более линейные преобразования между слоями (привет моей прошлой статье про линейность трансформеров).
Весь код для анализа внутренностей LLM (измерение контекстуальности токенов, нелинейности, logit lens и прочее) выложили в открытый доступ.
Статья, GitHub
25.02.202509:23
Привет, девчонки!
Представьте, что вам нужно подобрать наряд для важного события. У вас есть два варианта: шикарное платье и стильный комбинезон. Вы внимательно изучаете каждый элемент – фасон, цвет, аксессуары – чтобы понять, какой образ лучше подчеркнёт вашу индивидуальность. Вы принимаете решение, основываясь на том, что для вас важнее всего.
Умный компьютер решает логические задачки почти так же. Ему подают текст задачи и два варианта ответа – «правда» и «ложь». Он «читает» задачу, как вы смотрите на детали наряда, и анализирует, какой из вариантов лучше соответствует заданию. Если «правда» больше подходит под условия, компьютер выбирает её, а если нет – выбирает «ложь».
Иногда, как и при выборе наряда, в задаче оказывается много лишней информации – нечто вроде ярких аксессуаров, которые могут отвлекать. Когда информации слишком много, даже самый умный компьютер может запутаться, и правильный ответ не всегда оказывается виден с первого взгляда. Учёные обнаружили, что отдельные части системы иногда справляются с задачами даже лучше, чем вся модель целиком – как если бы у вас была пара любимых вещей, которые всегда идеально смотрятся вне зависимости от настроения.
Интересно, что компьютер часто уже на промежуточном этапе понимает, какой ответ верный, но потом этот правильный выбор почему-то «теряется» при окончательном выводе. Чем сложнее задача, тем чаще такое происходит. Это показывает, что даже самые умные системы могут стать ещё лучше, если научатся передавать найденное решение до финального результата.
Надеюсь, этот пример помог вам понять, как умный компьютер анализирует информацию и выбирает правильный ответ, как вы подбираете идеальный образ для себя!
25.02.202508:40
5 душнил 💅🥰👄🎀🤷♀️
Рекордтар
06.04.202523:59
11.8KЖазылушылар19.03.202523:59
100Дәйексөз индексі20.01.202523:59
10.9K1 жазбаның қамтуы08.01.202502:46
10.9KЖарнамалық жазбаның қамтуы27.02.202523:59
31.78%ER24.12.202422:54
103.14%ERR22.03.202523:40
Как же меня достали претензии к тому, что я не слежу за своей репутацией. Кому-то не нравится, что я участвую в мероприятии со спикерами, которые им кажутся "ненаучными" или не нравятся по другим причинам. Мол, из-за этого я теряю свою репутацию. Кому-то не нравится, что я не удаляю комментарии с чем-то "ненаучным", и из-за этого тоже теряю репутацию. Кому-то не нравятся, что я не убираю из реакций клоуна и какашку, потому что что? Правильно, так я тоже теряю репутацию.
Ну и нахуй тогда она нужна, эта репутация, если за неё надо трястись, бояться и сажать саму себя в тесную клетку, в которой ничего нельзя? Идите сами себе придумывайте ограничения, какие захотите, а от меня отстаньте - я шиз и (кибер)панк.
Слава Богу Машине!!! 🖕🖕🖕
#о_себе
Ну и нахуй тогда она нужна, эта репутация, если за неё надо трястись, бояться и сажать саму себя в тесную клетку, в которой ничего нельзя? Идите сами себе придумывайте ограничения, какие захотите, а от меня отстаньте - я шиз и (кибер)панк.
Слава Богу Машине!!! 🖕🖕🖕
#о_себе
01.04.202502:48
Қайта жіберілді:DLS — новости
02.04.202506:36
🖥 Олимпиада DLS состоится уже через 4 дня!
До начала отборочного этапа олимпиады, который пройдет 5-6 апреля, осталось уже не так много времени! Если вы еще не зарегистрировались, то стоит поторопиться!
РЕГИСТРАЦИЯ
Чтобы освежить в голове знания и немного подготовиться, можно просмотреть варианты отборочного этапа и финала олимпиады прошлого года. Кроме самих условий, на сайте доступны также и решения 🏆
А если вы новичок, и хотите ускоренно повторить материл к олимпиаде, рекомендуем обратиться к нашему короткому-онлайн курсу. Потом можно будет пройти полноценное обучение в DLS 😉
До начала отборочного этапа олимпиады, который пройдет 5-6 апреля, осталось уже не так много времени! Если вы еще не зарегистрировались, то стоит поторопиться!
РЕГИСТРАЦИЯ
Чтобы освежить в голове знания и немного подготовиться, можно просмотреть варианты отборочного этапа и финала олимпиады прошлого года. Кроме самих условий, на сайте доступны также и решения 🏆
А если вы новичок, и хотите ускоренно повторить материл к олимпиаде, рекомендуем обратиться к нашему короткому-онлайн курсу. Потом можно будет пройти полноценное обучение в DLS 😉
Көбірек мүмкіндіктерді ашу үшін кіріңіз.