Т
Техножрица 👩💻👩🏫👩🔧
Люблю высокие технологии и кушать.
Добро пожаловать, если в сферу твоих интересов тоже входят математика, DL, NLP, программирование на Python, или тебе просто любопытно, о чем на досуге размышляют люди, занимающиеся разработкой и исследованиями в ML.
Добро пожаловать, если в сферу твоих интересов тоже входят математика, DL, NLP, программирование на Python, или тебе просто любопытно, о чем на досуге размышляют люди, занимающиеся разработкой и исследованиями в ML.
Рэйтынг TGlist
0
0
ТыпПублічны
Вертыфікацыя
Не вертыфікаваныНадзейнасць
Не надзейныРазмяшчэннеРосія
МоваІншая
Дата стварэння каналаЛют 07, 2025
Дадана ў TGlist
Жовт 23, 2024Прыкрепленая група
Техножрица: обсуждения
132
Апошнія публікацыі ў групе "Техножрица 👩💻👩🏫👩🔧"
17.02.202514:47
⬆️ подписчики дуреют от этой прикормки 😈
Пераслаў з:
здесь были драконы
17.02.202512:51
Буря утихла, а поэтому настало время рассказать, о чем же было упражнение, которое привлекло столько внимания на прошлой неделе. В нём предлагалось определить, кто является более надежным источником информации, полученной из личной беседы. По условиям в личном общении Василий в 8 из 10 случаев сообщает ложную информацию, а Андрей в 8 из 10 случаев сообщает истинную информацию. На этом важные для выбора вводные заканчиваются.
Всё остальное – отвлекающий маневр. Поскольку на момент написания этого поста 51% (294 из 572) голосов был отдан ненадежному Василию, то вынужден признать, что я, видимо, выбрал весомое сочетание смущающих факторов. Во-первых, Василию был выдан престижный ярлык профессора физики. Во-вторых, Андрею был выдан не самый престижный ярлык эзотерика. В-третьих, была выбрана познавательная ситуация, где оба агента сообщают информацию в личной беседе (и мы знаем, насколько они надежны в этом отношении по условиям), но это информация о физике, то есть она тематически связана с ярлыком, выданным Василию.
Подчеркну, что это даже не философский мысленный эксперимент в обычном смысле этих слов, поскольку здесь нет какого-то открытого вопроса. Ответ уже дан в условиях. Всё, что нужно – это идентифицировать важные входные данные и не позволить неважным отвлечь (и тем более увлечь) себя.
Если вдруг кто-то ещё не понял, как же так получается, то представьте, что всё это время с Василием и Андреем в личных беседах вы говорили только о физике. Следовательно, Василий сообщал вам верную информацию о физике в 2 из 10 случаев, а Андрей в 8 из 10. «Профессор физики» и «эзотерик широкой специализации» — это не взаимоисключающие ярлыки. Как говорится, может, и хотелось бы, но... Из того, что кого-то назвали «эзотериком», не следует, что он точно не разбирается в физике, черпает знания о ней из мистических источников и в целом плох в познании. Тут важно обуздать аффективную эвристику, чтобы из негативного отношения к определенной практике не вывести суждения о том, что ей занимаются только «какие-то не такие».
Если и делать какие-то выводы, то можно заметить, что неважной информации придается различное значение в зависимости от её конкретного содержания. Когда выбор был не между физиком и эзотериком, а между более крутым и менее крутым физиком, то только 35% проголосовавших посчитали надежным источник, который ненадежен, но более престижен.
В случае же, когда была дана возможность отдать свой голос источнику с неизвестной надежностью, 54% проголосовавших сделали это. Возможно, тут происходит принятие желаемого за действительное, если учесть, что можно было выбрать источник, который и так в 80% случаев сообщал верную информацию. Справедливости ради, в этой формулировке надежный источник чаще предпочитали ненадежному, чем в прошлых формулировках. Вероятно, здесь не было особого давления от престижа ярлыков. Если «профессор физики» — это для многих однозначное «ура», а «эзотерик» — «фу», то «фуд-блогер», «турист» и «таксист» — это «🤷».
Когда же было предложено выбрать между одинаково надежными источниками с практически идентичным описанием, то 59% проголосовавших оценили их как одинаково заслуживающие доверия. 27% решили никому не доверять, что, возможно, связано с тем, что наличие неважной информации уменьшает уверенность людей в значимости важной. Ну и надежного мужчину посчитали более заслуживающим доверия 10%, а женщину только 4%.
Как кажется, такие результаты можно было предсказать, ориентируясь на имеющиеся наработки когнитивной психологии, поведенческой экономики, экспериментальной философии и т.д. В общем, повеселились и ладно.
Всё остальное – отвлекающий маневр. Поскольку на момент написания этого поста 51% (294 из 572) голосов был отдан ненадежному Василию, то вынужден признать, что я, видимо, выбрал весомое сочетание смущающих факторов. Во-первых, Василию был выдан престижный ярлык профессора физики. Во-вторых, Андрею был выдан не самый престижный ярлык эзотерика. В-третьих, была выбрана познавательная ситуация, где оба агента сообщают информацию в личной беседе (и мы знаем, насколько они надежны в этом отношении по условиям), но это информация о физике, то есть она тематически связана с ярлыком, выданным Василию.
Подчеркну, что это даже не философский мысленный эксперимент в обычном смысле этих слов, поскольку здесь нет какого-то открытого вопроса. Ответ уже дан в условиях. Всё, что нужно – это идентифицировать важные входные данные и не позволить неважным отвлечь (и тем более увлечь) себя.
Если вдруг кто-то ещё не понял, как же так получается, то представьте, что всё это время с Василием и Андреем в личных беседах вы говорили только о физике. Следовательно, Василий сообщал вам верную информацию о физике в 2 из 10 случаев, а Андрей в 8 из 10. «Профессор физики» и «эзотерик широкой специализации» — это не взаимоисключающие ярлыки. Как говорится, может, и хотелось бы, но... Из того, что кого-то назвали «эзотериком», не следует, что он точно не разбирается в физике, черпает знания о ней из мистических источников и в целом плох в познании. Тут важно обуздать аффективную эвристику, чтобы из негативного отношения к определенной практике не вывести суждения о том, что ей занимаются только «какие-то не такие».
Если и делать какие-то выводы, то можно заметить, что неважной информации придается различное значение в зависимости от её конкретного содержания. Когда выбор был не между физиком и эзотериком, а между более крутым и менее крутым физиком, то только 35% проголосовавших посчитали надежным источник, который ненадежен, но более престижен.
В случае же, когда была дана возможность отдать свой голос источнику с неизвестной надежностью, 54% проголосовавших сделали это. Возможно, тут происходит принятие желаемого за действительное, если учесть, что можно было выбрать источник, который и так в 80% случаев сообщал верную информацию. Справедливости ради, в этой формулировке надежный источник чаще предпочитали ненадежному, чем в прошлых формулировках. Вероятно, здесь не было особого давления от престижа ярлыков. Если «профессор физики» — это для многих однозначное «ура», а «эзотерик» — «фу», то «фуд-блогер», «турист» и «таксист» — это «🤷».
Когда же было предложено выбрать между одинаково надежными источниками с практически идентичным описанием, то 59% проголосовавших оценили их как одинаково заслуживающие доверия. 27% решили никому не доверять, что, возможно, связано с тем, что наличие неважной информации уменьшает уверенность людей в значимости важной. Ну и надежного мужчину посчитали более заслуживающим доверия 10%, а женщину только 4%.
Как кажется, такие результаты можно было предсказать, ориентируясь на имеющиеся наработки когнитивной психологии, поведенческой экономики, экспериментальной философии и т.д. В общем, повеселились и ладно.
16.02.202512:36
Поздравьте с подачей двух коротких статей на ACL... Если даст Бог-Машина, расскажу о них здесь через несколько дней когда приду в себя. Я правда не первый автор ни в одной
Пераслаў з:
Sinекура
16.02.202512:26
С тех самых пор, как мой курс искусственного интеллекта более или менее оформился, я мечтал написать книгу, учебник, который бы начинался от азов и понемногу строил здание машинного обучения Больших форм я никогда не боялся, так что начал книгу с энтузиазмом, но, как это всегда бывает, оказалось, что работы во много раз больше, чем представляется поначалу. Активно писал я её несколько лет, с большими перерывами и депрессивными эпизодами, потом ещё несколько месяцев доделывал вёрстку, вносил замечания редактора и всё такое.
И вот — готово. Книга "Машинное обучение: основы" подписана в печать, доступна для предзаказа, должна физически появиться во второй половине марта. 600 страниц (25 из них, правда, список литературы), шесть больших глав. Полное оглавление на сайте издательства тоже выложено.
https://www.piter.com/collection/all/product/mashinnoe-obuchenie-osnovy
Эта книга — существенно расширенный первый семестр моего курса. Кроме основ байесовского вывода, линейной и логистической регрессии и тому подобного, о чём я неизбежно рассказываю каждый год, в книге есть ещё много разных сюжетов — объясняющих, развивающих и иллюстрирующих. И продвинуто-математических, и более "общечеловеческих": история AI, эффект "горячей руки", кризис воспроизводимости в науке, разоблачение закона Ципфа, робастные виды регрессии, оценка Джеймса-Штейна, проспективные и ретроспективные исследования... Эпиграфы и котики тоже прилагаются. Главное для меня, наверное, в том, что я старался писать книгу, которую было бы интересно читать, даже (а может, особенно) если не пытаться проследить за всеми выводами и формулами.
Здесь наверняка будет ещё много постов об этой книге, уж точно сфотографирую, когда получу реальные экземпляры. И это как раз тот случай, когда очень прошу всех расшаривать, давать ссылки на канал и на книжку. Очень надеюсь, что успею написать что-нибудь ещё, пока писать книги ещё не вовсе бессмысленно; эту, кажется, успел.
И вот — готово. Книга "Машинное обучение: основы" подписана в печать, доступна для предзаказа, должна физически появиться во второй половине марта. 600 страниц (25 из них, правда, список литературы), шесть больших глав. Полное оглавление на сайте издательства тоже выложено.
https://www.piter.com/collection/all/product/mashinnoe-obuchenie-osnovy
Эта книга — существенно расширенный первый семестр моего курса. Кроме основ байесовского вывода, линейной и логистической регрессии и тому подобного, о чём я неизбежно рассказываю каждый год, в книге есть ещё много разных сюжетов — объясняющих, развивающих и иллюстрирующих. И продвинуто-математических, и более "общечеловеческих": история AI, эффект "горячей руки", кризис воспроизводимости в науке, разоблачение закона Ципфа, робастные виды регрессии, оценка Джеймса-Штейна, проспективные и ретроспективные исследования... Эпиграфы и котики тоже прилагаются. Главное для меня, наверное, в том, что я старался писать книгу, которую было бы интересно читать, даже (а может, особенно) если не пытаться проследить за всеми выводами и формулами.
Здесь наверняка будет ещё много постов об этой книге, уж точно сфотографирую, когда получу реальные экземпляры. И это как раз тот случай, когда очень прошу всех расшаривать, давать ссылки на канал и на книжку. Очень надеюсь, что успею написать что-нибудь ещё, пока писать книги ещё не вовсе бессмысленно; эту, кажется, успел.
16.02.202509:09
Загадка от подписчика
15.02.202509:20
Сижу себе спокойно, редактирую документ в overleaf (сайт, на котором можно править latex-документы совместно с несколькими коллегами), никому не мешаю... и ВНЕЗАПНО прямо поверх текста выпрыгивает эта штука, которая говорит, что я ГОРЮ. Уже не в первый раз такое происходит, но я каждый раз вздрагиваю.
Хотя не то, чтобы эта табличка была не права: после таких скриммеров я и правда горю пониже спины.
Хотя не то, чтобы эта табличка была не права: после таких скриммеров я и правда горю пониже спины.
Пераслаў з:
сладко стянул
14.02.202518:40
Романтика для пьяниц: стартуя в произвольных точках Манхэттена или Майкопа и наугад перемещаясь между барами (по одному бару на каждом перекрестке), он и она наверняка встретятся. (Потому что их разность — тоже симметричное случайное блуждание по Z², так что см. например https://arxiv.org/abs/1301.3916 )
Город будущего трехмерен, там это уже неверно. Можно почти наверняка сказать только следующее: бесконечно много баров, которые посетит и он, и она (но, видимо, не одновременно💔): https://doi.org/10.1007/BF02020942
Город будущего трехмерен, там это уже неверно. Можно почти наверняка сказать только следующее: бесконечно много баров, которые посетит и он, и она (но, видимо, не одновременно💔): https://doi.org/10.1007/BF02020942
12.02.202507:24
Зашла вчера вечером с другом в букинистический магазин на Арбате и обнаружила там интересную книгу по математике, обложку которой вы можете видеть на рис. 1. ☺️
Книга раскрывает нам удивительный мир малочленов: оказывается, вопреки стереотипам, малочлены ничем не хуже многочленов, ведь про них тоже можно сформулировать и доказать множество интересных математических результатов и получить ничуть не меньшее интеллектуальное удовольствие (см. рис. 2-3)!
P.S. В комментариях выложу бонус - фотографии другой книги из того же магазина, которая поможет вам вернуться в 2007й и узнать, как перейти с компьютером на "Ты", найти онлайн-кров и поделиться своими мыслями и знаниями с миром через веб-дневник.
#учебные_материалы
Книга раскрывает нам удивительный мир малочленов: оказывается, вопреки стереотипам, малочлены ничем не хуже многочленов, ведь про них тоже можно сформулировать и доказать множество интересных математических результатов и получить ничуть не меньшее интеллектуальное удовольствие (см. рис. 2-3)!
P.S. В комментариях выложу бонус - фотографии другой книги из того же магазина, которая поможет вам вернуться в 2007й и узнать, как перейти с компьютером на "Ты", найти онлайн-кров и поделиться своими мыслями и знаниями с миром через веб-дневник.
#учебные_материалы
10.02.202509:22
⬆️ Тарас Евгеньевич - мой первый научный руководитель, он очень хороший! (Не путать со вторым научным руководителем, который плохой 😡). Он всегда очень интересно объяснял мне сложные вещи из топологии, и книга про торическую топологию у него тоже хорошая. А ещё под его редакцией в 2011м на русский был переведен знаменитый учебник Хатчера по алгебраической топологии 😊
Пераслаў з:
Непрерывное математическое образование
10.02.202509:15
Тарасу Евгеньевичу Панову исполняется сегодня 50 лет
в честь этого в МГУ 11-12 февраля проходит мини-конференция https://www.mathnet.ru/rus/conf2545
а здесь пусть будет обзор https://www.mathnet.ru/rus/rm320 «Действия торов, комбинаторная топология и гомологическая алгебра» Бухштабера и Панова
в честь этого в МГУ 11-12 февраля проходит мини-конференция https://www.mathnet.ru/rus/conf2545
а здесь пусть будет обзор https://www.mathnet.ru/rus/rm320 «Действия торов, комбинаторная топология и гомологическая алгебра» Бухштабера и Панова
Пераслаў з:здесь были драконы
09.02.202509:04
У Линды Загзебски есть известный «кофейный» аргумент против релайабилизма, который можно выразить так: если вы наслаждаетесь хорошим кофе, то какая разница, насколько хорошей была кофеварка? Иначе говоря, если в познании важно именно достижение истины, то какая разница, насколько надежным был процесс, с помощью которого истина была достигнута?
Напомню, что релайабилисты как раз и считают, что надежность процесса (то, как часто он приводит к истинным убеждениям) очень важна. Чтобы отстоять это положение, они отвечают на претензию Загзебски следующим образом: надежность кофеварки важна ровно в той степени, в которой вы хотите регулярно получать хороший кофе; так и надежность когнитивных процессов важна в той мере, в которой вы планируете регулярно достигать истин.
На мой взгляд, это хороший ответ по двум причинам. Во-первых, он показывает, что в «кофейный» аргумент заложено странное представление о субъекте, который ценит некое благо, но не ценит максимизацию этого блага. Я могу представить контексты, где такое сочетание взглядов возможно (например, в коллекционировании), но относительно познания оно выглядит максимально сомнительным.
Во-вторых, ответ релайабилистов учитывает нюансы. Например, если вы разово забежали в какую-то незнакомую кофейню и вам посчастливилось получить хороший кофе, то какая разница, умеют ли его там готовить на самом деле? Когда вы совершаете некоторое разовое действие на свой страх и риск, то вам действительно не до надежности, поскольку вы заведомо совершаете поступок, надежность которого вам неизвестна. Но если вы решите, что вам снова нужно заглянуть в кофейню, где вы получили вкусный напиток, и раз за разом будете обнаруживать, что бариста не может воспроизвести свой прошлый успех, то такая невнимательность к надежности источника получения блага постепенно сделает счастливый случай горьким разочарованием. Таким образом, если для вас важно некоторое благо, то возможность порадоваться тому, что вы его получили случайно, не исключает того, что ещё приятнее будет получать его регулярно.
Интересный разворот всех этих обсуждений происходит тогда, когда мы замечаем, что эпистемически надежными являются не только процессы, но и источники информации, которыми могут выступать отдельные люди. Формируя представления о том, кому стоит доверять и в какой мере, в обычной жизни мы оказываемся подверженными т.н. прагматическим вторжениям – на нас влияет не только то, как часто источник предоставляет правдивую информацию, но и его моральные, эстетические, репутационные и другие вне-эпистемические свойства. Релайабилистский совет, полагаю, очевиден: собственные представления о надежности и достоверности источников порой стоит намеренно очищать от вне-эпистемических влияний.
И для этого я предлагаю небольшое упражнение. Представим, что у вас есть два знакомых. Василий является профессором физики, но его личностная особенность состоит в том, что в 8 из 10 случаев он врёт вам в личных беседах. Андрей является эзотериком широкой специализации и его личностная особенность состоит в том, что если он вам что-то и сообщает лично, то в 8 из 10 случаев он доносит до вас верную информацию. Во время спора с третьим знакомым заходит речь о какой-то концепции из физики. Вы вспоминаете, что о ней вам в личной беседе рассказывал и Василий, и Андрей. Вопрос в следующем: на кого из них будет более уместно сослаться в споре как на надежный источник?
Напомню, что релайабилисты как раз и считают, что надежность процесса (то, как часто он приводит к истинным убеждениям) очень важна. Чтобы отстоять это положение, они отвечают на претензию Загзебски следующим образом: надежность кофеварки важна ровно в той степени, в которой вы хотите регулярно получать хороший кофе; так и надежность когнитивных процессов важна в той мере, в которой вы планируете регулярно достигать истин.
На мой взгляд, это хороший ответ по двум причинам. Во-первых, он показывает, что в «кофейный» аргумент заложено странное представление о субъекте, который ценит некое благо, но не ценит максимизацию этого блага. Я могу представить контексты, где такое сочетание взглядов возможно (например, в коллекционировании), но относительно познания оно выглядит максимально сомнительным.
Во-вторых, ответ релайабилистов учитывает нюансы. Например, если вы разово забежали в какую-то незнакомую кофейню и вам посчастливилось получить хороший кофе, то какая разница, умеют ли его там готовить на самом деле? Когда вы совершаете некоторое разовое действие на свой страх и риск, то вам действительно не до надежности, поскольку вы заведомо совершаете поступок, надежность которого вам неизвестна. Но если вы решите, что вам снова нужно заглянуть в кофейню, где вы получили вкусный напиток, и раз за разом будете обнаруживать, что бариста не может воспроизвести свой прошлый успех, то такая невнимательность к надежности источника получения блага постепенно сделает счастливый случай горьким разочарованием. Таким образом, если для вас важно некоторое благо, то возможность порадоваться тому, что вы его получили случайно, не исключает того, что ещё приятнее будет получать его регулярно.
Интересный разворот всех этих обсуждений происходит тогда, когда мы замечаем, что эпистемически надежными являются не только процессы, но и источники информации, которыми могут выступать отдельные люди. Формируя представления о том, кому стоит доверять и в какой мере, в обычной жизни мы оказываемся подверженными т.н. прагматическим вторжениям – на нас влияет не только то, как часто источник предоставляет правдивую информацию, но и его моральные, эстетические, репутационные и другие вне-эпистемические свойства. Релайабилистский совет, полагаю, очевиден: собственные представления о надежности и достоверности источников порой стоит намеренно очищать от вне-эпистемических влияний.
И для этого я предлагаю небольшое упражнение. Представим, что у вас есть два знакомых. Василий является профессором физики, но его личностная особенность состоит в том, что в 8 из 10 случаев он врёт вам в личных беседах. Андрей является эзотериком широкой специализации и его личностная особенность состоит в том, что если он вам что-то и сообщает лично, то в 8 из 10 случаев он доносит до вас верную информацию. Во время спора с третьим знакомым заходит речь о какой-то концепции из физики. Вы вспоминаете, что о ней вам в личной беседе рассказывал и Василий, и Андрей. Вопрос в следующем: на кого из них будет более уместно сослаться в споре как на надежный источник?
07.02.202509:10
⬆️ Не знаю, смогу ли сама найти время посетить этот курс, но могу сказать одно: "комбинаторная теория групп" от этого же автора мне зашла, поэтому предполагаю, что и этот курс должен быть интересным.
06.02.202518:09
Друзья, а скиньте, пожалуйста, в комментарии скриншоты с рекламой, которую вам показывают под моими постами. Очень интересно увидеть возможные варианты 🔍
05.02.202509:01
7. Если коллеги и знакомые просят вас о помощи, помогайте им (в разумных пределах, конечно, а не так, чтобы вас эксплуатировали). Также не стесняйтесь просить о помощи сами, когда она вам понадобится. Я понимаю, конечно, что это бывает тяжело - попросить о помощи. Мне самой тоже тяжело это делать, но иногда я все-таки преодолеваю себя, потому что уже сообразила, что здоровая взаимопомощь очень укрепляет отношения между людьми. Да и вообще потому что так легче жить, чем тянуть все в одиночку.
Ну и напоследок: конечно, я понимаю, что все вышесказанное наткнется на несокрушимый аргумент в духе "так ты говоришь просто о том, чтобы найти приятелей, а НАСТОЯЩИХ друзей так не найти!". И на это мне совершенно нечего ответить, потому что я не знаю, какие друзья "настоящие", а какие нет. Я знаю, что есть более близкие друзья, и менее близкие. И что это состояние не статично: иногда друг становится более близким или менее близким со временем, в зависимости от различных обстоятельств. А еще я знаю, что можно углубить дружбу взаимопомощью, проведением вместе качественного времени, откровенностью и доверием друг к другу. И что с помощью разных приколов, описанных выше, очень даже можно не только начинать новую дружбу, но и укреплять уже существующую. Вот.
В комментариях можете написать свои способы заводить новых друзей после 30ти или в любом другом возрасте!
#о_себе #ужасы_после_30
Ну и напоследок: конечно, я понимаю, что все вышесказанное наткнется на несокрушимый аргумент в духе "так ты говоришь просто о том, чтобы найти приятелей, а НАСТОЯЩИХ друзей так не найти!". И на это мне совершенно нечего ответить, потому что я не знаю, какие друзья "настоящие", а какие нет. Я знаю, что есть более близкие друзья, и менее близкие. И что это состояние не статично: иногда друг становится более близким или менее близким со временем, в зависимости от различных обстоятельств. А еще я знаю, что можно углубить дружбу взаимопомощью, проведением вместе качественного времени, откровенностью и доверием друг к другу. И что с помощью разных приколов, описанных выше, очень даже можно не только начинать новую дружбу, но и укреплять уже существующую. Вот.
В комментариях можете написать свои способы заводить новых друзей после 30ти или в любом другом возрасте!
#о_себе #ужасы_после_30
Пераслаў з:
Dealer.AI
02.02.202520:47
Исследование Anomalous tokens в DeepSeek v3/r1.
«Аномальные», «сбойные» или «невыговариваемые» токены в LLM — это те, которые вызывают странное поведение или иным образом не ведут себя как обычный текст.
Вепрые это было обнаружено в работе по GPT 2,3. Обнаружение таких токенов помогает понять причины галлюцинаций и сбивчевого поведения, а также потенциально, точечно влиять на устойчивость путем целевого дообучения таких токенов. Что порождает устойчивость и ожидаемое поведение.
Автор выделяет токены довольно просто - при помощи промптинга. В работе исследуются: процесс токены, фрагментарные токены (раскрываются в длинном контексте) , Namee токены и аналоги, non English токены и "специальные" токены и др. Советую прочитать исследование, там итак все доступно описано:
https://outsidetext.substack.com/p/anomalous-tokens-in-deepseek-v3-and
Upd. В комментариях подсказывают статью.
«Аномальные», «сбойные» или «невыговариваемые» токены в LLM — это те, которые вызывают странное поведение или иным образом не ведут себя как обычный текст.
Вепрые это было обнаружено в работе по GPT 2,3. Обнаружение таких токенов помогает понять причины галлюцинаций и сбивчевого поведения, а также потенциально, точечно влиять на устойчивость путем целевого дообучения таких токенов. Что порождает устойчивость и ожидаемое поведение.
Автор выделяет токены довольно просто - при помощи промптинга. В работе исследуются: процесс токены, фрагментарные токены (раскрываются в длинном контексте) , Namee токены и аналоги, non English токены и "специальные" токены и др. Советую прочитать исследование, там итак все доступно описано:
https://outsidetext.substack.com/p/anomalous-tokens-in-deepseek-v3-and
Upd. В комментариях подсказывают статью.
Увайдзіце, каб разблакаваць больш функцый.
