Polina Ganzina
3d fashion designer
关联群组
"Polina Ganzina" 群组最新帖子
18.04.202510:43
Что такое токены, и почему программисты их так любят?
Представь, что ты режешь колбасу — каждый ломтик это токен. Программисты делают то же самое, но со словами. Например, «колбаса» превращается в «кол» + «баса» — 2 токена!
Это нужно, чтобы нейросети не зашли с ума от словесного потока и всё понимали по кусочкам.
За токенизацию скажем спасибо учёным:
— Брайану Петерсону (разработал алгоритм BPE)
— Яну Сницеру (работал над WordPiece в Google)
— Джону Шеллеру (вклад в SentencePiece)
— и всей братии из OpenAI за tiktoken.
Токены — как кубики LEGO. Из них можно собрать что угодно: стихи, песню.
Теперь ты знаешь больше, чем 99% человечества. Можно гордиться. Или порезать колбаски.
Представь, что ты режешь колбасу — каждый ломтик это токен. Программисты делают то же самое, но со словами. Например, «колбаса» превращается в «кол» + «баса» — 2 токена!
Это нужно, чтобы нейросети не зашли с ума от словесного потока и всё понимали по кусочкам.
За токенизацию скажем спасибо учёным:
— Брайану Петерсону (разработал алгоритм BPE)
— Яну Сницеру (работал над WordPiece в Google)
— Джону Шеллеру (вклад в SentencePiece)
— и всей братии из OpenAI за tiktoken.
Токены — как кубики LEGO. Из них можно собрать что угодно: стихи, песню.
Теперь ты знаешь больше, чем 99% человечества. Можно гордиться. Или порезать колбаски.
记录
18.04.202523:59
52订阅者14.04.202514:00
100引用指数22.04.202514:54
0每帖平均覆盖率22.04.202514:54
0广告帖子的平均覆盖率22.04.202514:54
0.00%ER22.04.202514:54
0.00%ERR18.04.202510:43
Что такое токены, и почему программисты их так любят?
Представь, что ты режешь колбасу — каждый ломтик это токен. Программисты делают то же самое, но со словами. Например, «колбаса» превращается в «кол» + «баса» — 2 токена!
Это нужно, чтобы нейросети не зашли с ума от словесного потока и всё понимали по кусочкам.
За токенизацию скажем спасибо учёным:
— Брайану Петерсону (разработал алгоритм BPE)
— Яну Сницеру (работал над WordPiece в Google)
— Джону Шеллеру (вклад в SentencePiece)
— и всей братии из OpenAI за tiktoken.
Токены — как кубики LEGO. Из них можно собрать что угодно: стихи, песню.
Теперь ты знаешь больше, чем 99% человечества. Можно гордиться. Или порезать колбаски.
Представь, что ты режешь колбасу — каждый ломтик это токен. Программисты делают то же самое, но со словами. Например, «колбаса» превращается в «кол» + «баса» — 2 токена!
Это нужно, чтобы нейросети не зашли с ума от словесного потока и всё понимали по кусочкам.
За токенизацию скажем спасибо учёным:
— Брайану Петерсону (разработал алгоритм BPE)
— Яну Сницеру (работал над WordPiece в Google)
— Джону Шеллеру (вклад в SentencePiece)
— и всей братии из OpenAI за tiktoken.
Токены — как кубики LEGO. Из них можно собрать что угодно: стихи, песню.
Теперь ты знаешь больше, чем 99% человечества. Можно гордиться. Или порезать колбаски.
登录以解锁更多功能。
