Polina Ganzina
3d fashion designer
TGlist рейтингі
0
0
ТүріҚоғамдық
Растау
РасталмағанСенімділік
СенімсізОрналасқан жері
ТілБасқа
Канал құрылған күніFeb 17, 2024
TGlist-ке қосылған күні
Apr 15, 2025Қосылған топ
"Polina Ganzina" тобындағы соңғы жазбалар
18.04.202510:43
Что такое токены, и почему программисты их так любят?
Представь, что ты режешь колбасу — каждый ломтик это токен. Программисты делают то же самое, но со словами. Например, «колбаса» превращается в «кол» + «баса» — 2 токена!
Это нужно, чтобы нейросети не зашли с ума от словесного потока и всё понимали по кусочкам.
За токенизацию скажем спасибо учёным:
— Брайану Петерсону (разработал алгоритм BPE)
— Яну Сницеру (работал над WordPiece в Google)
— Джону Шеллеру (вклад в SentencePiece)
— и всей братии из OpenAI за tiktoken.
Токены — как кубики LEGO. Из них можно собрать что угодно: стихи, песню.
Теперь ты знаешь больше, чем 99% человечества. Можно гордиться. Или порезать колбаски.
Представь, что ты режешь колбасу — каждый ломтик это токен. Программисты делают то же самое, но со словами. Например, «колбаса» превращается в «кол» + «баса» — 2 токена!
Это нужно, чтобы нейросети не зашли с ума от словесного потока и всё понимали по кусочкам.
За токенизацию скажем спасибо учёным:
— Брайану Петерсону (разработал алгоритм BPE)
— Яну Сницеру (работал над WordPiece в Google)
— Джону Шеллеру (вклад в SentencePiece)
— и всей братии из OpenAI за tiktoken.
Токены — как кубики LEGO. Из них можно собрать что угодно: стихи, песню.
Теперь ты знаешь больше, чем 99% человечества. Можно гордиться. Или порезать колбаски.
Рекордтар
18.04.202523:59
52Жазылушылар14.04.202514:00
100Дәйексөз индексі24.04.202503:21
01 жазбаның қамтуы24.04.202503:21
0Жарнамалық жазбаның қамтуы24.04.202503:21
0.00%ER24.04.202503:21
0.00%ERR18.04.202510:43
Что такое токены, и почему программисты их так любят?
Представь, что ты режешь колбасу — каждый ломтик это токен. Программисты делают то же самое, но со словами. Например, «колбаса» превращается в «кол» + «баса» — 2 токена!
Это нужно, чтобы нейросети не зашли с ума от словесного потока и всё понимали по кусочкам.
За токенизацию скажем спасибо учёным:
— Брайану Петерсону (разработал алгоритм BPE)
— Яну Сницеру (работал над WordPiece в Google)
— Джону Шеллеру (вклад в SentencePiece)
— и всей братии из OpenAI за tiktoken.
Токены — как кубики LEGO. Из них можно собрать что угодно: стихи, песню.
Теперь ты знаешь больше, чем 99% человечества. Можно гордиться. Или порезать колбаски.
Представь, что ты режешь колбасу — каждый ломтик это токен. Программисты делают то же самое, но со словами. Например, «колбаса» превращается в «кол» + «баса» — 2 токена!
Это нужно, чтобы нейросети не зашли с ума от словесного потока и всё понимали по кусочкам.
За токенизацию скажем спасибо учёным:
— Брайану Петерсону (разработал алгоритм BPE)
— Яну Сницеру (работал над WordPiece в Google)
— Джону Шеллеру (вклад в SentencePiece)
— и всей братии из OpenAI за tiktoken.
Токены — как кубики LEGO. Из них можно собрать что угодно: стихи, песню.
Теперь ты знаешь больше, чем 99% человечества. Можно гордиться. Или порезать колбаски.
Көбірек мүмкіндіктерді ашу үшін кіріңіз.
