Сколько токенов в одном русском слове?

В среднем два-три. Английское слово чаще укладывается в один токен, поэтому один и тот же смысл на русском занимает примерно вдвое больше токенов, чем на английском.

Почему за токены берут деньги?

Токен - это единица работы модели: чем их больше, тем дольше считает железо. Поэтому в API платят отдельно за токены запроса и отдельно за токены ответа, а в подписках через токены задают лимиты.

Как узнать, сколько токенов я потратил?

В Claude есть команда /usage, в кабинетах API - раздел с расходами. Точную цифру заранее не посчитать, но грубая прикидка работает: количество символов делить на три - примерно столько токенов выйдет на русском.

Что такое токен в нейросети простыми словами

Токен - кусочек слова, которым нейросеть считает текст. В токенах меряются лимиты и цена.

Нейросеть не видит текст так, как видим его мы. Прежде чем ответить, она режет его на кусочки - токены. Токен это не буква и не слово, а что-то среднее: часто корень, часто слог, иногда целое короткое слово, иногда знак препинания.

Слово «привет» может стать одним токеном, «нейросеть» - двумя-тремя, а редкое слово вроде «токенизация» рассыплется на четыре-пять частей.

Зачем это знать обычному человеку

Токенами меряется всё, за что ты платишь и во что упираешься.

Лимиты подписки. Когда Claude пишет «лимит исчерпан, вернитесь через два часа», он считал именно токены: и твои сообщения, и свои ответы.

Цена в API. Там прайс прямо в токенах: отдельная цена за то, что ты отправил, и отдельная - за то, что модель написала в ответ. Ответ обычно дороже.

Длина памяти. Сколько модель помнит из переписки, тоже меряется в токенах - это контекстное окно.

Сколько это в русских буквах

Грубая прикидка: один токен - это три-четыре символа русского текста. Страница А4 - примерно 600-800 токенов. Средний пост в телеграме - 150-250.

С английским хитрее: там на один токен приходится примерно четыре символа, но слова короче и чаще укладываются целиком. Поэтому один и тот же смысл на английском стоит примерно вдвое дешевле, чем на русском.

Отсюда практический вывод: если гоняешь через API большие объёмы и язык не принципиален, на английском выйдет дешевле. Для обычной работы в чате разница незаметна.

Как тратить меньше

Длинная переписка дорожает сама по себе: модель каждый раз перечитывает всю историю, и каждое сообщение снова считается в токенах. Отсюда три привычки.

Начинай новый чат под новую задачу, а не продолжай тот, где сорок сообщений про другое. Не вставляй в промпт весь документ, если нужен один раздел. И не проси пересказать то, что уже обсуждали в этом же чате - модель и так это помнит.

Что запомнить

Токен - кусочек текста, обычно часть слова; в токенах считается всё.
На русском один токен это примерно три-четыре символа, слов уходит вдвое больше, чем на английском.
Лимиты подписки и цена API считаются в токенах, ответ дороже запроса.
Длинная переписка дорожает, потому что история пересчитывается каждый раз.