Токены и лимиты Claude: почему длинная переписка съедает лимит быстрее

Короткий ответ: токен — это кусок слова, на которые модель режет текст: в среднем около 4 знаков английского и 2-3 знака русского. Лимит считается в токенах, а не в сообщениях. Длинная переписка съедает его быстрее по одной причине: на каждый ваш новый вопрос модель заново обрабатывает весь разговор целиком — все прошлые сообщения, свои ответы и содержимое приложенных файлов.

Что такое токен простыми словами: кусок слова, а не буква и не слово

Модель не читает текст буквами и не читает его словами. Перед обработкой текст режется на короткие куски — токены. Частое слово обычно укладывается в один токен целиком, редкое разбивается на два-три, знаки препинания и пробелы тоже занимают место.

Ориентиры, которых хватает для практики:

• один токен — примерно 4 знака английского текста и 2-3 знака русского;
• страница обычного текста, около 1 800 знаков с пробелами, — примерно 700 токенов на русском;
• договор на 40 страниц — порядка 28 000 токенов;
• короткий вопрос и ответ на пару абзацев — вместе около 500-700 токенов.

Точные числа зависят от модели, и Anthropic их меняет. Но порядок величин остаётся, а считать надо именно порядок: разница между 700 и 28 000 важнее, чем разница между 700 и 750.

Почему одна и та же страница на русском стоит вдвое дороже, чем на английском

Модели учатся преимущественно на английских текстах, и их разбиение на токены под английский подогнано лучше. Русское слово чаще режется на несколько кусков: приставка отдельно, корень отдельно, окончание отдельно. В итоге тот же самый текст на русском занимает примерно вдвое больше токенов, чем его английский перевод.

Для чата это значит одно: русский документ расходует лимит быстрее английского такого же объёма. Для подключения для разработчиков — что счёт за русскоязычный сценарий выходит выше при том же числе обращений. Это не повод переходить на английский, но повод не удивляться, когда лимит кончается раньше, чем обещал обзор, написанный по англоязычным замерам.

Что входит в расход одного сообщения: весь разговор пересылается заново

Главное непонимание про лимиты выглядит так: человек думает, что платит за свой вопрос и полученный ответ. На деле в расход одного хода входит четыре части.

Строка про файлы — самая дорогая и самая неожиданная. Приложили договор, задали по нему десять вопросов — модель прочитала эти сорок страниц десять раз, а не один.

Арифметика длинной переписки: почему двадцатый ход дороже первого в двадцать раз

Возьмём обычный рабочий разговор, где ваш вопрос и ответ модели вместе весят около 600 токенов.

1. Первый ход: модель обрабатывает 600 токенов.
2. Второй ход: 1 200 — ваш новый вопрос плюс всё, что было.
3. Десятый ход: около 6 000.
4. Двадцатый ход: около 12 000.

Сам разговор к этому моменту весит 12 000 токенов, а обработано за двадцать ходов около 126 000 — в десять с половиной раз больше. Именно поэтому переписка, которая началась утром и тянется до вечера, съедает лимит несопоставимо быстрее двадцати отдельных коротких разговоров с тем же содержанием.

Добавьте приложенный файл на 28 000 токенов, и картина становится жёстче: десять ходов по такому файлу — это 280 000 обработанных токенов только на пересылку документа, без учёта самой переписки.

Что ещё съедает лимит: файлы, проекты, режим размышления и старшая линейка

• Скан вместо текста. Фотография страницы обходится дороже той же страницы текстом, а считается по ней хуже. Таблицу давайте выгрузкой, а не скриншотом.
• Материалы проекта. Папка с регламентами удобна, но она подставляется в каждый разговор внутри проекта. Раздутая на сто страниц папка тратит лимит на каждом вопросе, включая «поправь запятую».
• Режим размышления. Модель сначала рассуждает про себя, и эти рассуждения тоже токены. На цепочке выводов окупается, на письмах и переводах только тратит.
• Старшая линейка. Расходует потолок быстрее средней на той же задаче. День сплошной работы на Opus упирается в лимит в середине дня.

Шесть привычек, которые растягивают лимит на весь рабочий день

Вместе эти шесть привычек дают примерно двукратную разницу в том, сколько работы помещается в один день. Ни одна из них не требует платить больше.

Как прикинуть, сколько токенов весит ваш рабочий файл

Точный счётчик нужен редко, обычно хватает оценки на глаз, и делается она за минуту.

1. Посмотрите число знаков в документе. В любом текстовом редакторе это статистика внизу окна.
2. Разделите на 2,5 для русского текста и на 4 для английского. Получите порядок величины в токенах.
3. Умножьте на число вопросов, которые собираетесь задать по этому файлу в одном разговоре. Это и есть реальный расход.
4. Сравните с окном памяти модели. Если файл занимает большую его часть, места на переписку почти не останется, и модель начнёт терять начало.

Проверка на практике ещё проще. Признак, что вы уткнулись в предел памяти в текущем разговоре: модель начинает отвечать про то, что обсуждалось в начале, неточно, путает отменённые полчаса назад вводные или ссылается не на тот файл. Это не сбой, а вытеснение старой части разговора новой.

Чем лимит в чате отличается от расхода в подключении для разработчиков

В чате вы платите за подписку и упираетесь в потолок: объём за окно в несколько часов, у каждой линейки свой. Кончился — ждёте до обновления окна или спускаетесь на модель ниже. Токены здесь не деньги, а время.

В подключении для разработчиков платится за объём обработанного текста, и каждый лишний токен превращается в сумму в счёте. Здесь бесконечная переписка в сценарии стоит уже не ожидания, а денег: бот, который хранит всю историю общения с клиентом и пересылает её на каждом сообщении, к сотому сообщению обрабатывает многократно больше, чем к первому. Точные ставки пересматриваются несколько раз в год — смотрите их на странице тарифов Anthropic, а не в статьях.

Отсюда типовая ошибка в собранных подрядчиком сценариях: историю не обрезают вовсе. Разумная настройка хранит последние несколько сообщений плюс короткую сводку, а не всё подряд с начала времён.

Где умение считать расход превращается в деньги на проектах

Человек, который понимает, из чего складывается расход, делает за день заметно больше на том же тарифе, а при настройке сценариев для компании экономит ей реальные суммы: разница между аккуратной и небрежной сборкой на потоке обращений измеряется кратно. Это уже оплачиваемый навык, а не бытовая привычка.

Как считают выгоду от такой настройки и какие процессы отдают ИИ первыми, разобрано на странице курса для бизнеса, а как из этого получается оплачиваемая услуга на фрилансе — на странице для фрилансеров. Обучение рассчитано на 12 месяцев, уроки по 30 минут, их более 150 и становится больше, тарифы 99, 169 и 699 BYN в месяц, доступ индивидуальный. Если не ясно, почему у вас лимит кончается к обеду, есть бесплатный разбор на 20-30 минут: там расспросят про вашу работу, покажут, какие задачи ИИ закрывает уже сегодня, и назовут инструменты и уроки, где это разбирается.

Частые вопросы

Что такое токен простыми словамиТокен - это кусок слова, на которые модель режет текст перед обработкой. В среднем один токен - около 4 знаков английского текста и около 2-3 знаков русского. Лимиты и расход считаются в токенах, а не в сообщениях.

Сколько токенов в странице текстаСтраница обычного текста, примерно 1 800 знаков с пробелами, весит около 700 токенов на русском и около 450 на английском. Точное число зависит от модели и от того, насколько привычные слова в тексте.

Почему лимит кончается быстрее, чем ожидаешьПотому что на каждый новый вопрос модель заново обрабатывает весь разговор: прошлые сообщения, свои ответы и содержимое приложенных файлов. Двадцатый ход в переписке обходится примерно в двадцать раз дороже первого.

Как растянуть лимит на весь рабочий деньНачинать новый разговор при смене задачи, давать не весь файл, а нужный кусок, держать повседневную работу на средней линейке, включать режим размышления только там, где есть цепочка выводов, а оформление текста делать на младшей модели.

Чем лимит в чате отличается от расхода в APIВ чате вы платите за подписку и упираетесь в потолок объёма за окно в несколько часов. В подключении для разработчиков платится за объём обработанного текста, и каждый лишний токен превращается в сумму в счёте. Ставки пересматриваются несколько раз в год, смотрите их на странице тарифов Anthropic.