Что происходит, когда контекстное окно заканчивается?

Модель перестаёт видеть начало разговора: первые сообщения выпадают из памяти. Внешне это выглядит как забывчивость - она заново спрашивает то, что ты уже говорил, или противоречит сама себе.

Большое окно всегда лучше?

Не всегда. Чем больше текста внутри, тем хуже модель находит в нём нужное: важная деталь из середины теряется. Часто короткий и чистый контекст работает точнее, чем весь документ целиком.

Как понять, что пора начинать новый чат?

Признаки простые: модель повторяется, теряет ранние договорённости, путает детали. Если разговор ушёл на другую тему - тоже проще открыть новый чат и коротко пересказать нужное.

Что такое контекстное окно нейросети простыми словами

Контекстное окно - сколько текста нейросеть удерживает за раз: и переписку, и файлы.

Контекстное окно - это объём текста, который нейросеть держит перед глазами, пока отвечает. Туда входит вся переписка целиком, приложенные файлы, инструкции и её собственные предыдущие ответы.

Проще всего представить рабочий стол. Всё, что на нём лежит, модель видит и учитывает. Стол не бесконечный: когда места не хватает, старые листы падают на пол. Модель их больше не видит, хотя разговор продолжается.

В чём это меряется

В токенах - тех же кусочках текста, которыми считаются лимиты и цена. Окно в 200 тысяч токенов это примерно 500-600 страниц русского текста.

Цифры разных моделей сравнивать напрямую бессмысленно: заявленный размер окна и то, насколько хорошо модель работает с его дальней частью, - разные вещи.

Почему модель забывает начало разговора

Когда переписка перерастает окно, самые ранние сообщения из него выпадают. Отсюда знакомая картина: в начале чата вы договорились писать без англицизмов, через час модель снова пишет «инсайты» и «коллаборации».

Она не забыла в человеческом смысле. Этой договорённости для неё просто больше не существует - лист упал со стола.

Почему в большом окне тоже теряется важное

Есть эффект, который в исследованиях называют «потерей середины»: модель лучше всего работает с началом и концом того, что видит, а данные в середине использует хуже.

Практический вывод такой. Вставлять в чат сто страниц договора, чтобы спросить про один пункт, - плохая идея. Найди нужный раздел и вставь его: ответ будет точнее, а денег уйдёт меньше.

Как с этим жить

Начинай новый чат под новую задачу. Это дешевле и точнее, чем тянуть один бесконечный разговор.

Повторяй важное. Если правило принципиально, напомни его в свежем сообщении, а не надейся на договорённость часовой давности.

Клади главное в начало и в конец промпта. Середина - самое слабое место.

Что запомнить

Контекстное окно - сколько текста модель видит за раз, включая всю переписку.
Меряется в токенах; переполнение выглядит как забывчивость.
В середине большого контекста детали теряются - вставляй нужный кусок, а не весь документ.
Под новую задачу проще открыть новый чат, чем продолжать старый.