Локальная нейросеть и картинки: распознать фото, чек и скриншот офлайн (2026)

Локальная нейросеть умеет смотреть на картинки, если взять модель со зрением. Ставится это на обычный компьютер за десять минут, работает бесплатно и офлайн, а на вход можно подавать фото документа, скриншот ошибки, снимок чека или кадр с телефона и получать по нему текстовый разбор. Из моделей, которые ставятся одной командой, картинки понимают Gemma 3 от 4 миллиардов параметров, Qwen2.5-VL и Llama 3.2 Vision.

Главная ловушка тут одна: обычная текстовая модель картинку не видит вообще. Ты передашь ей файл, она бодро ответит и ни разу не сознается, что смотрела только на твой текст. Разница между «модель со зрением» и «модель без зрения» решает всё остальное.

Словарик: пять терминов, без которых будет каша

• Мультимодальная модель (VLM) - модель, которая принимает на вход и текст, и изображение. Второе название - vision-модель, или «модель со зрением».
• Кодировщик изображений - часть модели, которая превращает картинку в набор чисел, понятный языковой части. Именно он ест дополнительные гигабайты памяти.
• Проектор (mmproj) - файл-переходник между кодировщиком и языковой частью. Если он не подключён, модель запустится и будет отвечать текстом, а картинку проигнорирует.
• Квантование - сжатие модели, чтобы влезала в память. Q4 означает четыре бита на число вместо шестнадцати, размер падает примерно вчетверо.
• Структурированный ответ - режим, когда модель обязана вернуть строгий JSON по заданной схеме вместо свободного текста.

Коротко: что важно знать

• Зрение есть не у всех: текстовая модель картинку не увидит, нужна отдельная vision-версия.
• Минимум железа: gemma3:4b занимает около 2,6 ГБ в Q4 и работает на ноутбуке с 8 ГБ ОЗУ.
• Плата за зрение: кодировщик изображений добавляет 1-3 ГБ поверх обычного веса модели.
• Скорость: первый ответ приходит через 2-5 секунд на видеокарте и через 4-8 секунд на процессоре.
• Русский текст на фото: крупные надписи читаются, мелкие цифры домысливаются.
• Деньги: ноль. Ни подписки, ни карты, ни лимитов на количество картинок.

Что локальная модель со зрением реально умеет

Разберём честно, без обещаний. Модель на 4-12 миллиардов параметров, запущенная дома, уверенно делает четыре вещи.

Описывает содержимое кадра: что за объект, сколько предметов, какая обстановка, что происходит. Читает крупный видимый текст: вывеску, заголовок документа, название на упаковке, надпись на скриншоте. Отвечает на вопрос по картинке: «есть ли тут кошка», «какого цвета папка справа», «какая ошибка на экране». И раскладывает увиденное по полочкам, если попросить строгий формат ответа.

Автор материала на Towards Data Science собрал на локальной модели разбор фотоархива из поездки: скормил семь снимков по одному и получил по каждому узнанную достопримечательность, прочитанный видимый текст, определённых животных, подпись и настроение кадра. Дальше он собрал из этих разборов связный рассказ о поездке, и тоже локально, без единого запроса в облако.

Что нужно от компьютера

Правило простое: считаешь память как для обычной модели того же размера, потом прибавляешь на кодировщик изображений.

Видеокарта не обязательна. Модель посчитается и на процессоре, просто первый ответ придёт через 4-8 секунд вместо 2-5. Для разовых задач разница незаметна, для потока в сотню картинок она превращается в лишние полчаса ожидания.

Отдельная тонкость про оперативную память. Если видеокарты нет, модель целиком грузится в ОЗУ, и 8 ГБ на весь компьютер при модели в 2,6 ГБ - это впритык, но живо. Хочешь работать с картинками комфортно, планируй 16 ГБ. Мы подробно разбирали, что и на каком железе тянет, в гайде про нейросети на видеокарте 8 ГБ.

Какие локальные модели видят картинки

Данные по требованиям к видеопамяти приведены для четырёхбитного сжатия, по обзору локальных vision-моделей InsiderLLM на август 2026.

Что из этого брать под задачу. Если картинка - это документ, таблица, скриншот программы или что угодно с плотным текстом, бери линейку Qwen-VL: она заточена под чтение. Если картинка бытовая, то есть фото, кадр, предмет, сцена, и важно понимание смысла, бери Gemma 3. У Gemma 3 есть приятный бонус для нас: она обучена на 140+ языках и заметно спокойнее относится к надписям не на английском, включая русские вывески и заголовки.

Llama 3.2 Vision в 2026 году уже подвинули модели Qwen, но она никуда не делась и на своих задачах работает.

Список моделей со зрением удобно смотреть прямо в каталоге Ollama: на странице моделей есть фильтр Vision, и он оставляет только те, что понимают картинки.

Каталог заметно живее таблицы выше. На середину августа 2026 в списке со зрением лежат Gemma 4 (размеры e2b, e4b, 12b, 26b, 31b), Qwen3.8 на 27 миллиардов, Kimi K3 и Meta Muse Glimmer на 30 миллиардов под лицензией Apache 2.0. Модели из таблицы проверены временем и хорошо документированы, поэтому для первого запуска брать стоит их. А если хочется свежего, фильтр Vision в каталоге всегда покажет текущий набор.

Как скормить картинку модели: три способа

Дальше считаем, что Ollama у тебя уже стоит. Если ещё нет, поставь по нашему разбору как поднять нейросеть на компьютере через Ollama, это минут пятнадцать, и возвращайся сюда.

Способ первый: терминал

Самый быстрый. Запускаешь модель и пишешь путь к файлу прямо в строке вопроса:

ollama run gemma3:4b
>>> Что написано на этой вывеске? /Users/ilya/Desktop/foto.png

Путь можно не набирать руками: перетащи файл мышкой в окно терминала, и он подставится сам. Работает и на Mac, и на Windows, и в Linux.

Тот же вопрос можно задать одной строкой, без входа в диалог:

ollama run gemma3:4b "Опиши, что на картинке, тремя предложениями" ~/Desktop/foto.png

Способ второй: Python

Когда картинок больше пяти, руками их гонять бессмысленно. Ставим библиотеку и пишем цикл:

pip install ollama pillow

Картинка уходит модели списком в поле images:

import ollama

answer = ollama.chat(
    model="gemma3:4b",
    messages=[{
        "role": "user",
        "content": "Прочитай текст на картинке и назови тип документа.",
        "images": ["/Users/ilya/Desktop/foto.png"],
    }],
    options={"temperature": 0},
)
print(answer["message"]["content"])

temperature: 0 тут не украшение. На нуле модель отвечает на одну и ту же картинку одинаково, и результат можно сравнивать между прогонами. На дефолтной температуре два запуска подряд дадут два разных описания, и ты будешь гадать, что изменилось.

Способ третий: окно без терминала

Если терминал раздражает, поставь LM Studio: там модель выбирается мышкой из списка, а картинка просто перетаскивается в окно чата. Разницу между тремя движками мы разбирали в гайде Ollama, LM Studio или llama.cpp. Для картинок у LM Studio есть один практический плюс: он берёт модели с Hugging Face, где vision-версий заметно больше, чем в каталоге Ollama.

Строгий JSON вместо болтовни

Пока ты читаешь ответы глазами, свободный текст удобен. Как только картинок становится сто, нужен формат, который умеет читать программа. У Ollama для этого есть параметр format: ты отдаёшь модели схему ответа, и она обязана уложиться в неё.

Схему удобно описывать через pydantic:

from pydantic import BaseModel
import ollama, json

class PhotoInfo(BaseModel):
    doc_type: str
    visible_text: str
    has_people: bool
    summary: str

answer = ollama.chat(
    model="qwen2.5vl:7b",
    messages=[{"role": "user", "content": "Разбери картинку.",
               "images": ["foto.png"]}],
    format=PhotoInfo.model_json_schema(),
    options={"temperature": 0},
)
data = PhotoInfo.model_validate_json(answer["message"]["content"])
print(data.doc_type, data.has_people)

На выходе получается объект с полями, а не абзац текста. Дальше его можно складывать в таблицу, фильтровать, искать по нему.

Промпты, которые работают с картинками

Общее правило: чем конкретнее вопрос, тем меньше модель фантазирует. «Опиши картинку» даёт красивое сочинение. «Назови марку прибора на фото и его серийный номер, если он виден» даёт факты.

Посмотри на изображение и ответь строго по пунктам:
1. Что это за документ или объект.
2. Весь текст, который реально виден на картинке, дословно.
3. Чего на картинке нет, но что обычно бывает у таких документов.
Если какой-то пункт определить нельзя, напиши «не видно». Не додумывай.

Фраза про «не видно» тут ключевая. Без неё модель заполнит пробелы правдоподобной выдумкой, потому что её так учили: давать связный ответ.

Второй рабочий шаблон - разбор скриншота с ошибкой:

На скриншоте окно программы с ошибкой. Ответь:
 
Текст ошибки дословно:
Что программа пыталась сделать:
Три вероятные причины, от самой частой к редкой:
Что проверить первым делом:
 
Пиши коротко, без вступлений.

Третий - опись коробки, папки, полки:

Составь список предметов на фото. Для каждого укажи:
название, примерное количество, состояние (новое, б/у, повреждено).
Верни ответ таблицей. Предметы, в которых не уверен, помечай знаком вопроса.

Что делать, если модель не видит картинку

Самая частая поломка выглядит так: модель отвечает бодро и по теме, но по содержанию картинки промахивается полностью. Значит, изображение до неё не дошло, и она сочиняет по одному твоему тексту.

Проверяется за минуту: возьми картинку с крупной уникальной надписью и спроси, что на ней написано. Угадала - зрение работает. Ответила вокруг да около - зрение не подключено.

Причины по частоте:

1. Взята текстовая модель. gemma3:1b и llama3.2 картинки не видят в принципе. Нужна версия со зрением.
2. Не подключён проектор. Модель скачана вручную с Hugging Face одним файлом, без соседнего mmproj. Именно на это напоролся автор исходного материала: он собирал Gemma 4 E4B в Ollama 0.32.5 под Windows, и модель отказывалась использовать визуальную часть, пока он не подтянул отдельный файл проектора mmproj-BF16.gguf из репозитория Unsloth рядом с квантованной моделью. Сейчас этот танец уже не нужен: Gemma 4 лежит в каталоге Ollama с меткой vision и ставится обычной командой.
3. Модель свежая, а Ollama её зрение ещё не завёл. Такое случалось летом 2026 с Qwen 3.5 и 3.6: текстовая часть грузилась, а mmproj к ней не подключался, и картинки не работали. К августу дыру закрыли, Qwen3.8 в каталоге идёт с меткой vision. Но правило осталось: если модель вышла на днях, зрение у неё в Ollama может быть ещё не собрано. Лечится переходом на llama.cpp или LM Studio, либо выбором модели, у которой метка vision уже стоит.
4. Битый путь к файлу. Пробел в имени папки без кавычек, и путь превращается в два аргумента. Перетаскивание файла мышкой снимает эту проблему.

Локально или в облаке: что честнее

Приватность тут главный аргумент. Когда речь про паспорт, договор, медицинскую выписку или внутренние скриншоты рабочей системы, вопрос «а куда уехал этот файл» перестаёт быть теоретическим. Локальная модель отвечает на него однозначно: никуда. Можно физически выдернуть сеть и проверить.

Второй аргумент - деньги. Разбор тысячи картинок через облачный API стоит ощутимых денег и требует зарубежной карты. Дома тысяча картинок стоит ровно столько электричества, сколько компьютер сожрёт за час работы.

Если же задача - обработать фото красиво, а не понять их содержание, локальная модель тут ни при чём. Для ретуши, апскейла и замены фона есть отдельные инструменты, мы собрали их в гайде про нейросети для обработки фото.

Работает ли это из России

Работает, и это тот редкий случай, когда ничего обходить не нужно.

После загрузки модель считается на твоём процессоре или видеокарте. Интернет можно выключить совсем: ни один байт наружу не уходит, потому что уходить некуда. Ни аккаунта, ни подписки, ни карты, ни привязки к номеру.

Сеть нужна ровно один раз, на скачивание. Каталог Ollama из России обычно открывается напрямую. Hugging Face местами капризничает у отдельных провайдеров, и тогда VPN пригодится только на время загрузки файла, после чего его снова можно выключить. Что ещё доступно без обходных путей, разобрано в гайде про нейросети без VPN в России.

Проверь, что всё работает

Пять шагов, каждый занимает меньше минуты.

1. Выполни ollama list и убедись, что нужная модель в списке.
2. Сделай скриншот любой страницы с крупным заголовком.
3. Спроси у модели, какой заголовок на картинке.
4. Сравни ответ с оригиналом дословно.
5. Отключи интернет и повтори шаг третий: ответ должен прийти как ни в чём не бывало.

Пятый шаг важнее остальных. Он доказывает, что ты действительно работаешь локально, а не через какой-нибудь незаметно подключённый облачный ключ.

Чек-лист: у тебя работает локальное зрение, если

• поставлена модель со зрением, а название и размер ты знаешь наизусть;
• картинка доходит до модели, и проверка крупной надписью это подтверждает;
• ответ повторяется от прогона к прогону, потому что температура выставлена в ноль;
• большие фото уменьшаются перед подачей и уходят в модель уже лёгкими;
• для потока настроен строгий JSON, и разбирает его программа;
• цифры и суммы с картинок проходят человеческую проверку перед отчётом;
• интернет выключен, а модель продолжает отвечать.

Дальше по нарастающей: связать разбор картинок с папкой на диске, чтобы новые файлы разбирались сами, и складывать результат в таблицу. Это уже обычный скрипт на двадцать строк поверх того, что ты собрал сегодня.

По материалам Towards Data Science: Building Multimodal Workflows with a Local LLM.