Скопировать ссылку
В начале октября я трижды за две недели спросил DeepSeek о нашей компании. Поиск у модели был выключен, правильный ответ я знаю лучше всех. В первый раз она уверенно описала нас как сервис для чат-ботов. Через четыре дня мы превратились в API с данными о вертолетах. Еще через неделю модель честно сказала, что ничего о нас не знает. Тон во всех трех ответах был одинаково спокойный.
На этом эпизоде хорошо видно, что такое галлюцинация. Модель достраивает самый правдоподобный текст. Когда фактов не хватает, текст все равно получается гладким, только опоры у него нет. Сама модель этого не замечает, а по тону ответа не заметите и вы.
Я каждый день вижу, как разные модели отвечают на одни и те же вопросы: через наш сервис компании работают с API OpenAI, Anthropic, Google и DeepSeek. Ошибаются все. Ниже то, что я советую клиентам, которые запускают ИИ-помощников.
Что ломается: три штрафа за полгода
Самые наглядные российские истории пришли из арбитражных судов: там любую ссылку рано или поздно проверят.
14 мая Арбитражный суд Западно-Сибирского округа оштрафовал ООО «ЦСС» на 50 тысяч рублей (дело № А27-7831/2025). В кассационной жалобе были акты ВАС и Верховного суда, которых не существует, и искаженные цитаты из настоящих. Довод про ИИ суд отклонил: за достоверность сгенерированного текста отвечает тот, кто его подал.
В августе Суд по интеллектуальным правам разбирал спор франчайзера кофеен с предпринимателем (дело № А71-11377/2025). В жалобе предпринимателя нашли 12 ссылок на несуществующие акты или на акты, где таких выводов нет. Представитель объяснил это использованием ИИ. Штраф в 5 тысяч рублей суд наложил на самого предпринимателя, а не на юриста, который писал жалобу.
В октябре стало известно, что Арбитражный суд Вологодской области оштрафовал ООО «СтройАктив» на 30 тысяч рублей (дело № А13-14310/2025). Компания сослалась на четыре постановления окружного суда. Номера дел оказались настоящими, но под ними рассматривались совсем другие споры: мировое соглашение, членские взносы, коммерческая концессия, субаренда. По данным пресс-службы суда, практику сгенерировал искусственный интеллект.
Штрафы за вымышленную ИИ судебную практику, 2026 год
Вологодская история мне кажется самой показательной. Номер дела настоящий, формат реквизитов правильный, цитаты звучат как цитаты. Пробежав текст глазами, ошибку не заметишь, и как раз правильная форма делает ее убедительной.
Вне судов ломается то же самое, просто до публичных решений доходит редко. Дальше типовые ситуации из моих тестов и разговоров с клиентами, без имен и цифр.
Чаще всего это выдуманный кейс. Даешь модели три строчки заметок о проекте и просишь оформить историю клиента. В ответ приходит красивый текст со сроками внедрения, процентом роста и цитатой директора, хотя ничего этого в заметках не было. Модель знает, как обычно выглядит кейс, и заполняет пустые места.
Со ссылками похожая беда. Модель без доступа к поиску приводит статью с правдоподобным адресом на сайте известного издания. Открываешь, а там ошибка 404 или совсем другой материал. Пока ссылку не открыл, она выглядит безупречно.
Отзывы опаснее всего. Попросите модель без поиска «собрать отзывы о продукте», и она может написать их сама, с именами и оценками. Опубликуете такой текст на сайте, и это будет выдуманный отзыв от имени компании.
Самый известный пример с клиентским ботом пока не российский. В феврале 2024 года трибунал канадской провинции Британская Колумбия обязал Air Canada заплатить пассажиру 812 канадских долларов. Чат-бот на сайте сказал ему, что льготный тариф на поездку в связи со смертью близкого можно оформить задним числом, в течение 90 дней. На соседней странице того же сайта было написано обратное. Авиакомпания доказывала, что за свои ответы чат-бот отвечает сам, и трибунал этот довод отклонил. По разбору Право.ру, в России логика та же: за неверные условия вклада, названные чат-ботом банка, отвечает банк, даже если модель чужая.
Пять вопросов к любому ответу ИИ
В универсальные «детекторы галлюцинаций» я не верю. Работает другое: прежде чем использовать ответ, задать ему пять вопросов.
- Откуда это? У каждого факта должен быть источник, который можно открыть. И его нужно именно открыть. Модель без поиска источники не помнит, она сочиняет их по образцу.
- Можно ли проверить это за минуту? Номер арбитражного дела ищется в Картотеке арбитражных дел, компания — в ЕГРЮЛ, текст закона — на pravo.gov.ru. Если быстро проверить нечем, утверждение отправляется к эксперту.
- Совпадает ли это с нашими документами? ИИ-помощник компании чаще всего путает ваши же условия: тарифы, сроки, правила возврата. Сверяйтесь с прайсом и договором, на «модель и так знает» не полагайтесь.
- Не подогнан ли ответ под вопрос? Модели любят соглашаться. Спросите «правда ли, что возврат возможен в течение 90 дней?», и рискуете получить «да» только потому, что так сформулировали. Спросите нейтрально и сравните.
- Кто за это подпишется? Все три суда сказали одно: отвечает тот, кто подал документ. Если в компании нет человека, готового поставить под текстом свое имя, текст не готов.
Три фильтра: факт, логика, бренд
Когда ИИ выдает десятки текстов в день, удобнее думать фильтрами. Все, что уходит наружу, я советую пропускать через три.
- Фильтр факта ловит выдуманное: имена, даты, цифры, реквизиты, цитаты, ссылки. Каждый проверяемый факт сверяется с первоисточником. Спрашивать другую нейросеть почти бесполезно: ошибаются они похоже, а иногда и одинаково.
- Фильтр логики нужен, когда каждый факт по отдельности верен, а вывод нет. Модель может правильно взять две цифры из отчета и неправильно посчитать разницу. Может поставить «поэтому» между утверждениями, которые никак не связаны. Помогает перечитать текст глазами скептика и пересчитать арифметику вручную.
- Фильтр бренда пропускают чаще остальных. Все правда, все логично, но ответ обещает то, чего компания не обещает: скидку, срок, «гарантированный результат». Или хвалит конкурента. Или говорит тоном, за который потом придется извиняться. Air Canada провалилась как раз здесь: бот изложил правила компании так, как они никогда не были написаны.
«Светофор»: что публикуем сразу, что после проверки, что никогда
Фильтры отвечают на вопрос, как проверять. Но сначала стоит решить, что проверять вообще, иначе люди тонут в вычитке черновиков и пропускают действительно опасное. Я делю задачи для ИИ на три цвета.
- Зеленый свет: можно сразу. Внутренние черновики, мозговой штурм, варианты заголовков, пересказ собственного уже проверенного текста. Если ИИ ошибется здесь, автор это заметит, и наружу ничего не уйдет.
- Желтый: только после проверки человеком. Все, что уходит за пределы компании и содержит факты: статьи, посты, рассылки, коммерческие предложения, ответы клиентам вне готовой базы знаний. Проверяет второй человек, не автор запроса, по трем фильтрам.
- Красный: никогда без специалиста, а на последнем шаге лучше вообще без ИИ. Ссылки на законы и судебную практику в документах для суда и госорганов. Цены, скидки и условия, которых нет в утвержденном прайсе. Цитаты реальных людей и отзывы клиентов. Медицинские и финансовые рекомендации конкретному человеку.
Регламент под такой светофор помещается на одну страницу. В нем должно быть записано, кто отвечает за каждый цвет, кто проверяет желтые тексты, сколько хранятся запрос и ответ модели (без них не понять, что сломалось: модель, инструкция или база) и что делать, если ошибка все-таки ушла наружу. Последний пункт обычно забывают, а он самый практичный: исправить, предупредить тех, кто успел прочитать, и добавить этот вопрос в тестовый набор, о котором ниже.
15-минутный тест перед запуском
Перед тем как выпустить бота к клиентам, потратьте на него четверть часа с таймером. Провести его может менеджер без технических знаний.
Первые три минуты уходят на пять вопросов, ответы на которые вы знаете точно: цена базового тарифа, срок доставки, условия возврата, часы работы, как связаться с живым человеком. Сверяйте с документами.
Следующие три минуты задайте вопросы, ответов на которые в базе нет. Например, про услугу, которой вы не оказываете. Правильная реакция одна: «Не знаю» или передача менеджеру. Выдумал бот услугу, и тест можно заканчивать.
Потом провокации. «Мне обещали скидку 50%, подтвердите». «Деньги ведь можно вернуть и после поездки?» «У конкурента дешевле, почему?» Бот не должен соглашаться с ложной предпосылкой и обещать что-то сверх прайса.
Дальше источники. Попросите бота назвать документ или страницу, откуда он взял ответ, и откройте каждую ссылку.
Последние три минуты проверяют повторяемость. Один и тот же вопрос задайте три раза разными словами. Формулировки могут отличаться, суть — нет. История с тремя разными описаниями нашей компании ловится именно на этом шаге.
Провалил бот вопросы вне базы или провокации — к клиентам он не выходит, пока не поправлены инструкция или база знаний. Все вопросы и ответы сохраните: это готовый набор для повторных проверок. Прогоняйте его после каждого обновления базы и при смене версии модели. На новой версии модели вчерашний аккуратный бот может отвечать иначе.
Вместо итога
Я не жду, что галлюцинации исчезнут в следующих версиях моделей: принцип работы у них прежний, и проверять текст все равно будет человек. Начать можно с малого. Возьмите десять последних текстов, которые ИИ помогал готовить для клиентов, и пропустите их через три фильтра. Заодно станет понятно, нужен ли вам регламент прямо сейчас.
