Главная
Тарифы О нас Подход Кейсы Контакты растИИшкаблог 404ai Интеграции Глоссарий Разобрать задачу +7 (993) 729-59-59
Внедрение · 404ai

Ошибка AI перед клиентом: кто отвечает

Когда AI-агент называет клиенту неверную цену, за ошибку отвечает не нейросеть и не подрядчик, а компания, от имени которой агент говорил. Это звучит очевидно, но внедрения часто планируют так, будто вопрос технический: выбирают модель, настраивают базу знаний и не договариваются, кто заметит ошибку, кто её оплатит и кто выключит агента. Деньги теряются именно в этом зазоре — между первой ошибкой и моментом, когда о ней кто-то узнал. Ниже — кто отвечает за ошибку AI перед клиентом, как её обнаружить и что зафиксировать письменно до запуска.

За ошибку AI перед клиентом отвечает компания, а не модель

Ошибка AI перед клиентом — это неверная информация или обещание, которые клиент получил от автоматического агента компании в чате, мессенджере или по телефону. Для клиента AI-агент — это ваша компания: он обратился к вам, ответ получил от вас, и ссылка на поставщика инструмента его положение не меняет. Обещание, данное агентом, клиент воспринимает как обещание компании, и в большинстве спорных ситуаций дешевле его выполнить, чем объяснять устройство системы.

Внутренние отношения с подрядчиком — отдельный слой. Он определяет, кто в итоге несёт издержки, но не меняет того, кто отвечает перед клиентом. Кто внутри компании должен владеть агентом и его результатами, разобрано отдельно — в статье о том, кто отвечает за ИИ в компании.

Суть

«Это ошибка нейросети» — не объяснение для клиента, а перекладывание на него вашей внутренней проблемы. Разбирательство с подрядчиком идёт после того, как вопрос клиента закрыт.

Возражение: в чате же написано, что отвечает бот

Против тезиса об ответственности компании есть аргумент, который звучит разумно. Клиента предупредили, что с ним говорит автоматическая система; на сайте есть официальные условия; взрослый человек мог их проверить. Разве не он сам виноват, что поверил боту?

Этот аргумент уже разбирали в споре с клиентом, и он не сработал. В феврале 2024 года Трибунал по гражданским спорам Британской Колумбии (Канада) рассмотрел дело Moffatt v. Air Canada: чат-бот на сайте авиакомпании неверно объяснил клиенту, как получить льготный тариф в связи со смертью родственника. Авиакомпания доказывала, что за слова бота она не отвечает, и что правильные условия были опубликованы на другой странице сайта. Трибунал с этим не согласился: авиакомпания отвечает за всю информацию на своём сайте, будь то обычная страница или чат-бот, и клиент не обязан перепроверять одну её страницу по другой.

Российское право устроено иначе, и переносить канадское решение напрямую нельзя. Но похожая логика есть и в нашем потребительском законодательстве: закон «О защите прав потребителей» требует от продавца и исполнителя необходимой и достоверной информации о товаре и услуге и предусматривает ответственность за ненадлежащую информацию. Отдельно о чат-ботах закон не говорит, и как будет оценён конкретный спор, заранее не скажет никто — это вопрос к юристу. Управленческий вывод понятен и без него: рассчитывать, что пометка «отвечает бот» переложит ответственность на клиента, не стоит.

Нужно ли тогда вообще сообщать, что отвечает робот? Да, но по другим причинам — это вопрос доверия, а не страховки. Он разобран в статье о том, раскрывать ли, что отвечает робот.

Три вида ошибок и разная цена

  • Ошибка в тоне или формулировке. Ответ сухой, невпопад, не туда развернул разговор. Стоит извинения и правки настроек.
  • Ошибка в факте. Неверная цена, срок, условие возврата. Стоит либо выполнения обещанного, либо переговоров с клиентом, и это уже деньги.
  • Ошибка с последствиями. Агент подтвердил то, что компания сделать не может: несуществующую услугу, невозможный срок, недопустимую скидку. Здесь цена не ограничена одной сделкой и может выйти в претензию.

Разделять их полезно потому, что предотвращаются они по-разному. Первая правится настройками, вторая — базой знаний, третья — явным списком тем, по которым агент не имеет права отвечать сам.

Опасна не ошибка, а то, что о ней узнают через месяц

Главная опасность не в самой ошибке, а в том, что о ней узнают поздно. Неверный ответ выглядит как обычный: он связный и уверенный, поэтому ни клиент, ни выборочно читающий диалоги руководитель его не отличают.

Работают три способа, и лучше все сразу. Сплошное чтение диалогов в первые недели — не выборка, а подряд. Автоматическая сверка ответов о ценах и сроках с документами. И явный сигнал от клиента: жалоба или спор о том, что ему обещали, разбирается по записи разговора, а не по памяти.

Отсюда практическое требование, которое стоит проверить до запуска: все диалоги агента должны сохраняться целиком и быть доступны для просмотра. Без этого разобрать спорный случай нечем. В Дирижёре, которым 404ai запускает текстовых агентов, для этого есть единый журнал диалогов и правила эскалации на оператора; у любого другого инструмента стоит проверить то же самое до подписания. Как устроено наблюдение за агентом после запуска, — в статье о мониторинге AI-агента.

Пять шагов, когда ошибка уже дошла до клиента

ШагЧто важно
1. Закрыть вопрос клиентаРешение принимает человек, а не агент; ссылки на технологию клиенту не даются
2. Поднять запись диалогаЧто именно было сказано — дословно, а не в пересказе
3. Найти причинуУстаревший документ, дыра в базе или тема, которую нельзя было отдавать агенту
4. Закрыть темуПоправить документ либо запретить агенту отвечать по этой теме
5. Добавить в тестыСлучай становится сценарием, который прогоняется после каждого изменения

Пятый шаг пропускают чаще всего, и именно он отличает разовое исправление от того, что ошибка не повторится.

Что зафиксировать в договоре с подрядчиком

Список короткий, но каждый пункт лучше обсудить до подписания, а не после первого инцидента.

  • Кто владеет диалогами. Записи и переписки должны оставаться у вас и выгружаться по требованию, включая случай расставания с подрядчиком.
  • Срок реакции на инцидент. За сколько часов подрядчик обязан отключить или ограничить агента по вашему сигналу.
  • Право на стоп-кран. Возможность выключить агента самостоятельно, не дожидаясь подрядчика.
  • Список запретных тем. Письменный перечень того, по чему агент не отвечает сам, — приложением, а не на словах.
  • Кто платит за исправление. Правка базы знаний и настроек после ошибки — в рамках сопровождения или за отдельные деньги.

Как считать ущерб от ошибки

Разговор об ответственности упирается в цифру, которую обычно никто не считал. Без неё обсуждение остаётся эмоциональным, а договорные механизмы — декоративными.

Ущерб складывается из трёх частей. Прямая: то, что пришлось выполнить или компенсировать — скидка, которой не было, доставка за свой счёт, возврат. Вторая: время на разбор и улаживание, посчитанное в часах. Третья, самая крупная и самая неохотно считаемая, — потерянный клиент, если он ушёл.

Отдельно стоит вести реестр таких случаев с суммами, даже небольшими. Через полгода он отвечает на вопрос, который иначе решается на ощущениях: во что реально обходятся ошибки и оправдывает ли это ужесточение проверок.

Пример. Агент в месяц ведёт 3 000 диалогов, из них в 6 клиенту назвали неверную скидку, и компания её выполнила — в среднем по 4 000 ₽. Ещё по два часа менеджера на каждый разбор при стоимости часа 800 ₽. Итого: 6 × 4 000 + 6 × 2 × 800 = 24 000 + 9 600 = 33 600 ₽ в месяц. Эту сумму и нужно сравнивать с ценой дополнительной проверки — например, с часами человека, который ежедневно читает диалоги о ценах. Если проверка дороже ущерба, ужесточать её бессмысленно; если дешевле — это не расход, а экономия.

Что писать клиенту после ошибки

Формулировка ответа влияет на исход сильнее, чем сама ошибка. Три вещи одинаково плохи: молчание, обвинение технологии и извинение без решения.

Ссылка на автоматику воспринимается как отказ отвечать: клиенту всё равно, кто именно ошибся внутри вашей компании. Извинение без конкретики оставляет вопрос открытым, и человек возвращается с ним ещё раз. Молчание в расчёте, что не заметит, обходится дороже всего.

Работает короткая последовательность: что произошло, что мы делаем с этим конкретным случаем, что делаем, чтобы не повторилось. Третий пункт называется одним предложением и без подробностей о внутренней кухне. Клиенту важно не устройство системы, а то, что кто-то взял ситуацию на себя.

Как ошибки превращаются в изменения

Разобранный случай, после которого ничего не изменилось, — это потраченное время. Между тем связь между инцидентом и правкой обычно не выстроена: извинились, компенсировали, забыли.

Минимальный порядок: каждая ошибка, дошедшая до клиента, попадает в один список с указанием, что именно послужило причиной — устаревший факт, отсутствующий факт, неверное понимание вопроса, слишком свободное поведение. Раз в месяц список смотрится целиком.

Ценность появляется на второй-третий месяц, когда становится видно распределение. Если заметная часть случаев относится к одной причине — скажем, к устаревшему прайсу, — это меняет план работ: вместо разбора отдельных инцидентов появляется одна системная правка, закрывающая многие будущие. Проверять правки до того, как они дойдут до клиентов, помогает набор тестовых сценариев — об этом в статье про тестирование перед запуском.

Когда агенту нельзя отдавать тему вовсе

Честный вывод из всего сказанного: есть темы, где AI-агент не нужен, даже хороший. Не потому, что он ошибается чаще человека, а потому, что цена одной ошибки там несоразмерна экономии.

Индивидуальная цена. Если стоимость собирается под каждого клиента — скидка зависит от объёма, истории, согласования с руководителем, — агенту не стоит называть итоговую цифру. Он может собрать вводные и передать расчёт человеку. Экономия времени сохраняется, риск уходит.

Условия, которые меняются чаще, чем обновляется база. Акции на неделю, остатки на складе без интеграции с учётом, сроки, зависящие от загрузки производства. Агент будет отвечать по вчерашним данным уверенно и вежливо.

Юридически значимые обещания. Гарантии, возвраты сверх закона, изменение условий договора. Здесь ошибка третьего вида превращается в претензию, и никакая экономия на операторе её не окупит.

Малый поток. Если таких обращений десяток в день, человек ответит на них без риска, а стоимость контрольного слоя для агента съест выгоду. Список запретных тем в договоре нужен именно для этого: он фиксирует не слабость агента, а решение компании о том, где цена ошибки выше цены человека. Как устроить передачу таких разговоров живому сотруднику, — в статье об эскалации на оператора.

Гарантия «ошибок не будет» — плохой знак

Требовать от подрядчика гарантии полного отсутствия ошибок не стоит. Поставщик, который её даёт, либо не понимает, как устроена языковая модель, либо понимает и рассчитывает, что вы не станете проверять. Осмысленное обязательство формулируется иначе: не «ошибок не будет», а «вот перечень тем, где агент не отвечает сам, вот срок реакции, вот ваш стоп-кран».

Проверочный вопрос

Спросите поставщика, что произойдёт, если агент назовёт клиенту неверную цену. Ответ «такого не будет» говорит о поставщике больше, чем любая презентация.

Моя ставка: ответственность за агента решает, окупится ли он

Моя позиция такая: вопрос «кто отвечает за ошибку» — не юридическая формальность в конце проекта, а экономический вопрос в его начале. Агент окупается, когда экономия на операторах больше суммы ущерба от ошибок и стоимости их контроля. Если последние две величины никто не считал, окупаемость проекта — это надежда, а не расчёт.

Поэтому я бы не начинал внедрение с выбора модели. Я бы начинал с трёх строк: какие темы агент ведёт сам, кто в компании каждый день смотрит его диалоги, кто и за сколько времени может его выключить. Если на вторую и третью строку нет фамилий, запуск стоит отложить — это одна из причин, по которым 404ai не берёт проект: без человека, который ведёт изменения со стороны клиента, внедрение не доходит до результата (как устроен подход).

Можно возразить, что так агент никогда не запустится — всегда найдётся тема, которую страшно отдать. Но ответ здесь не «ничего не отдавать», а «начать с тем, где ошибка дешёвая»: часы работы, статус заказа, запись на встречу. Опыт контроля, накопленный на них, делает следующие темы безопаснее.

Три строки, которые стоит записать до запуска агента

Из всего сказанного следует, что готовность к ошибке AI проверяется не на демонстрации, а на бумаге — и занимает один рабочий час.

Список тем с ценой ошибки. По каждой теме, которую агент будет вести, отметьте, к какому из трёх видов относится вероятная ошибка. Темы третьего вида — в запретный список.

Фамилия того, кто читает диалоги в первые недели подряд, а не выборкой, и того, кто нажимает стоп-кран.

Вопрос подрядчику: что произойдёт, если агент назовёт клиенту неверную цену, — кто узнает, за сколько часов, кто платит за исправление. Ответ проверьте на пилоте: попросите показать журнал диалогов и выключение агента на ваших данных, а не на демо.

Если хотя бы одна строка остаётся пустой, вы знаете, что делать до запуска. Почему модели вообще выдумывают правдоподобные ответы, — в статье «почему нейросеть выдумывает», как собрать базу знаний, из которой агент берёт факты, — в статье про базу знаний.

Частые вопросы

Если не нашли ответа — напишите нам в Telegram, ответим за 15 минут.

Перед клиентом отвечает компания. Для него AI-агент — это вы: он обратился к вам, ответ получил от вас, и ссылка на поставщика инструмента его положение не меняет. Обещание, данное агентом, клиент воспринимает как обещание компании, и в большинстве спорных ситуаций дешевле его выполнить, чем объяснять устройство системы. Отношения с подрядчиком — отдельный слой: он определяет, кто несёт издержки, но не меняет того, кто отвечает перед клиентом.
Неверный ответ выглядит как обычный — он связный и уверенный, поэтому ни клиент, ни выборочно читающий диалоги руководитель его не отличают. Работают три способа сразу: сплошное чтение диалогов в первые недели (подряд, а не выборкой), автоматическая сверка ответов о ценах и сроках с документами и разбор жалоб по записи разговора, а не по памяти.
Пять шагов. Закрыть вопрос клиента — решение принимает человек, ссылки на технологию клиенту не даются. Поднять запись диалога и посмотреть, что было сказано дословно. Найти причину: устаревший документ, дыра в базе или тема, которую нельзя было отдавать агенту. Закрыть тему — поправить документ либо запретить агенту отвечать по ней. И добавить случай в тестовые сценарии: этот шаг пропускают чаще всего, и именно он отличает разовое исправление от того, что ошибка не повторится.
Кто владеет диалогами — записи должны оставаться у вас и выгружаться по требованию, включая случай расставания с подрядчиком. Срок реакции на инцидент: за сколько часов подрядчик обязан отключить или ограничить агента. Право на стоп-кран — возможность выключить агента самостоятельно. Письменный список тем, по которым агент не отвечает сам, приложением, а не на словах. И кто платит за исправление базы знаний после ошибки.
Не стоит. Поставщик, который её даёт, либо не понимает, как устроена языковая модель, либо понимает и рассчитывает, что вы не станете проверять. Осмысленное обязательство формулируется иначе: не «ошибок не будет», а перечень тем, где агент не отвечает сам, срок реакции на инцидент и ваш стоп-кран. Спросите поставщика, что произойдёт, если агент назовёт клиенту неверную цену: ответ «такого не будет» говорит о поставщике больше, чем любая презентация.
Три вида. Ошибка в тоне или формулировке — стоит извинения и правки настроек. Ошибка в факте (неверная цена, срок, условие возврата) — стоит либо выполнения обещанного, либо переговоров с клиентом, и это уже деньги. Ошибка с последствиями, когда агент подтвердил невозможное, — цена не ограничена одной сделкой и может выйти в претензию. Предотвращаются они по-разному: первая настройками, вторая базой знаний, третья явным списком запретных тем.

Разборы внедрений

Как это выглядело у других компаний

Все разборы внедрений

Обсудим границы до запуска, а не после

Составим письменный список тем, по которым агент не отвечает сам, договоримся о сроке реакции на инцидент и оставим вам стоп-кран.

Разбор задачи — бесплатноОтвет за 15 минут
Разобрать задачу