Риски использования ИИ в бизнесе

Коротко: восемь рисков

Если читать некогда, вот они одним списком.

Риск	Насколько частый	Чем закрывается
Программа выдумывает ответ	Самый частый	Отвечать только по документам компании
Сотрудники сливают данные в чужие сервисы	Очень частый, обычно незаметный	Дать свой инструмент и правила
Штрафы за утечку персональных данных	Редкий, но дорогой	Свой сервер, если данные чувствительные
Непонятно, кто отвечает за ошибку	Всплывает после первого сбоя	Прописать в договоре заранее
Права на сгенерированные тексты и картинки	Редкий	Проверить условия сервиса, спросить юриста
Зависимость от подрядчика	Частый	Держать материалы и доступы у себя
Заплатили, а эффекта нет	Частый	Считать до старта, мерить после
Отвечает по устаревшим материалам	Копится незаметно	Назначить ответственного за обновление

Дальше по каждому — что происходит на практике и что с этим делают.

1. Программа уверенно выдумывает

Это главный риск, и он же самый недооценённый. У явления есть название — «галлюцинации». Означает оно вот что: когда программа не знает ответа, она не молчит, а составляет правдоподобный. Тем же уверенным тоном, что и правильный.

Человек не может отличить одно от другого, потому что внешне это одинаково. Ошибку замечают тогда, когда клиент приехал за товаром, которого нет, или сослался на скидку, которую ему пообещали.

Откуда это берётся: программа училась на огромном объёме текстов из интернета и научилась продолжать фразу так, чтобы получалось складно. Складно — не значит правда. Про вашу компанию в тех текстах не было ничего.

Что снижает риск. Работает одно: программа должна отвечать не «из головы», а по вашим материалам — прайсу, регламентам, описаниям услуг. Если подходящего куска в них нет, она обязана сказать, что не знает, и позвать человека. Это настраивается и проверяется.

Проверить легко. Спросите у подрядчика на демонстрации: «что программа сделает, если ответа нет в документах?» Если слышите «она всегда что-нибудь ответит» — вам показывают то, что нельзя ставить к клиентам. Подробнее про разницу между такими программами — в статье чат-бот — это искусственный интеллект или нет.

Полностью до нуля риск не убирается. Поэтому в чувствительных местах — цена, сроки, обязательства — ответ либо берётся строго из системы учёта, либо программа передаёт разговор человеку.

2. Данные утекают через своих же сотрудников

Обычно утечку представляют как взлом. На практике чаще происходит другое: сотрудник копирует кусок договора, выгрузку клиентов или внутренний регламент в первый попавшийся бесплатный сервис в интернете — чтобы быстрее сделать свою работу.

Он не злоумышленник. Он экономит время. Но с этого момента ваш документ лежит на чужом сервере, и условия многих бесплатных сервисов прямо разрешают использовать введённое для дальнейшего обучения.

Особенность риска в том, что он невидим. Никакого инцидента не происходит, никто ничего не замечает, и в отчётах это не появляется.

Что снижает риск. Запрет не работает — люди просто перестают рассказывать. Работает обратное: дать сотрудникам собственный инструмент, которым удобно пользоваться, и понятное правило, что можно вводить, а что нельзя. Когда рабочий вариант есть под рукой, необходимость идти на сторону исчезает.

Второе — короткая памятка на одну страницу: какие типы данных нельзя вводить никуда, кроме внутренних систем. Персональные данные клиентов, реквизиты, коммерческие условия договоров, выгрузки из системы учёта.

Памятка работает лучше запрета, если в ней есть не только «нельзя», но и «а вот так можно». Например: фамилию клиента заменить на «клиент», сумму округлить, номер договора убрать — задача при этом решается, а данные не уходят.

3. Штрафы за персональные данные

Это единственный риск из списка, у которого есть прямая цена в рублях.

Оборотные штрафы за утечки персональных данных приняли 30 ноября 2024 года, в силу они вступили 30 мая 2025-го: за повторную утечку — до 3% выручки компании, в диапазоне от 20 до 500 млн рублей (закон № 420-ФЗ). Рынок отреагировал заранее: по опросу CNews в марте 2025 года, ещё до вступления закона в силу, 64% российских компаний уже усилили защиту данных (CNews, 2025).

Для работы с ИИ отсюда следует практический вывод. Есть два способа устроить дело. Первый — программа работает через готовый сервис в интернете: дешевле, но данные уходят на серверы поставщика. Второй — всё считается на вашем сервере, и данные его не покидают: дороже и дольше запускать.

Простое правило: если в переписке всплывают диагнозы, номера договоров или суммы долга — второй вариант стоит обсуждать всерьёз, даже если он удорожает проект.

Мы такие контуры делали. Для аптечной сети примерно на 11 000 сотрудников программа работает на открытой модели прямо на сервере клиента, данные никуда не уходят (наш проект, 2026). Похожую задачу решали и для федерального ведомства — там закрытый контур тем более обязателен.

4. Кто отвечает, если программа ошиблась

Вопрос всплывает не на переговорах, а после первого сбоя — и тогда выясняется, что ответа нет ни у кого.

Разберём на понятном примере. Программа пообещала клиенту скидку, которой нет. Клиент требует её соблюсти. Кто виноват: компания, которая поставила программу к клиентам, подрядчик, который её настроил, или поставщик модели?

Практический ответ неприятный, но честный: перед клиентом отвечает компания. Для покупателя программа в вашем чате — это вы. Ссылаться на подрядчика бесполезно.

Что снижает риск. Три вещи, и все решаются до запуска, а не после.

Первое — записывать все разговоры и хранить их. Тогда в спорной ситуации видно, что именно было сказано, а не пересказ по памяти.

Второе — ограничить программе то, что она вправе обещать. Скидки, сроки, гарантии и особые условия выносятся человеку. Программа отвечает на вопросы и собирает заявку, а обязательства берёт менеджер.

Третье — прописать в договоре с подрядчиком, что происходит при систематических ошибках: кто и за чей счёт исправляет, в какие сроки.

5. Права на то, что программа написала

Риск редкий, но его стоит знать тем, кто генерирует много текстов и картинок — например, описания товаров или иллюстрации для сайта.

Две стороны вопроса. Первая: кому принадлежит созданное программой. Вторая: не нарушает ли созданное чужие права, если модель училась на защищённых материалах.

Здесь мы не даём юридических советов — вопрос не урегулирован окончательно, и практика меняется. Что стоит сделать: прочитать условия того сервиса, которым пользуетесь, — в них обычно прямо написано, кому достаются права на результат, — и показать эти условия своему юристу до того, как поставите созданное на витрину.

Практическая мера, которая снимает большую часть вопросов: не использовать сгенерированное как есть. Текст описания товара, написанный программой, проходит через редактора. Это и качество поднимает, и ответственность возвращает человеку.

6. Зависимость от подрядчика и от поставщика

Проект запустили, всё работает. Через год подрядчик поднял цены вдвое или просто пропал. Оказывается, всё живёт на его серверах, под его учётными записями, а как оно устроено — знает только он.

Вторая сторона той же беды — зависимость от поставщика модели. Условия и цены у поставщиков меняются, доступ может закрыться по причинам, к вам отношения не имеющим.

Что снижает риск. Материалы, на которых работает программа — собранные документы, правила ответов, накопленные переписки, — должны лежать у вас и быть выгружаемыми. Это ваш актив, и он самый ценный: собрать его заново дороже, чем перенастроить программу.

Спросите прямо: «если мы завтра уйдём к другому подрядчику, что мы забираем с собой?» Правильный ответ — материалы, настройки и историю переписок в читаемом виде.

Про поставщика модели: разумно не завязываться намертво на одного. Мы работаем с GigaChat, YandexGPT, OpenAI, Claude и открытыми моделями, и в проектах это осознанный выбор под задачу, а не привычка.

7. Деньги ушли, эффекта нет

Самый частый риск по деньгам — не убытки от сбоя, а бесполезная трата. Программу запустили, она работает, все довольны, а в отчётности ничего не изменилось.

Причина почти всегда одна: до старта не договорились, что считать результатом. Когда цель звучит как «внедрить ИИ», её нельзя ни достичь, ни провалить.

Что снижает риск. До подписания договора зафиксировать одно измеримое число, которое должно измениться, и способ его померить. Например: доля обращений, дошедших до заявки; время первого ответа; количество вопросов, на которые сотрудники отвлекают старшего.

Как это выглядит на живом проекте. В юридической компании ФПК «Альтернатива» считали долю обращений, доходящих до заявки. За период с 26 мая по 20 августа 2026 года на 219 диалогах она выросла с 10,3% до 59,6% (наш проект, выгрузка Jivo, 2026). Медиана времени ответа — 8,4 секунды. Число было выбрано заранее, поэтому результат виден, а не обсуждается на ощупь.

Разбор того, как считать эффект по своей переписке, — в статье с чего начать внедрение ИИ.

8. Программа отвечает по вчерашним правилам

Риск, который не виден в первые месяцы и потому почти никогда не обсуждается на переговорах. Программа отвечает по тем материалам, которые в неё заложили. Материалы устаревают, а она продолжает уверенно повторять то, что было верно полгода назад.

Цены поменялись, условия доставки другие, услугу закрыли, появилась новая — а в ответах всё по-старому. Причём выглядит это безупречно: программа не сомневается, потому что для неё ничего не изменилось.

Беда в том, что этот риск накапливается тихо. В первый месяц расхождений нет, к полугоду их десяток, а к году программа спокойно рассказывает клиентам про прошлогодний прайс.

Что снижает риск. Первое — назначить человека, который отвечает за материалы. Не отдел, а конкретного сотрудника: когда меняется цена или условие, он обновляет исходный документ. Это пятнадцать минут работы, но без ответственного они не случаются.

Второе — привязать материалы к живым системам там, где это возможно. Цены и наличие лучше брать не из выгруженного файла, а прямо из системы учёта: тогда они не устаревают в принципе.

Третье — раз в квартал проверять программу десятком контрольных вопросов, ответы на которые вы точно знаете. Это полчаса и показывает расхождения раньше, чем их найдёт клиент.

Спросите у подрядчика на берегу: кто и как будет обновлять материалы, входит ли это в поддержку и сколько стоит. Ответ «это просто, сделаете сами» тоже годится, но тогда просите показать, как именно.

Когда это не нужно: риск выше выгоды

Есть ситуации, где браться не стоит, и лучше это понять до денег.

Цена ошибки слишком высока, а проверить нечем. Если неверный ответ ведёт к вреду здоровью, юридическим последствиям или потере крупных сумм, а человек в цепочке не предусмотрен — не надо. Либо ставьте проверку человеком, либо не автоматизируйте этот участок.

Нет порядка в документах. Программа отвечает по вашим материалам. Если прайс устарел, а правила живут в голове у старшего менеджера, программа будет уверенно повторять устаревшее. Сначала порядок, потом автоматизация.

Проблема не в скорости. Если клиенты уходят из-за цены или сроков, быстрый ответ ускорит только их уход.

Обращений мало. Пять сообщений в день менеджер закрывает сам. Задачи, которую стоит решать программой, просто нет.

Что спросить у подрядчика

Пять вопросов, которые закрывают большую часть рисков из этой статьи.

«Что программа сделает, если ответа нет в наших документах?» Правильный ответ — скажет, что не знает, и позовёт человека.

«Где физически будут наши данные?» Два честных варианта: у поставщика сервиса или на вашем сервере. Третьего нет.

«Что программа не имеет права обещать клиенту?» Список должен существовать до запуска, а не появиться после спора.

«Что мы забираем, если уйдём к другому подрядчику?» Материалы, настройки, история переписок — в читаемом виде.

«По какому числу через три месяца поймём, что получилось?» Одно измеримое, выбранное до старта.

Такой разбор мы делаем бесплатно, до договора — смотрим задачу и честно говорим, если она не про ИИ. Подробнее об услуге — внедрение ИИ.

Частые вопросы

Можно ли полностью убрать риск, что программа выдумает ответ? Полностью — нет. Но можно снизить до уровня, когда он меньше человеческой ошибки: программа отвечает только по вашим документам, а в чувствительных местах — цена, сроки, обязательства — передаёт разговор человеку.

Наши сотрудники и так пользуются нейросетями. Это опасно? Опасно не то, что пользуются, а что делают это бесконтрольно и в бесплатных сервисах. Рабочее решение — дать удобный внутренний инструмент и памятку на одну страницу, что вводить нельзя. Запреты приводят только к тому, что об этом перестают говорить.

Если ИИ ошибётся перед клиентом, отвечать будем мы? Перед клиентом — да. Для покупателя программа в вашем чате это вы. Поэтому список того, что программа не вправе обещать, составляют до запуска, а разговоры сохраняют.

Обязательно ли ставить всё на свой сервер? Нет. Это нужно там, где утечка недопустима: медицина, госсектор, финансы, работа с чувствительными данными клиентов. В остальных случаях облачный вариант дешевле и быстрее.

Как понять, что подрядчик не продаёт нам пустышку? Попросите дать вам клавиатуру на демонстрации и задайте вопрос, которого нет в сценарии, а потом вопрос про вашу компанию. Заготовленный показ демонстрирует только подготовку подрядчика.

Сколько времени нужно, чтобы всё это проверить? Разбор задачи и честный ответ, нужен ли вам ИИ вообще, занимает одну встречу и стоит ноль. Запуск помощника в чате — одна-две недели, если материалы собраны.

Для технических специалистов

Снижение доли выдуманных ответов достигается не подбором формулировок в запросе, а ограничением источника: ответ строится по извлечённым фрагментам документов заказчика, при отсутствии релевантного фрагмента срабатывает отказ с передачей оператору. Отдельно настраивается порог уверенности и список тем, по которым ответ запрещён без человека.

Для закрытого контура используются открытые модели на инфраструктуре заказчика — так сделано в проекте для аптечной сети. Логирование диалогов ведётся с самого запуска: без него разбор спорной ситуации превращается в пересказ. Интеграции — Битрикс24, amoCRM, RetailCRM, 1С через OData, мессенджеры Telegram, Max, чат Jivo.