ЛЕОНИД ЗУБАРЕВ
На искусственный интеллект страховщики смотрят только со стороны экономики: стоимость внедрения, срок окупаемости, доля убытков, урегулированных без участия человека, экономия на операционном персонале. Разговор идет исключительно в логике инвестиций, но внедрение ИИ — это еще и принятие на себя нового риска, который, однако, должным образом не оценен, не зарезервирован и чаще всего даже не назван. При этом страховые компании каждый день оценивают чужие риски, а этот собственный и вполне конкретный — нет.
Что посчитано за нас
Фактура для такой оценки собрана: MIT ведет AI Risk Repository — базу рисков искусственного интеллекта, в которую сведены 1725 рисков из 74 существующих классификаций и фреймворков. Риски разложены по двум таксономиям: причинной (кто источник — человек или система, умышленно или нет, до запуска или после) и предметной — 7 доменов и 24 поддомена. Параллельно MIT ведет и базу мер снижения риска: 831 мера из 13 фреймворков, сгруппированная в четыре категории — управление и надзор, технические средства защиты, операционные процессы, прозрачность и подотчетность.
Для страховщика ценность этой базы не в полноте, а в цифрах из причинной таксономии: 65% рисков реализуются после запуска системы и только 10% — до него.
Что касается страховщика
Из семи доменов для страховщика критичны не все. Я бы выделил четыре, причем последний — самый недооцененный.
Приватность и безопасность. Страховщик зачастую обрабатывает не «обычные» персональные данные, а сведения о здоровье и медицинские документы. Это специальные категории, для которых предусмотрен отдельный состав ответственности. Публичный облачный сервис, в который сотрудник копирует выписку из истории болезни, чтобы модель помогла сформулировать письмо клиенту, — вполне типовой сценарий.
Дискриминация. Страховщик дискриминирует по риску профессионально — в этом состоит тарификация, это законно и составляет суть бизнеса. Но граница между законной дифференциацией тарифа и незаконной дискриминацией проходит по конкретным признакам, и модель этой границы не знает: она находит корреляцию, а не правовую норму. Модель, обученная на исторических решениях компании, воспроизведет и те из них, которые компания сегодня уже не приняла бы. Доказывать, что отказ не связан с запрещенным признаком, придется страховщику, а не модели.
Ошибки и пределы применимости самой системы. Галлюцинация — не сбой, а свойство технологии. Опасна не столько сама ошибка, сколько ее убедительность: неверно квалифицированный страховой случай выглядит ровно так же, как верно квалифицированный. Ошибку человека ловит выборочный контроль, потому что она случайна. Ошибка модели системна: она воспроизводится на всем потоке, пока ее не обнаружат, — а обнаруживают обычно снаружи.
Сверхдоверие человека к системе. Этот домен в отраслевых разговорах не звучит вообще, а между тем он подрывает главную меру защиты. Human-in-the-loop, обязательное участие человека в критических точках, — стандартный ответ на любой вопрос о рисках ИИ.
Но эта мера деградирует молча: сотрудник, сто раз подряд согласившийся с моделью, на сто первый согласится не читая. Формально контроль сохраняется, фактически решение принимает система. Юридически, к слову, тоже: оценивать будут не регламент, а наличие у человека реальной возможности решить иначе — время на рассмотрение, доступ к исходным данным и то, чем оборачивается для него самого несогласие с моделью.
Что случается
В России уже есть первые дела, иллюстрирующие описанные риски. В одном из них выгрузка отчетов с коммерческими данными в публичный ИИ-сервис DeepSeek стала одним из оснований для увольнения сотрудницы — суд признал это разглашением коммерческой тайны. В другом — сторону оштрафовали на 50 тыс. рублей за то, что она сослалась в суде на несуществующие постановления, сгенерированные нейросетью. Суд прямо указал, что ответственность за достоверность лежит на человеке, а не на технологии. В третьем Суд по интеллектуальным правам в схожих обстоятельствах наложил штраф в 5 тыс. рублей на индивидуального предпринимателя.
За океаном схожие сценарии встречаются чаще.
В деле против страховой компании Cigna Corp. было установлено, что ее алгоритм отклонил более 300 тыс. требований по договорам медицинского страхования за два месяца. Среднее время на каждое — 1,2 секунды. Формально решения утверждали врачи. Суд не принял эту защиту: если по плану решение должен принимать врач, одной подписи после автоматического расчета недостаточно.
В деле Mata vс. Avianca Inc. несколько прецедентов, на которые ссылалась сторона, были выдуманы ChatGPT. Суд оштрафовал и адвоката, и юрфирму, где он работает.
Эти примеры — не про разовые случаи, а про системную уязвимость. И вопрос не в том, чтобы запретить использование ИИ, а в том, чтобы задать правила игры, которые не позволят таким сценариям стать обычной практикой.
Что из этого следует
Все перечисленные риски: и галлюцинации, и деградация человеческого контроля, и воспроизведение дискриминационных паттернов — имеют один общий корень: отсутствие правил использования ИИ. Эти риски нельзя снизить точечно, можно только системно, задав единые рамки для всех процессов.
У большинства российских компаний политики по использованию ИИ нет. Нет и обязанности ее принять. А она нужна не как бумажка для отчетности, а как инструмент, который организует работу: где модель решает сама, где подсказывает, а где ей доверять нельзя. Политика дает сотрудникам правила, вносит определенность туда, где ее нет. И позволяет управлять риском, а не ждать, пока он реализуется.
