Скопировать ссылку
Небезопасный ИИ: о чем тревожится бизнес
Обсуждая возможные риски, связанные с внедрением ИИ и LLM (больших языковых моделей), бизнес опасается в первую очередь утечки конфиденциальных данных: финансовой информации и других типов данных, составляющих коммерческую тайну. Проблема в том, что при работе с облаком информация хранится на чужих серверах, а значит, гипотетически может утечь на сторону — к конкурентам или в другую страну. И чем серьезнее для конкретного бизнеса или отрасли последствия от подобной утечки, тем меньше желания использовать ИИ и больше возражений от отделов безопасности.
Эти риски касаются как внутренних данных, на которых LLM обучается, так и внешних, которые приходят от пользователей. Например, клиент делится с чат-ботом своей конфиденциальной информацией, чтобы получить ответ по заказу в интернет-магазине. И если есть хотя бы минимальный риск утечки, бизнес очень часто отказывается от работы с LLM.
Разумеется, технологии не стоят на месте, и уже существуют решения и вне облака. LLM можно поместить в защищенный контур компании, чтобы исключить «выход» данных наружу. Однако это дорого — как минимум из-за стоимости необходимого железа. Если компания выбирает не бесплатную open-source LLM, а проприетарную (с закрытым кодом), это также существенно добавляет расходов. Поэтому LLM в контуре обычно остается прерогативой крупного бизнеса, но даже там задумываются, стоит ли вкладываться.
Второе опасение связано с этикой ответов ИИ. Насколько та информация, которую нейросеть выдаст на запрос пользователя — бизнеса или его клиента, будет правдивой, корректной, а главное — безопасной для бизнеса. ИИ может придумать какие-то факты, а заложенные в алгоритмы — дать простор для их некорректной интерпретации.
Кроме того, нейросеть может давать ответы, опираясь на стереотипы, которые она получила с материалами для обучения. Например, Bloomberg проанализировал 5000 изображений от генеративного ИИ и выяснил, что по запросам «юрист», «политик» и «CEO» нейросеть намного чаще выдает мужчин.
Есть и другие истории: нейросеть Amazon решила, что кандидаты-мужчины для технологических вакансий лучше, поэтому отдавала им предпочтение при оценке резюме. Причина в том, что нейросеть для обучения использовала резюме, которые попадали в Amazon в течение 10 лет, — и там превалировали кандидаты-мужчины.
Потенциальный соискатель не склонен думать, кто именно ему отказывает: машина или человек. Его негатив будет направлен на бизнес, который «поступил неэтично». Поэтому за рубежом часто обсуждают недостаток разнообразия и инклюзии в системах ИИ.
Неконтролируемый поток идей ИИ как угроза репутации бренда
Ответы, которые может выдавать ИИ в чатах поддержки клиентов, — один из самых частых поводов для беспокойства по поводу внедрения инструмента. В первую очередь из-за этичности ответов: корректно ли нейросеть выразилась, учитывая позицию бренда, его политику общения с аудиторией и ценности, которые она продвигает. Не выдала ли нейросеть в своих ответах конфиденциальные данные, не скомпрометировала ли она бренд иным образом.
С одним банком мы обсуждали автоматизацию поддержки, и партнеры беспокоились за вероятность некорректных ответов на экономические вопросы. Условно, клиент спросит у ИИ-бота: «Почему доллар такой дорогой?» — и бот даст компрометирующий компанию ответ. Для бизнеса важно, чтобы ИИ говорил в рамках ограниченного объема тем, то есть использовал конкретную базу знаний и делал это в соответствии с Tone of Voice конкретной компании.
Свободные же сценарии наносят урон репутации компании, чей чат-бот вышел за рамки и «поддержал беседу». К тому же случайные пользователи часто специально провоцируют ботов дать остросоциальный или политический комментарий, чтобы выложить потом скриншот в сеть. Разбираться потом с последствиями и прямыми репутационными потерями для бизнеса — дорогое «удовольствие». Особенно если скриншот «завирусился».
Даже небольшие промахи нейросети при ближайшем рассмотрении не кажутся такими уж безобидными. Например, объяснение Алисы Яндекса на вопрос пользователя о том, почему Маша из мультфильма «Маша и медведь» живет одна. Умная колонка рассказала, что Маша — это призрак убитой девочки, так что видеть ее могут только животные. Родители покинули дом, потому что не смогли жить там, где нет их ребенка. И самое главное, почему Маша мучит конкретного медведя: все дело в том, что это он ее и лишил жизни.
С учетом того, что вопрос задал ребенок и речь о детской сказке, этичность ответа под большим вопросом. В Яндексе назвали этот случай единичным и объяснили, что, если Алиса не знает четкий ответ, она берет информацию в открытых источниках. Позднее ответ Алисы изменили: теперь она рассказывает, что родители уехали, а девочку случайно забыли дома.
Возможно, страшный сюжет первого ответа мелькал где-то в интернете в обсуждениях. Однако менее неэтичным для ответа на детский вопрос он от этого не становится. Подобные случаи могут пошатнуть доверие аудитории к бренду.
Галлюцинации искусственного интеллекта
Не всегда в своих ответах на запрос пользователя ИИ выдает корректный ответ — не только с позиции его допустимости для конкретной компании, но и с позиции технической правильности. Генеративный ИИ может «придумать» свою версию и выдать неточную или ложную информацию — это называется галлюцинациями.
Проблема возникает из-за того, что у нейросети ограниченный объем данных для обучения, и если запрос пользователя поставил ее в незнакомую ситуацию, она начинает «фантазировать». Результаты этих «фантазий» могут быть самыми разными.
При генерации текстового ответа нейронка может выдать как один некорректный факт, так и целый текст, построенный на ложных утверждениях. При генерации изображения — искаженные или нереалистичные детали вроде шести пальцев на человеческой руке — такая аномалия случается (она называется полидактилия). Однако, когда дизайнер хочет получить изображение человека, обычно подобных аномалий в его задумке нет.
В нашей практике была история, когда мы готовили дизайн сайта для заказчика, и в него нужно было вставить контент для демонстрации макета. Мы сгенерировали изображение при помощи ИИ — это должно было быть блюдо с креветкой. Нейросеть нам нарисовала креветку с двумя хвостами — один из них находился там, где должна быть голова. Галлюцинация не критичная, все посмеялись и забыли. Однако ситуации могут быть значительно хуже и опаснее.
Например, американский адвокат при составлении иска воспользовался помощью ChatGPT и получил ссылки на несуществующие дела. Адвокат не проверил подлинность каждого дела и просто включил их в свой иск. Его оштрафовали.
Стартап Vectara проанализировал качество работы популярных генеративных ИИ и составил таблицу, согласно которой у 25 лучших LLM частота галлюцинаций варьируется от 1,3 до 4,2%. У LLM за пределами списка цифры куда крупнее — могут доходить до 29,9%. Бизнес могут тревожить даже самые низкие показатели, ведь невозможно представить, насколько критичной окажется конкретная «фантазия».
Галлюцинации создают проблему в разных сценариях применения генеративного ИИ. Если бизнес использует нейросети для внутренней работы — например, для поиска данных, подготовки документов, он может столкнуться с неточными фактами, которые в дальнейшем повлияют на принятие решений. Если бизнес использует нейросети во взаимодействии с клиентами, то он рискует получить поток негатива от клиента, который столкнется с галлюцинацией.
Все это формирует недоверие бизнеса к ИИ, а также заставляет задуматься: кто должен отвечать за последствия галлюцинаций?
Возможно ли обучить ИИ правильным ответам
Логика ответов ИИ зависит от тех данных, на которых он обучен и к которым у него есть доступ. Соответственно, одно из условий — качественно подобрать информацию для обучения и не менее качественно ее подготовить. Второе условие — ограничить доступный для ИИ объем данных, на основании которых он может принимать решения, формулировать ответы.
При разработке продукта на базе ИИ для конкретной компании в систему загружают базу знаний этой компании и настраивают работу ИИ исключительно с этим источником данных. Пользователь задает вопрос, и нейросеть подбирает ответ на основании релевантной информации из этого ограниченного объема. Нейросеть обучают с условиями «Ответь на этот вопрос, используя информацию отсюда» и «Если не найдена релевантная информация по этому вопросу, то отвечай, что ты на эти темы не говоришь».
Так разработчик обрезает большой объем нежелательных сценариев с возможными некорректными, неэтичными ответами, а также с ответами из внешних источников. Безусловно, даже так нельзя дать абсолютную гарантию, что нейросеть не скажет ничего лишнего или неправильного. У LLM есть определенные принципы генерации текстов, поэтому вероятность проблемы остается, но она достаточно низкая.
Помимо этого, чтобы снизить риски, можно проводить нагрузочное тестирование с большими объемами проверок — миллионы запросов, которые обработает LLM. Это поможет выявить вероятный процент ошибок, тех самых неэтичных ответов или галлюцинаций.
Такие тестирования проводит не человек: здесь одна нейросетевая модель проверяет другую. Проверяющая нейросеть обучена на ответах, которые считаются корректными, и так она оценивает качество выдачи проверяемой нейросети. Так в «Альфа-Банке» совместная работа нейросетей повышает достоверность кредитного скоринга и помогает сотрудникам принимать более взвешенные решения.
Риски этических нарушений и угроз безопасности при применении LLM сегодня действительно есть — особенно если говорить об облачных LLM, однако разработчики прилагают усилия к тому, чтобы сводить проблемы к минимуму. Полностью исключить вероятность того, что данные уйдут на сторону или нейросеть решит заговорить на запретные темы, выдать конфиденциальную информацию, выдумать факты, невозможно. Однако так же невозможно и предугадать риск, что то же самое сделает живой сотрудник компании.
