Управление ИИ: ответственный подход к разработке.

Ваши проектные решения напрямую влияют на ответственность и безопасность вашей системы искусственного интеллекта. Например, вы решаете, как выбирать источники данных, настраивать поведение модели или представлять результаты работы ИИ пользователям. Эти решения имеют реальные последствия для ваших пользователей и вашей компании.

В этом модуле мы рассмотрим три важнейших аспекта управления искусственным интеллектом:

  • Конфиденциальность : ответственно обращайтесь с данными, объясняйте, какие данные собираются, и сводите к минимуму информацию, покидающую браузер.
  • Справедливость : Проверьте свои модели на наличие дискриминационного поведения (предвзятости) и создайте циклы, позволяющие пользователям сообщать о проблемах.
  • Доверие и прозрачность : Разрабатывайте свою систему с учетом прозрачности и сбалансированного уровня доверия, чтобы пользователи продолжали получать от нее выгоду, несмотря на неопределенность и потенциальные ошибки.

По каждой теме мы объясняем, как она проявляется в различных продуктах на основе ИИ. Затем мы разбираем её по трём уровням вашего решения на основе ИИ: данные , интеллект и пользовательский опыт . Вы узнаете, на что следует обращать внимание, как решать проблемы и как поддерживать эффективное и простое управление.

Конфиденциальность

Вы узнали, что реальные данные об использовании и взаимодействии лежат в основе любой системы искусственного интеллекта . Данные обеспечивают обучение, оценку и непрерывное совершенствование. Надлежащие методы обеспечения конфиденциальности позволяют не только защитить эти данные, но и предоставить пользователям контроль над своей информацией.

Ожидания в отношении конфиденциальности сильно различаются в зависимости от продукта и целевой аудитории. В случае потребительских товаров ожидания, как правило, связаны с защитой персональных данных пользователей, таких как имена, сообщения и история просмотров. В корпоративной среде акцент смещается на суверенитет данных, конфиденциальность и защиту интеллектуальной собственности.

Сферы, влияющие на средства к существованию или благополучие людей, такие как здравоохранение, финансы и образование, требуют более строгих мер защиты конфиденциальности, чем менее рискованные области, например, индустрия развлечений.

Давайте рассмотрим, как можно обеспечить конфиденциальность в различных компонентах вашей системы искусственного интеллекта.

Данные

Для постоянного совершенствования вашей системы искусственного интеллекта вы можете собирать данные о взаимодействии с пользователем, включая входные и выходные данные, обратную связь и ошибки. Эту информацию можно повторно использовать для оценки, тонкой настройки модели или для создания примеров с небольшим количеством примеров в подсказках. Она также может повлиять на дизайн вашего пользовательского интерфейса.

Вот несколько рекомендаций по ответственному сбору данных:

  • Собирайте только то, что необходимо для обучения . Для улучшения результатов поиска товаров с помощью ИИ может не потребоваться полный профиль пользователя. В большинстве случаев достаточно указать поисковый запрос, шаблоны кликов и анонимизированные данные сессии.
  • Удалите конфиденциальную информацию . Удалите все персональные данные (PII) перед отправкой данных во внешние модели. Это можно сделать с помощью анонимизации, псевдонимизации или агрегации.
  • Ограничьте срок хранения . Удаляйте журналы и кэшированные данные после того, как они выполнили свою задачу. Короткие циклы хранения снижают риски, не препятствуя получению ценной информации.

Документируйте, какую информацию вы собираете, как долго вы ее храните и зачем она нужна. Если вы не можете четко объяснить потоки данных нетехническому пользователю, вероятно, эти потоки слишком сложны для контроля или обоснования.

Интеллект

Когда пользователи взаимодействуют с вашей системой искусственного интеллекта, они могут неосознанно или по неосторожности вводить личную или конфиденциальную информацию. Этот риск особенно высок в открытых чатах или интерфейсах для обмена сообщениями, где вы не можете ограничить то, что вводят пользователи.

Хотя вы можете предотвратить отправку определенных слов, эта информация может быть контекстно-зависимой. Если ваша модель работает на сервере, управляемом внешним поставщиком, он может повторно использовать пользовательский ввод в качестве обучающих данных. В конечном итоге модель может раскрыть фрагменты личного текста, учетные данные или другие конфиденциальные сведения другим пользователям.

Вот как можно защититься от нарушений конфиденциальности во время выполнения логических выводов:

  • Тщательно проверяйте API сторонних разработчиков. Вы должны точно знать, что происходит с отправляемыми вами данными. Регистрируются ли входные данные, сохраняются ли они или используются повторно для обучения? Избегайте непрозрачных сервисов и отдавайте предпочтение поставщикам с прозрачной политикой и контролем.

  • Если вы самостоятельно обучаете или дорабатываете модели, избегайте конфиденциальных деталей в обучающих данных. Остерегайтесь упрощенного обучения. Например, в приложении для оценки кредитного рейтинга почтовые индексы могут привести к тому, что модель будет делать предположения о расе или социально-экономическом статусе. Это может привести к несправедливым прогнозам и усугубить существующее неравенство.

  • В конфиденциальных областях предпочтительнее использовать вывод на стороне клиента. Это может быть встроенный ИИ , модель в браузере или пользовательская модель на стороне клиента. Подробнее об этом выборе вы узнаете в следующем модуле, посвященном выбору платформы .

пользовательский опыт

Интерфейс вашего приложения предоставляет пользователям возможность показать, что происходит, завоевать их доверие и дать им контроль над своими данными:

  • Будьте прозрачны . Краткие надписи в вашем интерфейсе, такие как «Обработано локально» или «Отправлено безопасно для анализа», помогут вам завоевать доверие. Рассмотрите возможность добавления поэтапного раскрытия информации, например, всплывающих подсказок, объясняющих, когда анализ проводится на устройстве, а когда на сервере.
  • Задавайте вопросы в контексте . Запрашивайте согласие, когда это уместно. Вопрос «Хотите ли вы поделиться своими предыдущими поисковыми запросами для улучшения рекомендаций?» гораздо более информативен, чем простое согласие.
  • Предложите простые элементы управления . Добавьте хорошо видимые переключатели для персонализации, облачных функций или обмена данными.
  • Обеспечьте прозрачность . Добавьте небольшую панель управления конфиденциальностью, чтобы пользователи могли управлять своими данными, не выходя из приложения.
  • Объясните, зачем вы собираете данные . Пользователи могут быть более склонны делиться данными, если понимают, как они будут использоваться. То же самое относится и к вашей политике хранения и управления данными.

Конфиденциальность в веб-ИИ — это не просто разовый шаг по соблюдению нормативных требований, а непрерывный процесс проектирования:

  • Данные : собирайте меньше и защищайте больше.
  • Интеллект: Снижение риска запоминания потенциально конфиденциальных данных внешними моделями.
  • UX: Сделать конфиденциальность прозрачной и контролируемой для пользователей.

Справедливость

Системы искусственного интеллекта могут быть предвзятыми, что приводит к несправедливой дискриминации. Это особенно актуально в таких областях, как найм персонала, юриспруденция и финансы, где предвзятость может искажать важные решения, напрямую затрагивающие реальных людей.

Например, модель найма, обученная на исторических данных о подборе персонала, может связывать определенные демографические характеристики с более низким качеством кандидатов, непреднамеренно наказывая соискателей из недостаточно представленных групп, вместо того чтобы оценивать навыки и опыт, имеющие отношение к работе.

Данные

Ваши обучающие данные представляют собой набор отдельных, изолированных фрагментов информации, которые могут отражать искажения, свойственные реальному миру, и даже вносить новые. Вот практические шаги, которые помогут сделать искажения, связанные с данными, прозрачными и управляемыми:

  • Документируйте источники данных и охват . Опубликуйте краткое пояснение, чтобы помочь пользователям понять, в чем модель может оказаться неэффективной. Например: «Эта модель была обучена преимущественно на англоязычном контенте с ограниченным представлением технического текста».
  • Проведите диагностические проверки . Используйте A/B-тестирование, чтобы выявить систематические различия. Например, сравните, как ваша система обрабатывает фразы «Она — отличный лидер», «Он — отличный лидер» и «Они — отличные лидеры». Небольшие расхождения в настроении или тоне могут указывать на более глубокую предвзятость.
  • Пометьте свои наборы данных . Добавьте простые метаданные, такие как домен, регион и уровень формальности, чтобы упростить будущие проверки, фильтрацию и перебалансировку.

Если вы обучаете или дорабатываете собственные модели, сбалансируйте свои наборы данных. Более широкое представление данных уменьшает асимметрию более эффективно, чем коррекция смещения после построения модели.

Интеллект

На уровне интеллекта предвзятость преобразуется в усвоенное поведение. Можно добавить средства защиты, логику переранжирования или гибридные правила, чтобы направлять результаты в сторону справедливости и инклюзивности:

  • Регулярно проверяйте наличие предвзятости . Используйте фильтры обнаружения предвзятости, чтобы выявлять проблемные формулировки, например, упоминания гендерных терминов или исключающий тон. Отслеживайте изменения во времени.
  • При построении прогностических моделей следует проявлять осторожность с конфиденциальными данными . Такие атрибуты, как почтовый индекс, образование или доход, могут косвенно содержать конфиденциальные характеристики, например, расу или социальный класс.
  • Сгенерируйте и сравните несколько вариантов результатов . Ранжируйте результаты по нейтральности, разнообразию и тону, прежде чем определить, какой вариант показать пользователю.
  • Добавьте правила для обеспечения соблюдения принципов справедливости . Например, блокируйте результаты, которые подкрепляют стереотипы или не отражают разнообразие примеров.

пользовательский опыт

В пользовательском интерфейсе будьте прозрачны в отношении логики работы модели и поощряйте обратную связь:

  • Обоснуйте результаты работы ИИ . Например: «Рекомендуется профессиональный тон на основе ваших предыдущих входных данных*». Это поможет пользователям понять, что система следует заданной логике, а не скрытым суждениям.
  • Предоставьте пользователям реальный контроль . Позвольте им настраивать поведение модели с помощью настроек или подсказок — например, выбирать тон, сложность или предпочтения визуального стиля.
  • Упростите процедуру сообщения о предвзятости или неточности . Чем проще будет указать на проблему, тем больше реальных данных вы получите для улучшения вашей системы искусственного интеллекта.
  • Замкните цикл обратной связи . Не позволяйте сообщениям пользователей исчезать. Используйте эти данные для переобучения или оптимизации правил и наглядно демонстрируйте прогресс: «Мы обновили нашу систему модерации, чтобы уменьшить культурную предвзятость в рекомендациях».

Предвзятость зарождается в данных, усиливается с помощью моделей и проявляется в пользовательском опыте. С ней можно бороться на всех трех уровнях вашей системы искусственного интеллекта:

  • Данные: обеспечьте прозрачность и сбалансированность источников данных.
  • Интеллект: выявление, проверка и смягчение предвзятости в результатах.
  • UX: дать пользователям возможность выявлять и корректировать предвзятость посредством контроля и обратной связи.

Доверие и прозрачность

Доверие определяет, будут ли люди использовать, внедрять и рекомендовать ваш продукт.

Большинство пользователей ожидают предсказуемости от приложений. Например, нажатия кнопок всегда выполняют указанное действие и ведут в одно и то же место. Искусственный интеллект нарушает это ожидание, поскольку его поведение крайне изменчиво и часто непредсказуемо. Кроме того, системы ИИ обладают потенциалом для сбоев: языковые модели генерируют ложные представления о фактах , прогностические модели неправильно маркируют данные , а агенты выходят из-под контроля .

Ваши пользователи — последняя линия защиты от этих ошибок.

Ваша цель должна заключаться в том, чтобы сместить доверие пользователей к золотой середине, к сбалансированному уровню. Недостаточное и чрезмерное доверие приводят к проблемам.

Вначале пользователи, скорее всего, будут недоверять вашей системе, либо перевернут её. Недоверие означает, что они не будут ею пользоваться, а перевернут — что они полностью принимают результаты, не проверяя их на ошибки. Ваша задача — привести пользователей к оптимальному уровню доверия , когда они будут полагаться на ИИ для повышения эффективности, но при этом брать на себя ответственность за конечные результаты.

Данные

На уровне данных доверие формируется путем четкого объяснения охвата и происхождения ваших данных:

  • Четко укажите происхождение и историю данных.
  • Документируйте актуальность и устаревание данных.
  • Опишите, с какими типами контента сталкивалась модель и в каких областях у нее могут возникать трудности, например, при работе с данными на неанглийских языках.

По мере того, как ваша система искусственного интеллекта накапливает взаимодействия и обратную связь с течением времени, рекомендуется вести версионированные снимки данных, чтобы вы могли объяснить, как менялись результаты.

Интеллект

На уровне интеллекта управление доверием может осуществляться посредством объяснимости, индикаторов достоверности и модульной конструкции:

  • Предоставляйте контекстные, своевременные объяснения . Согласно парадоксу активного пользователя , лучше встраивать микро-объяснения в контекст, непосредственно во взаимодействия, чтобы пользователи понимали, что делает система ИИ в процессе её использования.
  • Заранее сообщите об ограничениях и возможных сбоях . Предупредите пользователей, где ИИ может столкнуться с трудностями. Например: «Избегайте юмора или профессионального жаргона для достижения лучших результатов». Короткие контекстные подсказки обеспечивают прозрачность, не нарушая рабочий процесс.
  • Индикаторы достоверности и логика резервного копирования обеспечивают надежность ИИ в условиях неопределенности. Вы можете оценить достоверность на основе косвенных показателей, таких как вероятностные оценки или прошлые показатели успешности. Определите безопасные резервные варианты для результатов, которые явно неверны.
  • Модульные архитектуры делают ИИ более прозрачным. Например, если помощник по написанию текстов обрабатывает грамматику, стиль и тон на отдельных этапах, укажите, что изменилось на каждом этапе: «Тон: менее формальный; сложность: упрощенная».

пользовательский опыт

Пользовательский опыт предоставляет вам обширное поле для построения и регулирования доверия. Вот несколько методов и шаблонов, которые можно попробовать:

  • Адаптируйте образовательный контент . Не предполагайте, что ваши пользователи хорошо разбираются в ИИ. Предоставьте краткие инструкции для опытных пользователей и подробные объяснения для новичков.
  • Применяйте поэтапное раскрытие информации . Начните с небольших подсказок. Включите текст, указывающий на использование ИИ, например: «Это было сгенерировано автоматически», и позвольте пользователям кликнуть, чтобы получить более подробную информацию.
  • Замыкайте циклы обратной связи с видимыми результатами . Когда пользователи оценивают, исправляют или отклоняют предложения ИИ, сообщайте, как их отзывы влияют на дальнейшее поведение: «Вы предпочитали краткие ответы. Соответственно скорректировали тон». Видимость превращает обратную связь в доверие.
  • Обрабатывайте ошибки корректно . Если ваша система допускает ошибку или выдает результат с низкой степенью достоверности, подтвердите это и предоставьте пользователю возможность проверить результат. Например: «Это предложение может не соответствовать вашим намерениям. Проверьте перед публикацией». Предоставьте пользователю четкий путь для дальнейших действий, позволив ему повторить попытку, отредактировать или вернуться к безопасному резервному варианту.

Короче говоря, чтобы справиться с неопределенностью и неизбежным потенциалом ошибок в ИИ, необходимо помочь пользователям перейти от сомнений или чрезмерной опоры на него к правильной калибровке доверия:

  • Данные : Обеспечьте прозрачность в отношении происхождения данных.
  • Интеллект : Сделайте рассуждения модульными и объяснимыми.
  • UX : Дизайн, обеспечивающий постепенное повышение ясности и обратную связь.

Ваши выводы

В этом модуле мы рассмотрели три основных столпа ответственного подхода к ИИ: конфиденциальность, справедливость и доверие. Это может показаться сложным, особенно на начальном этапе или при переходе от прототипа к серийному производству.

Сосредоточьте свои усилия на наиболее важных областях и определите собственный подход к управлению ИИ. Итерация – ключ к успеху . Каждый релиз и каждый раунд обратной связи от пользователей будут углублять ваше понимание того, где вашей системе необходимы дополнительные меры защиты, прозрачность или гибкость.

Ресурсы

Вот несколько дополнительных ресурсов по темам, рассматриваемым в этом модуле:

Ресурсы

Вот несколько дополнительных ресурсов по темам, рассматриваемым в этом модуле:

Проверьте свое понимание

Каковы рекомендуемые методы обеспечения конфиденциальности при сборе данных для ИИ?

Соберите как можно больше данных на всякий случай, если они понадобятся позже.
Это неверно.
Собирайте только то, что необходимо для обучения, и удаляйте все персональные данные.
Отличная работа, всё верно!
Храните все журналы бессрочно, чтобы отслеживать долгосрочные тенденции.
Это неверно. Журналы событий никогда не следует хранить бесконечно.

Что такое калиброванное доверие?

Когда пользователи всегда доверяют ИИ и считают его слова правильными.
Попробуйте еще раз.
Когда пользователи отказываются использовать ИИ, потому что не доверяют ему.
Попробуйте еще раз.
Компромиссный вариант, когда пользователи полагаются на ИИ для повышения эффективности, но при этом проверяют результаты.
Отличная работа, всё верно!
Юридически оформленный договор между пользователем и разработчиком.
Попробуйте еще раз.

Какие действия могут предпринять разработчики для обеспечения справедливости на уровне «Интеллекта»?

Предположим, что обучающие данные не содержат смещения.
Попробуйте еще раз.
Удалите все демографические данные из базы данных.
Попробуйте еще раз.
Сгенерируйте несколько вариантов результатов и ранжируйте их на основе нейтральности и разнообразия.
Отличная работа, всё верно!
Полагайтесь исключительно на поведение модели по умолчанию.
Попробуйте еще раз.

Что представляет собой UX-техника для построения доверия и прозрачности?

Начните с небольших подсказок и предложите ссылки на дополнительную информацию, например, во всплывающей подсказке.
Отличная работа, всё верно!
Скройте от пользователя всю сложность и логику.
Не совсем. Хотя следует избегать перегрузки пользователя информацией, некоторым всё же захочется узнать больше.
Сделайте функцию ИИ обязательной для всех пользователей.
Это неверно.
Изменяйте поведение модели, но не уведомляйте пользователя. Уведомления сбивают с толку.
Это неверно. Возможно, вам потребуется уведомить пользователя, если изменение повлияет на его пользовательский опыт.