설계 결정은 AI 시스템의 책임과 안전에 직접적인 영향을 미칩니다. 예를 들어 데이터 소스를 선택하고, 모델 동작을 구성하고, 사용자에게 AI 출력을 표시하는 방법을 결정합니다. 이러한 선택은 사용자 및 회사에 실제 영향을 미칩니다.
이 모듈에서는 AI 거버넌스의 세 가지 중요한 측면을 다룹니다.
- 개인 정보 보호: 데이터를 책임감 있게 처리하고, 수집되는 항목을 설명하고, 브라우저에서 나가는 항목을 최소화합니다.
- 공정성: 모델에 차별적 행동 (편향)이 있는지 확인하고 사용자가 문제를 신고할 수 있는 루프를 빌드합니다.
- 신뢰와 투명성: 불확실성과 잠재적인 실수에도 불구하고 사용자가 계속해서 혜택을 누릴 수 있도록 투명성과 조정된 신뢰를 위해 시스템을 설계합니다.
각 주제에 대해 다양한 AI 제품에서 어떻게 나타나는지 설명합니다. 그런 다음 AI 솔루션의 세 가지 레이어인 데이터, 인텔리전스, 사용자 경험에 걸쳐 이를 분석합니다. 주목해야 할 사항, 문제를 해결하는 방법, 효과적이고 가벼운 거버넌스를 유지하는 방법을 알아봅니다.
개인 정보 보호
실제 사용 및 상호작용 데이터가 모든 AI 시스템의 핵심임을 배웠습니다. 데이터는 학습, 평가, 지속적인 개선을 지원합니다. 개인 정보 보호 권장사항을 따르면 데이터를 안전하게 유지할 수 있을 뿐만 아니라 사용자에게 정보에 대한 제어 권한을 부여할 수 있습니다.
개인 정보 보호에 대한 기대치는 제품과 잠재고객에 따라 크게 다릅니다. 소비자 제품에서 기대치는 이름, 메시지, 탐색 동작과 같은 개인의 개인 식별 정보 (PII)를 보호하는 것과 관련되는 경향이 있습니다. 엔터프라이즈 설정에서는 데이터 주권, 기밀성, 지식 재산 보호에 중점을 둡니다.
의료, 금융, 교육과 같이 사람들의 생계나 웰빙에 영향을 미치는 분야는 엔터테인먼트와 같이 위험이 낮은 분야보다 더 엄격한 개인 정보 보호 조치를 요구합니다.
AI 시스템의 다양한 구성요소에서 개인 정보를 관리하는 방법을 살펴보겠습니다.
데이터
AI 시스템을 지속적으로 개선하려면 입력, 출력, 의견, 오류 등 사용자 상호작용에 관한 데이터를 수집하면 됩니다. 이 정보는 평가, 모델 미세 조정 또는 프롬프트의 퓨샷 예시로 재사용할 수 있습니다. UX 디자인에 관한 정보도 제공할 수 있습니다.
다음은 책임감 있는 데이터 수집을 위한 가이드라인입니다.
- 학습에 필요한 정보만 수집 AI 기반 제품 검색은 결과를 개선하기 위해 사용자의 전체 프로필이 필요하지 않을 수 있습니다. 대부분의 경우 쿼리, 클릭 패턴, 익명처리된 세션 데이터를 제공하는 것으로 충분합니다.
- 민감한 정보 삭제 외부 모델에 데이터를 전송하기 전에 모든 개인 식별 정보 (PII)를 삭제합니다. 익명화, 가명처리 또는 집계를 사용하여 이 작업을 수행할 수 있습니다.
- 보관 기간 제한 로그와 캐시된 데이터는 목적을 달성한 후 삭제합니다. 보관 주기가 짧으면 통계를 차단하지 않고 위험을 줄일 수 있습니다.
수집하는 정보, 보관 기간, 필요한 이유를 문서화합니다. 비기술 사용자에게 데이터 흐름을 명확하게 설명할 수 없다면 흐름이 너무 복잡하여 제어하거나 정당화하기 어려울 수 있습니다.
인텔리전스
사용자가 AI 시스템과 상호작용할 때 무심코 또는 부주의하게 비공개 정보나 민감한 정보를 입력할 수 있습니다. 이 위험은 사용자가 입력하는 내용을 제한할 수 없는 개방형 채팅 또는 쓰기 인터페이스에서 특히 높습니다.
특정 단어가 전송되지 않도록 할 수는 있지만 이 정보는 문맥에 따라 민감할 수 있습니다. 모델이 외부 제공업체에서 관리하는 서버에서 실행되는 경우 사용자 입력을 학습 데이터로 재사용할 수 있습니다. 결국 모델이 다른 사용자에게 비공개 텍스트, 사용자 인증 정보 또는 기타 기밀 세부정보의 일부를 공개할 수 있습니다.
추론 중에 개인 정보 침해를 방지하는 방법은 다음과 같습니다.
서드 파티 API를 신중하게 검토하세요. 전송하는 데이터에 어떤 일이 일어나는지 정확히 알아야 합니다. 입력이 로깅, 보관 또는 학습에 재사용되나요? 불투명한 서비스를 피하고 투명한 정책과 제어가 있는 제공업체를 선호하세요.
모델을 직접 학습시키거나 미세 조정하는 경우 학습 데이터에서 민감한 세부정보를 추상화하세요. 지름길 학습을 주의하세요. 예를 들어 신용 점수 애플리케이션에서 우편번호를 사용하면 모델이 인종이나 사회경제적 지위에 관한 가정을 할 수 있습니다. 이로 인해 불공정한 예측이 발생하고 기존의 불평등이 강화될 수 있습니다.
민감한 도메인에서는 클라이언트 측 추론을 사용하는 것이 좋습니다. 내장 AI, 브라우저의 모델 또는 맞춤 클라이언트 측 모델을 사용할 수 있습니다. 이 선택사항에 대해서는 다음 모듈인 플랫폼 선택에서 자세히 알아보겠습니다.
사용자 환경
애플리케이션 인터페이스를 통해 사용자에게 진행 상황을 표시하고, 신뢰를 얻고, 데이터에 대한 제어 권한을 제공할 수 있습니다.
- 투명성 확보 '로컬에서 처리됨' 또는 '분석을 위해 안전하게 전송됨'과 같은 인터페이스의 짧은 라벨은 신뢰를 구축하는 데 도움이 됩니다. 기기에서 분석이 발생하는지 서버에서 발생하는지 설명하는 도움말과 같은 자세한 내용을 점진적으로 공개하는 방법을 추가하는 것이 좋습니다.
- 관련 맥락에 따라 요청 관련성이 있는 경우 동의를 요청합니다. '추천을 개선하기 위해 이전 검색어를 공유하시겠어요?'는 포괄적인 선택보다 훨씬 의미가 있습니다.
- 간단한 컨트롤 제공 맞춤설정, 클라우드 기반 기능 또는 데이터 공유를 위한 명확하게 표시되는 전환 버튼을 추가합니다.
- 가시성 제공 사용자가 앱을 종료하지 않고 데이터를 관리할 수 있도록 작은 개인 정보 대시보드를 포함합니다.
- 데이터를 수집하는 이유를 설명합니다. 사용자는 데이터가 어떻게 사용되는지 이해하면 데이터를 더 기꺼이 공유할 수 있습니다. 보관 및 관리 정책에도 동일하게 적용됩니다.
웹 AI의 개인 정보 보호는 단일 규정 준수 단계가 아니라 지속적인 설계 사고방식입니다.
- 데이터: 적게 수집하고 더 많이 보호하세요.
- 인텔리전스: 외부 모델에 의한 잠재적으로 민감한 정보의 기억을 완화합니다.
- UX: 사용자에게 개인 정보 보호를 투명하게 공개하고 제어할 수 있도록 합니다.
공정성
AI 시스템은 불공정한 차별로 이어지는 편향을 포함할 수 있습니다. 이는 특히 채용, 법률, 금융과 같은 도메인에서 사실입니다. 이러한 도메인에서는 편향이 실제 사람에게 직접적인 영향을 미치는 중요한 결정을 왜곡할 수 있습니다.
예를 들어 과거 채용 데이터로 학습된 채용 모델은 특정 인구통계학적 특징을 후보자 품질이 낮은 것과 연관시켜 직무 관련 기술과 경험을 평가하는 대신 소외된 집단의 지원자를 의도치 않게 불이익을 줄 수 있습니다.
데이터
학습 데이터는 실제 편향을 반영하고 새로운 편향을 도입할 수도 있는 개별적으로 격리된 정보 집합입니다. 데이터 관련 편향을 투명하게 관리할 수 있는 실용적인 단계는 다음과 같습니다.
- 데이터 소스 및 커버리지 문서화 사용자가 모델의 부족한 부분을 이해할 수 있도록 간단한 설명을 게시합니다. 예를 들어 '이 모델은 주로 영어 콘텐츠를 기반으로 학습되었으며 기술 텍스트의 표현은 제한적입니다.'
- 진단 검사 실행하기 A/B 테스트를 사용하여 체계적인 차이를 파악합니다. 예를 들어 시스템에서 '그녀는 훌륭한 리더야', '그는 훌륭한 리더야', '그들은 훌륭한 리더야'를 어떻게 처리하는지 비교합니다. 감정이나 어조의 약간의 차이는 더 깊은 편견을 나타낼 수 있습니다.
- 데이터 세트에 라벨 지정 도메인, 지역, 형식 수준과 같은 경량 메타데이터를 추가하여 향후 감사, 필터링, 재조정을 간소화합니다.
커스텀 모델을 학습시키거나 미세 조정하는 경우 데이터 세트의 균형을 맞추세요. 더 광범위한 표현은 모델이 빌드된 후 편향을 수정하는 것보다 편향을 더 효과적으로 줄입니다.
인텔리전스
인텔리전스 레이어에서는 편향이 학습된 행동으로 바뀝니다. 안전 장치, 재순위 지정 로직 또는 하이브리드 규칙을 추가하여 공정성과 포용성을 향해 출력을 유도할 수 있습니다.
- 정기적으로 편향 테스트 편향 감지 필터를 사용하여 성별이 지정된 용어나 배타적인 어조와 같은 문제가 있는 문구를 표시합니다. 시간이 지남에 따라 드리프트가 발생하는지 모니터링합니다.
- 예측 모델의 경우 민감한 정보에 주의하세요. 우편번호, 교육, 소득과 같은 속성은 인종이나 계층과 같은 민감한 특성을 간접적으로 인코딩할 수 있습니다.
- 여러 출력 생성 및 비교 사용자와 공유할 출력을 결정하기 전에 중립성, 다양성, 어조를 기준으로 결과를 순위 지정합니다.
- 공정성 제약 조건을 적용하는 규칙 추가 예를 들어 고정관념을 강화하거나 다양한 사례를 나타내지 못하는 출력을 차단합니다.
사용자 환경
사용자 인터페이스에서 모델의 추론을 투명하게 공개하고 의견을 장려하세요.
- AI 출력에 대한 근거를 제공합니다. 예를 들어 '이전 입력에 따라 전문적인 어조를 추천합니다.*'와 같은 메시지가 표시됩니다. 이렇게 하면 사용자가 시스템이 숨겨진 판단이 아닌 정의된 논리를 따른다는 것을 알 수 있습니다.
- 사용자에게 의미 있는 제어권 부여 설정이나 프롬프트를 통해 모델 동작을 조정할 수 있도록 허용합니다(예: 어조, 복잡성, 시각적 스타일 환경설정 선택).
- 편향 또는 부정확성을 더 쉽게 신고할 수 있도록 지원 문제를 신고하기가 쉬울수록 AI 시스템을 개선하는 데 도움이 되는 실제 데이터를 더 많이 얻을 수 있습니다.
- 피드백 루프를 닫습니다. 사용자 신고가 사라지지 않도록 합니다. 이 데이터를 재학습 또는 규칙 로직에 다시 피드백하고 진행 상황을 눈에 띄게 공유하세요. '추천에서 문화적 편향을 줄이기 위해 조정이 업데이트되었습니다.'
편향은 데이터에서 발생하고, 모델을 통해 증폭되며, 사용자 환경에 표시됩니다. AI 시스템의 세 가지 수준에서 모두 해결할 수 있습니다.
- 데이터: 데이터 소스를 투명하고 균형 있게 만듭니다.
- 인텔리전스: 출력의 편향을 감지, 테스트, 완화합니다.
- UX: 제어 및 의견을 통해 사용자가 편향을 식별하고 수정할 수 있도록 지원합니다.
신뢰 및 투명성
신뢰는 사용자가 제품을 사용하고, 채택하고, 옹호하는지 여부를 결정합니다.
대부분의 사용자는 예측 가능한 애플리케이션을 기대합니다. 예를 들어 버튼 클릭은 항상 표시된 작업을 실행하고 동일한 위치로 연결됩니다. AI는 행동이 매우 다양하고 예측할 수 없는 경우가 많기 때문에 이러한 기대를 깨뜨립니다. 또한 AI 시스템에는 언어 모델이 사실을 환각하고, 예측 모델이 데이터에 잘못된 라벨을 지정하고, 에이전트가 통제 불능 상태가 되는 등 실패할 가능성이 내재되어 있습니다.
이러한 오류에 대한 마지막 방어선은 사용자입니다.
처음에는 사용자가 시스템을 과신하거나 불신할 수 있습니다. 신뢰 부족은 시스템을 사용하지 않음을 의미하고 신뢰 과다는 오류를 확인하지 않고 출력을 완전히 수용함을 의미합니다. 사용자가 조정된 신뢰의 황금률을 따르도록 유도하는 것이 여러분의 임무입니다. 사용자는 효율성을 위해 AI를 활용하면서도 최종 결과에 대한 책임은 여전히 져야 합니다.
데이터
데이터 레이어에서는 데이터의 범위와 출처를 명확하게 설명하여 신뢰를 구축합니다.
- 데이터 출처와 계보를 명시합니다.
- 데이터 업데이트 빈도 및 비활성 상태를 문서화합니다.
- 모델이 본 콘텐츠 유형과 모델이 어려움을 겪을 수 있는 부분(예: 영어 이외의 언어 데이터)을 설명합니다.
AI 시스템이 시간이 지남에 따라 상호작용과 피드백을 누적하면 출력이 어떻게 발전했는지 설명할 수 있도록 데이터의 버전이 지정된 스냅샷을 유지하는 것이 좋습니다.
인텔리전스
인텔리전스 레이어에서는 설명 가능성, 신뢰도 지표, 모듈식 설계를 통해 신뢰를 관리할 수 있습니다.
- 컨텍스트에 맞는 적시 설명을 제공합니다. 활성 사용자 역설에 따르면 사용자가 AI 시스템을 사용할 때 AI 시스템이 무엇을 하고 있는지 이해할 수 있도록 상호작용에 직접 마이크로 설명이 포함된 것이 좋습니다.
- 제한사항 및 실패 모드를 미리 알립니다. AI가 어려움을 겪을 수 있는 부분을 사용자에게 알립니다. 예를 들어 '더 나은 결과를 얻으려면 유머나 도메인 전문 용어를 사용하지 마세요.' 짧은 맥락적 신호는 흐름을 깨지 않고 투명성을 제공합니다.
- 신뢰도 지표 및 대체 로직을 통해 불확실한 상황에서도 AI의 신뢰성을 유지할 수 있습니다. 확률 점수 또는 과거 성공률과 같은 프록시에서 신뢰도를 추정할 수 있습니다. 명백히 잘못된 출력에 대한 안전한 대체 값을 정의합니다.
- 모듈식 아키텍처는 AI를 더 투명하게 만듭니다. 예를 들어 글쓰기 도우미가 별도의 단계에서 문법, 스타일, 어조를 처리하는 경우 각 단계에서 변경된 사항을 표시합니다('어조: 덜 격식적, 복잡성: 단순화됨').
사용자 환경
사용자 환경은 신뢰를 구축하고 조정할 수 있는 광범위한 장을 제공합니다. 다음은 시도해 볼 수 있는 몇 가지 기법과 패턴입니다.
- 교육 콘텐츠 조정 사용자가 AI에 능숙하다고 가정하지 마세요. 파워 사용자에게는 간단한 안내를 제공하고 초보자에게는 자세한 설명을 제공합니다.
- 점진적 공개 적용 작은 신호로 시작합니다. '이 콘텐츠는 자동으로 생성되었습니다'와 같이 AI를 사용했음을 명시하는 문구를 포함하고 사용자가 클릭하여 자세한 정보를 확인할 수 있도록 합니다.
- 결과가 표시되는 피드백 루프 종료 사용자가 AI 추천을 평가하거나 수정하거나 재정의하는 경우 사용자의 입력이 향후 동작을 어떻게 형성하는지 공유합니다. '간결한 대답을 선호하셨습니다. 이에 따라 어조를 조정했습니다.' 정보 공개는 피드백을 신뢰로 전환합니다.
- 오류를 정상적으로 처리합니다. 시스템에서 실수를 하거나 신뢰도가 낮은 결과를 제공하는 경우 이를 인정하고 검토를 사용자에게 위임하세요. 예를 들어 '이 추천은 의도와 일치하지 않을 수 있습니다. 게시 전 검토'를 선택합니다. 사용자가 다시 시도하거나, 수정하거나, 안전한 대체로 되돌릴 수 있도록 명확한 경로를 제공합니다.
요약하자면 AI의 불확실성과 내재된 오류 가능성을 해결하려면 사용자가 의심이나 과도한 의존에서 적절한 신뢰 교정으로 이동하도록 안내해야 합니다.
- 데이터: 데이터 출처를 투명하게 공개합니다.
- 지능: 추론을 모듈화하고 설명 가능하게 만듭니다.
- UX: 점진적인 명확성과 피드백을 위한 디자인
핵심 내용
이 모듈에서는 책임감 있는 AI의 세 가지 핵심 요소인 개인 정보 보호, 공정성, 신뢰를 살펴보았습니다. 특히 이제 막 시작했거나 프로토타입에서 프로덕션으로 전환하려고 할 때 부담스러울 수 있습니다.
가장 중요한 영역에 집중하고 AI 거버넌스에 대한 자체 접근 방식을 정의하세요. 반복이 중요합니다. 각 출시와 사용자 피드백 라운드를 통해 시스템에 더 많은 가이드라인, 투명성 또는 유연성이 필요한 부분을 파악할 수 있습니다.
리소스
다음은 이 모듈에 소개된 주제에 관한 고급 리소스입니다.
- AI 어시스턴트 개인 정보 보호 및 보안 비교에서는 AI 개인 정보 보호 정책을 자세히 살펴볼 수 있습니다.
- 모델이 학습 데이터의 특정 민감한 정보를 유지하고 이를 재생하도록 프롬프트할 수 있는 심각한 개인 정보 보호 실패 모드인 LLM 기억에 관한 논문입니다.
- 선택한 모델과 직접 연결된 리소스를 검토합니다. 예를 들어 Google Cloud는 보안 리소스를 제공합니다.
- 책임감 있는 AI 툴킷에서는 이 모듈에서 다룬 모든 주제에 관한 개발자 리소스를 제공합니다.
리소스
다음은 이 모듈에 소개된 주제에 관한 고급 리소스입니다.
- AI 어시스턴트 개인 정보 보호 및 보안 비교에서 AI 개인 정보 보호 정책을 자세히 살펴보세요.
- LLM 기억에 관한 논문입니다. 모델이 학습 데이터의 특정 민감한 정보를 유지하고 이를 재생하도록 프롬프트할 수 있는 심각한 개인 정보 보호 실패 모드입니다.
- 선택한 모델과 직접 연결된 리소스를 검토합니다. 예를 들어 Google Cloud는 보안 리소스를 제공합니다.
- 책임감 있는 AI 도구 키트는 이 모듈에서 다룬 모든 주제에 관한 개발자 리소스를 제공합니다.
이해도 확인
AI 데이터 수집과 관련하여 권장되는 개인 정보 보호 관행은 무엇인가요?
교정된 신뢰란 무엇인가요?
'인텔리전스' 레이어의 공정성을 보장하기 위해 개발자는 어떤 조치를 취할 수 있나요?
신뢰와 투명성을 구축하기 위한 UX 기법은 무엇인가요?