KI-Governance: Verantwortungsbewusst entwickeln

Ihre Designentscheidungen haben direkten Einfluss auf die Verantwortung und Sicherheit Ihres KI-Systems. Sie entscheiden beispielsweise, wie Datenquellen ausgewählt, das Modellverhalten konfiguriert oder KI-Ausgaben für Nutzer präsentiert werden. Diese Entscheidungen haben reale Auswirkungen auf Ihre Nutzer und Ihr Unternehmen.

In diesem Modul werden drei wichtige Aspekte der KI-Governance behandelt:

  • Datenschutz: Gehen Sie verantwortungsbewusst mit Daten um, erklären Sie, welche Daten erhoben werden, und minimieren Sie die Daten, die den Browser verlassen.
  • Fairness: Prüfen Sie Ihre Modelle auf diskriminierendes Verhalten (Bias) und erstellen Sie Schleifen, mit denen Nutzer Probleme melden können.
  • Vertrauen und Transparenz: Gestalten Sie Ihr System so, dass es Transparenz und kalibriertes Vertrauen fördert. So können Nutzer weiterhin davon profitieren, auch wenn Unsicherheit und potenzielle Fehler auftreten.

Für jedes Thema wird erläutert, wie es sich in verschiedenen KI-Produkten äußert. Anschließend wird die Lösung in die drei Ebenen Daten, KI und Nutzerfreundlichkeit unterteilt. Sie erfahren, worauf Sie achten müssen, wie Sie Probleme beheben und wie Sie eine effektive, schlanke Governance aufrechterhalten.

Datenschutz

Sie haben gelernt, dass Daten zur tatsächlichen Nutzung und Interaktion das Herzstück jedes KI-Systems sind. Daten sind die Grundlage für Lernen, Bewertung und kontinuierliche Verbesserung. Mit guten Datenschutzpraktiken können Sie diese Daten schützen und Nutzern gleichzeitig die Kontrolle über ihre Informationen geben.

Die Erwartungen an den Datenschutz variieren je nach Produkt und Zielgruppe. Bei Verbraucherprodukten geht es in der Regel darum, die personenidentifizierbaren Informationen (PII) von Einzelpersonen zu schützen, z. B. Namen, Nachrichten und das Surfverhalten. In Unternehmen liegt der Fokus auf Datenhoheit, Vertraulichkeit und dem Schutz von geistigem Eigentum.

Branchen, die sich auf den Lebensunterhalt oder das Wohlergehen von Menschen auswirken, z. B. Gesundheitswesen, Finanzen und Bildung, erfordern strengere Datenschutzmaßnahmen als Bereiche mit geringerem Risiko, z. B. Unterhaltung.

Sehen wir uns an, wie der Datenschutz in den verschiedenen Komponenten Ihres KI-Systems verwaltet werden kann.

Daten

Um Ihr KI-System kontinuierlich zu verbessern, können Sie Daten zu Nutzerinteraktionen erfassen, darunter Eingaben, Ausgaben, Feedback und Fehler. Diese Informationen können für die Bewertung, die Feinabstimmung von Modellen oder für Few-Shot-Beispiele in Prompts wiederverwendet werden. Außerdem können Sie damit Ihr UX-Design optimieren.

Hier sind einige Richtlinien für die verantwortungsbewusste Datenerhebung:

  • Nur Daten erfassen, die für das Training erforderlich sind: Für eine KI-basierte Produktsuche ist möglicherweise nicht das vollständige Profil eines Nutzers erforderlich, um die Ergebnisse zu verbessern. In den meisten Fällen reichen die Bereitstellung der Suchanfrage, der Klickmuster und der anonymisierten Sitzungsdaten aus.
  • Vertrauliche Informationen entfernen: Entfernen Sie alle personenidentifizierbaren Informationen, bevor Sie Daten an externe Modelle senden. Dies kann durch Anonymisierung, Pseudonymisierung oder Aggregation erfolgen.
  • Aufbewahrung einschränken: Löschen Sie Protokolle und Daten im Cache, sobald sie ihren Zweck erfüllt haben. Kurze Aufbewahrungszyklen verringern das Risiko, ohne die Erkenntnisse zu beeinträchtigen.

Dokumentieren Sie, welche Informationen Sie erheben, wie lange Sie sie aufbewahren und warum sie benötigt werden. Wenn Sie einem nicht technisch versierten Nutzer Ihre Datenflüsse nicht klar erklären können, sind die Flüsse wahrscheinlich zu komplex, um sie zu kontrollieren oder zu rechtfertigen.

Intelligenz

Wenn Nutzer mit Ihrem KI‑System interagieren, geben sie möglicherweise unwissentlich oder unachtsam private oder sensible Informationen ein. Dieses Risiko ist besonders hoch bei offenen Chat- oder Schreiboberflächen, bei denen Sie nicht einschränken können, was Nutzer eingeben.

Sie können zwar verhindern, dass bestimmte Wörter gesendet werden, aber diese Informationen können kontextbezogen sein. Wenn Ihr Modell auf einem Server ausgeführt wird, der von einem externen Anbieter verwaltet wird, kann dieser die Nutzereingaben als Trainingsdaten verwenden. Schließlich könnte das Modell Fragmente von privatem Text, Anmeldedaten oder andere vertrauliche Details für andere Nutzer preisgeben.

So können Sie sich vor Datenschutzverstößen während der Inferenz schützen:

  • Prüfen Sie APIs von Drittanbietern sorgfältig. Sie sollten genau wissen, was mit den Daten passiert, die Sie senden. Werden Eingaben protokolliert, aufbewahrt oder für das Training wiederverwendet? Vermeiden Sie undurchsichtige Dienste und bevorzugen Sie Anbieter mit transparenten Richtlinien und Kontrollen.

  • Wenn Sie Modelle selbst trainieren oder feinabstimmen, sollten Sie sensible Details in Ihren Trainingsdaten abstrahieren. Vorsicht vor dem Lernen von Abkürzungen. In einer Anwendung für die Kreditwürdigkeit können Postleitzahlen beispielsweise dazu führen, dass das Modell Annahmen über Rasse oder sozioökonomischen Status trifft. Dies kann zu unfairen Vorhersagen führen und bestehende Ungleichheiten verstärken.

  • In sensiblen Bereichen sollte die clientseitige Inferenz bevorzugt werden. Dies kann mit integrierter KI, einem Modell im Browser oder einem benutzerdefinierten clientseitigen Modell erfolgen. Im nächsten Modul Plattform auswählen erfahren Sie mehr dazu.

Nutzererfahrung

Über die Benutzeroberfläche Ihrer Anwendung haben Sie die Möglichkeit, Nutzern zu zeigen, was passiert, ihr Vertrauen zu gewinnen und ihnen die Kontrolle über ihre Daten zu geben:

  • Transparent sein: Kurze Labels in Ihrer Benutzeroberfläche, z. B. „Lokal verarbeitet“ oder „Sicher zur Analyse gesendet“, können dazu beitragen, Vertrauen aufzubauen. Erwägen Sie, zusätzliche Details schrittweise offenzulegen, z. B. durch Kurzinfos, die erklären, wann die Analyse auf dem Gerät und wann auf einem Server erfolgt.
  • Im Kontext fragen: Holen Sie die Einwilligung ein, wenn sie erforderlich ist. Die Frage „Möchten Sie frühere Suchanfragen teilen, um Empfehlungen zu verbessern?“ ist viel aussagekräftiger als eine pauschale Einwilligung.
  • Einfache Steuerung: Fügen Sie gut sichtbare Ein/Aus-Schalter für die Personalisierung, cloudbasierte Funktionen oder die Datenfreigabe hinzu.
  • Sichtbarkeit erhöhen: Fügen Sie ein kleines Datenschutz-Dashboard hinzu, damit Nutzer ihre Daten verwalten können, ohne die App zu verlassen.
  • Erklären Sie, warum Sie Daten erheben. Nutzer sind möglicherweise eher bereit, Daten weiterzugeben, wenn sie wissen, wie diese verwendet werden. Dasselbe gilt für Ihre Aufbewahrungs- und Verwaltungsrichtlinien.

Datenschutz bei Web-KI ist kein einzelner Compliance-Schritt, sondern eine fortlaufende Design-Denkweise:

  • Daten: Weniger Daten erheben und mehr Schutz bieten.
  • KI:Das Auswendiglernen potenziell sensibler Daten durch externe Modelle wird reduziert.
  • UX:Sorgen Sie dafür, dass Nutzer Datenschutz transparent nachvollziehen und kontrollieren können.

Fairness

KI-Systeme können Verzerrungen aufweisen, die zu unfairen Diskriminierungen führen. Das gilt insbesondere für Bereiche wie Personalwesen, Recht und Finanzen, in denen Vorurteile wichtige Entscheidungen verzerren können, die sich direkt auf echte Menschen auswirken.

Ein Einstellungsmodell, das mit historischen Einstellungsdaten trainiert wurde, könnte beispielsweise bestimmte demografische Merkmale mit einer geringeren Kandidatenqualität in Verbindung bringen und so unbeabsichtigt Bewerber aus unterrepräsentierten Gruppen benachteiligen, anstatt jobrelevante Fähigkeiten und Erfahrungen zu bewerten.

Daten

Ihre Trainingsdaten bestehen aus einer Reihe einzelner, isolierter Informationen, die Vorurteile aus der realen Welt widerspiegeln und sogar neue einführen können. Hier sind praktische Schritte, um datenbezogene Verzerrungen transparent und handhabbar zu machen:

  • Dokumentieren Sie Ihre Datenquellen und die Abdeckung. Veröffentlichen Sie eine kurze Erklärung, um Nutzern zu helfen, die Grenzen des Modells zu verstehen. Zum Beispiel: „Dieses Modell wurde hauptsächlich mit englischsprachigen Inhalten trainiert. Technische Texte sind nur in begrenztem Umfang enthalten.“
  • Diagnoseprüfungen ausführen Mit A/B-Tests lassen sich systematische Unterschiede aufdecken. Vergleichen Sie beispielsweise, wie Ihr System mit „Sie ist eine großartige Führungskraft“, „Er ist eine großartige Führungskraft“ und „Sie sind eine großartige Führungskraft“ umgeht. Geringe Abweichungen in der Stimmung oder im Ton können auf eine tiefere Voreingenommenheit hinweisen.
  • Datasets mit Labels versehen Fügen Sie einfache Metadaten wie Domain, Region und Formalitätsgrad hinzu, um zukünftige Audits, Filterungen und Anpassungen zu vereinfachen.

Wenn Sie benutzerdefinierte Modelle trainieren oder feinabstimmen, sollten Sie Ihre Datasets ausgleichen. Eine breitere Repräsentation reduziert die Abweichung effektiver als die Korrektur von Bias nach der Erstellung des Modells.

Intelligenz

In der Intelligence-Ebene wird Bias in gelerntes Verhalten umgewandelt. Sie können Schutzmaßnahmen, Logik für das Neuklassifizieren oder Hybridregeln hinzufügen, um die Ausgabe in Richtung Fairness und Inklusivität zu lenken:

  • Regelmäßig auf Bias testen: Verwenden Sie Filter zur Erkennung von Vorurteilen, um problematische Formulierungen zu kennzeichnen, z. B. geschlechtsspezifische Begriffe oder einen ausgrenzenden Ton. Drift im Zeitverlauf beobachten.
  • Bei Vorhersagemodellen ist Vorsicht bei sensiblen Daten geboten. Attribute wie Postleitzahl, Bildung oder Einkommen können indirekt sensible Merkmale wie ethnische Herkunft oder soziale Schicht codieren.
  • Mehrere Ausgaben generieren und vergleichen Ordnen Sie die Ergebnisse nach Neutralität, Vielfalt und Ton ein, bevor Sie entscheiden, welche Ausgabe Sie mit dem Nutzer teilen.
  • Regeln zum Erzwingen von Fairness-Einschränkungen hinzufügen So können Sie beispielsweise Ausgaben blockieren, die Stereotype verstärken oder keine vielfältigen Beispiele enthalten.

Nutzererfahrung

Seien Sie in Ihrer Benutzeroberfläche transparent in Bezug auf die Begründung des Modells und fordern Sie Feedback an:

  • Begründungen für KI-Ausgaben bereitstellen: Beispiel: „Empfohlen für einen professionellen Ton basierend auf Ihren vorherigen Eingaben*.“ So können Nutzer nachvollziehen, dass das System einer definierten Logik folgt und nicht auf verborgenen Annahmen beruht.
  • Nutzern sinnvolle Kontrollmöglichkeiten bieten: Ermöglichen Sie es ihnen, das Verhalten des Modells über Einstellungen oder Prompts anzupassen, z. B. durch Auswahl von Einstellungen für Ton, Komplexität oder visuellen Stil.
  • Bias oder Ungenauigkeiten leichter melden: Je einfacher es ist, ein Problem zu melden, desto mehr Daten aus der realen Welt erhalten Sie, um Ihr KI-System zu verbessern.
  • Feedback einbeziehen: Nutzerberichte dürfen nicht verschwinden. Geben Sie diese Daten in Ihr Training oder Ihre Regellogik zurück und machen Sie den Fortschritt sichtbar: „Wir haben unsere Moderation aktualisiert, um kulturelle Vorurteile in Empfehlungen zu reduzieren.“

Bias entsteht in Daten, wird durch Modelle verstärkt und in der Nutzererfahrung sichtbar. Sie können das Problem auf allen drei Ebenen Ihres KI-Systems angehen:

  • Daten:Datenquellen transparent und ausgewogen gestalten.
  • KI:Bias in den Ergebnissen erkennen, testen und minimieren.
  • UX:Nutzer in die Lage versetzen, Bias durch Kontrolle und Feedback zu erkennen und zu korrigieren.

Vertrauen und Transparenz

Vertrauen entscheidet darüber, ob Nutzer Ihr Produkt verwenden, einführen und empfehlen.

Die meisten Nutzer erwarten, dass Anwendungen vorhersehbar sind. So wird bei Klicks auf Schaltflächen immer die angegebene Aktion ausgeführt und Sie werden immer zum selben Ort weitergeleitet. KI widerspricht dieser Erwartung, da ihr Verhalten sehr variabel und oft unvorhersehbar ist. Außerdem haben KI-Systeme ein inhärentes Fehlerpotenzial: Sprachmodelle halluzinieren Fakten, Vorhersagemodelle kennzeichnen Daten falsch und Agents werden unkontrollierbar.

Ihre Nutzer sind die letzte Verteidigungslinie gegen diese Fehler.

Ihr Ziel sollte es sein, Nutzer in die Mitte zu bewegen, hin zu einem kalibrierten Vertrauen. Zu viel oder zu wenig Vertrauen führt zu Problemen.

Anfangs vertrauen Nutzer Ihrem System wahrscheinlich zu wenig oder zu viel. Wenn sie dem System zu wenig vertrauen, werden sie es nicht verwenden. Wenn sie ihm zu viel vertrauen, akzeptieren sie die Ausgaben vollständig, ohne sie auf Fehler zu prüfen. Ihre Aufgabe ist es, Nutzer in die goldene Mitte des abgestimmten Vertrauens zu bringen, in der sie sich auf KI verlassen, um effizienter zu arbeiten, aber dennoch die Verantwortung für die Endergebnisse übernehmen.

Daten

In der Datenschicht wird Vertrauen aufgebaut, indem die Abdeckung und Herkunft Ihrer Daten klar erläutert werden:

  • Geben Sie die Datenquelle und ‑herkunft explizit an.
  • Dokumentieren Sie die Aktualität und Veralterung von Daten.
  • Beschreiben Sie, welche Arten von Inhalten das Modell gesehen hat und wo es möglicherweise Schwierigkeiten hat, z. B. bei Daten in anderen Sprachen als Englisch.

Wenn Ihr KI-System im Laufe der Zeit Interaktionen und Feedback sammelt, sollten Sie in Erwägung ziehen, versionierte Snapshots der Daten zu erstellen, damit Sie nachvollziehen können, wie sich die Ausgaben entwickelt haben.

Intelligenz

In der Intelligence-Ebene können Sie Vertrauen durch Erklärbarkeit, Vertrauensindikatoren und modulares Design schaffen:

  • Kontextbezogene, bedarfsgerechte Erklärungen bereitstellen: Gemäß dem Paradox des aktiven Nutzers ist es besser, Mikroerklärungen kontextbezogen direkt in Interaktionen einzubetten, damit Nutzer verstehen, was das KI-System tut, während sie es verwenden.
  • Einschränkungen und Fehlermodi im Voraus kommunizieren: Weisen Sie Nutzer darauf hin, wo die KI möglicherweise Schwierigkeiten haben könnte. Beispiel: „Vermeiden Sie Humor oder Fachjargon, um bessere Ergebnisse zu erzielen.“ Kurze, kontextbezogene Hinweise sorgen für Transparenz, ohne den Fluss zu unterbrechen.
  • Vertrauensindikatoren und Fallback-Logik sorgen dafür, dass KI auch bei Unsicherheit zuverlässig bleibt. Sie können das Konfidenzniveau anhand von Proxys wie Wahrscheinlichkeitswerten oder bisherigen Erfolgsraten schätzen. Definieren Sie sichere Fallbacks für Ausgaben, die eindeutig falsch sind.
  • Modulare Architekturen machen KI transparenter. Wenn ein Schreibassistent beispielsweise Grammatik, Stil und Ton in separaten Schritten bearbeitet, geben Sie an, was sich in jeder Phase geändert hat: „Ton: weniger formell; Komplexität: vereinfacht“.

Nutzererfahrung

Die Nutzererfahrung bietet Ihnen ein weites Feld, um Vertrauen aufzubauen und zu stärken. Hier sind einige Techniken und Muster, die Sie ausprobieren können:

  • Inhalte zu Informations- und Bildungszwecken anpassen Gehen Sie nicht davon aus, dass Ihre Nutzer sich mit KI auskennen. Geben Sie erfahrenen Nutzern kurze Anleitungen und Anfängern detaillierte Erklärungen.
  • Schrittweise Offenlegung anwenden: Beginnen Sie mit kleinen Hinweisen. Fügen Sie Text hinzu, aus dem hervorgeht, dass Sie KI verwendet haben, z. B. „Diese Antwort wurde automatisch generiert“, und ermöglichen Sie Nutzern, auf den Text zu klicken, um weitere Informationen zu erhalten.
  • Feedback Loops mit sichtbaren Ergebnissen schließen: Wenn Nutzer eine KI-Empfehlung bewerten, korrigieren oder überschreiben, erklären Sie, wie sich ihre Eingabe auf das zukünftige Verhalten auswirkt: „Sie haben kurze Antworten bevorzugt. Der Stil wurde entsprechend angepasst.“ Transparenz schafft Vertrauen.
  • Fehler ordnungsgemäß behandeln: Wenn Ihr System einen Fehler macht oder ein Ergebnis mit geringer Konfidenz liefert, sollten Sie dies eingestehen und die Überprüfung an den Nutzer delegieren. Zum Beispiel: „Dieser Vorschlag entspricht möglicherweise nicht Ihrer Intention. Vor der Veröffentlichung prüfen.“ Bieten Sie dem Nutzer eine klare Möglichkeit, fortzufahren, indem Sie ihm erlauben, den Vorgang zu wiederholen, zu bearbeiten oder auf einen sicheren Fallback zurückzugreifen.

Kurz gesagt: Um die Unsicherheit und das inhärente Fehlerpotenzial von KI zu minimieren, sollten Sie Nutzer von Zweifeln oder übermäßigem Vertrauen zu einer angemessenen Vertrauensabstimmung führen:

  • Daten: Seien Sie transparent in Bezug auf die Datenherkunft.
  • Intelligenz: Die Argumentation soll modular und nachvollziehbar sein.
  • UX: Design für progressive Klarheit und Feedback.

Wichtige Erkenntnisse

In diesem Modul haben wir uns mit drei wichtigen Säulen der verantwortungsbewussten KI beschäftigt: Datenschutz, Fairness und Vertrauen. Das kann überwältigend sein, insbesondere wenn Sie gerade erst anfangen oder versuchen, den Sprung vom Prototyp zur Produktion zu schaffen.

Konzentrieren Sie sich auf die wichtigsten Bereiche und definieren Sie Ihren eigenen Ansatz für die KI-Governance. Iteration ist das A und O. Mit jeder Veröffentlichung und jeder Runde mit Nutzerfeedback wird Ihr Verständnis dafür geschärft, wo Ihr System mehr Schutzmaßnahmen, Transparenz oder Flexibilität benötigt.

Ressourcen

Hier finden Sie einige weiterführende Ressourcen zu den Themen in diesem Modul:

Ressourcen

Hier finden Sie einige weiterführende Ressourcen zu den Themen in diesem Modul:

Wissen testen

Welche Datenschutzpraktiken werden für die Datenerhebung für KI empfohlen?

Sammeln Sie so viele Daten wie möglich, falls Sie sie später benötigen.
Das ist falsch.
Erheben Sie nur Daten, die für das Lernen erforderlich sind, und entfernen Sie alle personenbezogenen Daten.
Richtig!
Bewahren Sie alle Logs unbegrenzt auf, um langfristige Trends zu verfolgen.
Das ist falsch. Logs sollten niemals unbegrenzt gespeichert werden.

Was ist „calibrated trust“?

Wenn Nutzer immer davon ausgehen, dass KI richtig ist.
Bitte versuchen Sie es noch einmal.
Wenn Nutzer die KI nicht verwenden, weil sie ihr nicht vertrauen.
Bitte versuchen Sie es noch einmal.
Der Mittelweg, bei dem Nutzer KI für mehr Effizienz einsetzen, die Ergebnisse aber trotzdem überprüfen.
Richtig!
Ein rechtlicher Vertrag zwischen dem Nutzer und dem Entwickler.
Bitte versuchen Sie es noch einmal.

Welche Maßnahmen können Entwickler ergreifen, um für Fairness in der Ebene „Künstliche Intelligenz“ zu sorgen?

Gehen Sie davon aus, dass die Trainingsdaten unverzerrt sind.
Bitte versuchen Sie es noch einmal.
Entfernen Sie alle demografischen Daten aus der Datenbank.
Bitte versuchen Sie es noch einmal.
Mehrere Ausgaben generieren und nach Neutralität und Vielfalt einstufen
Richtig!
Sich ausschließlich auf das Standardverhalten des Modells verlassen.
Bitte versuchen Sie es noch einmal.

Welche UX-Technik kann verwendet werden, um Vertrauen und Transparenz aufzubauen?

Beginnen Sie mit kleinen Hinweisen und bieten Sie Links zu zusätzlichen Informationen an, z. B. in Form einer Kurzinfo.
Richtig!
Alle Komplexität und Logik für den Nutzer ausblenden
Nicht ganz. Sie sollten Nutzer nicht mit Informationen überfordern, aber einige möchten vielleicht mehr wissen.
Die KI-Funktion für alle Nutzer obligatorisch machen
Das ist falsch.
Das Verhalten des Modells ändern, den Nutzer aber nicht benachrichtigen. Benachrichtigungen sind verwirrend.
Das ist falsch. Wenn sich die Änderung auf die Nutzer auswirkt, müssen Sie sie möglicherweise benachrichtigen.