Blog
Urteil vor Automatisierung
Drei Produkte, drei Bereiche, eine Form: die Software erklärt, bietet an, zeichnet auf — und entscheidet nie. Einschließlich der Zeit, in der ich eine Genehmigung auslieferte, die nichts genehmigte.
Diesen Sommer habe ich drei voneinander unabhängige Dinge gebaut: ein Designwerkzeug für Kampagnengruppen, eine Mac-App für Fotografen und eine KI‑Beratungsstelle für gemeinnützige Organisationen. Unterschiedliche Domänen, unterschiedliche Nutzer, kein geteilter Code. Irgendwo in jedem von ihnen bin ich gegen dieselbe Wand gelaufen und kam auf der anderen Seite heraus, nachdem ich dieselbe Entscheidung dreimal getroffen hatte, ohne es bis letzte Woche zu bemerken.
Diese Entscheidung ist das, was der Slogan tatsächlich bedeutet, und sie ist konkreter als 'einen Menschen im Entscheidungsprozess zu behalten'.
Das Plakat um zwei Uhr morgens
Das Designwerkzeug prüft vier Dinge, bevor man druckt: Textüberlauf, Farbkontrast, Bildauflösung, Sicherheitsbereich.
Die naheliegenden Umsetzungen sind beide falsch. Still erlauben, und jemand klebt ein Plakat auf, das man von der anderen Straßenseite nicht lesen kann. Streng blockieren, und man sagt einem Freiwilligen um zwei Uhr morgens, dass man seine Situation besser versteht als er selbst.
Das tun Sie nicht. Vielleicht ist der Kontrast schlecht, weil das einzige vorhandene Foto schlecht ist, und ein Plakat, das heute Abend aufgehängt wird, ist besser als ein besseres, das niemals aufgehängt wird.
Also erklärt jede Prüfung sich in klarem, verständlichem Text neben dem Feld, das sie verursacht hat, bietet eine Lösung aus der eigenen Palette des Dokuments an — und lässt sich mit einem Klick außer Kraft setzen.
Das Zurückstellen gilt nur für die Sitzung und nicht länger. Es im Dokument zu speichern würde die Entscheidung einer Person, etwas zu ignorieren, in die Kopie aller anderen tragen. Eine Warnung, die nie wieder auftaucht, ist eine Warnung, auf die niemand reagiert.
Der Absturz, der auf Ihrem Rechner bleibt
Die Mac‑App brauchte Absturzberichte. Die Standardantwort ist ein gehostetes SDK — Sentry oder Ähnliches, drei Zeilen Setup, Berichte erscheinen in einem Dashboard.
Zwei Dinge machten das falsch. Das ganze Verkaufsargument der App ist, dass sie nicht nach Hause telefoniert, und ein gehosteter Reporter widerspricht dem genau in dem Moment, in dem der Nutzer am wenigsten nachprüfen kann. Und er würde ein Ein-Personen-Projekt in echte Verpflichtungen ziehen: eine Datenschutzerklärung, eine Rechtsgrundlage, einen Auftragsverarbeitungsvertrag — für Telemetrie, die niemand zu senden gebeten hat.
Die nützliche Erkenntnis war, dass das Erfassen nie das fehlende Stück war. macOS schreibt bereits für jeden Absturz ein Protokoll. Die Lücke ist, dass ein nicht-technischer Nutzer keine Ahnung hat, dass diese Dateien existieren.
Also: Hilfe ▸ Problem melden zeigt den jüngsten Eintrag an, mit App‑Version, OS und Hardware, und erlaubt es, ihn zu kopieren oder die Rohdatei zu öffnen.
Es gibt keinen Senden‑Button. Es gibt keinen Netzwerkaufruf. Sie lesen zuerst den genauen Text und dann senden Sie ihn — oder eben nicht.
Der Umfeld‑Block schließt bewusst alles zu Ihrer Bibliothek aus — keine Projektnamen, keine Dateipfade, nicht einmal Mengenangaben. Was Sie sehen, ist alles, was da ist.
Die Genehmigung, die nichts genehmigte
Das dritte ist eine Beratungsstelle, die eine gemeinnützige Organisation durch die verantwortungsvolle Einführung von KI führt: worum es in dem Fall geht, wie die Nicht‑KI‑Grundlage aussieht, wo die Datenabgrenzung liegt, wann sie überprüft wird. Es endet in einem Dokument, auf das die Organisation tatsächlich reagieren kann, mit Freigabe‑Schritten, die die koordinierende Person abtickt.
Ich habe drei Personas hindurchgeführt — eine kleine Koordinatorin für soziale Unterstützung, eine Betriebsleiterin einer Klima‑NGO, eine Verantwortliche für Digitalisierung einer Wohlfahrtsföderation — und notiert, was tatsächlich passierte, statt dessen, was ich mir erhofft hatte.
Eine von ihnen hat absichtlich die empfohlene Route außer Kraft gesetzt. Das System ließ es zu, und der Abschlussbericht zeigte die Überschreibung. Das ist richtig: die Überschreibung wird aufgezeichnet, nicht verhindert. Sie weiß vielleicht etwas, das die Regel nicht kennt.
Das Audit fand auch etwas Schlimmeres — und es war mein Fehler.
‚Datenabgrenzung genehmigt‘ war ein Kontrollkästchen ohne dahinterstehende Aussage zur Datenabgrenzung. ‚Überprüfungsdatum genehmigt‘ war ein Kontrollkästchen ohne Datumsfeld. Man konnte beide anklicken und das Dokument würde vollständige Genehmigung melden, nachdem es Zustimmung zu gar nichts aufgezeichnet hatte.
Das ist schlimmer, als gar kein Tor zu haben. Ein leeres Tor erzeugt den Anschein von Sorgfalt. Ein Jahr später, wenn jemand fragt, wer die Datenabgrenzung freigegeben hat, lautet die Antwort ein Haken neben einem Feld, das nie existierte, und alle Beteiligten werden glauben, der Prozess habe funktioniert.
Die Form
Drei Produkte, drei Bereiche — und jedes Mal dieselben drei Regeln.
Mach den Moment lesbar. Nicht nur ein Warnsymbol, nicht eine Statusfarbe. Das eigentliche Problem, in der Sprache des Nutzers, neben dem Element, das es verursacht hat, in dem Moment, in dem es zählt.
Lass die Entscheidung beim Menschen. Jede dieser Entscheidungen kann von der unmittelbar davor stehenden Person außer Kraft gesetzt werden, denn in jedem Fall hält diese Person möglicherweise Informationen, die das System nicht hat — das Foto, das nicht existiert, der Absturz, den sie lieber nicht senden möchte, die lokale Situation, die keine Regel vorhergesehen hat.
Zeichne die getroffene Entscheidung auf, einschließlich der Überschreibung. Das ist das, was Menschen auslassen, und es ist das, das die anderen beiden sicher macht. Eine Entscheidung, die niemand später rekonstruieren kann, ist nicht von einer nicht getroffenen Entscheidung zu unterscheiden. Und ein Protokoll einer Genehmigung muss etwas dokumentieren — sonst hat man ein leeres Tor gebaut.
Warum das keine philosophische Frage mehr ist
Während ich das schrieb, begann OpenAI, Geschäftskunden mit einem Null‑Daten‑Aufbewahrungsversprechen zu umwerben und holte Accounts zurück, die teilweise aus diesen Gründen zu Wettbewerbern gewechselt waren.
Lies das als Marktsignal und nicht als Produktankündigung. Käufer betrachten inzwischen, wohin Daten gehen und was aufbewahrt wird, als Kaufkriterium, nicht als Fußnote, und Anbieter haben begonnen, direkt damit zu konkurrieren.
Das ist der gleiche Instinkt, zu dem diese drei Produkte von innen heraus gelangten. Vertrauen ist kein Versprechen in einer Datenschutzerklärung. Es ist eine Eigenschaft dessen, wo die Software entscheidet, Dinge abzulegen, und was sie im Moment tut, in dem eine Person wählen muss.
Die Organisationen, mit denen ich arbeite, brauchen meist keine weitere Automatisierung. Sie müssen wissen, welche Entscheidungen sie noch treffen, sie sehen können und nachträglich beweisen können, dass sie sie getroffen haben.
Das ist, was ‚Urteil vor der Automatisierung‘ bedeutet, wenn es etwas kostet: nicht ein Mensch, der das Ergebnis mit einem Stempel absegnet, sondern ein Mensch, der eine Entscheidung hält, die die Software zurückgeben sollte.
Wenn das nach einem Problem klingt, das Sie haben, das die Arbeit, die ich mache.