Was tun, wenn ein Computer-Algorithmus eine Entscheidung trifft, die unser Leben beeinflusst? Wenn die Buchung des Corona-Impftermins nicht klappt, weil die Software in Arztpraxen und Behörden dafür nicht geeignet ist? Der wichtige Kredit abgelehnt wird, weil die SCHUFA aus intransparenten Gründen die Kreditwürdigkeit als zu gering einstuft? Oder ein Fotoautomat in Behörden nur für 'weiße' Menschen funktioniert? Bei Firmen und Behörden selbst gegen falsche oder fragwürdige automatisierte Entscheidungen vorzugehen, ist oft aussichtslos, denn die menschlichen Ansprechpartner:innen können selbst oft nicht sehen, warum eine Entscheidung getroffen wurde - geschweige denn, diese übersteuern. Da fällt es schwer, Technik zu vertrauen. Das Unding-Projekt1 der Organisation AlgorithmWatch will hierbei helfen. Im E-Mail-Interview erklärt Unding-Managerin Anna Lena Schiller, wie das genau funktioniert und warum wir uns alle mit den Auswirkungen von Algorithmen befassen sollten.
Können Sie bitte am Anfang kurz sagen, was das Unding-Projekt ist und wer die Macher:innen sind?
Unding ist die Anlaufstelle für Menschen, die durch automatisierte Entscheidungen benachteiligt oder diskriminiert worden sind. Dahinter steht die Organisation AlgorithmWatch, die sich seit 2016 dafür einsetzt, die Auswirkungen von automatisierten Entscheidungen auf die Gesellschaft zu beobachten und darüber zu berichten.
Das Projekt ist entstanden, weil uns aufgefallen ist, dass viele Firmen nicht verantwortlich sein wollen für die Auswirkungen ihrer Software. Die wenigen Beschwerdewege, die es gibt, sind entweder intransparent oder funktionieren gar nicht. Gleichzeitig gibt es keine unabhängigen Stellen, die Betroffenen helfen. Die Lücke wollen wir mit Unding schließen.
Wie muss man sich die offiziellen Beschwerdewege bei Firmen vorstellen? Sind das Kontaktformulare oder E-Mail-Adressen? Und antworten da dann einfache Servicekräfte, die selbst gar keine Befugnisse haben?
Die offiziellen Beschwerdewege gleichen meist Labyrinthen. Man schickt eine Nachricht über ein Online-Formular, und wenn man Glück hat, bekommt man eine Antwort aus Textbausteinen zurück. Wenn es schlecht läuft, versackt die Anfrage einfach irgendwo im Internet und man ist auch nicht schlauer als vorher. Wahrscheinlich nur noch genervter.
Bei öffentlichen Stellen wir Behörden sieht es etwas besser aus. Dort gibt es oft eine E-Mail oder sogar eine:n direkte:n Ansprechpartner:in. Vielleicht sogar eine Telefonnummer.
So oder so, es fühlt sich für viele nach einer ewigen Odyssee an, Ausgang ungewiss. Man könnte fast das Gefühl haben, Feedback sei gar nicht erwünscht. Wie immer, Ausnahmen bestätigen die Regel. Es gibt sicher auch gute Beschwerdewege und Mitarbeiter:innen, die helfen, die Probleme anzugehen.
Wie geht Unding vor, wenn man Sie einschaltet? Schreiben Sie die Unternehmen an? Und was erhalten Sie dann als Antwort? Oder gehen Sie andere Wege?
Aus der Nutzer:innen-Perspektive läuft das so ab: Man wählt ein Problem und wird durch einen Dialog geführt, der möglichst einfach als Chat dargestellt ist. Dadurch wird das Problem eingegrenzt und am Ende ein Anschreiben generiert. Das wiederum kann der:die Nutzer:in direkt an die verantwortliche Stelle schicken. Geht eine Antwort ein, wird man von Unding benachrichtigt und kann die Antwort auch gleich bewerten. Kommt nichts zurück, hakt Unding automatisch bei den Firmen nach.
Sind Sie da auch auf die von Ihnen erwähnten offiziellen Kanäle angewiesen, oder gehen Sie da anders vor?
Die Technologie hinter Unding basiert auf E-Mail-Verkehr. Wir recherchieren für jeden Falltyp die richtigen Adressaten (Firmen, Behörden etc.) und die E-Mails gleich dazu. So umgehen wir zumindest die Schleife aus Online-Formularen, die man sonst oft bei Beschwerden verwenden muss. Es kann natürlich sein, dass auch von offiziellen E-Mails keine Antwort zurückkommt. Aber auf Unding kann man es im Gegensatz zu Formularen transparent machen, ob und wann eine Antwort eingegangen ist und wie nützlich sie für die Nutzer:innen war.
Für die Zukunft ist geplant, dass wir Bewertungen, Antwortzeiten und Anzahl der Beschwerden in einem Dashboard anzeigen können. Dadurch lässt sich dann einfach nachvollziehen, wie verantwortlich Firmen mit solchen Beschwerden umgehen. Und je mehr Bewertungen wir öffentlich machen können, desto mehr Druck kann Unding auf die Verantwortlichen ausüben, am Problem an sich etwas zu ändern.
Außerdem wollen wir die Unding-Technologie auch anderen Organisationen zugänglich machen, die Kontakt zu Betroffenen haben. Wir stellen uns z.B. vor, dass man direkt über Webseiten der Unding-Partner Fälle melden kann.
Und zu guter Letzt planen wir auch Nicht-Betroffene mit einzubeziehen. Zum Beispiel durch Umfragen, Datenspenden oder Crowd-Recherchen, in denen sich die Erfahrungen der Menschen mit automatisierten Entscheidungen und Algorithmen widerspiegeln.
Wie funktioniert das Nachhaken von Unding bei den Firmen?
Das Nachhaken funktioniert auch automatisch. Das System schaut, wo noch keine Antwort eingegangen ist, und verschickt dann ohne Zutun eine Erinnerungsmail an die Adressaten.
Arbeiten Sie mit Verbraucherschutzorganisationen oder Anwält:innen zusammen?
Wir arbeiten momentan an einem Partner:innenprogramm, dass wir ab Herbst 2021 umsetzen wollen. Wir möchten gerne schneller und direkter mit Betroffenen in Kontakt kommen. Und dafür sind etablierte Akteure und Organisationen natürlich sehr hilfreich, weil die oft schon in Verbindung stehen mit solchen Personen.
Da die Falltypen bei uns thematisch sehr vielfältig sind, halten wir momentan breit Ausschau nach potenziellen Partner:innen, die mit Unding kooperieren möchte. Wer sich hier angesprochen fühlt und Interesse hat, soll sich sehr gerne bei mir melden! Verbraucherschutzorganisationen oder Anwält:innen natürlich eingeschlossen.
Bisher kann man bei Ihnen Probleme mit der Google-Vorschlägen, der SCHUFA, rassistischen Fotoautomaten, Probleme bei der Impfterminvergabe in Berlin und unsinnigen Routen von Navigationssystemen melden. Wovon hängt es ab, ob ein "neues" Unding aufgenommen werden kann?
Es gibt zwei Wege, neue Undinge aufzuspüren: entweder über unsere Recherche (da hilft AlgorithmWatch als Mutterorganisation mit viel Erfahrung und Wissen), oder über Hinweise von Nutzer:innen, die in den letzten Monaten auch schon fleißig eingegangen sind.
Dann fragen wir, ob das Problem skalieren kann. Betrifft es möglicherweise viele Menschen? Dann hat es das Potenzial zum Unding.
Wichtig ist auch noch, ob wir die Story dahinter erzählen können. Warum ist das ein Problem? Wen betrifft das? Was sind die Auswirkungen? Algorithmen werden oft erst verständlich, wenn man sie durch die menschliche Linse betrachten kann.
Können Sie ein Beispiel für so eine "Story" geben? Etwas, wo ganz prägnant wird, wie jemand unter falschen Algorithmen- oder Prozessauswirkungen Nachteile erleiden musste?
Zwei Beispiele fallen mir da aus Recherche für Unding ein.
Das erste wäre Thieshope, ein kleiner Ort in Niedersachsen. Ich nenne es manchmal auch das Gallische Dorf der Navi-Ära. Thieshope hat das Pech, gleich an der A7 zu liegen. Und in unmittelbarer Nachbarschaft auch noch die A1 und die A39 zu haben. Wenn man in solch einem Autobahndreieck wohnt, lernt man schnell die Nachteile von Navigationssystemen kennen. Gibt es einen Stau auf der Autobahn, dann bieten die Navis alternative Routen an. Das Problem dahinter: Es wird nicht immer die offizielle Umleitung angezeigt, sondern der kürzeste Weg zum Ziel. Und der führt oft durch solche Orte wie Thieshope, die auf Autobahn-Blechlawinen von LKWs und PKWs gar nicht ausgelegt sind. Das führt zu Lärmbelästigung und Ärger bei den Anwohner:innen vor Ort. Es ging sogar einmal so weit, dass die Polizei einschreiten musste, weil die Anwohner sich mit den Autofahrern angelegt haben.
Orte wie Thieshope gibt es zu Dutzenden, wahrscheinlich Hunderten in Deutschland. Und wir wollen mit Unding die Menschen unterstützen, sich gegen die Benachteiligung zu wehren. Wer also das gleiche Problem vor Ort hat, bitte melden.
Das zweite Beispiel dreht sich um Fotoautomaten in Behörden. 2015 kam es zum ersten Mal ans Licht der Öffentlichkeit, dass manche dieser Fotoautomaten, die in Ämtern aufgestellt sind, Schwarze Menschen nicht erkennen. Das war leider kein Einzelfall, denn in den Jahren darauf hörte man immer wieder von solchen Vorkommnissen. Zum Beispiel erging es auch Audrey K. so. Deren Geschichte haben die Zeit und die taz sehr gut aufbereitet. Sie wollte in der Führerscheinbehörde Hamburg ein biometrisches Foto von sich machen, aber der Automat erkannte ihr Gesicht nicht. Die von Menschen mit hellerer Haut allerdings schon. Auch in Fotoautomaten und Bild- bzw. Gesichtserkennung steckt Software. Und die kann wie in diesem Fall diskriminieren, wenn die dahinter liegenden Daten nicht repräsentativ genug sind.
Gibt es Ihrer Erfahrung nach genügend Bewusstsein in der Gesellschaft darüber, dass wir von automatisierten Entscheidungen, Algorithmen, KI-Einstufungen usw. betroffen sind, oder merkt man das meist erst, wenn es einen selber mal trifft?
Genügend Bewusstsein? Ein klares Nein. Automatisierte Entscheidungen sind ja auch nicht per se schlecht. Und wenn Digitalisierung unser Leben bequemer macht, dann zweifeln wir das in den seltensten Fällen an.
Routingsoftware z.B. kann den Alltag ungemein erleichtern. Aber es hat eben auch seine Schattenseiten, wenn LKWs kleine Dorfstraßen verstopfen und man in der Fahrradstraße nicht mehr durchkommt, weil alles voll mit Autos ist, die dort per Software hin navigiert wurden.
Oder die Routingsoftware das Auto in den See lotst - wobei man da wohl auch hinterfragen muss, bis zu welcher Stelle man dem dann noch vertrauen würde …
Gesellschaftlich fehlt uns noch der differenzierte Blick auf die Auswirkungen von Algorithmen. Vorteile und Nachteile gleichzeitig sehen, die Ambivalenz von Technologie aushalten, nicht dem Glauben an die Neutralität der Software verfallen, automatisierte Systeme erkennen und hinterfragen. Das sind Kompetenzen, die wir uns gesellschaftlich aneignen müssen, um souverän mit Algorithmen umgehen zu können.
Sind Politik und Verbraucherschutzorganisationen hier bereits genügend sensibilisiert? Gerade letztere sind ja die traditionellen Anlaufstellen, wenn Verbraucher:innen Probleme mit Firmen haben.
Das Thema haben sowohl die Politik als auch der Verbraucherschutz auf dem Zettel. Ich würde die Antidiskriminierungsstellen auch noch dazu zählen. Aber es bräuchte Unding ja nicht, wenn das alles schon rund liefe. Ein Grund dieses Projekt zu starten war, dass die Auswirkungen von algorithmischen Entscheidungssystemen noch nicht hoch genug auf der Agenda dieser Akteure stehen. Oft braucht es mehrere Punkte, die Druck ausüben. Verbraucher:innen, Diskriminierte und Betroffene, zivilgesellschaftliche Organisationen und Verbände.
Wir versuchen unseren Teil dazu beizutragen, damit das Thema stärker in den Fokus gerät. Um breiter wirken zu können, wollen wir das gerne mit anderen im Verbund machen. Dazu das bereits erwähnte Partner:innenprogramm. Und natürlich sprechen wir in diesem Rahmen u.a. auch mit dem Verbraucherschutz und Politiker:innen.
Wie kann man Menschen, die sich nicht beruflich oder aus persönlichem Interesse mit der Problematik befassen, ihre eigene Betroffenheit bewusst machen?
Gute Frage! Ich teste das immer an meinen Eltern. Die sind so halb-digital und nutzen Chat-Apps und Online-Banking, aber Algorithmen sind dann doch nicht mehr auf ihrem Radar. Ich versuche Beispiele zu finden, die sehr nah an deren Alltag sind. Zum Beispiel warum ältere Menschen oft automatisch bei Krediten abgelehnt werden. Oder ganz aktuell: wie die Impfterminvergabe durch Algorithmen beeinflusst wird. Und was dabei schieflaufen kann.
Die größte Herausforderung für "Normalos" ist dabei, überhaupt zu erkennen, wo automatisch entschieden wurde und wo nicht. Das sieht man ja nicht immer so einfach von außen. Wenn ich mich z.B. auf einen neuen Job bewerbe - woher kann ich wissen, ob mein Lebenslauf von einem Programm ausgelesen wurde und ich deshalb die Stelle (nicht) bekommen habe? Oder steckt da doch ein Mensch dahinter? Oder beides?
Um den KI-Blick zu schulen, braucht es Beispiele, Geschichten und immer wieder Aufklärung. Meine Mutter schneidet mir inzwischen Artikel aus ihrer Tageszeitung aus, in der es um Algorithmen geht. Das finde ich eine wunderbare Übung. Falls sie dann wirklich mal Algorithmen-Opfer werden sollte, merkt sie das dadurch hoffentlich schneller. Und kann ihren Fall gleich auf unding.de melden.
Sie haben schon AlgorithmWatch erwähnt - worin besteht da ihr Arbeitsalltag? Auf der Website werden verschiedene Projekte genannt - kann man sich das so ähnlich wie Forschungs- und Entwicklungsprojekte an Unis oder Forschungseinrichtungen vorstellen? Oder betreibt AlgorithmWatch v.a. journalistische Arbeit? Und steht auch Bildungsarbeit (in Schulen, Unis, Volkshochschulen) auf Ihrem Programm?
AlgorithmWatch hat mehrere Säulen. Ich beschreibe die Organisation mal aus dem Blick meiner Rolle als Unding-Projektmanagerin, dann ist es vielleicht am besten nachzuvollziehen.
Zuallererst darf ich mich ums große Ganze kümmern. Mit anderen zusammen die Strategie für Unding bauen, und davon Maßnahmen ableiten, wie das Partner:innenprogramm. Die Umsetzung liegt dann ebenso in meiner Verantwortung. Das macht Spaß, denn so habe ich direkt Einfluss auf die Entwicklung des Projekts.
Dann hat AlgorithmWatch noch Softwareentwickler. Die sind immens wichtig, denn einige unserer Projekte, wie z.B. Unding, sind eine konkrete digitale Dienstleistung, die erstmal gebaut werden muss.
Unding soll natürlich auch bekannt gemacht werden, z.B. über Öffentlichkeitsarbeit, wie dieses Interview hier, aber auch Betreuung von Unding-Social Media-Kanälen. Dafür spreche ich mich mit der PR-Abteilung ab, die übergreifend alle Projekte betreut.
Dann wäre noch die Frage, wie wir auf neue Fälle für Unding kommen. Das geht über unsere Journalisten, die die Hintergründe recherchieren und aufbereiten. Gerade heute habe ich einen Hinweis über verunglückte Automatisierung bei einer Jobplattform erhalten. Da recherchiert der Kollege jetzt weiter.
Unsere Policy- und Advocacy-Abteilung beobachtet, was politisch passiert. Das Team formuliert dafür z.B. Forderungen zur Regulierung von Automated Decision Making? Wir überlegen aber auch, ob Policy-Entwicklungen wie das neue KI-Gesetz Auswirkungen haben, auf die wir mit Unding antworten können.
Zu guter Letzt gibt es noch den wissenschaftlichen Teil. Der ist bei Unding nicht so ausgeprägt, bei anderen Projekten dafür wesentlich stärker. Wir arbeiten in einem internationalen Netzwerk mit Wissenschaftler:innen, Universitäten und Forschungsorganisationen zusammen.
Bildungsarbeit kommt auch immer mal wieder vor, z.B. durch Anfragen von Bildungsinstitutionen für Workshops oder Paneldiskussionen.
Kann man abseits von Geldspenden und als Tippgeber:in bei AlgorithmWatch aktiv werden?
Wir veröffentlichen gerade ein neues Produkt namens Dataskop. Dabei geht es auch um Spenden, allerdings nicht finanzieller Natur, sondern Datenspenden. Den Ansatz der Datenspende haben wir jetzt in mehreren Projekten erfolgreich ausprobiert (z.B. OpenSchufa). Dieses Mal geht es um YouTube-Daten und ganz konkret um die Videoempfehlungen rund um die Bundestagswahl. Auch mit Unding sind Datenspenden geplant.
Wer sich gerne in die Richtung engagieren möchte, kann dafür den AlgorithmWatch-Newsletter abonnieren – und bekommt rechtzeitig Bescheid zu neuen Initiativen. Darüber hinaus freuen uns über alle, die uns längerfristig mit Dauerspenden fördern wollen.
Und natürlich Undinge melden!
Externe Links
1 Website des Unding-Projekts [Laut Datenschutzerklärung des Anbieters der verlinkten Seite werden keine Daten an Drittstaaten übermittelt, d.h. ein Aufruf der Seite ist wahrscheinlich gefahrlos möglich. Dennoch können wir nicht für mögliche künftige Änderungen des Anbieters garantieren. Nur auf den Link klicken, wenn Sie mit möglichen Vearbeitungen einverstanden sind.] / Zurück zum Artikel
Titelbild: Shutterstock / local_doctor
Feedback zum Artikel?
Sie möchten den Artikel kommentieren? Sehr gerne! Aus Datenschutzgründen gibt es jedoch keine Kommentarfunktion. Sie können uns ganz klassisch einen Leser:innen-Brief an redaktion (at) ueberstrom (punkt) net schicken. Nur wenn Sie in Ihrer Mail explizit einer Veröffentlichung Ihrer Mail zustimmen, kann diese als Kommentar unter diesem Artikel veröffentlicht werden. Kürzungen und Nichtveröffentlichung sind uns vorbehalten. Da auch beim Senden von E-Mails Daten übertragen und verarbeitet werden, lesen Sie bitte vor dem Senden einer E-Mail an uns die Datenschutzerklärung, insbesondere den Unterabschnitt "E-Mail-Versand und -Hosting".