Die fehlerhafte Logik im Herzen der Automatisierungsphantasie

Tech löst nicht nach Vertrauen, Verantwortlichkeit oder Arbeit - es verlagert Verantwortung von Systemen weg auf Einzelpersonen.

Im privaten, öffentlichen und gemeinnützigen Sektor wird ein gemeinsames Rezept für wachsende Datenspeicher angewendet: Interoperabilität → Integration → Optimierung → Automatisierung.

Die Automatisierung verspricht die Einleitung einer Ära von „intelligenten Städten“, „effizienten Diensten“ und „unbegrenzter Freizeit“ und ist die Fantasie, die die aktuelle Revolution in Wirtschaft und Bürokratie vorantreibt.

Überwältigt von der enormen Menge an Informationen (persönlich identifizierbar und anderweitig), die durch Ihre Aktivitäten im digitalen Zeitalter generiert wurden? Nicht zu befürchten, das Zeitalter der Automatisierung ist da.

Ein Stapel, um sie alle zu lösen

Automatisierung verspricht (billige) Compliance. Es verehrt am Altar der Effizienz. Es malt Ihre bösen Probleme als debuggbar und Ihre komplexen Systeme als eine Reihe linearer Kausalzusammenhänge, die nur darauf warten, entwirrt zu werden. Es wird nicht zwischen den Arten von Problemen und Prozessen unterschieden, mit denen private und öffentliche Einrichtungen konfrontiert sind. Es werden nicht nur Ihre Daten nach Diamanten durchsucht, sondern auch die Steine ​​geschnitten und poliert. Einfach gesagt, es wird "die Welt verändern".

Unternehmen mobilisieren nicht nur ihre eigenen Daten. Die besten Erkenntnisse ergeben sich aus der Analyse massiver Datenmengen aus verschiedenen Quellen. Aus diesem Grund bündeln öffentliche Stellen Daten dienstübergreifend und Verbraucherunternehmen verschlingen die persönlichen Daten ihrer Kunden. Wie von der New York Times zitiert, gaben amerikanische Unternehmen 2018 fast 20 Milliarden US-Dollar für die Erfassung und Verarbeitung von Verbraucherdaten aus. Die versprochene Logik dieser Ausgaben lautet ungefähr so:

In Schritt 1, Interoperabilität, werden Daten maschinenlesbar und verdaulich gemacht. Die Zeiten der manuellen Digitalisierung von PDFs sind fast vorbei. Ein wachsender Stapel von Tools, einschließlich Scannern, Computer Vision und Verarbeitungsalgorithmen für natürliche Sprachen, kann selbst die unordentlichsten Datensubstrate besser verarbeiten und extrahierte und kompilierte Datenmengen, die für die Analyse reif sind, wieder auffliegen lassen. Mit der Diagrammanalyse können selbst die unterschiedlichsten Datensätze für das Mining überlagert werden.

In Schritt 2, Integration, werden Daten aus separaten Systemen zusammengeführt und über Schnittstellen, Dashboards und Datenbanken zugänglich gemacht. Längsschnittforscher, freut euch! Silos sind überspannt. Grafiken werden analysiert. Bisher nicht sichtbare Beziehungen werden modelliert und visualisiert. Trends werden angekündigt, ihre Stärke und Direktionalität zerlegt und als so viel „Einsicht“ gedient.

In Schritt 3, Optimierung, werden Algorithmen auf den Stapel geschichtet, die versprechen, Dinge wie "empfehlen", "personalisieren" und "vorhersagen" viel besser zu machen, als jeder Mensch es jemals kann oder könnte. Anstelle einer komplizierten Einbeziehung der Stakeholder in ihre chaotischen Debatten über Werte orientieren sich diese Algorithmen an der Logik unserer früheren Entscheidungen und dominanten Erzählungen - am Kapitalismus und am neoliberalen Institutionalismus. Sie streben nach Effizienz. Sie treiben in Richtung Wachstum. Wenn die Vorgängersysteme, die ihre historischen Dateneingaben generiert haben, nachhaltig, gerecht oder fair wären, könnten dies auch die Algorithmen sein. Wenn nicht, beschleunigen Sie den Zusammenbruch.

In Schritt 4, Automatisierung, erhalten neue Algorithmen neue Verantwortlichkeiten. Aufbauend auf einem Stack, der bereits behauptet, die Systemdynamik und -beziehungen besser zu verstehen, bieten sie jetzt die Möglichkeit, Verantwortlichkeitsmechanismen und Entscheidungsstrukturen neu zu organisieren. Sie bestimmen die Kreditwürdigkeit. Sie vergeben Leistungen im Gesundheitswesen. Sie setzen den Zugang zu öffentlichen Diensten voraus - auf zuvor orthogonalen Verhaltensweisen oder auf der Fähigkeit, ihre Identität zu beweisen.

Ach. Zumindest in naher Zukunft sieht das versprochene Land so aus, als würde man versuchen, ein digitales DHS-Konto in Arkansas zu erstellen, und leider ist es nicht schön.

„Die Zukunft ist schon da - nur ungleich verteilt“

Von meinem derzeitigen Platz in der Philanthropie aus sehe ich, dass die Verschiebung überall stattfindet - mit unterschiedlichen Geschwindigkeiten an verschiedenen Orten, was den Grund für die Arbeit verändert, die wir in verschiedenen Sektoren und Regionen leisten wollen - manchmal heimtückisch, immer unaufhaltsam.

In der Vergangenheit habe ich im öffentlichen Sektor (DoD's Cebrowski Institute), im privaten Sektor (syndizierte Forschung zu Technologie-Futures) und in der sektorübergreifenden Beratung (Entwicklung von Innovationsökosystemen für Preisanreizwettbewerbe) gearbeitet. In relativ kurzer Zeit hat sich der Kreis von Enthusiasten für technisches Engagement (im Alter von 24 Jahren habe ich mich in einer Bewerbung als „Wearables Evangelist“ bezeichnet) zu einem vorsichtigen Skeptiker der Fähigkeit der Technologie, positiv in menschliche Systeme einzugreifen, geschlossen.

Letztes Jahr war ich in einem Meeting in der Sand Hill Road und habe mich über die Zentrierung von Ethik und Gerechtigkeit bei der Entwicklung automatisierter Systeme des öffentlichen Sektors geschlagen, als ein Geldgeber und Datenintegrations-Enthusiast sehr ernsthaft fragte: „Warum bringen Sie das immer wieder zur Sprache? - wie, was könnte schief gehen? "

Aus meiner Sicht geht es an dieser Stelle weniger darum, was schief gehen könnte, als vielmehr darum, was bereits vorhanden ist. Im Zentrum der Automatisierungsphantasie steht etwas Faules.

Automatisierung hat viele Namen ("künstliche Intelligenz", "algorithmische Entscheidungsfindung" usw.), verbirgt aber gerne ihre wahre Natur. Hier sind einige der vielen Gesichter, die es trägt.

Müll rein, Müll raus.

Und das meiste davon ist Müll.

Sicher, „Big Data“ hat Korrelationen und Beziehungen aufgedeckt, die Monetarisierung, Wertschöpfung und verbesserte Servicebereitstellung ermöglichen (möglicherweise weniger als Sie denken). Aber das liegt größtenteils an der Datenqualität und -wahrheit, nicht daran.

Um eine von vielen Fehlbezeichnungen zu zitieren: Was wir bauen, ist eigentlich keine künstliche Intelligenz, sondern eine (fehlerhafte) menschliche Intelligenz im Maßstab industrieller gesellschaftlicher Maschinen - ja, der Mann hinter dem Vorhang dreht sich immer noch an den Knöpfen der Zivilisation. Und ja, es ist in der Tat ein weißer Mann, der in Palo Alto Cargo-Shorts mit Socken und Sandalen trägt.

Planung tarnt sich oft als Vorhersage.

Im Maßstab schaffen Algorithmen die Zukunft, die sie prognostizieren.

Wenn Maschinen eine genaue Vorhersage treffen, ist dies ein Triumph des Status Quo, nicht der Voraussicht.

Wie beim Menschen machen sie häufiger sich selbst erfüllende Prophezeiungen. Sie werden mehr davon liefern, diesmal schneller, genauer und mit weniger Input. Für die Empfehlung, was als nächstes auf Netflix zu sehen ist, ist dies wirklich großartig. Ich möchte nicht aufhören, Science-Fiction-Filme mit einer starken weiblichen Hauptrolle zu mögen. (Falls es nicht in Ihre Filterblase eingedrungen ist, schlafen Sie nicht im Instant Camp-Klassiker The Pyramid.)

Aber wenn es um die Erbringung von Dienstleistungen des öffentlichen Sektors und um Systeme geht, die echte Auswirkungen auf Familien und Lebensgrundlagen haben, ist das eine andere Geschichte. Warum sollten wir zukünftige Entscheidungen absichtlich nach früheren Mustern modellieren, von denen wir wissen, dass sie systematisch voreingenommen, unfair, ungerecht, diskriminierend und in vielen Fällen ideologisch unverantwortlich, wenn nicht gefährlich waren? Sicher, Algorithmen können ziemlich gut aus vergangenen Mustern lernen, um zukünftige Entscheidungen zu projizieren. Aber in unzähligen Systemen ist das das Letzte, was wir von ihnen erwarten sollten.

Reibung ist der Motor der Stabilität - und des Fortschritts.

Gesunde Systeme gedeihen am Rande des Chaos.

Die Automatisierung steht unter dem Banner des „Fortschritts“, zeigt sich jedoch als Agent der Stagnation.

Reibung - Kampf - wird als treibende Kraft für die biologische Evolution, den Einsatz von Werkzeugen und die technologische Entwicklung, ein florierendes Immunsystem und vieles mehr angenommen. Und doch steht es im Rezeptbuch der Automatisierung an erster Stelle auf der Liste der Zutatenunterteilungen.

Sie haben es satt, selbst recherchieren zu müssen? Algorithmen durchsuchen riesige Informationsspeicher, sodass Sie dies nicht tun müssen. Sie haben es satt, in der Schlange zu stehen? Algorithmen können Ihre Ankunftszeit optimieren. Sie haben es satt, Antworten als Teil der grundlegenden menschlichen Kommunikation zu verfassen? Algorithmen können eine Antwort vorschlagen, die nur für Sie unheimlich ist.

Aber worum geht es in diesem Ansturm, jede unserer (Trans-) Aktionen zu schmieren? Was könnte verloren gehen, wenn wir nicht länger warten, Langeweile leiden, kämpfen, darüber nachdenken oder es sogar versuchen müssen?

Optimierung und Einfluss sind subtile Formen der Kontrolle.

In Anlehnung an Ad-Tech-Geschäftsmodelle verkauft das Endspiel der Automatisierung in einer kapitalistischen Gesellschaft nicht nur mehr Dinge, sondern gestaltet tatsächlich menschliches Verhalten.

Die Data-Mining-Infrastruktur, die der Automatisierung zugrunde liegt, ist dieselbe, die den Überwachungskapitalismus unterstützt. Sie möchte unsere Agentur stumpfen, uns unser Heiligtum rauben und unsere Unvorhersehbarkeit beseitigen. Wie Shoshana Zuboff es ausdrückt: „Vergiss das Klischee, dass du, wenn es frei ist, das Produkt bist - du bist nicht das Produkt, sondern nur die freie Rohstoffquelle, aus der Produkte zum Verkauf und Kauf hergestellt werden… Du bist nicht das Produkt, du sind die verlassenen Kadaver. "

In „Algorithmus und Blues: Die Tyrannei der kommenden Smart Tech Utopia“ beschreibt Brett Frischman einige der Ideologien im Herzen von „Smart Tech“ und Automatisierung:

„Angeblich werden Smartphones, Netze, Autos, Häuser, Kleidung usw. unser Leben einfacher, besser und glücklicher machen. Diese Behauptungen sind tief in einer utopischen Smart-Tech-Vision verwurzelt, die sich aus früheren techno-utopischen Visionen wie dem Cyber-Utopismus sowie aus ökonomisch-utopischen Visionen wie der Coasean-Idee reibungsloser, perfekt effizienter Märkte und der tayloristischen Vision zusammensetzt von wissenschaftlich verwalteten, perfekt produktiven Arbeitern. In unserer modernen, digital vernetzten Welt gehen diese Visionen weit über ihre ursprünglichen Kontexte von idealisiertem Internet, Märkten und Arbeitsplätzen hinaus. Smart-Tech kann viel mehr von unserem Leben verwalten. “

Beim maschinellen Lernen gibt es keine Magie.

Nur Einsen und Nullen, Grafiken und Korrelationen.

Beim maschinellen Lernen gibt es keine Magie, nur einen kaskadierenden Fluss von abgedankten Entscheidungen (und damit Verantwortlichkeit). Sicher, die Machtungleichgewichte in einer Welt, in der einige Menschen Entscheidungen im Namen anderer Menschen treffen (ganz zu schweigen von Nichtmenschen), sind sehr problematisch, aber sind wir wirklich so sicher, dass verherrlichte mathematische Gleichungen einen besseren Job machen werden?

Im Gespräch mit der New York Times gab der Großvater der Computerprogrammierung, Donald Knuth, kürzlich zu: „Ich mache mir Sorgen, dass Algorithmen in der Welt zu prominent werden. Es begann damit, dass Informatiker befürchteten, niemand würde uns zuhören. Jetzt mache ich mir Sorgen, dass zu viele Leute zuhören. “

Es ist klar, dass sich viele Entscheidungsträger bereits der Fantasie verschrieben haben, dass Maschinen besser geeignet sind, Entscheidungen zu treffen als wir. Code wird für wichtige Systeme und Entscheidungen verantwortlich gemacht, in vielen Fällen ohne auch nur an Prozesse zur Wiedergutmachung oder Entscheidung zu denken. Wer kann sich einen langwierigen Rechtsstreit leisten, um Rückgriff zu suchen, nachdem ein fehlerhafter Algorithmus seine Gesundheitsversorgung verweigert? Ironischerweise brauchen nur diejenigen, deren Einkommen es ihnen unmöglich macht, überhaupt Zugang zu öffentlichen Dienstleistungen zu erhalten.

Wer gewinnt - und wer verliert - in einer automatisierten Welt?

Die Automatisierung verspricht völlig neue Formen der Ungleichheit.

Der Zugang zu Diensten, die der Automatisierung der Leistungserbringung ein explizit menschliches Gesicht verleihen, wird zunehmend mit einer Prämie verkauft. In einer automatisierten Welt sind Privatsphäre und Schutz die Privilegien, für die Sie bezahlen.

„Besser heißt nie besser für alle. Für manche bedeutet es immer schlimmer. “ - Margaret Atwood

Werfen Sie einen Blick auf einige der lautstärksten Befürworter der Automatisierung, um eine Vorschau darauf zu erhalten, wer das lange Spiel gewinnen möchte: + Die Interamerikanische Entwicklungsbank (IDB) fördert den Einsatz von Predictive Analytics im öffentlichen Sektor, Teil eines anhaltenden Fetischs auch als "Daten für die Entwicklung" bekannt. + Für IBM sind Daten das neue Öl. Für Unternehmenssoftwareunternehmen ist Automatisierung das A und O, und der öffentliche Sektor ist ein massiver aufstrebender Markt. + Wie wir von Mark Zuckerberg von Facebook gehört haben, als der Kongress (schwach) zu fast jedem Problem mit der Plattform herausforderte, die jetzt den globalen Informationsverbrauch vermittelt (ursprünglich entwickelt, um die Reibung beim Auschecken von Neulingen zu verringern): Algorithmen werden das Problem beheben. + Große Beratungsunternehmen wie Accenture profitieren von ihrer sogenannten „Technologievision“. Diese Woche steht McKinsey unter Beschuss, weil er autoritäre Regierungen unterstützt und legitimiert hat.

Grundsätzlich gibt es Kompromisse in einer automatisierten Zukunft. Wir erhalten eine Stückliste, die auf dem angenommenen Wert der Effizienz basiert, aber unsichtbare Kompromisse mit dem Eigenkapital eingehen. Uns wird Reibungsfreiheit versprochen, aber am Ende verlieren wir den Zufall. Unsere Systeme optimieren die Ressourcenzuweisung, jedoch nur, indem sie uns ständig überwachen und zunehmend für die Verwaltung unserer Interaktionen mit dem System verantwortlich machen. Wir freuen uns auf eine Zukunft, in der Plackerei maschinell erfolgt, wir uns aber nur schwer vorstellen können, an der Menschenwürde und einem sinnvollen Leben festzuhalten. Wir lassen uns von der Logik der einfachen Messung und Bewertung verführen, vergessen jedoch, dass nicht alles, was zählt, gemessen werden kann.

Die strukturelle Ungleichheit liegt genau im analytischen Blindspot der Automatisierung.

Die übermäßige Abhängigkeit von der Datenanalyse priorisiert funktional die Arten von Korrelationen, die die lineare Algebra gut erkennen kann - nicht jedoch diejenigen, die sich aus der komplexen Systemdynamik ergeben.

Inzwischen sind voreingenommene Algorithmen ein bekanntes Problem. Da sie auf Daten aus der Vergangenheit angewiesen sind, müssen sie schlechte Muster kodifizieren, die auf einer schlechten Datenerfassung, einer ungleichen historischen Verteilung von Diensten (und damit einer Überüberwachung von Bevölkerungsgruppen mit niedrigem Einkommen und Minderheiten) und vorgefertigten Annahmen beruhen. Wir können die Beweise für diese Tendenz in den rassistischen und sexistischen Ergebnissen der sektorübergreifenden Automatisierungsbemühungen sehen.

Bei all dem Fokus auf die Einführung von Fairness, Rechenschaftspflicht und Transparenz beim maschinellen Lernen sehen wir den Wald vor lauter Bäumen immer noch nicht. Insbesondere können Versuche, die Verzerrung in Algorithmen zu korrigieren, strukturelle Ungleichheiten nicht berücksichtigen. Da die Automatisierung auf historischen Daten basiert und aus diesen hervorgeht, kann sie nur die Rillen vorhandener Muster vertiefen und nur die Variablen bewerten, die für die Messung isoliert und dann durch ihre Beziehung zu anderen Metriken aussagekräftig gemacht wurden.

Aber genau das strukturelle Ökosystem, in dem die Automatisierung eingesetzt wird, müssen wir problematisieren und angehen, wenn wir das Versprechen von Analysewerkzeugen nutzen wollen. Das Wasser, in dem wir schwimmen - ein reichhaltiger Eintopf voller Dominanzerzählungen, Ideologien von Wachstum und Konsum, grundlegender falscher Dichotomien, zügelloser Andersartigkeit, allgegenwärtiger Fehlinformationen und ökologischem Fatalismus - ist etwas, dessen Grenzen wir der statistischen Analyse widerstehen können aber kaum transzendieren.

Mit der Automatisierung wird Transzendenz nicht angeboten. Optimierung, ja. Milderung vielleicht. Lösungen, nur im Namen. Stattdessen trägt die Fantasie der Automatisierung das Ethos des Außergewöhnlichen und den arroganten Reiz des „Endes der Geschichte“. Die Fantasie der Automatisierung schlägt vor, Analysen einzusetzen, um die Strukturen des Status Quo zu erfassen. Es ist eine besondere Sichtweise des „Fortschritts“. Die Dinge könnten so viel besser sein, wie es nahelegt, solange die Verteilung von Macht und Ressourcen auf hoher Ebene ziemlich gleich bleibt.

Shannon Mattern befasst sich mit Algorithmen, die eine Revolutionierung des Gesundheitswesens versprechen:

Darüber hinaus verdient der blinde Glaube, dass die allgegenwärtige Datenerfassung zu „Entdeckungen, die allen zugute kommen“, Skepsis verdient. Umfangreiche empirische Studien können die gesundheitlichen Unterschiede verstärken, insbesondere wenn demografische Analysen nicht auf bestimmten Hypothesen oder theoretischen Rahmenbedingungen beruhen. Die Ethikerin Celia Fisher argumentiert, dass Studien wie das Human Project klar definieren müssen, „was Klasse, Rasse und Kultur bedeuten, unter Berücksichtigung, wie diese Definitionen von sozialen und politischen Kräften kontinuierlich geformt und neu definiert werden“ und wie bestimmte Gruppen an den Rand gedrängt wurden. sogar pathologisiert, im medizinischen Diskurs und in der Praxis. Forscher, die auf der Grundlage beobachteter Korrelationen - nicht theoretisiert und nicht historisiert - Schlussfolgerungen ziehen, laufen Gefahr, "Gesundheitsprobleme eher genetischen oder kulturellen Dispositionen in Randgruppen zuzuschreiben als Maßnahmen, die systemische politische und institutionelle gesundheitliche Ungleichheiten aufrechterhalten". - Shannon Mattern, "Datenkörper im Codespace"

Durch die Automatisierung wird die Last der Rechenschaftspflicht von den Systemen auf die Menschen verlagert.

Der Mythos der unbegrenzten Freizeit durch Automatisierung klingt bereits falsch.

In einer automatisierten Welt wurden Prozesse neu gestaltet, um nicht die Benutzererfahrung zu verbessern, sondern um die Gewinnmargen zu erhöhen und / oder die Humankapitalausgaben zu senken.

Aber wie Karen Levys Forschungen zum Thema Trucking zeigen, ersetzt die Automatisierung den Menschen nicht so sehr, wie sie in ihn eindringt. Wie ein gewalttätiger Ex-Partner überwacht, greift, überwacht und manipuliert er, während er einen intimen Zugang zum Körper und einen zunehmenden Zugang zum Geist erfordert.

Ohne Intervention werden diejenigen, die sich bereits am Rande befinden, weiter an den Rand gedrängt. Und wenn die Automatisierung im Dienste des Status Quo eingesetzt wird, wird jeder Person, die mit automatisierten Systemen interagiert, Wert und / oder unsichtbare Arbeit entzogen.

Die Patientin ist jetzt Koordinatorin und Verfechterin ihrer eigenen Pflege. Der Verbraucher wird im laufenden Verbrauchszyklus aktiv konsumiert. Die Bürgerin ist jetzt Schiedsrichterin ihrer eigenen Wahrheit und Kuratorin ihrer eigenen Bedeutung. Über alle Sektoren hinweg zeigt uns die unsichtbare (und unbezahlte) Arbeit, die jetzt notwendig ist, um in den Systemen zu navigieren, in die wir untrennbar verwickelt sind, dass wir - der Einzelne - zunehmend verantwortungsbewusst und zunehmend zur Ware für Konsum, Staatsbürgerschaft und das Streben nach Gesundheit und Wohlbefinden werden.

Keine neutrale Technologie.

In der fraktalen Hierarchie der Automatisierungstechnik sind unsichtbare Werte überall eingebettet.

Es gibt Werte - moralische Werte - in jeder Designentscheidung, jedem Implementierungsprozess, jeder Änderung der Organisationskultur und in jeder Auswirkung auf die Entscheidungsfindung der Endbenutzer.

Die Gestaltung der Automatisierung als „technische Lösung“ oder unvermeidliche Anwendung von Technologie verdeckt die jahrhundertealten philosophischen und moralischen Grundlagen der Algorithmen für maschinelles Lernen, die im Automatisierungsstapel enthalten sind und zu oft auf Autopiloten ausgeführt werden, anstatt harte und umfassende Gespräche zu führen über Werte, die der Quantifizierung und Messung widerstehen.

Wenn es um Automatisierungstechnik geht, sollten wir niemals von Neutralität ausgehen, geschweige denn von positiven Fortschritten. Dies ist besonders wichtig, wenn es um Datenintegration und Automatisierung im öffentlichen Sektor geht. Dieselbe technische Infrastruktur zur Unterstützung der Transparenz der Regierung kann problemlos für die soziale Kontrolle eingesetzt werden. Dieselben Analyseebenen, die versprechen, die Strafjustiz gerechter zu gestalten, können auch verwendet werden, um private Gefängnisse mit marginalisierten Bürgern zu füllen. Dieselben Überwachungsmechanismen, die eine Verbesserung der öffentlichen Sicherheit versprechen, können mobilisiert werden, um den Zugang der Bürger zu Dienstleistungen einzuschränken.

China fördert sein soziales Kreditsystem, das buchstäblich auf dem Satz der Regierung „einmal nicht vertrauenswürdig, immer eingeschränkt“ basiert, um das Vertrauen der Bürger in die Regierung zu verbessern. Chinesische Beamte haben sich im vergangenen Jahr mit Kollegen in mindestens 36 Ländern getroffen, um ihren Ansatz zum „Management neuer Medien oder Informationen“ (sprich: digitale Kontrolle) zu teilen. In Mexiko, wo bereits 2% der Bürger glauben, in einer vollständigen Demokratie zu leben, beschleunigt sich die Transparenz vor der Rechenschaftspflicht und hinterlässt nicht nur die Wahrheit, sondern auch Zynismus und Rückzug. In Brasilien wird ein renommiertes und umfassendes öffentlich integriertes Datensystem zur Automatisierung der Bereitstellung sozialer Dienste mit Beschäftigungsdaten des Privatsektors verbunden, genau wie ein Hardliner sein Amt antritt, der sich für Militärdiktaturen begeistert hat. In Kenia hat sich die Regierung vorgenommen, das Genom und die Ohrläppchengeometrie jedes Bürgers zu katalogisieren. Und in den Vereinigten Staaten werden öffentlich integrierte Datensysteme aufgebaut, die bald die Mehrheit der Bürger berühren werden.

Um es klar auszudrücken, begrüßen viele der engagierten Beamten, die unsere öffentlichen Dienste betreiben, zu Recht die Datenintegration. Selbst der Zugriff auf Echtzeit-Daten-Dashboards aus der eigenen Agentur heraus ist in vielen Distrikten immer noch eine überzeugende Perspektive. Es ist jedoch eine nützliche Unterscheidung zwischen Daten zu treffen, die zur Verbesserung der Ergebnisse durch Forschung verwendet werden, und Daten, die für das Einzelfallmanagement, prädiktive Analysen, Entscheidungsunterstützung und automatisierte Servicebereitstellung verwendet werden. Ich mache mir Sorgen, dass Technologieunternehmen den öffentlichen Sektor mit einer Vision der Automatisierung verkaufen, deren Werkzeuge Werte des Kapitalismus und nicht der Nachhaltigkeit enthalten. Effizienz, nicht Gerechtigkeit; Status quo, nicht Gerechtigkeit. Unabhängig davon, wie viele Best Practices bei Design und Implementierung befolgt werden (wie im integrierten Datensystem in Allegheny County, PA), hat jede Geschichte der Automatisierung mindestens zwei Seiten.

Alle Bilder hier mit freundlicher Genehmigung von Daniel Rehn auf Flickr

An jedem Ort, an dem Sie hinschauen, findet die Fantasie der Automatisierung Kauf und fruchtbaren Boden, um ihre Samen zu pflanzen. Trotz des dröhnenden Hype von Enterprise-Tech-Unternehmen geschieht dies meistens leise, heimtückisch und strategisch.

Betroffene Communities bleiben bis zum ersten Kontakt mit einem fehlerhaften Prozess oder einer wütenden Benutzererfahrung unbewusst. Universitäts-IRBs sind eine Sache, nach der man sich ruhig sehnt und die man in der Eile zum Versand schon lange vergessen hat. Systeme werden im Großhandel aus einem Kontext herausgehoben, weiß beschriftet und in einen anderen geflogen. Unsere Führungskräfte, die das Versprechen der Modernisierung und des Fortschritts verkaufen, verpflichten sich, kommerzielle gesellschaftliche Kontrolle von der Stange zu erlangen.

Ich möchte betonen, dass nichts davon Datenintegration, Graphanalyse oder maschinelles Lernen verurteilt. Dies sind wertvolle Werkzeuge in einem Kit, das auch Sozialwissenschaften und das Engagement von Stakeholdern umfassen muss. Der Kontext, in dem diese Tools bereitgestellt werden, führt jedoch zu einer Pfadabhängigkeit. Die Fantasie, die den Kauf und die Verwendung dieser Werkzeuge antreibt, verdient eine sorgfältige Prüfung. Die Geschäftsmodelle, die sie unterstützen, die eingebetteten Werte, die sie kodieren, der Grad der Personenzentrierung, den sie widerspiegeln, die Art und Weise, wie sie die Verantwortung zwischen den Stakeholdern subtil verlagern, und die strukturellen Ungleichheiten, die sie zu binden drohen, spielen eine wichtige Rolle. Der aktuelle Kontext, in dem Automatisierungstools verkauft und bereitgestellt werden, ist zutiefst fehlerhaft.

Engagement für das Engagement der Community, personenzentrierte Entwurfsmethoden und Implementierungsansätze, strenge und fortlaufende ethische Überprüfung, standardmäßige Einbeziehung von Sozialwissenschaftlern und Künstlern in Entwicklungsprozesse, algorithmische Prüfung und die explizite und umfassende Diskussion darüber, welche Werte in Tools eingebettet werden (insbesondere reif) für einen erneuten Besuch: Die unausgesprochenen sozialen Kompromisse zwischen Bürgern und kommerziellen / rechtlichen Governance-Mechanismen könnten einen großen Beitrag dazu leisten, dass die Automatisierung nicht durch Autoritarismus beeinträchtigt wird, aber nicht, wenn wir am Steuer dieses selbstfahrenden Autos schlafen.

Im Zentrum des Traums ist etwas faul, und wir müssen dringend aufwachen - bevor wir die gebrochenen Versprechen unserer Vergangenheit in das Gewebe unserer Zukunft automatisieren.