Die fehlerhafte Logik im Herzen der Automatisierungsphantasie

Tech löst nicht auf Vertrauen, Rechenschaftspflicht oder Arbeit - es verlagert die Verantwortung von Systemen auf den Einzelnen.

Im privaten, öffentlichen und gemeinnützigen Sektor wird ein gemeinsames Rezept für wachsende Datenbestände angewendet: Interoperabilität → Integration → Optimierung → Automatisierung.

Die Automatisierung verspricht eine Ära der „intelligenten Städte“, „effizienter Dienste“ und „unbegrenzter Freizeit“ einzuleiten und ist die Fantasie, die die derzeitige Revolution in Unternehmen und Bürokratie antreibt.

Überwältigt von der enormen Menge an Informationen (persönlich identifizierbar und anderweitig), die durch Ihre Aktivitäten im digitalen Zeitalter generiert wurden? Nicht zu befürchten, das Zeitalter der Automatisierung ist da.

Ein Stapel, um sie alle zu lösen

Automatisierung verspricht (billige) Compliance. Es verehrt am Altar der Effizienz. Es beschreibt Ihre bösen Probleme als debuggbar und Ihre komplexen Systeme als eine Reihe linearer kausaler Beziehungen, die nur darauf warten, entwirrt zu werden. Es wird nicht zwischen den Arten von Problemen und Prozessen unterschieden, mit denen private und öffentliche Institutionen konfrontiert sind. Es wird nicht nur Ihre Daten für Diamanten abbauen, sondern auch die Steine ​​schneiden und polieren. Einfach ausgedrückt, wird es "die Welt verändern".

Organisationen mobilisieren nicht nur ihre eigenen Daten. Die besten Erkenntnisse stammen aus der Analyse großer Datenmengen aus verschiedenen Quellen. Aus diesem Grund bündeln öffentliche Stellen Daten dienstleistungsübergreifend und verschlingen Verbraucherunternehmen die persönlichen Informationen ihrer Kunden. Nach Angaben der New York Times gaben amerikanische Unternehmen 2018 fast 20 Milliarden US-Dollar für die Erfassung und Verarbeitung von Verbraucherdaten aus. Die versprochene Logik dieser Ausgaben sieht ungefähr so ​​aus:

In Schritt 1, Interoperabilität, werden Daten maschinenlesbar und verdaulich gemacht. Die Zeiten der manuellen Digitalisierung von PDFs sind vorbei. Eine wachsende Anzahl von Tools, darunter Scanner, Computer Vision und Algorithmen für die Verarbeitung natürlicher Sprache, verbessert die Fähigkeit, selbst die unordentlichsten Datensubstrate zusammenzufassen und extrahierte und kompilierte Daten, die für die Analyse reif sind, erneut zu verarbeiten. Mit der Grafikanalyse können auch die unterschiedlichsten Datensätze für das Mining geschichtet werden.

In Schritt 2, Integration, werden Daten aus separaten Systemen zusammengeführt und über Schnittstellen, Dashboards und Datenbanken zugänglich gemacht. Längsschnittforscher, freut euch! Silos werden überspannt. Diagramme werden analysiert. Bisher nicht sichtbare Beziehungen werden modelliert und visualisiert. Trends werden eingeläutet, ihre Stärke und Richtungsabhängigkeit zerlegt und als so viel „Einsicht“ gedient.

In Schritt 3, Optimierung, werden Algorithmen auf den Stapel geschichtet, die versprechen, Dinge wie "empfehlen", "personalisieren" und "vorhersagen" viel besser zu machen, als jeder Mensch es kann oder jemals könnte. Anstelle einer komplizierten Auseinandersetzung der Stakeholder mit ihren chaotischen Debatten über Werte leiten sich diese Algorithmen aus der Logik unserer früheren Entscheidungen und dominanten Erzählungen ab - aus dem Kapitalismus und dem neoliberalen Institutionalismus. Sie streben nach Effizienz. Sie streben nach Wachstum. Wenn die Vorgängersysteme, die ihre historischen Dateneingaben generiert haben, nachhaltig, gerecht oder fair wären, könnten dies auch die Algorithmen sein. Wenn nicht, beschleunigen Sie den Zusammenbruch.

In Schritt 4, Automatisierung, erhalten neue Algorithmen neue Verantwortlichkeiten. Aufbauend auf einem Stack, der bereits behauptet, die Systemdynamik und -beziehungen besser zu verstehen, bieten sie nun die Möglichkeit, Verantwortlichkeitsmechanismen und Entscheidungsstrukturen neu zu organisieren. Sie bestimmen die Kreditwürdigkeit. Sie vergeben Leistungen im Gesundheitswesen. Sie setzen den Zugang zu öffentlichen Diensten voraus - entweder aufgrund früherer orthogonaler Verhaltensweisen oder aufgrund der Fähigkeit, ihre Identität zu beweisen.

Ach. Zumindest in naher Zukunft sieht es so aus, als würde das versprochene Land versuchen, ein digitales DHS-Konto in Arkansas zu eröffnen, und leider ist es nicht schön.

„Die Zukunft ist schon da - nur ungleich verteilt“

Von meinem gegenwärtigen Stand in der Philanthropie aus sehe ich, wie sich die Veränderung überall vollzieht - mit unterschiedlicher Geschwindigkeit an verschiedenen Orten - und den Grundstein für die Arbeit ändert, die wir in verschiedenen Sektoren und Regionen leisten wollen - manchmal heimtückisch, immer unaufhaltsam.

In der Vergangenheit war ich im öffentlichen Sektor (Cebrowski-Institut des DoD), im privaten Sektor (syndizierte Forschung zu Technologiezukünften) und in der branchenübergreifenden Beratung (Entwicklung von Innovationsökosystemen für Preisanreizwettbewerbe) tätig. In relativ kurzer Zeit schließt sich der Kreis von Technikbegeisterten (im Alter von 24 Jahren habe ich mich in einer Bewerbung als "Wearables Evangelist" bezeichnet) zu vorsichtigen Skeptikern der Fähigkeit der Technologie, positiv in menschliche Systeme einzugreifen.

Letztes Jahr war ich in einer Besprechung in der Sand Hill Road, bei der es darum ging, Ethik und Gerechtigkeit bei der Entwicklung automatisierter Systeme des öffentlichen Sektors in den Mittelpunkt zu stellen - wie, was könnte schief gehen? "

Aus meiner Sicht geht es an dieser Stelle weniger darum, was schief gehen könnte, als vielmehr darum, was bereits geschehen ist. Im Zentrum der Automationsphantasie steht etwas Faules.

Automatisierung kennt viele Namen („künstliche Intelligenz“, „algorithmische Entscheidungsfindung“ usw.), mag es jedoch, ihre wahre Natur zu verbergen. Hier sind einige der vielen Gesichter, die es trägt.

Müll rein, Müll raus.

Und das meiste davon ist Müll.

Sicher, „Big Data“ hat Zusammenhänge und Beziehungen aufgedeckt, die Monetarisierung, Wertschöpfung und verbesserte Servicebereitstellung ermöglichen (möglicherweise weniger als Sie denken). Dies ist jedoch größtenteils trotz der Datenqualität und -wahrheit und nicht deswegen der Fall.

Um einen von vielen Irrtümern zu zitieren: Was wir bauen, ist keine künstliche Intelligenz, sondern (fehlerhafte) menschliche Intelligenz im Maßstab industrieller gesellschaftlicher Maschinerie. Und ja, es ist in der Tat ein weißer Mann, der Cargo-Shorts mit Socken und Sandalen in Palo Alto trägt.

Planung tarnt sich oft als Vorhersage.

Auf der Skala erstellen Algorithmen die Zukunft, die sie prognostizieren.

Wenn Maschinen eine genaue Vorhersage treffen, ist dies ein Triumph des Status Quo, nicht der Voraussicht.

Häufig wie beim Menschen machen sie sich selbst erfüllende Prophezeiungen. Sie liefern diesmal mehr, schneller, genauer und mit weniger Eingaben. Das ist wirklich großartig, um zu empfehlen, was man als nächstes auf Netflix sehen soll. Ich möchte nicht aufhören, Science-Fiction-Filme mit einer starken weiblichen Hauptrolle zu mögen. (Falls es nicht in Ihre Filterblase eingedrungen ist, schlafen Sie nicht im Sofort-Camp-Klassiker The Pyramid.)

Bei der Erbringung von Dienstleistungen im öffentlichen Sektor und bei Systemen, die sich tatsächlich auf Familien und Lebensgrundlagen auswirken, sieht die Sache jedoch anders aus. Warum sollten wir die zukünftige Entscheidungsfindung absichtlich anhand vergangener Muster modellieren, von denen wir wissen, dass sie systematisch voreingenommen, unfair, ungerecht, diskriminierend und in vielen Fällen ideologisch unverantwortlich, wenn nicht sogar gefährlich sind? Sicher, Algorithmen sind ziemlich gut darin, aus vergangenen Mustern zu lernen, um zukünftige Entscheidungen zu projizieren. Aber in unzähligen Systemen ist das das Letzte, was wir von ihnen erwarten sollten.

Reibung ist der Motor der Stabilität - und des Fortschritts.

Gesunde Systeme gedeihen am Rande des Chaos.

Die Automatisierung steht unter dem Motto „Fortschritt“, zeigt sich jedoch als Agent der Stagnation.

Es wird vermutet, dass Reibung - Kampf - die treibende Kraft in der biologischen Evolution, dem Einsatz von Werkzeugen und der technologischen Entwicklung, einem blühenden Immunsystem und vielem mehr ist. Und doch steht es im Rezeptbuch der Automatisierung an erster Stelle auf der Liste der Zutatensubstitutionen.

Haben Sie es satt, selbst recherchieren zu müssen? Mit Algorithmen werden riesige Informationsspeicher durchsucht, sodass dies nicht erforderlich ist. Sie haben es satt, in der Schlange zu stehen? Algorithmen können Ihre Ankunftszeit optimieren. Haben Sie es satt, Antworten als Teil der grundlegenden menschlichen Kommunikation zu verfassen? Algorithmen können eine Antwort vorschlagen, die Ihnen unheimlich gefällt.

Aber worum geht es in dieser Eile, um jede (Trans-) Aktion zu schmieren? Was könnte verloren gehen, wenn wir nicht länger warten müssen, keine Langeweile mehr haben, uns nicht mehr anstrengen, darüber nachdenken oder es sogar versuchen müssen?

Optimierung und Einflussnahme sind subtile Steuerungsformen.

Das Endspiel der Automatisierung in einer kapitalistischen Gesellschaft basiert auf Ad-Tech-Geschäftsmodellen und verkauft nicht nur mehr, sondern entwirft auch menschliches Verhalten.

Die Automatisierung der Data-Mining-Infrastruktur, die den Surveillance Capitalism unterstützt, ist die gleiche, und sie möchte unsere Agentur stumpfen, uns unser Heiligtum rauben und unsere Unvorhersehbarkeit beseitigen. Wie Shoshana Zuboff es ausdrückt: „Vergessen Sie das Klischee, dass Sie, wenn es kostenlos ist, das Produkt sind - Sie sind nicht das Produkt, sondern nur die freie Quelle für Rohstoffe, aus denen Produkte zum Verkauf und Kauf hergestellt werden… Sie sind nicht das Produkt, Sie sind die verlassenen Kadaver. "

In „Algorithmus und Blues: Die Tyrannei der kommenden Smart Tech-Utopie“ beschreibt Brett Frischman einige der Ideologien, die das Herzstück von „Smart Tech“ und Automatisierung bilden:

„Angeblich werden Smartphones, Netze, Autos, Häuser, Kleidung usw. unser Leben einfacher, besser und glücklicher machen. Diese Behauptungen wurzeln tief in einer utopischen Smart-Tech-Vision, die sich aus früheren techno-utopischen Visionen wie dem Cyber-Utopismus sowie aus ökonomisch-utopischen Visionen wie der Coasean-Idee reibungsloser, perfekt effizienter Märkte und der Taylor-Vision zusammensetzt von wissenschaftlich verwalteten, perfekt produktiven Arbeitnehmern. In unserer modernen, digital vernetzten Welt gehen diese Visionen weit über den ursprünglichen Kontext von idealisiertem Internet, Märkten und Arbeitsplätzen hinaus. Smart-Tech kann viel mehr von unserem Leben verwalten. “

Es gibt keine Magie beim maschinellen Lernen.

Nur Einsen und Nullen, Graphen und Korrelationen.

Beim maschinellen Lernen gibt es keine Magie, sondern nur einen fließenden Fluss von Entscheidungen (und damit Verantwortlichkeit). Sicher, die Machtungleichgewichte in einer Welt, in der einige Menschen Entscheidungen für andere Menschen treffen (von Nichtmenschen ganz zu schweigen), sind viel problematisch, aber sind wir wirklich so sicher, dass verherrlichte mathematische Gleichungen einen besseren Job machen werden?

In einem Gespräch mit der New York Times gab der Großvater der Computerprogrammierung, Donald Knuth, kürzlich zu: „Ich mache mir Sorgen, dass Algorithmen in der Welt zu weit verbreitet werden. Es begann damit, dass Informatiker befürchteten, niemand würde uns zuhören. Jetzt mache ich mir Sorgen, dass zu viele Leute zuhören. "

Es ist klar, dass viele Entscheidungsträger bereits der Vorstellung zugestimmt haben, dass Maschinen besser geeignet sind, Entscheidungen zu treffen, als wir. Der Kodex wird für wichtige Systeme und Entscheidungen verantwortlich gemacht, in vielen Fällen sogar ohne Rücksicht auf Rechtsbehelfs- oder Entscheidungsverfahren. Wer kann sich einen langwierigen Rechtsstreit leisten, nachdem ein fehlerhafter Algorithmus seine Gesundheitsversorgung verweigert? Ironischerweise benötigen nur diejenigen, deren Einkommen sie ausschließt, überhaupt Zugang zu öffentlichen Dienstleistungen.

Wer gewinnt und wer verliert in einer automatisierten Welt?

Die Automatisierung verspricht völlig neue Formen der Ungleichheit.

Der Zugang zu Diensten, die der Automatisierung der Servicebereitstellung ein ausgesprochen menschliches Gesicht verleihen, wird zunehmend mit einem hohen Preis verkauft. Und in einer automatisierten Welt sind Privatsphäre und Zuflucht Privilegien, für die Sie bezahlen.

„Besser heißt nie besser für alle. Für manche bedeutet es immer schlimmer. “- Margaret Atwood

Wer das lange Spiel gewinnen möchte, kann einen Blick auf einige der lautstärksten Befürworter der Automatisierung werfen:
+ Die Interamerikanische Entwicklungsbank (Inter-American Development Bank, IDB) fördert den Einsatz von Predictive Analytics im öffentlichen Sektor. Dies ist Teil eines andauernden Fetischs, der auch als „Daten für die Entwicklung“ bezeichnet wird.
+ Daten sind für IBM das neue Öl. Für Unternehmen mit Unternehmenssoftware ist Automatisierung das A und O, und der öffentliche Sektor ist ein riesiger aufstrebender Markt.
+ Wie wir von Facebooks Mark Zuckerberg gehört haben, als er vom Kongress (schwach) zu fast jedem Problem mit der Plattform, die jetzt den globalen Informationsverbrauch vermittelt, herausgefordert wurde (ursprünglich entwickelt, um die Reibung beim Auschecken von Neulingen zu verringern): Algorithmen werden dies beheben.
+ Große Beratungsunternehmen wie Accenture profitieren von ihrer „Technologievision“. Diese Woche steht McKinsey unter Beschuss, weil sie autoritäre Regierungen unterstützt und legitimiert.

Grundsätzlich gibt es Kompromisse, die mit einer automatisierten Zukunft einhergehen. Wir verkaufen einen Warenschein, der auf dem angenommenen Wert der Effizienz basiert, machen aber unsichtbare Kompromisse beim Eigenkapital. Uns wird Reibungsfreiheit versprochen, aber wir verlieren am Ende die Serendipität. Unsere Systeme optimieren die Ressourcenzuweisung, indem sie uns ständig überwachen und zunehmend für die Verwaltung unserer Interaktionen mit dem System verantwortlich machen. Wir freuen uns auf eine Zukunft, in der Plackerei von Maschinen getragen wird, aber wir müssen uns nur schwer vorstellen, an der Menschenwürde und an einem sinnvollen Leben festzuhalten. Wir sind von der Logik der einfachen Messung und Auswertung verführt, aber vergessen Sie, dass nicht alles, was zählt, gemessen werden kann.

Die strukturelle Ungleichheit steckt genau im analytischen Blindspot der Automatisierung.

Übermäßiges Vertrauen in die Datenanalyse priorisiert funktional die Korrelationstypen, die die lineare Algebra gut erkennen kann - nicht jedoch jene, die sich aus der komplexen Systemdynamik ergeben.

Inzwischen sind voreingenommene Algorithmen ein bekanntes Problem. Da sie sich auf frühere Daten stützen, unterliegen sie der Kodifizierung von schlechten Mustern, die auf einer schlechten Datenerfassung, einer ungleichen Verteilung der Dienste in der Vergangenheit (und damit einer Überüberwachung von Bevölkerungsgruppen mit niedrigem Einkommen und Minderheiten) und vorgebackenen Annahmen beruhen. Wir können den Beweis für diese Tendenz in den rassistischen und sexistischen Ergebnissen der Automatisierungsbemühungen in verschiedenen Sektoren sehen.

Bei aller Konzentration auf die Einführung von Fairness, Verantwortlichkeit und Transparenz beim maschinellen Lernen sehen wir den Wald vor lauter Bäumen jedoch immer noch nicht. Insbesondere bei Versuchen, Abweichungen in Algorithmen zu korrigieren, werden strukturelle Ungleichungen in der Regel nicht berücksichtigt. Da die Automatisierung auf historischen Daten aufbaut und auf diesen aufbaut, kann sie nur die Rillen bestehender Muster vertiefen und nur die Variablen bewerten, die für die Messung isoliert und dann durch ihre Beziehung zu anderen Metriken aussagekräftig gemacht wurden.

Aber genau das strukturelle Ökosystem, in dem die Automatisierung eingesetzt wird, müssen wir problematisieren und in Angriff nehmen, wenn wir das Versprechen von Analysewerkzeugen einlösen möchten. Das Wasser, in dem wir schwimmen, ist ausgesprochen resistent gegen statistische Analysen - ein reichhaltiger Eintopf voller Geschichten über Dominanz, Ideologien von Wachstum und Konsum, fundamentale falsche Dichotomien, grassierende Andersartigkeit, allgegenwärtige Fehlinformationen und ökologischen Fatalismus aber kaum überschreiten.

Transzendenz wird durch Automatisierung nicht geboten. Optimierung, ja. Milderung vielleicht. Lösungen, nur im Namen. Die Phantasie der Automatisierung birgt stattdessen das Ethos des Außergewöhnlichen und den arroganten Reiz des „Endes der Geschichte“. Die Phantasie der Automatisierung schlägt vor, Analysen einzusetzen, um die Strukturen des Status Quo zu verankern. Dies ist eine besondere Sichtweise des "Fortschritts". Die Dinge könnten so viel besser sein, wie es naheliegt, solange die Verteilung von Macht und Ressourcen auf hoher Ebene so gut wie gleich bleibt.

Shannon Mattern geht auf Algorithmen ein, die eine Revolution im Gesundheitswesen versprechen:

Darüber hinaus verdient der blinde Glaube, dass die allgegenwärtige Datenerfassung zu „Entdeckungen zum Nutzen aller“ führen wird, Skepsis. Umfangreiche empirische Studien können die gesundheitlichen Unterschiede verstärken, insbesondere wenn demografische Analysen nicht auf bestimmten Hypothesen oder theoretischen Rahmenbedingungen beruhen. Die Ethikerin Celia Fisher argumentiert, dass Studien wie das Human Project klar definieren müssen, „was Klasse, Rasse und Kultur bedeuten, unter Berücksichtigung, wie diese Definitionen kontinuierlich von sozialen und politischen Kräften geformt und neu definiert werden“ und wie bestimmte Gruppen an den Rand gedrängt wurden. sogar pathologisiert, im medizinischen Diskurs und in der Praxis. Forscher, die Schlussfolgerungen auf der Grundlage beobachteter Zusammenhänge ziehen - nicht theoretisiert und nicht historisiert -, laufen Gefahr, „Gesundheitsprobleme eher genetischen oder kulturellen Dispositionen in Randgruppen zuzuschreiben als einer Politik, die systemische politische und institutionelle gesundheitliche Ungleichheiten aufrechterhält“ (Shannon) Mattern, "Databodies in Codespace"

Die Automatisierung verlagert die Rechenschaftspflicht von den Systemen auf die Menschen.

Der Mythos der unbegrenzten Freizeit durch Automatisierung klingt bereits falsch.

In einer automatisierten Welt wurden Prozesse neu gestaltet, um nicht das Benutzererlebnis zu verbessern, sondern um die Gewinnmargen zu steigern und / oder die Humankapitalausgaben zu senken.

Aber wie Karen Levys Forschungen zum Thema Trucking zeigen, ersetzt die Automatisierung den Menschen nicht so sehr, wie sie ihn einnimmt. Wie ein gewalttätiger Ex-Partner überwacht, greift, überwacht und manipuliert er, erfordert jedoch einen intimen Zugang zum Körper und fordert einen zunehmenden Zugang zum Geist.

Ohne Intervention werden diejenigen, die sich bereits am Rand befinden, weiter an den Rand gedrängt. Und wenn die Automatisierung im Dienste des Status Quo eingesetzt wird, wird jeder Person, die mit automatisierten Systemen interagiert, Wert und / oder unsichtbare Arbeit abgenommen.

Die Patientin ist jetzt Koordinatorin und Anwältin ihrer eigenen Pflege. Der Verbraucher wird im laufenden Verbrauchszyklus aktiv konsumiert. Die Bürgerin ist nun Schiedsrichterin ihrer eigenen Wahrheit und Kuratorin ihrer eigenen Bedeutung. Branchenübergreifend zeigt uns die unsichtbare (und unbezahlte) Arbeit, die jetzt erforderlich ist, um in den Systemen zu navigieren, in die wir untrennbar verwickelt sind, dass der Einzelne in Bezug auf Konsum, Staatsbürgerschaft und das Streben nach Gesundheit und Wohlbefinden zunehmend verantwortungsbewusster und wichtiger wird.

Keine neutrale Technologie.

In der fraktalen Hierarchie der Automatisierungstechnik sind unsichtbare Werte überall eingebettet.

Es gibt Werte - moralische Werte - in jeder Designauswahl, jedem Implementierungsprozess, jeder Organisationskulturänderung und in jeder Auswirkung auf die Entscheidungsfindung der Endbenutzer.

Die Einordnung der Automatisierung als „technische Lösung“ oder unvermeidliche Anwendung von Technologie verdeckt die jahrhundertealten philosophischen und moralischen Grundlagen der im Automatisierungsstapel implizierten Algorithmen für maschinelles Lernen, die zu oft auf dem Autopiloten ausgeführt werden und keine harten und inklusiven Gespräche führen über Werte, die Quantifizierung und Messung widerstehen.

In der Automatisierungstechnik dürfen wir niemals von Neutralität ausgehen, geschweige denn von positiven Fortschritten. Dies ist besonders wichtig, wenn es um Datenintegration und Automatisierung im öffentlichen Sektor geht. Dieselbe technische Infrastruktur zur Unterstützung der Transparenz der Regierung kann problemlos für die soziale Kontrolle eingesetzt werden. Dieselben Analyseebenen, die ein gerechteres Strafrechtssystem versprechen, können auch verwendet werden, um private Gefängnisse mit marginalisierten Bürgern zu füllen. Dieselben Überwachungsmechanismen, die eine Verbesserung der öffentlichen Sicherheit versprechen, können mobilisiert werden, um den Zugang der Bürger zu Dienstleistungen einzuschränken.

China fördert sein soziales Kreditsystem, das buchstäblich auf der Formulierung der Regierung "einst nicht vertrauenswürdig, immer eingeschränkt" basiert, um das Vertrauen der Bürger in die Regierung zu stärken. Chinesische Beamte haben sich letztes Jahr mit Kollegen in mindestens 36 Ländern getroffen, um ihre Herangehensweise an das „Management neuer Medien oder Informationen“ (sprich: digitale Kontrolle) zu teilen. In Mexiko, wo nur 2% der Bürger glauben, in einer vollständigen Demokratie zu leben, geht Transparenz der Rechenschaftspflicht voraus und hinterlässt nicht nur die Wahrheit, sondern auch Zynismus und Rückzug. In Brasilien wird ein bekanntes und umfangreiches öffentliches integriertes Datensystem zur Automatisierung der Bereitstellung sozialer Dienste mit den Beschäftigungsdaten des Privatsektors verknüpft, so wie ein Hardliner sein Amt antritt, der in Bezug auf Militärdiktatur eine romantische Rolle spielt. In Kenia hat sich die Regierung vorgenommen, das Genom und die Ohrläppchengeometrie aller Bürger zu katalogisieren. Und in den Vereinigten Staaten werden öffentliche integrierte Datensysteme aufgebaut, die bald die Mehrheit der Bürger berühren werden.

Natürlich begrüßen viele der engagierten Beamten, die unsere öffentlichen Dienste betreiben, zu Recht die Datenintegration. Sogar der Zugriff auf Echtzeit-Daten-Dashboards von der eigenen Behörde aus ist in vielen Distrikten immer noch eine überzeugende Aussicht. Es ist jedoch eine sinnvolle Unterscheidung zwischen Daten, die zur Verbesserung der Ergebnisse durch Forschung verwendet werden, und Daten, die für das Einzelfallmanagement, die prädiktive Analyse, die Entscheidungsunterstützung und die automatisierte Bereitstellung von Diensten verwendet werden. Ich mache mir Sorgen, dass Technologieunternehmen den öffentlichen Sektor mit einer Vision der Automatisierung verkaufen, deren Werkzeuge Werte des Kapitalismus und nicht der Nachhaltigkeit verankern. Effizienz, nicht Gerechtigkeit; Status quo, keine Gerechtigkeit. Unabhängig davon, wie viele Best Practices bei der Konzeption und Implementierung befolgt werden (wie im integrierten Datensystem in Allegheny County, PA), hat jede Automatisierungsgeschichte mindestens zwei Seiten.

Alle Bilder mit freundlicher Genehmigung von Daniel Rehn auf Flickr

An jedem Ort, den Sie sehen, findet die Fantasie der Automatisierung Kauf und fruchtbaren Boden, um seine Samen zu pflanzen. Trotz des dröhnenden Hype, der von Unternehmen aus der Technologiebranche ausgeht, geschieht dies meistens leise, heimtückisch und strategisch.

Betroffene Communitys sind bis zum ersten Kontakt mit einem fehlerhaften Prozess oder der Beeinträchtigung der Benutzererfahrung ahnungslos. Hochschul-IRBs sind eine Sache, nach der man sich still und leise sehnt und die man in der Eile des Schiffs doch längst vergessen hat. Die Systeme werden von einem Kontext zum nächsten gehoben, mit einem weißen Etikett versehen und per Luftpost in einen anderen verschoben. Mit dem Versprechen der Modernisierung und des Fortschritts verpflichten sich unsere Staats- und Regierungschefs, eine kommerzielle gesellschaftliche Kontrolle von der Stange zu erlangen.

Ich möchte betonen, dass nichts davon die Datenintegration, die Graphanalyse oder das maschinelle Lernen verurteilt. Dies sind wertvolle Werkzeuge in einem Kit, die auch die Sozialwissenschaften und das Engagement der Stakeholder umfassen müssen. Der Kontext, in dem diese Tools bereitgestellt werden, führt jedoch zu einer Pfadabhängigkeit. Die Fantasie, die den Kauf und die Verwendung dieser Tools antreibt, verdient eine sorgfältige Prüfung. Die Geschäftsmodelle, die sie unterstützen, die von ihnen kodierten eingebetteten Werte, das Maß an Personenzentrierung, das sie widerspiegeln, die Art und Weise, wie sie die Verantwortung zwischen den Stakeholdern auf subtile Weise verlagern, und die strukturellen Ungleichheiten, in die sie sich tiefgreifend einzugliedern drohen. Und der aktuelle Kontext, in dem Automatisierungstools verkauft und eingesetzt werden, ist zutiefst fehlerhaft.

Engagement für die Gesellschaft, personenzentrierte Entwurfsmethoden und Implementierungsansätze, strenge und kontinuierliche ethische Überprüfung, standardmäßige Einbeziehung von Sozialwissenschaftlern und Künstlern in Entwicklungsprozesse, algorithmische Prüfung und die explizite und umfassende Diskussion darüber, welche Werte in Tools eingebettet werden (besonders reif) Zur Wiederholung: Die unausgesprochenen sozialen Kompromisse zwischen Bürgern und kommerziellen / rechtlichen Governance-Mechanismen könnten einen großen Beitrag dazu leisten, dass die Automatisierung nicht durch Autoritarismus beeinflusst wird, aber nicht, wenn wir am Steuer dieses selbstfahrenden Autos schlafen.

Im Zentrum des Traumes ist etwas verrottet, und wir müssen dringend aufwachen - bevor wir die gebrochenen Versprechen unserer Vergangenheit in das Gewebe unserer Zukunft automatisieren.