Gesellschaftliche Folgen des Einsatzes von KI

KI und gesellschaftliche Machtverhältnisse

Die Transformation von Macht und Herrschaft durch KI

Die Geschichte der Menschheit lässt sich umstandslos als eine Geschichte fortlaufender technischer Revolutionen schreiben, mit denen jeweils neue Machtverhältnisse und weitreichende Veränderungen der Herrschaftsstrukturen verbunden waren. Maschinen und Technik sind dabei im Laufe der Jahrhunderte zu einem integralen Bestandteil der Gesellschaft geworden und prägen heutzutage mehr denn je Kultur, Zivilisation und unsere allgemeine Lebensweise, sie ist quasi mit unseren normativen Orientierungen und gesellschaftlichen Leitbildern verschmolzen. Und obwohl technische bzw. technologische Innovationen weitreichenden sozialen Wandel auslösen, so hat doch das konkrete Beziehungsgeflecht zwischen Technik und Macht bzw. der Zusammenhang von Technik und Herrschaft selten im Fokus gestanden.

Angesichts der jüngsten Revolutionierungen der Technik, insbesondere der umfassenden Digitalisierung und der zunehmenden Durchsetzung künstlicher Intelligenz, ist deutlich geworden, dass Technik weit mehr ist als ein Medium oder ein bloßes Artefakt, welches allen Menschen in gleichem Maße zugutekommt. So können die ungleichheitsgenerierenden Aspekte neuer Technologien ebenso wenig übersehen werden wie das Faktum, dass unterschiedliche Techniken immer auch zentrale Ressourcen für die Ausübung von Macht sind, dass sich technische Dominanz sachlogisch in die Sozialstrukturen eingeschrieben hat und sie quasi gleichbedeutend mit Einfluss und Macht geworden ist. Allerdings oszilliert die Debatte um KI nicht selten zwischen naiver Technikeuphorie einerseits und fatalistischen bzw. dystopischen Auslöschungsphantasien andererseits. Die mit der Entwicklung von KI verbundenen Machtfragen bleiben dabei bislang seltsam unterbelichtet oder untertheoretisiert.

In der Expertise zur „Transformation von Macht und Herrschaft durch KI“ soll daher zum einen danach gefragt werden, wie Technik, hier insbesondere künstliche Intelligenz, überhaupt in gesellschaftliche Machtverhältnisse eingebettet ist, zum anderen aber auch der Frage nachgegangen werden, wie KI Machtstrukturen und Herrschaftsverhältnisse in der Gesellschaft allgemein wie auch in speziellen Untersuchungsbereichen verändert und transformiert. Konkret soll es dabei um die Struktur und den durch Künstliche Intelligenz induzierten Wandel des Verhältnisses von Mensch und Technik sowie die dazugehörigen Prozesse der Verschiebung von Macht und Herrschaft gehen.

Das Projekt untersucht in den drei Bereichen Wirtschaft, Politik und Gesellschaft mit je zwei ausgewählten Untersuchungsfeldern die mit Künstlicher Intelligenz in Zusammenhang stehenden zentralen Fragen nach gesellschaftlichen Machtverhältnissen und Herrschaftsstrukturen, nach der Macht einzelner Akteure und ihren unterschiedlichen Herrschaftsansprüchen, nach je spezifischen Machtressourcen und Machtformen sowie nicht zuletzt nach der Rolle von KI bei der Ausweitung, Stabilisierung oder Transformation von Macht und Herrschaft. Dabei werden die machtbezogenen Chancen und Risiken von KI hinsichtlich ihrer Gestaltungsmöglichkeiten wie auch ihrer Gefahrenpotenziale betrachtet, um zu einem adäquaten Verständnis der neuartigen, weitreichenden und in ihren Dimensionen bisher nur ansatzweise zu überblickenden, v.a. technisch induzierten Veränderungen der sozialen Ordnung zu gelangen.

Dazu ist es zum einen notwendig, ein erweitertes Machtverständnis zugrunde zu legen, welches neben der direkten Macht zwischen Menschen auch die durch Technik vermittelte Macht von Menschen über Menschen und vor allem die in der neuen Technik KI inkorporierten und sich materialisierenden Machtformen berücksichtigt. Darüber hinaus wollen wir zumindest tentativ die Umrisse einer Theorie technischer Herrschaft mit Bezug zu KI zu skizzieren und eine Machtheuristik und Herrschaftstypologie vorlegen, mit denen die Herausforderungen durch KI nicht nur besser verstanden, sondern auch zur Bewertung der Potenziale und Gefahren für die Demokratie und den gesellschaftlichen Zusammenhalt genutzt werden können.

Zum anderen ist es angesichts der Vielgestaltigkeit von KI sowie der Vielfältigkeit ihrer Anwendungsbereiche empirisch mehr als geboten, diese genauer zu untersuchen und konkret danach zu fragen, was KI in den jeweiligen Untersuchungsfeldern bedeutet und in welche Machtfigurationen sie eingebunden ist, welche neuen Machtpotenziale sich aus der Anwendung von KI ergeben, inwieweit KI die Grundlagen von gesellschaftlichen Herrschaftsverhältnissen verändert und den gesellschaftlichen Zusammenhalt tangiert. Hier geht es also um die Veränderung von gesellschaftlichen Machtverhältnissen und Herrschaftsstrukturen durch KI, um die veränderte Macht einzelner Akteure auf dem Feld neuer Technologien sowie die veränderten Grundlagen spezifischer Machtressourcen und damit verbundener Herrschaftsansprüche.

Um dies zu erreichen, führen wir zunächst eine literaturbasierte Untersuchung zur Bedeutung von KI für die Transformation gesellschaftlicher Macht- und Herrschaftsverhältnisse durch. In Ergänzung dazu werden wir ca. 15 qualitative Interviews mit Experten der KI aus unterschiedlichen Bereichen führen und mit qualitativen Auswertungsverfahren analysieren. Darüber hinaus werden wir mittels einer kritischen Diskursanalyse machtvolle Durchsetzungs- und kommunikative Vermeidungsstrategien in Bezug auf KI identifizieren.

Gesellschaftliche Risiken und Gefahren von KI

Seit den 1950er Jahren wird die Diskussion über KI im Format „Chancen und Risiken“ geführt. Kaum hatten Simon & Newell der KI 1957 eine glorreiche Zukunft prophezeit, traten Kritiker wie Weizenbaum oder Dreyfus auf den Plan. KI könne ihre Versprechen nicht halten (Dreyfus), dennoch gäbe ihre unkritische Akzeptanz Anlass zur Sorge (Weizenbaum). Dreyfus spricht rückblickend von GOFAI (Good Old-Fashioned AI) und nennt KI in den 1970ern ein „degenerating research program“. Als Big Data zum neuen Schlagwort der KI geworden war, nutzten Kritiker Akronyme wie GIGA (garbage in – garbage out), um plakativ die Grenzen der KI zu benennen. Diese Konjunkturen der KI werden befeuert von jeweils neuen technischen Lösungen: Anfangs die Architektur des Computers und dessen Geschwindigkeit bei der Durchführung von Berechnungen, heute das Potential neuronaler Netze zur Mustererkennung, die datengetriebene Lernprozesse ohne vorgängige Annahmen und Hypothesen ermöglichen sollen.

Aktueller Stand der Diskussion

Populäre Darstellungen der Risiken und Gefahren von KI in der aktuellen Diskussion heben die Diskriminierungseffekte durch KI hervor (Eubanks 2015), warnen vor der Intransparenz algorithmischer Entscheidungsprozesse (Pasquale 2015), die eine kritische Auseinandersetzung mit KI-basieren Systemen erschwere, diagnostizieren ein neues Regime der Ausbeutung (Crawford et al 2018) und verweisen auf die ontologischen Konsequenzen der sozio-technologischen Hybridexistenz (Brown 2006) die Menschen in maschinenlesbare Wesen transformieren. Erst eine Analyse der technischen Möglichkeiten und Grenzen moderner KI – wie in dieser Expertise vorgeschlagen – ermöglicht ein fundiertes Verständnis der gesellschaftlichen Folgen ihrer praktischen Anwendung.

Technologieimmanente Risiken entstehen schon bei der Auswahl der Daten für KI-basierte Lernprozesse, die nicht auf Validität, sondern auf maschinelle Nutzbarkeit abzielt und damit rein ökonomischen Überlegungen unterliegen (Ariztia 2018). Dies steht im starken Kontrast zur Fehlerlosigkeit und mechanischer Neutralität mit derer KI beworben wird (Gillespie 2014). Fließen KI-aufbereitete Informationen in menschliche Entscheidungen ein, verstärken sich die darin gespeicherten Ungleichheiten. Gesellschaftliche Risiken können von der technischen Qualität der verwendeten KI entkoppelt sein, sie entstehen durch den profitgenerierenden Einsatz von KI-Lösungen und die Akzeptanz der Ergebnisse, die diese Lösungen produzieren (von Laufenberg 2020). KI kann dabei existierende Machtasymmetrien modulieren und Ungleichheiten verstärken. Sie kann auf individueller wie auf kollektiver Ebene zu Diskriminierungen und problematischen Verletzungen der Privatsphäre führen (Kosinski et al 2013).

Neue Aspekte der Forschung und weiterer Forschungsbedarf

Die unterschiedlichen Ansätze der Informatik und Sozialwissenschaft erschwert eine interdisziplinäre Analyse von Risiken und Gefahren der KI. Bis auf wenige Ausnahmen (Hajian et al 2016) beschränkt sich der fachinterne Diskurs der Informatik auf technische Fragen (Peña Gangadharan et al 2019). Programmatische Ansätze zu „Explainable AI“ innerhalb der Informatik (Rosenfeld et al, 2019) haben sich bisher noch nicht als anschlussfähig an sozialwissenschaftliche Problematisierungsformen erwiesen. Mehr transdisziplinär angelegte Forschungen sind erforderlich um eine kritische Masse und ein gemeinsames Verständnis zu erreichen. Diese Expertise geht deshalb den Weg, ein besseres (technisches und gesellschaftliches) Verständnis der Einsatzgebiete von KI zu identifizieren, ebenso wie die Entwicklung und rechtsverbindliche Implementation von Standards zur Qualitätssicherung algorithmischer Entscheidungsverfahren. Dazu ist sowohl eine höhere Transparenz der kommerziellen KI-Lösungen erforderlich als auch eine verbesserte Methodologie der Analyse von unterschiedlichen Fehlerquellen (Bush, 2014). Zudem sollte die „KI-Literacy“, das Verständnis von Risiken und Problemen im Umgang mit KI-Lösungen, als Grundlage für einen verantwortungsvollen Umgang verbessert werden.

Weiters ist KI meilenweit von der Leistungsfähigkeit menschlicher Informationsverarbeitungs­prozesse entfernt. Forschungen, die jenseits der individualpsychologischen Sichtweise auf soziale Prozesse der kognitiven Arbeitsteilung abstellen sind daher ebenfalls erforderlich (Hutchins 1995). KI-Lösungen operieren in reduzierten „small worlds“ auf der Basis von atomisierten Daten, über deren Qualität und Struktur wenig bekannt ist. Praktisches Wissen, das in komplexe sozio-kulturelle Handlungskontexte eingebunden ist, kann KI nicht nutzen, weshalb diese Expertise letztlich auch an der Schnittstelle von Soziologie, Kognitionswissenschaft und Informatik ansetzt (Marcus & Davis 2019).

Methodik und Ziel der Expertise

Dieser Expertise zugrunde liegt die Ausarbeitung einer umfassende Literaturrecherche über die sozio-technischen Risiken und Gefahren von KI, mit besonderem Fokus auf die vorhandenen Forschungslücken. Weiters werden anhand empirischer Fallstudien in den Bereichen Pflege, Sicherheit und Überwachung, sowie Wirtschaft, technische und gesellschaftliche Risiken detailliert analysiert. Als Ziel der Expertise werden die möglichen Schritte zur Risikominimierung in KI-Systemen ausgearbeitet. Diese werden jeweils zielgerichtet an die Adressat*innen angepasst, in der Form von Strategiepapieren für politische Entscheidungsträger*innen, eines Forschungsberichts und wissenschaftliche Beiträge für ein akademisches Publikum, sowie durch Blog Beiträge für eine breitere interessierte Öffentlichkeit.

Folgen von KI für soziale Ungleichheit, Vielfalt und Inklusion mit Fokus auf Alter, Geschlecht, Behinderung und Herkunft

In dieser Expertise werden technologische Logiken (KI) als ein Querschnittsthema erforscht. Ziel der Expertise ist es, im Sinne einer kritischen Gegenwartsdiagnostik, KI-Entwicklungen zu befragen. Im Rahmen dessen erfasst die Expertise relevante Aussagen zu Geschlecht/Behinderung/Alter und KI. Denn: Technologien sind in Macht- und Herrschaftsverhältnisse eingelassen, entstehen in komplexen Aushandlungsprozessen, verändern oftmals den Alltag von Individuum und Gesellschaft, intervenieren in die Praxen von Geschlecht, Behinderung/Krankheit und Körper etc.. Zentrale Fragen sind: Wie wird das Soziale (neu) erfahren, ausgehandelt, gelebt und praktiziert? Entstehen neue soziale Praxen? Wie sind diese zu deuten? Wie wird Vielfalt de/konstruiert? Entstehen neuartige Kulturen der Inklusion/Exklusion. Verändert sich soziale Ungleichheit?

Drei Hypothesen sollen in dieser Expertise vertiefend verfolgt werden: Erstens, gehe ich von der Hypothese aus, dass bislang eher wenig zu den Auswirkungen von KI auf Menschen mit Behinderung/Alter geforscht wurde. Zudem scheint in der praktischen Anwendung (Bsp. KI.Assist) eher eine ableistische Sichtweise zu dominieren. Unter Ableism wird eine klammheimliche Ausrichtung an Normen der Nichtbehinderung verstanden. Zweitens, beziehe ich mich, in dieser Expertise, auf die Dis/Ability Studies. In dieser neu entstandenen Fachdisziplin stellt die Auseinandersetzung mit dem Verhältnis von KI und Behinderung eine Forschungslücke dar, so die weitere Hypothese. Innerhalb der Disability Studies sind beispielsweise Auseinandersetzungen zu Problemen assistiver Technologien und deren Auswirkung auf Behinderung marginal. Einzig im Bereich von Alter ist teilweise eine Bereitschaft anzutreffen, sich mit dem Thema zu beschäftigen. Gleichwohl birgt dies die Gefahr Alter und Behinderung synonym zu verstehen. Drittens gehe ich davon aus, dass die Entwicklung von KI-Technologien in gesellschaftliche Geschlechterverhältnisse eingreift und auch Fragen der Intersektionalität berührt. Die Gender Studies pointiere hierbei insbesondere die Verwobenheit zwischen Körper und Technik. Diskutiert werden neuen Konfigurationen von Materialität und Verkörperung. In jüngster Zeit wird zunehmend erörtert, wie KI-Technologien (alte) Geschlechterverhältnisse reproduzieren und neue Ungleichheiten hervorrufen. Im Vordergrund stehen einzelne Anwendungsfelder. Vernachlässigt werden intersektionale Perspektiven mit Blick auf die Entwicklung von KI, sowie die Frage nach der Sprecher*innen-Position.

Zugleich ist von Ungleichheitsdynamiken auszugehen, die die genannten Gruppierungen entlang der Achse soziale Zugehörigkeit durchdringen. Ebenfalls quer dazu läuft eine Debatte zum „Internet der Dinge“, die von „visionären“ Vorstellungen eines Smart Home bis zu bereits existierenden Wearables reicht.

Jenseits der Problematisierung von Teilhabe und Inklusion, sind Nutzen (mehr Barrierefreiheit; Alltags-/Arbeitserleichterung) und Risiken (Human Enhancement, technologische Bewältigung gesundheitlicher Risiken, oder Care-Arbeit) in diesen KI gesteuerten Entwicklungen zu problematisieren. Zielen demnach KI-Technologien auf Teilhabe am Gegebenen, oder auf Emanzipation, wäre zu prüfen? Ferner ist nach Egalisierungseffekten zu fragen. Insofern ist es in diesem Bereich relevant, Konzepte von Partizipationsmöglichkeiten durch die Nutzer*innen zu erkunden, sowie auf Aspekte der Verteilungsgerechtigkeit einzugehen.

Ausgehend von dieser Gegenwartsdiagnose soll mittels qualitativer Methoden der empirischen Sozialforschung (Mixed Methods: Diskursanalyse, Experten-Interviews, teilweise teilnehmende Beobachtung) das Thema erschlossen werden. Der Forschungsstand wird diskursanalytisch dargelegt. In ausgewählten Bereichen der KI-Technologie kommt es zu Experteninterviews und teilnehmender Beobachtung. Diese Vorgehensweise soll es ermöglichen Potentiale und Nebenwirkungen von KI für die genannten Personengruppen zu erschließen. Gleichzeitig sollen, mittels dieser Methodik, Aussagen zu soziokulturellen Folgen der KI-Technologie ermöglicht werden. Es ist beabsichtigt die Thematik einerseits in der Breite allgemein entlang von technologischem Entwicklungsstand und wissenschaftlicher Debatte zu erschließen. Andererseits soll anhand ausgewählter Technologien, mit Blick auf die jeweilige Personengruppe, vertiefend auf die KI-Logiken eingegangen und diese exemplarisch analysiert werden.

Im Ergebnis ist eine realistische Einschätzung von KI und deren gesellschaftlichen Folgen geplant (intendiert/nicht-intendiert). Im Mittelpunkt stehen ausgewählte Gruppierungen (Geschlecht/Alter/Behinderung) als Untersuchungsgegenstand.