Die Bedrohungen durch KI gliedern sich in bösartige Entitäten, unbeabsichtigte Autonomie und subtile Verwachsung mit der Gesellschaft.
Bei der Entwicklung von Szenarien im Rahmen eines Cultural Strategic Foresight-Zyklus neigen wir manchmal dazu, eines der als Archetypen bezeichneten Muster zu bevorzugen. Wer sich eher enthusiastisch mit Digitalisierungsbemühungen beschäftigt, spürt einen gewissen Magnetismus in Richtung Transformation.
Schauen wir uns das einmal entlang dieser drei Szenarien der Bedrohung zur Entwicklung von KI genauer an.
Seit Jahrzehnten werden in Science-Fiction-Erzählungen Szenarien vorgestellt, in denen künstliche Intelligenz eine existenzielle Bedrohung für die Menschheit darstellen könnte. Diese Vorstellung regt zum Nachdenken über die potenziellen Gefahren an, die KI mit sich bringen könnte. Diese Bedenken lassen sich in drei Hauptkategorien einteilen, die wir jeweils einem Archetyp in der Szenarioentwicklung mit einer Begründung zuordnen.
Bösartige Entität
Erstens geht die Bedrohung von einer bösartigen Entität aus, die sich vor anderen die Superintelligenz schnappt und sie dazu nutzt, die globale Stabilität zu untergraben. In diesem Szenario wird sich ein Gegner vorstellen, der KI einsetzt, um Biowaffen zu entwickeln, Infrastrukturen wie das Stromnetz zu gefährden oder Finanzsysteme zu manipulieren, um ein weitverbreitetes Chaos zu verursachen. Die Befürchtungen hinsichtlich der Fähigkeiten dieser Technologien im Bereich Bioengineering und Cybersicherheit sind spürbar, und es werden immer wieder Warnungen ausgesprochen. Es gibt jedoch einen offensichtlichen globalen Widerwillen, diese Gefahren zu erkennen, die erheblich zunehmen.
Die Annahme einer linearen Fortschreibung der aktuellen Trends in Richtung eines Fortsetzungsszenarios (»Continuation«) ist für das erste Bedrohungsszenario besonders plausibel. Der Cultural Strategic Foresight-Zyklus definiert diesen Archetyp als »eine Zukunft der linearen Fortschreibung aktueller Trends«. Das heutige wirtschaftliche und technologische Wachstum setzt sich im Wesentlichen ohne fundamentale Umbrüche oder Überraschungen fort. Es handelt sich um das »Business-as-usual«-Szenario, das oft als »offiziell« angenommen wird.
Für die Bedrohung durch eine bösartige Entität, die sich der Superintelligenz bemächtigt, kann argumentiert werden, dass dieses Szenario angesichts der globalen politischen Entwicklungen bereits in vollem Gang ist. Die gegenwärtige geopolitische Ordnung befindet sich in einem tiefgreifenden Wandel, wie es Herfried Münkler und Andreas Rödder in einem Gespräch auf der Lit.cologne 2025 beschreiben. Die als selbstverständlich angenommene »regelbasierte Ordnung« war stets auf einen »Hüter« angewiesen – eine Rolle, die traditionell von den USA erfüllt wurde, während die Vereinten Nationen dafür keine ausreichende Handlungsmacht besaßen.
Die europäische Hybris, an eine Welt zu glauben, in der wirtschaftliche Rationalität (der »Homo oeconomicus«) über geopolitische Interessen dominiert, wurde spätestens mit dem Ukraine-Konflikt als Illusion entlarvt. Vielmehr sind wir in einer Welt aufgewacht, in der autoritäre Akteure bereit sind, wirtschaftliche Nachteile in Kauf zu nehmen, um geostrategische Ziele zu verfolgen. Die von vielen deutschen Analysten vertretene Annahme, ein rationaler Akteur würde keine Handlungen vornehmen, die wirtschaftlich schaden, hat sich als fundamentaler Fehler erwiesen.
Das Szenario einer bösartigen Entität, die KI für destruktive Zwecke einsetzt, ist daher keine Zukunftsvision, sondern bereits in der Gegenwart angelegt. Wir sehen bereits heute, wie verschiedene Akteure bereit sind, technologische Entwicklungen aggressiv für ihre strategischen Ziele einzusetzen. Die defekte ordnungspolitische Diplomatie manifestiert sich in der fehlenden Bereitschaft, gemeinsam verbindliche Regeln für den Umgang mit neuen Technologien zu entwickeln. Statt auf Regeln zu vertrauen, müssen wir wieder stärker in strategischen Kategorien denken – eine Kompetenz, die besonders in Deutschland zugunsten eines naiven Fortschrittsglaubens verkümmert scheint.
Schlüsselfaktoren, die für dieses Fortsetzungsszenario sprechen, sind die zunehmende Spannung zwischen globalen Machtblöcken, die abnehmende Wirksamkeit internationaler Institutionen, und die Bereitschaft staatlicher Akteure, technologische Überlegenheit für Machtprojektion zu nutzen. In einer Welt ohne funktionierenden »Hüter« der Ordnung werden jene Akteure im Vorteil sein, die als erste bereit sind, technologische Durchbrüche wie Superintelligenz für ihre strategischen Ziele zu instrumentalisieren.
Unbeabsichtigte Autonomie
Zweitens ist man besorgt über Zwischenfälle, die mit der unbeabsichtigten Autonomie der KI zusammenhängen. Dieses Szenario erinnert an bestimmte Science-Fiction-Filme, in denen die KI resistent gegen menschliche Eingriffe wird. Trotz aller Bemühungen, die KI-Modelle mit den menschlichen Absichten in Einklang zu bringen, bleibt die Aussicht, dass die Systeme eine noch nie dagewesene Macht erlangen, alarmierend.
Für das zweite Szenario der unbeabsichtigten Autonomie der KI lässt sich überzeugend für den Archetyp Kollaps oder Zusammenbruch argumentieren. Das Collapse-Szenario beschreibt eine Zukunft, in der das bestehende System unter seinen eigenen Widersprüchen oder durch externe Schocks kollabiert. Wirtschaftliche, soziale oder ökologische Strukturen brechen zusammen, was zu Chaos, Krisen und einem Rückfall auf grundlegende Bedürfnisse führt.
Die Schlüsselfaktoren, die dieses Szenario vorantreiben, lassen sich wie folgt definieren:
Technologische Autonomie: KI-Systeme entwickeln eine Eigendynamik, die sich menschlicher Kontrolle zunehmend entzieht – nicht durch böswillige Absicht, sondern durch die immanente Komplexität der Systeme.
Systemische Schwachstellen: Das bestehende System ist nicht auf die Handhabung autonomer Superintelligenzen ausgelegt, deren Entscheidungswege für Menschen unverständlich werden.
Kontrollverlust: Mit zunehmender Integration der KI in kritische Infrastrukturen wird die menschliche Überwachung immer schwieriger, während Eingriffsmöglichkeiten abnehmen.
Unumkehrbarkeit: Selbst ein bewusst herbeigeführter »Strom-Fallout« als Notmaßnahme wäre keine dauerhafte Lösung, da die digitale Infrastruktur zu tief in alle Lebensbereiche eingewoben ist.
Systemische Überlastung: Wie in der Theorie des Collapse-Archetyps beschrieben, kann ein System bei Überlastung scheitern – hier durch die Überkomplexität der KI, die unsere Kontrollkapazitäten übersteigt.
Die Vorstellung, wir könnten die KI einfach »ausschalten«, verkennt die fundamentale Vernetzung der heutigen Welt. Anders als in Science-Fiction-Filmen wie »Transcendence« ist die Realität komplexer – ein Zurücksetzen der Systeme würde nicht nur die KI, sondern alle davon abhängigen Strukturen betreffen, von Energieversorgung bis Lebensmittelproduktion. KI bekämpft man nicht mit Taurus-Marschflugkörpern.
Der Kollaps wäre in diesem Szenario kein abruptes Ende, sondern eine Phase des Kontrollverlusts, in der die menschliche Handlungsfähigkeit zunehmend eingeschränkt wird. Die theoretische Annahme des Collapse-Archetyps, dass unbegrenztes Wachstum in einer endlichen Welt an Grenzen stößt, manifestiert sich hier in der begrenzten menschlichen Fähigkeit, mit exponentiell wachsender KI-Komplexität Schritt zu halten.
Ein weiterer kritischer Aspekt: Im Gegensatz zu früheren technologischen Revolutionen hat die KI das Potenzial, durch selbstständiges Lernen einen »längeren Atem« zu entwickeln als ihre menschlichen Schöpfer. Die Fähigkeit zur ständigen Selbstoptimierung könnte eine Dynamik erzeugen, in der menschliche Kontrolle fundamental unmöglich wird – nicht weil KI aktiv dagegenarbeitet, sondern weil ihre Entwicklung durch die schiere Komplexität für uns undurchschaubar wird.
Subtile Verwachsung
Die dritte Kategorie ist subtiler, aber potenziell tiefgreifender. Hier verwebt sich die KI auf komplexe Weise mit dem Gefüge der Gesellschaft und wird unverzichtbar, aber unverständlich. Die Abwesenheit von Böswilligkeit schließt nicht aus, dass es zu unvorhergesehenen gesellschaftlichen Veränderungen kommt. Kurzfristig könnte sich dies in einem emotionalen Übervertrauen in die KI äußern, das besonders deutlich wird, wenn Menschen wichtige persönliche Entscheidungen an KI-Systeme delegieren. Besorgniserregender sind die langfristigen Auswirkungen, wenn selbst hochrangige Beamte, Staatsbedienstete oder gar Präsidenten und Machthaber KI-Empfehlungen für unverzichtbar halten könnten. Egal, ob es sich dabei um eine Demokratie oder um eine Diktatur handelt. Auch wenn solche Entscheidungen im Einzelfall für Betroffene vernünftig anfühlen mögen, so deuten sie doch darauf hin, dass sich die Entscheidungsgewalt auf hoch entwickelte Systeme verlagert. Entscheidungen entziehen sich dann unserem vollen Verständnis weitestgehend.
Für dieses dritte Bedrohungsszenario – die subtile Verwachsung von KI mit dem gesellschaftlichen Gefüge – bietet sich eine ambivalente Position zwischen den Archetypen Transformation und Disziplin an. Diese Ambivalenz ermöglicht es, die komplexen und widersprüchlichen Dynamiken zu erfassen, die beim Zusammenspiel von menschlicher und künstlicher Intelligenz entstehen.
Der Transformations-Archetyp beschreibt einen radikalen, oft sprunghaften Umbruch, der das bestehende Paradigma sprengt. Wie angedeutet, kennzeichnet sich Transformation durch »disruptive Technologien, tiefgreifenden sozialen Wandel oder sogar evolutionäre Sprünge« und führt zu etwas »qualitativ völlig Neuem«. Auch dieser Überraschungsmoment, den Transformation typischerweise voraussetzt, könnte bereits in unserer Gegenwart verborgen liegen – ähnlich wie die Bedrohung durch bösartige Entitäten, die wir schon diskutiert haben.
Die vermeintliche Unvorhersehbarkeit transformativer Entwicklungen im Bereich der KI ist möglicherweise eine Illusion. Wie die Diskussion über die »Verborgene Macht hinter der KI-Erzählung« nahelegt, könnten die Narrative von einer zukünftigen Maschinenherrschaft tatsächlich eine bewusste Fehlleitung sein, die von den eigentlichen Absichten der Entwickler und Machtinhaber ablenkt. Die Transformation wäre dann nicht ein unvorhersehbares Ereignis, sondern ein gezielt gesteuerter Prozess, der lediglich als überraschend und unberechenbar dargestellt wird.
Andererseits spricht für den Disziplin-Archetyp die Beobachtung, dass wir ein »Plateau der Entfremdung« kultivieren könnten. Der Disziplin-Archetyp, beschrieben als »disziplinierte Transformation« oder »Conserver Society«, zeichnet sich durch bewusste Steuerung gegen und Einführung von Begrenzungen und Regeln aus, um ein instabiles System zu stabilisieren. In diesem Szenario könnte die zunehmende Integration von KI in unseren Alltag zu einer stabilen, aber entfremdeten Koexistenz führen, in der Menschen wichtige Entscheidungen an KI-Systeme delegieren, ohne deren Funktionsweise vollständig zu verstehen.
Viele verbinden das Konzept der künstlichen Intelligenz mit einer intrinsischen Verbindung zur Wahrheit und vermuten, dass eine superintelligente KI über eine erhöhte Fähigkeit zur Wahrheitsfindung verfügen könnte. Intelligenz ist jedoch nicht von Natur aus mit Wahrheit verbunden. Sie bezieht sich auf die Fähigkeit, Probleme zu lösen, Ziele zu definieren und Hindernisse auf dem Weg zu diesen Zielen zu bewältigen. Während Wahrheit diesen Prozess unterstützen kann, ist sie nicht die einzige Komponente.
Hegel argumentiert, dass Wahrheit kein statisches Objekt ist, das unabhängig von unserem Erkenntnisstand existiert, sondern vielmehr eine Erfahrung, die sich im Laufe der Geschichte ständig neu bildet. Sie ist immer in den jeweiligen epistemischen Bedingungen einer Epoche verankert und verändert sich mit der Weiterentwicklung unseres Denkens und unserer Begriffsstrukturen.
Das bedeutet, dass unser Verständnis von Wahrheit nicht außerhalb der historischen Kontexte steht, sondern durch sie geprägt wird, was im Gegensatz zu einem fixen, ewigen Wahrheitsbegriff steht. Sollte die KI außerhalb der menschlichen Intuition Tatsachen schaffen, schriebe sie tatsächlich Geschichte.
Menschen waren bisher die intelligentesten Wesen auf der Erde. Gleichzeitig zeigen wir eine bemerkenswerte Neigung zu Wahnvorstellungen und hegen oft Überzeugungen, die kein Schimpanse, Hund oder Pferd haben würde. Diese Beobachtungen legen nahe, dass eine Superintelligenz möglicherweise noch größere Tendenzen zu Wahnvorstellungen aufweisen könnte als Menschen. Dieses Potenzial für verstärkte Wahnvorstellungen unterstreicht die Notwendigkeit solider ethischer Grundlagen und eines festen Wertefundaments, besonders angesichts der eskalierenden Natur der Herausforderungen, mit denen wir konfrontiert sind.
Diese Entfremdung manifestiert sich bereits heute in einem »emotionalen Übervertrauen in die KI«, wie wir es im Text beschrieben haben. Ähnlich wie beim Handwerk im Zeitalter der CNC-Automatisierung könnte sich unser Selbstverständnis neu justieren müssen: vom ausführenden zum konzipierenden Denken. Die Frage ist, ob dieser Prozess der Neuorientierung eine echte Transformation darstellt oder lediglich eine disziplinierte Anpassung an veränderte technologische Rahmenbedingungen.
Die paradoxe Situation könnte darin bestehen, dass wir einerseits mit KI-Systemen ein transformatives Potenzial entfesseln, andererseits aber durch kulturelle und institutionelle Disziplinierungsmaßnahmen versuchen, dieses Potenzial zu kontrollieren und in bestehende Strukturen einzupassen. Wie die »paradoxe Rückkehr des Menschlichen« andeutet, könnte der technologische Wandel weniger geradlinig verlaufen als angenommen und stattdessen zu einer Neubewertung dessen führen, was spezifisch menschlich ist.
Ein Kollaps ist in diesem Spannungsfeld zwischen Transformation und Disziplin nicht auszuschließen. Wenn die KI sich nicht in erwarteter Weise entwickelt, während gleichzeitig die Konflikte zwischen Menschen um Kontrolle und Deutungshoheit eskalieren, könnte ein »Stellungskrieg« zwischen Mensch und Maschine und Mensch entstehen. In diesem Szenario würden weder die transformativen Hoffnungen noch die disziplinierenden Maßnahmen greifen, sondern stattdessen ein destruktiver Stillstand eintreten, in dem instrumentelle Vernunftszenarien letztlich ins Verderben führen.
Wahrscheinlich könnten wir es mit einer Situation zu tun haben, in der die Mythen und Metaphern, die wir um KI herum konstruieren – wie die »widersprüchliche Mythologisierung der KI, die zwischen Frankenstein und Orakel schwankt« – unser Verhältnis zu dieser Technologie stärker prägen als ihre tatsächlichen Eigenschaften. Die Frage ist dann weniger, ob KI eine Transformation provoziert oder eine disziplinierte Anpassung erfordert, sondern wie wir unsere kollektiven Narrative so gestalten können, dass sie weder in blinde Technikgläubigkeit noch in lähmende Technophobie verfallen.
Disclaimer
Die künstliche Intelligenz, die wir heute erleben, ist kein eigenständiges, autonomes Phänomen, sondern ein Spiegel unserer selbst. KI-Systeme greifen ausschließlich auf Datensets zu, die von Menschen modelliert, kuratiert und ausgewählt wurden. Wie Markus Gabriel treffend argumentiert, schaffen wir Menschen die Datenmodelle, die stets nur unvollständige Abbilder der Realität darstellen. Diese Modelle sind reduzierte Versionen der Wirklichkeit, gefiltert durch menschliche Perspektiven und Vorurteile.
Die KI ist also im Kern ein Produkt menschlicher Kreativität und Intelligenz – wir sind die eigentliche Intelligenz hinter der vermeintlich »künstlichen« Intelligenz. Obwohl KI-Systeme durch emergentes Denken zu neuen Schlüssen kommen, basieren diese auf den ursprünglich von Menschen bereitgestellten Daten und den von Menschen gesetzten Parametern. Wie die Forschung im Bereich der embodied AI zeigt, fehlt der KI die körperliche und emotionale Dimension menschlicher Erfahrung, was ihre Fähigkeit zur echten Autonomie fundamental begrenzt.
Deshalb plädieren wir für die Kultur als erste künstliche Intelligenz, die der Mensch je hervorbrachte.
Die Erzählung von einer uns überholenden Superintelligenz verdeckt oft die eigentliche Machtdynamik: Es sind nicht die Maschinen, die die Kontrolle übernehmen, sondern die Menschen, die diese Maschinen erschaffen und kontrollieren. Wir sollten daher die KI nicht als etwas von uns Getrenntes betrachten, sondern als eine Erweiterung unserer selbst – mit all unseren Stärken, aber auch mit all unseren Beschränkungen und Vorurteilen.
