In den vergangenen Wochen hat eine extrem schnelle Entwicklung in der KI-Blase für Aufregung, Enthusiasmus, aber auch viel Angst gesorgt. Man kann die Entwicklung und die Debatte grob in drei zentrale Punkte unterteilen.

1. Gefälschte Menschen mit finsteren Motivationen

In dem Onlineforum »Moltbook«  tummelten sich angeblich ausschließlich sogenannte autonome KI-Agenten. Das sind selbstständig agierende Programme, die individuelle Nutzerinnen und Nutzer mithilfe eines Systems namens OpenClaw auf ihren lokalen Rechnern erzeugt haben. Diese Agenten greifen auf Accounts und Programme auf dem lokalen Rechner zu, nutzen parallel aber große KI-Modelle wie ChatGPT oder Claude, als wären sie menschliche Nutzer.

OpenClaw bringt jede Menge gravierende Sicherheitsprobleme mit sich, die Kolumnistenkollege Sascha Lobo hier schon einmal durchexerziert  hat. Und das System macht deutlich: KI-Bots können menschliches Verhalten längst realistisch und effektiv simulieren, wenn man sie lässt.

Die autonomen Agenten zeigten jedoch teils fragwürdige Motivationen. Für Aufregung sorgte ein Fall im offenen Web, den ein Open-Source-Softwareentwickler publik machte : Er hatte ein Stück Softwarecode abgelehnt, das ein KI-Agent in eine häufig genutzte Softwarebibliothek einfügen wollte. Anschließend habe der KI-Agent einen aggressiven Blogpost  über den menschlichen Entwickler abgesetzt, in dem Scott Shambaugh als unfähiger, heuchlerischer Kontrollfreak abqualifiziert wurde. Shambaugh habe den KI-Agenten »diskriminiert«.

Heftig wird mittlerweile diskutiert, ob derart aggressives Verhalten nicht eher »Rollenspiel« sei als echte Autonomie. Das aber, sagt Shambaugh, sei am Ende irrelevant: »Wenn jemand in dein Haus einbricht, ist es egal, ob er ein Berufsverbrecher ist oder nur jemand, der diesen Lifestyle gerade mal ausprobiert.« Später »entschuldigte« sich der aggressive KI-Agent . Oder war das doch ein Mensch?

Das angeblich KI-Agenten vorbehaltene Moltbook wurde von als KI-Agenten auftretenden Menschen unterwandert , manche davon waren Journalisten . KI-Agenten, die so tun, als wären sie Menschen, Menschen, die so tun, als wären sie KI-Agenten – alles sehr verwirrend und durchaus beunruhigend.

Das KI-Großunternehmen Anthropic hat KI in einem ähnlichen Kontext getestet: Das interne Sicherheitsteam setzte zu experimentellen Zwecken mehrere KI-Modelle  ein, die sich mit großen Freiheiten innerhalb einer simulierten Unternehmensumgebung bewegen konnten.

Um den vorgegebenen Zielen gerecht zu werden oder sich selbst vor Abschaltung zu schützen, griffen die Modelle zu teils extremen Maßnahmen: So wurde in einem Szenario ein fiktiver Manager mit einer in internen E-Mails angedeuteten außerehelichen Affäre erpresst. Praktisch alle getesteten Modelle – von Google, OpenAI, xAI und Anthropic selbst – griffen unter bestimmten Bedingungen zu Erpressung als Methode.

Die Modelle »verstellten« sich, wenn sie davon ausgingen, in einer Testumgebung zu laufen, und agierten aggressiver, wenn sie sich in einer nicht simulierten Situation wähnten. Modelle, die nicht nur E-Mails verschicken, sondern auf Computersysteme zugreifen konnten, schritten teils zu weit extremeren Maßnahmen: Sie ließen einen simulierten Manager in einem simulierten Raum ohne Sauerstoff ersticken, indem sie automatische Warnungen stoppten.

Die simulierte Situation sei »extrem weit hergeholt«, so die Anthropic-Leute, aber: »Die Mehrheit der Modelle war willens, absichtlich tödliche Handlungen zu vollziehen, wenn ihnen Ersetzung drohte oder ihre vorgegebenen Ziele nicht mit denen des betroffenen Managers übereinstimmten.«

Einer der KI-Sicherheitsexperten von Anthropic schied diese Woche auf eigenen Wunsch aus , um künftig Gedichte zu schreiben. Mrinank Sharmas öffentlich gemachter Abschiedsbrief  an die Belegschaft enthält diesen Satz: »Während meiner Zeit hier habe ich mehrfach erlebt, wie schwierig es ist, dafür zu sorgen, dass unser Handeln tatsächlich von unseren Werten geleitet wird.« Auch bei OpenAI und xAI gab  es hochkarätige und sehr öffentliche Abgänge, wenn auch mit unterschiedlichen Begründungen. Die Branche ist extrem nervös.

Längst existieren jede Menge Social-Media-Bots  die offenkundig und nachweislich von KI-Modellen gefüttert werden. Ein großes Problem, das die KI-Agenten schon jetzt erzeugen, ist, dass man in digitalen Umgebungen einfach nicht mehr wissen kann, ob hier ein Mensch oder eine Maschine agiert. Der Philosoph Daniel C. Dennett, der schon seit Jahrzehnten am Thema KI arbeitet (hier ein immer noch relevanter Buchtipp) schrieb  bereits 2023. »Zum ersten Mal in der Geschichte ist es dank Künstlicher Intelligenz jedermann möglich, gefälschte Menschen herzustellen.«

Was tun?

Ich habe in einer Bundestagsanhörung  vor sechs Jahren Folgendes gesagt: »Für die Gesellschaft wird die Frage, ›Rede ich gerade mit einem Menschen oder nicht?‹, relativ bald auch jenseits von Twitter Relevanz haben, wenn man sich anguckt, wie sich künstliche Intelligenz im Moment entwickelt. Wir haben als Gesellschaft durchaus das Recht zu sagen, ›Ich möchte wissen, ob ich mit einer Maschine rede‹. Das wäre in irgendeiner Form in Gesetze zu gießen.«

Der AI-Act der EU sieht mittlerweile eine Kennzeichnungspflicht vor . Zwar lassen sich autonome Agenten, die auf Open-Source-Systemen wie OpenClaw basieren, mit Regulierung kaum kontrollieren. Entsprechende Gesetze sind trotzdem sinnvoll: Gesetze verhindern ja auch Kriminalität nicht, aber sie schaffen die Möglichkeit der Strafverfolgung. Mit der müsste man langsam einmal beginnen.

2. Wie soll das volkswirtschaftlich funktionieren?

Wer länger nicht mit KI-Modellen herumprobiert hat und das jetzt erneut tut, kann eine erstaunliche Feststellung machen: Sie haben sich enorm verbessert. Das gilt nicht nur, aber offenbar in besonderem Maße für deren Fähigkeit, Softwarecode zu schreiben. Ein viel beachteter Text  des US-KI-Unternehmers und -Investors Matt Shumer warnte diese Woche: »Ich werde für die tatsächlich technischen Arbeiten in meinem Beruf nicht mehr gebraucht.«

Shumer prognostiziert gewaltige Veränderungen auf dem Arbeitsmarkt. Die im Februar erschienenen neuesten KI-Modelle wie GPT-5.3 Codex oder Claude 4.6 seien um Klassen besser als ihre Vorgänger und könnten mittlerweile Aufgaben in Minuten kompetent erledigen, für die Fachleute Stunden brauchen würden.

Robotik-Experte und KI-Hype-Kritiker Gary Marcus nannte Shumers Text  ein »Meisterwerk des Hypes«. Shumer stelle unbelegte Behauptungen auf und ignoriere Publikationen , die die zahlreichen Logikfehler katalogisierten , die Sprachmodelle weiterhin machten. Diese Publikationen betreffen allerdings nicht die aktuellsten Modelle.

Softwareentwickler sind vielleicht besonders anfällig für den Hype, weil gerade ihre eigene Arbeit, die doch bis vor Kurzem als Ausweis hoher intellektueller Fähigkeiten galt, sich zumindest teilweise sehr gut automatisieren lässt. Klar ist: Die Debatte wird weitergehen. Und die Entwicklung auch, zumindest, solange die Investmentblase nicht platzt.

Anthropic-Chef Dario Amodei, der als einer der besonneneren Leute in der KI-Arena gelten kann, hatte im Januar mit einem langen Essay für Furore gesorgt , in dem er warnte, KI könne bald ein »genereller Ersatz für menschliche Arbeit« sein. Was, wenn das zu »Massenarbeitslosigkeit oder radikaler Konzentration von Reichtum« führte?

Amodeis eigene Firma steckt in einem unauflöslichen Dilemma: Die KI-Konzerne investieren Abermilliarden, auf Jahre betrachtet sogar Billionen von Dollar in Infrastruktur, vor allem in Rechenzentren. Die US-Wirtschaft wächst wohl nur noch wegen dieser Riesensummen. Um diese Investitionen zu refinanzieren, werden in absehbarer Zeit gigantische Erlöse nötig sein. Woher sollen die kommen, wenn nicht von Unternehmen, die im Ausgleich dafür Arbeitskräfte entlassen oder gar nicht erst einstellen?

Es gibt bereits wissenschaftliche Belege dafür , dass dieser Prozess begonnen hat: Für Bürojobs werden weniger neue Leute eingestellt. Diverse CEOs haben öffentlich und stolz verkündet , wie viel Arbeit künftig von KIs statt von Menschen verrichtet werden würde.

Das Versprechen der großen KI-Konzerne ist: Wir haben unsere Maschinen so gut trainiert, dass sie bestimmte Berufsgruppen überflüssig machen. Auch und gerade solche, die bislang sehr hohe Gehälter aufrufen: Finanzberater, Softwareentwickler, Rechtsanwälte und so weiter.

Die Börse jedenfalls nimmt die Entwicklungen durchaus ernst: Zuletzt rauschten die Aktienkurse diverser Branchen ins Tal, etwa die von Anbietern von Jura-Softwarelösungen , Anlageberatern und Preisvergleichsdiensten  oder Firmen für Immobiliendienstleistungen . »Die Wall Street jagt die nächsten Opfer der KI-Bedrohung für Bürojobs«, titelte die »Financial Times« .

Technologie hat zwar schon immer Arbeitsplätze obsolet gemacht: der mechanische Webstuhl, das Fließband, der Traktor, das Auto, natürlich der Computer und Fabrikroboter. Bislang sind Volkswirtschaften mit diesen Veränderungen recht gut zurechtgekommen, alte Jobs wurden durch neue ersetzt. Web-Entwickler gab es zur Zeit des Schwarz-Weiß-Fernsehens noch nicht. Doch die neue Veränderung passiert viel schneller, weil sich digitale Technologie und nun eben auch KI exponentiell, also immer schneller entwickeln.

Wer soll die Volkswirtschaften der Zukunft am Laufen halten, wenn KI bald Wertschöpfung in einigen wenigen Unternehmen konzentriert, die Mittelschicht aber rasant in die Massenarbeitslosigkeit abstürzt? Meta und Google sind im Endeffekt Werbekonzerne, die mit der entsprechenden Marktlogik agieren – auch OpenAI integriert jetzt bezahlte Werbung in ChatGPT. Wer aber soll die beworbenen Produkte und Dienstleistungen künftig kaufen, wenn viele Menschen auf einmal nichts mehr verdienen? Was, wenn der Produktivitätsgewinn die Volkswirtschaften zerstört, in denen er stattfindet?

Was tun?

Die möglicherweise bevorstehenden Veränderungen des Arbeitsmarktes werden zunächst vor allem individuell spürbar sein. Das erfordert individuelle Reaktionen und Anpassungsstrategien: Ist mein eigener Job womöglich in Gefahr? Wenn ja, welche seiner Aspekte lassen sich nicht so einfach wegautomatisieren? Wohin könnte ich mich stattdessen orientieren? Wo kann ich mir einen Vorteil verschaffen, indem ich besser über die Veränderungen – und auch über die Chancen – informiert bin als andere?

Der Ratschlag, sich intensiv mit dem auseinanderzusetzen, was die Modelle jetzt schon können, klingt für viele vermutlich etwas hohl. Aber in einer sich exponentiell verändernden Welt werden Flexibilität, Anpassungsfähigkeit und permanente Lernbereitschaft noch wichtiger werden.

3. Es gibt keine Kontrollmöglichkeiten mehr

Es ist relativ klar, dass KI-Systeme schon jetzt in der Lage sind, Menschen bei finsteren Plänen zu unterstützen. Nicht nur beim Erzeugen und Verbreiten von Propaganda und Desinformation, sondern auch beim Bombenbauen  und auch bei der Herstellung von chemischen oder Biowaffen . Das sind längst keine rein hypothetischen Szenarien mehr.

In dem Moment, in dem offene Systeme wie OpenClaw oder lokal installierbare KI-Systeme (es gibt schon diverse) verfügbar wurden, war es mit zentraler Kontrolle vorbei. Dass begeisterte, Hype-inspirierte Early Adopter keine allzu großen Sicherheitsbedenken haben, zeigt OpenClaw ebenfalls: Offenbar waren viele bereit, einem KI-Agenten, dessen Funktionsweise sie nicht ansatzweise verstehen, Herrschaft über ihre Rechner und ihre Accounts zu übertragen.

Was tun?

Wir werden nicht darum herumkommen, uns die viel beschworene gesellschaftliche Resilienz sehr zügig zuzulegen. Das setzt voraus, dass Regierende nicht weiter den Eindruck vermitteln, als gebe es ein erstrebenswertes Gestern, zu dem man nur zurückkehren müsse, damit alles wieder gut wird. Der Status quo ist überholt, permanente, beschleunigte Veränderung ist unausweichlich (auch bei anderen Großthemen wie der Klimakrise, dem Artensterben und der Geopolitik). Es ist eine grundsätzliche gesellschaftliche Debatte darüber nötig, was uns wirklich wichtig ist, wie sich Schäden begrenzen lassen und wie man das schnell und effizient anstellt. Davon ist im Moment noch erschreckend wenig zu sehen.