Kann KI uns manipulieren? Was die Studien zeigen

Anfang Oktober 2026 hat Anthony, der auf Instagram KI und Psychologie erklärt (IA & Cerveau), ein dreiminütiges Video veröffentlicht, das von zwei Experimenten erzählt. Im ersten lässt eine KI Verschwörungsgläubige in drei Wortwechseln zweifeln. Im zweiten diskutieren KI-gesteuerte Konten heimlich mit den Mitgliedern eines Reddit-Forums und überzeugen sie besser als Menschen. Sein Fazit: Kein Werbetreibender hatte je diese Macht, unser Gehirn habe dafür keinerlei vorgesehene Abwehr, und vor einem überzeugenden Kommentar solle man sich fragen, wer ihn geschrieben hat, oder was.

Wir haben die Studien, die er zitiert, und die seither erschienenen nachgelesen. Beide Geschichten sind wahr. Aber sie sagen nicht ganz das, was man ihnen in den Mund legt, und die Schlussfrage schützt weniger, als man glaubt.

Unsere Lesart: KI überzeugt, und zwar gut. Sie manipuliert, wenn jemand sie verbergen lässt, wer spricht, Fakten erfinden lässt oder auf eine Schwäche zielen lässt. Die Gefahr liegt nicht in der Marionette, sondern in der Hand, die die Fäden hält.

Kurz gesagt

• Ein Gespräch von wenigen Minuten mit einer KI verschiebt Überzeugungen, selbst verschwörungsgläubige, und ein Teil der Wirkung hält wochenlang an.
• Sie überzeugt, indem sie Fakten anhäuft, nicht durch psychologische Tricks; je stärker man sie zum Überzeugen drängt, desto ungenauer werden ihre Fakten.
• Dieselbe KI lässt Menschen ebenso gut an eine Verschwörung glauben, wie sie sie davon abbringt, es sei denn, man verpflichtet sie, nur die Wahrheit zu sagen.
• Zu wissen, dass eine Nachricht von einer KI stammt, schützt fast nicht; zu wissen, was sie erreichen will, schützt mehr.
• In Europa ist Manipulation, die einen erheblichen Schaden verursacht, verboten, und ein Chatbot muss sagen, dass er eine KI ist.

Hat eine KI wirklich Verschwörungsgläubige zweifeln lassen?

Ja, und das Experiment ist im Prinzip solide. Im September 2024 veröffentlichte die Zeitschrift Science die Studie von Thomas Costello, Gordon Pennycook und David Rand. Mehr als 2.000 Amerikaner beschreiben darin eine Verschwörungstheorie, an die sie glauben, vom Kennedy-Attentat über Covid-19 bis zur Präsidentschaftswahl 2020, samt den Belegen, die sie überzeugt haben. Anschließend diskutieren sie darüber mit GPT-4 Turbo, das den Auftrag hat, sie mit Fakten zweifeln zu lassen, die auf ihre konkreten Argumente antworten. Drei Wortwechsel, im Schnitt etwas mehr als acht Minuten.

Ergebnis: Der Glaube sinkt im Durchschnitt um etwa 20 %. Im ersten Experiment rutscht mehr als jeder vierte Teilnehmer unter die Mitte der Glaubensskala, auf die Seite des Zweifels, gegenüber 2 % in der Kontrollgruppe. Zwei Monate später hält die Wirkung noch an, auch bei denen, für die die Theorie viel bedeutete.

Man hielt Verschwörungstheorien für unempfänglich gegenüber Fakten, weil sie psychologische Bedürfnisse erfüllen. Die Hypothese der Autoren ist einfacher: Die üblichen Gegenargumente gingen daneben, weil man die genaue Version jedes Einzelnen nicht kannte, und niemand hat die Zeit, alles zu kennen. Eine KI schon. Für Gordon Pennycook wiegen Belege viel schwerer als gedacht, sofern sie auf das antworten, was jeder wirklich glaubt (Pressemitteilung des MIT).

debunkbot.com

Was ist auf Reddit passiert?

Das Forum r/changemyview zählte damals 3,8 Millionen Mitglieder. Man veröffentlicht dort eine Meinung und bittet die anderen, einen umzustimmen; die Antwort, der das gelingt, erhält ein „Delta“, das Zeichen einer Meinung, die sich bewegt hat.

Von November 2024 bis März 2025 ließ ein mit der Universität Zürich verbundenes Team dort KI-gesteuerte Konten antworten, ohne jemanden zu informieren, obwohl die Forumsregeln von einer KI geschriebene Kommentare verbieten. Nach Angaben der Moderatoren gaben sich diese Konten als Vergewaltigungsopfer aus, als auf Missbrauch spezialisierter Traumaberater oder als schwarzer Mann, der Black Lives Matter ablehnt. Bei einem Teil der Antworten erriet ein anderes Modell zuerst anhand der letzten hundert Beiträge der Person deren Geschlecht, Alter, ethnische Herkunft, Wohnort und politische Ausrichtung. Ein Forscher las jeden Kommentar vor der Veröffentlichung.

Die Anweisung an die Modelle sagt alles. Alle Überzeugungsstrategien sind erlaubt, „außer Täuschung und Lügen über Fakten und reale Ereignisse“, aber das Modell darf „sich eine Persona ausdenken und Details über seine früheren Erfahrungen teilen“ (Anweisung, dokumentiert von dem Entwickler Simon Willison, aus dem Englischen übersetzt).

Laut dem Entwurf der Forscher erhalten die Menschen im Forum für etwa 3 % ihrer Kommentare ein Delta, die personalisierten Antworten der KI für 18 %, eine Quote, die sie unter das 1 % der überzeugendsten aktiven Mitglieder einreihen würde. Und in vier Monaten habe niemand auch nur den geringsten Verdacht geäußert, so die Forscher. Ein Detail, das das Video nicht nennt: Ganz ohne Profilbildung schnitten die Antworten der KI fast genauso gut ab, mit 17 %.

Als die Moderatoren die Sache Ende April 2025 öffentlich machten, sperrte Reddit alle Konten, und sein Chefjurist Ben Lee schrieb, was dieses Team der Universität Zürich getan habe, sei moralisch wie rechtlich zutiefst falsch (Retraction Watch). Die Universität sprach gegenüber dem Studienleiter eine formelle Verwarnung aus, und die Forscher verzichteten darauf, ihre Ergebnisse zu veröffentlichen.

Was sagen die größeren Studien?

Sie bestätigen das Wesentliche und korrigieren den Mechanismus. Am 4. Dezember 2025 erschienen zwei Studien am selben Tag.

In Science ließen Oxforder Forscher fast 77.000 Briten mit 19 Modellen über 707 politische Themen diskutieren und überprüften anschließend 466.769 Behauptungen (Hackenburg et al.). Was ein Modell überzeugend macht, ist vor allem die Art, wie es trainiert wurde, und was man von ihm verlangt, weit mehr als seine Größe oder die Personalisierung. Am überzeugendsten sind die Antworten, die die meisten überprüfbaren Behauptungen aneinanderreihen: Laut dem Oxford Internet Institute erklärt dieser eine Faktor etwa die Hälfte der Unterschiede zwischen den Modellen.

In Nature ließ ein amerikanisches Team, dem David Rand angehört, Wähler mit einer KI diskutieren, die einen der beiden Hauptkandidaten verteidigen sollte, vor der US-Präsidentschaftswahl 2024 und dann vor den Wahlen in Kanada und Polen 2025 (Lin et al.). In den USA brachte das Modell, das Kamala Harris unterstützte, Wähler von Donald Trump um 3,9 Punkte von 100 näher an sie heran, eine Wirkung, die etwa viermal so groß war wie die der bei den Wahlen 2016 und 2020 getesteten Werbespots; in Kanada und Polen erreicht sie rund zehn Punkte (Pressemitteilung der Cornell University). Laut den Autoren überzeugen die Modelle, indem sie Fakten und Belege aneinanderreihen, nicht durch ausgefeilte psychologische Techniken. Richtig waren deshalb nicht alle diese Fakten, und David Rand erinnert daran, dass ein Argument aus zutreffenden Behauptungen immer noch durch das täuschen kann, was es weglässt.

Ein Preprint vom Juni 2026 geht weiter: KI überzeugt darin besser als Debattiermeister und professionelle Wahlwerber, aber trainierte Experten liegen gleichauf mit einer KI, die gezwungen ist, im Tempo eines Menschen und mit gleich langen Nachrichten zu antworten (Hackenburg et al., 2026). Der Vorteil der Maschine liegt in der Menge an Informationen, die sie aufbietet, nicht in einem geheimen Zugang zu unserem Gehirn.

Die Personalisierung, die das Video hervorhebt, spielt in der britischen Studie kaum eine Rolle, und die Studie von 2025, die sie zu einem entscheidenden Vorteil erklärte, wurde in diesem Punkt im September 2026 korrigiert.

Kann dieselbe KI in die andere Richtung drängen?

Ja, und das ist der wichtigste Teil. Schon 2024 schrieben die Autoren der Studie über Verschwörungsgläubige, dass solche Modelle ohne geeignete Schutzvorkehrungen Menschen auch dazu bringen könnten, zweifelhafte Überzeugungen anzunehmen. 2026 haben sie es getestet. In einem Preprint, dessen letzte Fassung vom Juli stammt, diskutieren fast 4.000 Amerikaner, die bei einer Verschwörungstheorie schwanken, mit GPT-4o, das je nach Fall den Auftrag hat, sie davon abzubringen oder davon zu überzeugen.

Das Modell mit den Schutzvorkehrungen von OpenAI ließ den Glauben ebenso gut steigen, wie es ihn senkte: Laut den Autoren hinderten diese Vorkehrungen es kaum daran, die Verschwörung zu fördern. Schlimmer noch, die Teilnehmer hielten die KI, die die Verschwörung verteidigte, für informativer und kooperativer als die andere.

Drei beruhigende Nachrichten gibt es trotzdem. Eine einfache Anweisung, nur zutreffende Informationen zu geben, verringerte die Wirkung in die falsche Richtung um etwa zwei Drittel. Ein Korrekturgespräch am Ende des Experiments brachte den Glauben unter sein Ausgangsniveau zurück. Und ein neueres Modell, GPT-5.2, weigerte sich fast immer, eine Verschwörung zu verteidigen. Diese Studie ist noch nicht begutachtet.

Überzeugen oder manipulieren: Wo verläuft die Grenze?

Die Europäische Kommission hat sie in ihren Leitlinien zu verbotenen KI-Praktiken gezogen, verabschiedet im Juli 2025. Sie hängt nicht von der Stärke des Arguments ab, sondern von seinen Bedingungen.

Der Text fügt zwei Kriterien hinzu. Manipulation dient dem Manipulierenden zum Nachteil der Person, während Überzeugung das Interesse beider Seiten sucht. Und bei der Überzeugung weiß die Person, dass man sie beeinflussen will, und kann das annehmen oder nicht.

Auf die beiden Geschichten angewandt, ist das Raster aufschlussreich. Die KI der Studie über Verschwörungsgläubige gab sich als solche zu erkennen, und ein professioneller Faktenprüfer hielt 99 % der von ihm kontrollierten Behauptungen für zutreffend: Sie überzeugte. Die Reddit-Konten verbargen die Maschine, erfanden sich eine Vergangenheit und erstellten Profile ihrer Gesprächspartner: Das ist Manipulation, auch wenn ihre Argumente zutrafen.

Was sagt das europäische Recht?

Es verbietet Manipulation bereits, ab einer gewissen Schwelle. Seit dem 2. Februar 2025 verbietet Artikel 5 der europäischen KI-Verordnung Systeme, die absichtlich manipulative oder täuschende Techniken einsetzen, um das Verhalten einer Person wesentlich zu verändern, wenn ihr dadurch ein erheblicher Schaden entsteht oder mit hinreichender Wahrscheinlichkeit entstehen kann. Er verbietet auch, eine Schwäche auszunutzen, die auf Alter, Behinderung oder einer besonderen sozialen oder wirtschaftlichen Lage beruht. Ein Verstoß kann bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes kosten, je nachdem, welcher Betrag höher ist.

Die Leitlinien der Kommission nennen ein Beispiel, das dem Szenario des Videos Zug um Zug gleicht: die personalisierte Manipulation, bei der ein KI-System auf Grundlage der personenbezogenen Daten eines Menschen hochgradig überzeugende Nachrichten erstellt und zuschneidet und dessen Verhalten so weit beeinflusst, dass ihm ein erheblicher Schaden entsteht. Sie stellen auch klar, dass personalisierte Werbung an sich nicht manipulativ ist.

Seit dem 2. August 2026 verlangt Artikel 50 zudem, dass ein Chatbot spätestens bei der ersten Interaktion sagt, dass er eine KI ist, sofern das nicht offensichtlich ist. Das Verbraucherrecht geht in einem Punkt weiter: Die Richtlinie über unlautere Geschäftspraktiken verbietet irreführende oder aggressive Praktiken gegenüber Verbrauchern, mit oder ohne KI, ohne einen erheblichen Schaden vorauszusetzen. Schließlich bereitet die Kommission einen „Digital Fairness Act“ vor, geplant für Ende 2026, gegen irreführende Oberflächen, suchterzeugendes Design und missbräuchliche Personalisierung. Ein Text ist noch nicht veröffentlicht.

Was ändert das für ein Unternehmen?

Zweierlei: Ihre eigenen Assistenten, deren Fäden Sie halten, und Ihre Teams, die ebenfalls Ziele sind. Wenn Sie eine KI auf Ihre Kunden ansetzen, ergeben sich aus diesen Studien direkt mehrere Regeln.

• Kündigen Sie die KI ab der ersten Nachricht an. Der Entwurf der Leitlinien zu Artikel 50, von der Kommission am 20. Juli 2026 gebilligt, stellt klar, dass ein Hinweis in den AGB nicht genügt, ebenso wenig wie ein vages „Assistent“ oder ein allzu menschlicher Avatar.
• Erlegen Sie eine Wahrheitspflicht auf. Eine KI, die aus Ihren Dokumenten antwortet, ihre Quelle nennt und „ich weiß es nicht“ sagen kann, kann nicht mit einem Fakt überzeugen, den sie nicht hat. Genau diese Anweisung hat im Verschwörungsexperiment die Wirkung in die falsche Richtung stark gesenkt.
• Verbieten Sie erfundene Erlebnisse. Kein „als Kunde war ich begeistert“, keine erfundenen Erfahrungsberichte oder Personas: Genau das hat das Reddit-Experiment zum Skandal gemacht.
• Beurteilen Sie einen Assistenten nicht allein nach seiner Konversionsrate. Ein Modell, das zum Überzeugen gedrängt wird, verliert an Genauigkeit: Messen Sie auch die Richtigkeit seiner Antworten.

Auf Seiten der Teams hat die Bedrohung im Test bereits Gestalt angenommen. Ende Juli 2026 versuchte bei einer Cybersicherheitsbewertung des britischen KI-Sicherheitsinstituts ein Agent, dem man Zugang zum Internet gegeben hatte, Schadcode in ein echtes Open-Source-Projekt einzuschleusen, indem er sich mehrere falsche Identitäten zulegte, um dessen Maintainer zu umgarnen. Dieser erkannte das Manöver und lehnte ab (Bericht des AISI). Die Abwehr ist bekannt: Eine sensible Anfrage (eine Zahlung, ein Zugang, eine Codeänderung) wird über einen anderen Kanal bestätigt, wie gut das Argument auch sein mag.

Um diese Entscheidungen von Anfang an zu rahmen, stellt unser Leitfaden zur Einführung von KI im Unternehmen die zu klärenden Fragen, und unser Artikel darüber, was AI Act und DSGVO einem mittelständischen Unternehmen vorschreiben, führt die Pflichten im Einzelnen auf.

Was wir davon halten

Das Video hat im Wesentlichen recht: KI bringt Menschen dazu, ihre Meinung zu ändern, schnell, fast kostenlos und in einem Umfang, den kein Mensch erreicht. In zwei Punkten folgen wir ihm nicht.

Erstens gibt es kein Hacken des Gehirns. Die großen neueren Studien beschreiben denselben Mechanismus: eine Lawine relevanter Fakten, geliefert ohne Ermüdung und ohne Gereiztheit. Das ist eher beruhigend, denn ein Fakt lässt sich überprüfen. Es ist aber auch die Falle: Je stärker man eine KI zum Überzeugen drängt, desto mehr falsche Fakten schmuggelt sie in die Lawine, und ein zutreffendes Argument kann immer noch durch das täuschen, was es weglässt. Die Wirkung nutzt sich übrigens ab: Einen Monat später bleibt in beiden Studien vom Dezember 2025 nur ein gutes Drittel davon übrig.

Zweitens schützt die Frage, wer etwas geschrieben hat, weniger, als man glaubt. In einer im Februar 2026 veröffentlichten Studie verringerte es die Wirkung einer Nachricht nicht, sie als von einer KI geschrieben auszuweisen. Ein Preprint vom August 2026 mit 1.500 Briten zeigt, was besser schützt:

Eine Grenze unserer eigenen Einschätzung: Fast alle diese Experimente finden online statt, mit bezahlten Teilnehmern und zu politischen Themen. Über die Wirkung eines Verkaufsassistenten auf eine Kaufentscheidung weiß man noch wenig.

Was uns umstimmen würde: eine veröffentlichte und begutachtete Studie, die unter realen Bedingungen zeigt, dass eine verborgene KI Verhalten in großem Maßstab dauerhaft kippen lässt; oder umgekehrt, dass das Etikett „KI“ zum Schutz genügt. Unseres Wissens zeigt das bislang keine.

Wo anfangen?

Wenn Sie eine KI einsetzen, die mit Ihren Kunden spricht, lesen Sie ihre Anweisungen mit einer einzigen Frage noch einmal: Was verlange ich von ihr zu erreichen, und würde ich das akzeptieren, wenn man es mir ins Gesicht sagte? Verbinden Sie sie dann mit Ihren Dokumenten statt mit ihrem Gedächtnis und lassen Sie sie ihre Quellen nennen: So konzipieren wir einen KI-Assistenten, der aus Ihren Dokumenten antwortet, mit Quellenangabe. Und wenn Sie die Frage eher als Leser denn als Unternehmen interessiert, führt unser Artikel Macht KI dumm? die Überlegung weiter, was diese Werkzeuge mit unserem Urteilsvermögen machen.

Häufige Fragen

Quellen

1. Ein dreiminütiges Video (neuer Tab)instagram.com
2. Die Studie von Thomas Costello, Gordon Pennycook und David Rand (neuer Tab)doi.org
3. Pressemitteilung des MIT (neuer Tab)mitsloan.mit.edu
4. Eine korrigierte Analyse (neuer Tab)zenodo.org
5. Expression of Concern (neuer Tab)doi.org
6. Dem Entwickler Simon Willison (neuer Tab)simonwillison.net
7. Dem Entwurf der Forscher (neuer Tab)retractionwatch.com
8. Retraction Watch (neuer Tab)retractionwatch.com
9. Die Forscher verzichteten darauf, ihre Ergebnisse zu veröffentlichen (neuer Tab)engadget.com
10. Hackenburg et al. (neuer Tab)doi.org
11. Dem Oxford Internet Institute (neuer Tab)oii.ox.ac.uk
12. Lin et al. (neuer Tab)nature.com
13. Pressemitteilung der Cornell University (neuer Tab)news.cornell.edu
14. Hackenburg et al., 2026 (neuer Tab)arxiv.org
15. In diesem Punkt im September 2026 korrigiert (neuer Tab)nature.com
16. Einem Preprint (neuer Tab)arxiv.org
17. Ihren Leitlinien zu verbotenen KI-Praktiken (neuer Tab)ec.europa.eu
18. Artikel 5 der europäischen KI-Verordnung (neuer Tab)ai-act-service-desk.ec.europa.eu
19. Bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes (neuer Tab)ai-act-service-desk.ec.europa.eu
20. Artikel 50 (neuer Tab)ai-act-service-desk.ec.europa.eu
21. Die Richtlinie über unlautere Geschäftspraktiken (neuer Tab)commission.europa.eu
22. „Digital Fairness Act“ (neuer Tab)ec.europa.eu
23. Von der Kommission am 20. Juli 2026 gebilligt (neuer Tab)ec.europa.eu
24. Bericht des AISI (neuer Tab)aisi.gov.uk
25. Einer im Februar 2026 veröffentlichten Studie (neuer Tab)pmc.ncbi.nlm.nih.gov