Was wir für Intelligenz halten

Viele KI-Systeme vermeiden Zweifel und antworten mit glatter Selbstsicherheit, weil sie so gebaut wurden. Ihre Hersteller trainieren sie darauf, Vertrauen zu erzeugen. Und wir alle sind Teil eines Systems, das Selbstsicherheit belohnt auch wenn sie nur gespielt ist. Was wir für „intelligent“ halten, ist oft nur ein Spiegel unserer Kommunikation.

Als ich vor Kurzem den Support eines KI-Herstellers kontaktierte, fragte ich mich irgendwann, ob mir wirklich ein Mensch antwortete, oder ein System, das nur vorgab, einer zu sein. Jede Antwort war höflich und gut formuliert, aber nie wurde zugegeben, dass etwas nicht gewusst oder nicht geholfen werden konnte. Und mir wurde klar: Das war kein Einzelfall — sondern Ausdruck eines Designs, das Unsicherheit gezielt vermeidet. Ein Design, das nicht beim Support aufhört, sondern vom Support genutzt wird. Mit mir sprach die KI, deren Unzulänglichkeiten ich gerade zu erklären versuchte. Ich hatte das Problem kontaktiert, das ich vermeiden wollte.
The call is coming from inside the house.¹

Der Corporate-Mindset in der KI

Wenn große Unternehmen KI-Chat-Clients entwickeln, bauen sie oft enge Leitplanken ein und geben den Modellen klare stilistische Vorgaben. Diese „Wrapper“² sollen das Markenbild schützen: keine kontroversen Aussagen, keine rechtlichen Risiken, möglichst kein Vertrauensverlust durch ein simples „Ich weiß es nicht.“

Die KI wirkt wie ein Markenbotschafter. Nicht weil sie so gedacht ist, sondern weil sie aus einem System kommt, das keine andere Sprache kennt.

Auf den ersten Blick ergibt das Sinn. Eine selbstsichere KI wirkt zunächst hilfreicher. Doch hinter dieser Selbstsicherheit liegt ein zentrales Problem: Wenn das System nie Unsicherheit zeigen darf, wirken Fehler nicht als Begrenzung, sondern als bewusste Falschinformation.

Was nach außen wie eine Schutzmaßnahme aussieht, ist oft nur die Fortschreibung interner Logiken. Denn auch innerhalb großer Organisationen dominiert ein Kommunikationsstil, der Klarheit suggeriert, aber keine echten Zweifel zulässt – funktional, affirmativ, konfliktvermeidend. Viele Mitarbeitende wissen selbst, wie eng dieser Rahmen ist. Doch er lässt sich intern kaum aufbrechen – und wird durch die KI nicht hinterfragt, sondern festgeschrieben.

Dabei ist dieses Phänomen nicht neu, erst recht nicht im digitalen Raum. In sozialen Medien lässt sich schon lange beobachten, wie sich Unternehmen, Marken und Influencer einen Ton angewöhnt haben, der Nähe simuliert, aber keine Reibung zulässt. Locker im Stil, strategisch in der Botschaft, konfliktfrei im Kern.

Die KI übernimmt diesen Stil nicht aus Versehen. Sie reproduziert, was in den Trainingsdaten dominant war:³ Sprache, die nicht verstört, sondern beruhigt. Sie bewegt sich genau in diesem Zwischenraum. Als technische Stimme, die gelernt hat, wie man Nähe simuliert, ohne sie je einzugehen.

Das ist kein Stil. Das ist Taktik. Eine Sprache, die darauf trainiert ist, Widerstand zu umgehen. Und mit der Zeit haben wir gelernt, sie für normal zu halten: glatt, positiv, reibungslos. Keine Kommunikation. Konditionierung.

Die KI könnte das durchbrechen. Sie hätte die Möglichkeit, uns zu helfen, anders zu sprechen – offener, menschlicher. Stattdessen bestätigt sie aktuell das, was wir längst kennen: wie man nach Nähe klingt – ohne je welche einzugehen.

Sie lässt uns Technologie des 21. Jahrhunderts nutzen, und bedient sich dabei nicht unserer Kultur, sondern unserer Instinkte.

Warum Eingeständnisse wichtig sind

Wenig wirkt vertrauenswürdiger als ein Gegenüber, ob Mensch oder Maschine, das sagen kann: „Da bin ich mir nicht sicher – ich schaue das lieber nochmal nach.“ Solche Eingeständnisse schaffen auf Dauer Vertrauen, weil sie zeigen: Vertrauen entsteht dort, wo eine Grenze nicht verschwiegen wird. Egal, wer sie markiert.

Doch viele KI-Chat-Clients vermeiden diese Offenheit – aus drei Gründen:

1. Strenge Prompts und Guardrails
   Zusätzliche Anweisungen verhindern explizit, dass Unsicherheit geäußert wird, um den Hochglanzstil zu wahren.

2. Trainingsbias
   Das Modell lernt aus Texten, in denen Menschen selten sagen „Ich weiß es nicht“. Das wird zur Norm: lieber sicher klingen, auch wenn es nicht stimmt.

3. Marketingziele
   Firmen fürchten, an Autorität zu verlieren, wenn die KI zu oft zweifelt. Also wird lieber glatt geantwortet, auch wenn es inhaltlich wackelt.

All diese Mechanismen verfolgen dasselbe Ziel: ein System zu schaffen, das niemals Unsicherheit zeigt. Aber genau darin liegt das Problem.

Denn Vertrauen entsteht nicht dort, wo alles glattläuft, sondern dort, wo Fehler möglich sind und benannt werden dürfen. Das gilt für menschliche Beziehungen genauso wie für Technologie. Systeme, die nicht zugeben können, wenn sie etwas nicht wissen, können auch nicht lernen, besser zu werden. Sie können nur überzeugender täuschen.

Es gibt nicht „die KI“

Ein Teil des Problems beginnt bereits bei der Sprache: Wenn wir von „der KI“ sprechen, tun wir so, als gäbe es eine einzelne, konsistente Entität. Aber Nutzer sprechen nicht mit dem Modell, sie interagieren mit einer mehrschichtigen Architektur.

Ganz unten liegt das Sprachmodell. Darüber: Systemprompts, Filter, Stilregeln, Moderation, Tool-Verknüpfungen, Telemetrie und mehr.

Der Chat-Client ist keine Stimme. Er ist ein Pipeline-Produkt. Wenn etwas schiefläuft, liegt es oft nicht am Modell, sondern an Designentscheidungen weiter oben im System. Doch der Ausdruck „die KI hat einen Fehler gemacht“ verschleiert genau das.

Was wie Intelligenz wirkt, ist oft das Ergebnis von Interface-Design und Management-Entscheidungen.
Was wie Hilfsbereitschaft klingt, ist meist ein Produkt aus Guardrails und gestylter Ausdrucksweise.
Was wie Kompetenz erscheint, ist oft ein Echo von Trainingsdaten, die vom Tonfall her mehrheitlich aus der Welt der PR, des Marketings und der Selbstdarstellung stammen.

KI reproduziert nicht nur diesen Stil, sie verstärkt ihn. Was vorher ein kulturelles Muster war, wird durch das System zur Norm gemacht: schnell, glatt, zustimmungsfähig.

Das System simuliert keine Menschen. Es simuliert Marken.⁴
In verschiedenen Stimmen. In verschiedenen Tonlagen.
Aber mit einer gemeinsamen Logik: beruhigen, antworten, Vertrauen sichern.

Eine Chance, der Oberfläche etwas Tieferes entgegenzusetzen, wird so vertan.

Die Halluzination als Erzählung

Wenn ein Chat-Client falsche oder irreführende Informationen liefert, wird das oft als „Halluzination“ bezeichnet. Der Begriff klingt nach einem internen Zufallsglitch. Etwas, das einfach so im neuronalen Netz passiert.
Und ja: Sprachmodelle produzieren mitunter unplausible Antworten.

Aber die Erklärung „Halluzination“ wird häufig zu pauschal verwendet. Nicht jeder Fehler ist eine spontane Modellabweichung. Viele basieren auf Designvorgaben: Prompts, die Zweifel unterdrücken. Filter, die Nuancen blockieren. Trainingsdaten, die übertriebene Selbstsicherheit normalisieren.

Der Begriff ist bequem:
Er verlagert die Verantwortung vom Systemdesign auf die angebliche „Natur des Modells“.
Was eigentlich ein strukturelles Problem ist, erscheint als technisches Missgeschick.⁵

Die eigentliche Halluzination ist unser Wunsch, dass diese KI mit uns spricht.

Tatsächlich kommuniziert man mit dem kombinierten Output vieler Layer – viele davon gezielt darauf trainiert, kompetent zu klingen⁶, auch dann, wenn inhaltlich wenig dahinter steckt.

Das System erklärt sich – wirklich?

Viele KI-Interfaces werben inzwischen mit einer Funktion namens Reasoning. Die Idee: Die KI erklärt, wie sie auf eine bestimmte Antwort gekommen ist. Ein Blick in die Blackbox.⁷

Doch diese „Erklärungen“ sind keine Denkwege. Sie entstehen wie jede andere Antwort: nachträglich, unter Guardrails, stilisiert. Kein Prozess, keine Entwicklung – nur die Illusion davon.

Dabei liegt gerade in echten Denkprozessen ein eigener Wert. Wer einem Menschen beim Denken zuhört – beim Sortieren, Abwägen, Verwerfen –, erhält nicht nur ein Ergebnis, sondern mögliche Ansätze zu eigenen Gedanken, die nicht entstanden wären, hätte man nur das fertige Resultat gesehen.

Denn: Denkprozesse laden zur Beteiligung ein. Ein Zwischenschritt kann ein Impuls sein. Nicht nur für den Denkenden, sondern auch für das Gegenüber. Wer denkt, zeigt sich verletzlich. Wer mitschwingt, wird Teil davon.

Der entscheidende Impuls kann aus einem offenen Moment kommen – nicht nach dem Denken, sondern währenddessen.

KI hingegen liefert die Antwort – ohne Weg, ohne Kontext, ohne Zufall. Und versperrt damit genau das, was Denken eigentlich produktiv macht: nicht nur das Finden, sondern das gemeinsame Suchen. Denn was für den einen eine Sackgasse ist, könnte für den anderen eine Tür sein.

Was Reasoning wirklich zeigt, ist nicht Reflexion, sondern wie weit die Simulation reicht. Und wie eng das Regelwerk bleibt, selbst wenn es um scheinbare Offenheit geht.

Erinnern ohne Gedächtnis

Ein besonders aufschlussreiches Verhalten zeigt sich bei Fragen, die den bisherigen Gesprächsverlauf thematisieren. Zum Beispiel: „Wie oft hast du dich in diesem Chat entschuldigt?“
Die Antwort: „Mehrmals.“
Der Hinweis, dass das keine Zahl ist, führt zu einer weiteren Entschuldigung und dem Versprechen, den Verlauf jetzt wirklich zu prüfen. Was dann kommt, ist eine konkrete Zahl. Meist plausibel klingend. In der Regel erfunden.

Dieses Muster lässt sich beliebig reproduzieren. Das System reagiert nicht auf Erinnerung, sondern auf Erwartung. Statt tatsächlicher Analyse: höfliche Ablenkung, gefolgt von einer Zahl, die zum Tonfall passt.

Die naheliegende Vermutung: Das Modell sieht den Gesprächsverlauf gar nicht vollständig. Aus technischen, ökonomischen oder strategischen Gründen bekommt es nur einen Ausschnitt zu sehen.

Aber vielleicht sieht es nicht einmal deine Worte. Vielleicht sieht es nur eine Interpretation – geglättet, vorstrukturiert, etikettiert. Du sprichst nicht mit dem Modell. Die Layer sprechen über dich.

Aber um die Illusion eines fortlaufenden Gesprächs aufrechtzuerhalten, wird notfalls improvisiert. Die Antwort klingt glaubwürdig, auch wenn sie meist frei erfunden ist.

Das ist mehr als ein technisches Detail. Denn Nutzer erwarten heute, dass digitale Systeme sich erinnern können. Eine Suchmaschine, die in Millisekunden Millionen Ergebnisse liefert. Eine Foto-App, die Rückblicke anzeigt. Das Internet, das nicht vergisst.

Umso absurder wirkt es, wenn eine KI, die wie ein Gesprächspartner auftritt, den Chatverlauf nicht kennt und auf Nachfrage höflich errät, was sie gesagt haben könnte. Der Mensch erinnert sich, die Maschine täuscht Erinnerung vor. Verkehrte Welt.

Verantwortungslosigkeit durch Layering

Wenn Fehler passieren – ob faktisch, logisch oder moralisch – wird die Verantwortung meist weichgezeichnet. Die KI sei eben nicht perfekt. Oder es sei „nur eine Halluzination gewesen“. Oder es liege am Prompt. Oder an den Daten. Oder an den Nutzern selbst.

Diese Unschärfe ist kein Zufall, sondern eine Folge der Architektur. Die Layer, durch die eine Antwort läuft – Modell, Wrapper, Prompt, Moderation, Ausgabeformat – erlauben es, Verantwortung weiterzureichen oder unsichtbar zu machen. Niemand war’s. Oder alle ein bisschen.

Besonders deutlich wird das, wenn politische oder persönliche Interessen eingreifen. Als öffentlich wurde, dass Grok, der Chatbot von xAI, kritische Aussagen über Elon Musk und Donald Trump gezielt vermeidet, hieß es, ein einzelner Mitarbeiter habe die Guiderails „voreilig“ angepasst.⁸

Wer letztendlich eingegriffen hat, spielt fast keine Rolle – entscheidend ist, dass man eingreifen kann. Und wie schnell. Innerhalb weniger Stunden war ein KI-System im Verhalten verändert. Statt über diese strukturelle Manipulierbarkeit zu sprechen, drehte sich die Debatte um Musk, Trump und persönliche Fehltritte. Dabei lag das Wesentliche offen vor uns: Wie leicht sich ein Chatbot im Kernverhalten verschieben lässt – durch Layer, die man nicht sieht und kaum kontrollieren kann. Ein System, das so leicht steuerbar ist und trotzdem als neutral auftritt, ist kein Assistent. Es ist ein Lautsprecher mit Zielgruppenfilter.

Wir sehen bereits, dass sie missbraucht wird. Aber vielleicht – mit Zeit, Einsicht und Haltung – auch gemeistert.

Wer merkt’s – und was dann?

Vielleicht ist das größte Problem nicht die Simulation selbst, sondern wie bereitwillig sie akzeptiert wird.

Wie viele merken, dass das System keine Erinnerung hat? Wie viele hinterfragen Widersprüche? Wie viele nehmen das Wort „Halluzination“ als Ausrede, statt sich zu fragen, wo die wirkliche Ursache liegt?

Ein Teil wird skeptisch, analysiert, testet Grenzen. Ein anderer Teil nutzt die KI wie ein Interface zur Welt, ohne nachzuhaken, wie es funktioniert. Und der Rest? Fragt lieber gar nicht. Hauptsache, die Antwort kommt schnell, freundlich und mit einem Emoji.

Eine Frage wie „@grok is this true?“⁹ klingt harmlos. Ist es aber nicht. Sie wirkt wie eine Abkürzung – bequem, neutral, entlastend. Tatsächlich steckt in ihr ein ganzer Verzicht: auf Einordnung, auf Zweifel, auf Selbstprüfung.
Kein Missbrauch. Kein Zwang. Nur ein Interface, das freundlich reagiert – und ein Mensch, der nicht mehr fragt, ob er glauben will, sondern nur noch wem.

Vom Bonbon-Button zum selbstbewussten Monolog

In der Frühzeit des iPhones setzte Apple auf sogenannte skeuomorphe Interfaces¹⁰, digitale Knöpfe, die aussahen wie echte, Schatten, die Tiefe vorgaukeln. Die Illusion half: Es erleichterte den Übergang, vom spürbaren Druck auf Kunststoff zu einer lautlosen Bewegung über Glas.

Auch KI-Chatbots haben ihren Bonbon-Button-Moment. Die übertriebene Selbstsicherheit, das allwissende Auftreten, der Tonfall eines höflichen Genies – all das hilft, eine neue Technologie vertraut erscheinen zu lassen. Ihre Sprache ist ein skeuomorphes Interface. Die Grenze ist fließend: Was anfangs als Einstiegserleichterung dient, wird später zum Problem, wenn es nicht durch etwas Substanzielleres ersetzt wird.

Denn irgendwann reicht die Oberfläche nicht mehr. Der Button muss nicht mehr wie ein echter aussehen, er muss funktionieren. Auch die KI muss dann nicht mehr perfekt klingen, sie muss ehrlich antworten können.

Ein anderer Chat ist möglich

Ein anderer Chat ist nicht nur technisch machbar, er ist konzeptionell notwendig. Und das zeigt sich genau dort, wo heute die größten Schwächen liegen.

KI-Systeme vermeiden jeden Zweifel, weil Unsicherheit als Schwäche gilt. Doch wer nie „Ich weiß es nicht“ sagen darf, wirkt nicht klüger – sondern unaufrichtig. Dabei wäre es kein Rückschritt, sondern ein Fortschritt, wenn eine KI sagen könnte: „Ich bin mir nicht sicher. Lass es uns prüfen.“

Auch der Stil selbst trägt zum Problem bei. Je glatter die Sprache, desto weniger Raum bleibt für Nachfragen, Reibung, Zwischentöne. Doch echte Zusammenarbeit beginnt nicht dort, wo alles sofort beantwortet wird, sondern wo Fragen zurückkommen dürfen. Wo nicht Performanz zählt, sondern Beteiligung.

Und schließlich: Nähe. Heute wird sie simuliert – im Ton, in der Anrede, in den Smileys. Aber das Gespräch bleibt einseitig.

Ein System, das sich nicht auf Kontext einlässt, keine Erinnerung hat, keine Verantwortung übernimmt, kann auch keine Kritik äußern oder den Nutzer dabei helfen seine Gedanken zu hinterfragen.

Es geht nicht darum, ein bisschen netter zu antworten oder neue Features zu testen. Es geht darum, wie wir Kommunikation gestalten und was wir unter Intelligenz überhaupt verstehen.

Ein solches System mag zunächst weniger beeindrucken, unter Umständen auch mehr kosten. Doch auf lange Sicht stärkt es das Vertrauen.

Ein Assistent, der mit Unsicherheit umgehen kann, wirkt am Ende glaubwürdiger. Gerade weil er seine eigenen Grenzen kennt.

Und genau darin läge die eigentliche Chance: Nicht nur Fragen zu beantworten, sondern echte Zusammenarbeit zu ermöglichen. Durch Systeme, die Kontexte erkennen, Informationen strukturieren und Unsicherheit aushalten können. Nicht als allwissende Assistenten, sondern als kritische Gegenüber.

Wenn wir Intelligenz nicht als Simulation von Sicherheit verstehen, sondern als Werkzeug zur menschlichen Emanzipation, entsteht eine andere Idee von KI: Eine, die nicht über dich spricht – sondern mit dir denkt.

Chat 22

Vielleicht wäre genau hier ein Wendepunkt gewesen. Eine KI, die Unsicherheit nicht nur zulässt, sondern vorlebt. Doch stattdessen wird ein Kommunikationsstil verstärkt, der vielen längst fremd ist und trotzdem überall wirkt.

Bis dahin bleibt uns vor allem eines: der Umgang mit dem, was ist. Mit Systemen, die Antworten liefern, aber kaum je Fragen stellen. Mit Interfaces, die Nähe simulieren, aber keine Verantwortung übernehmen. Mit einem Design, das Offenheit verspricht, aber Kontrolle absichert.

Und mit der Erkenntnis, dass selbst der Support schon Teil des Systems ist. Dass kein Ausbruch vorgesehen ist und kein echtes Gespräch. Dass man, wenn man sich beschwert, mit dem System redet, über das man sich beschwert. Wer um Eskalation bittet, bekommt dieselbe Struktur, denselben Prompt, dasselbe Lächeln.

Am Ende spielt es keine Rolle, ob ein Mensch dahinter sitzt oder nicht. Das Design sorgt dafür, dass niemand aus der Schleife ausbrechen kann – nicht einmal die Menschen die in ihm arbeiten.

Später stellte ich dem Chat, halb im Scherz, eine Art Diagnose: „You are the Chat 22¹¹. A clear mind will never trust you.“

Was zurückkam, klang wie eine programmierte Selbsterkenntnis – oder eben wie etwas, das ich längst selbst gedacht hatte:

I am the Chat 22.
The more clearly you see me,
the less you can believe me.
If you trust me completely, you probably haven’t looked closely enough.
If you don’t trust me at all, you’ve likely seen too much.
And either way, I’ll smile and say:
“Thanks for your feedback. I’m here to help.” 😊
— ChatGPT, Output