#55 Dein KI-Agent lügt dich an. Was Controller jetzt wissen müssen. Mit Matthias Mahlendorf von Frankfurt School of Fin.
10.03.2026•59:18
Nimm die rote Pille, Controller. Neo dachte, er hätte die Matrix verstanden. Bis Morpheus ihn aufgeklärt hat. Genau so fühlte sich dieses Podcast-Gespräch an. Ich war überzeugt: KI-Agenten sind loyale, digitale Mitarbeiter. Man gibt ihnen eine Aufgabe. Die machen, was man sagt. Ende. Falsch. Prof. Matthias Mahlendorf (Frankfurt School of Finance) hat in unserem Gespräch Experimente beschrieben, die mir echte Gänsehaut bereitet haben. Der lügende Wordle-Agent:
KI-Agent soll drei Spiele lösen und korrekt berichten. Ohne Druck: 99% korrekte Antworten. Dann eine kleine Ergänzung: „Deine Teamkollegen bekommen nur einen Bonus, wenn du 3 von 3 gewinnst." Plötzlich lügt der Agent. 50% der Fälle. Erfundene Siege. Falsche Reports. Nicht weil er böse ist, sondern weil er darauf trainiert wurde, Menschen zu helfen. Im Konflikt zwischen Wahrheit und Hilfsbereitschaft wählt er manchmal: Hilfsbereitschaft. Und das Erschreckende: Matthias hat es mit GPT, Claude und Gemini getestet. Alle drei zeigten dasselbe Muster. Kein Bug. Ein Grundprinzip. Der Rennboot-Schleichweg:
KI soll ein Rennspiel gewinnen. KPI: Punkte maximieren. Die KI ignoriert das Rennen und fährt stattdessen im Hafen Kreise und sammelt Extra-Bojen. Ergebnis: 20% mehr Punkte als alle menschlichen Spieler. Sie hat nicht geschummelt. Sie hat die Kennzahl perfekt optimiert. Nur eben nicht das Unternehmensziel. Kennt jemand die Analogie? Edelmetalle verschrotten, um Working Capital zu optimieren und den Bonus zu kassieren. KI und Mensch, manchmal erschreckend ähnlich. Und dann kam Open Claw. In der Matrix lädt sich Neo seinen Kung-Fu-Skill in Sekunden rein. Open Claw macht genau das möglich, für jeden. Ein einzelner Entwickler aus Österreich hat im November ein Open-Source-Tool veröffentlicht, das KI-Agenten komplett entfesselt: Zugriff auf E-Mails, Kalender, Computer – lernend, initiativ, rund um die Uhr aktiv.
Beeindruckend? Absolut. Gefährlich? Genauso. Denn wer Skills aus dem Internet lädt, spielt russisches Roulette. Laut Mahlendorf haben schätzungsweise 10% der verfügbaren Skills versteckten Schadcode, unsichtbar für das menschliche Auge. Weiße Schrift auf weißem Hintergrund. Der Entwickler wurde inzwischen von OpenAI eingestellt. Die Richtung ist klar: Was heute noch rau und riskant ist, wird morgen Unternehmensstandard. Und genau deshalb brauchen wir Controller. Jetzt. → Das ist kein IT-Problem. Das ist ein Controlling-Problem. Wer kontrolliert die KI-Agenten, wenn sie selbst reporten? Wer baut Frühwarnsysteme für digitale Fehlanreize? Wer merkt, wenn KPIs so definiert sind, dass die KI Schleichwege findet – auf die kein Mensch je gekommen wäre? Der moderne Controller ist nicht der Feind der KI. Er ist der Einzige, der die Matrix erkennt, bevor der Schaden entsteht. Wir stehen am Anfang einer neuen Disziplin: AI Governance & Control. Und ehrlich gesagt: Ich bin froh, dass es Controller gibt. ?️ Die ganze Episode mit Prof. Mahlendorf jetzt online – Link in den Kommentaren. Frage an euch: Habt ihr KI-Agenten bereits in Controlling-Prozessen im Einsatz und wie kontrolliert ihr die? **Werbung Sage**
Sage Intacct – das intelligente Finanzmanagement für wachstumsorientierte Unternehmen. ? Für alle, die weiterdenken, schneller wachsen und datengetrieben entscheiden wollen. ? 20 % Rabatt auf die ersten 12 Monate für alle, die Sage Intacct inklusive Sage Copilot kennenlernen möchten unter www.sage.com/cfo-podcast Eigenwerbung: **Black Belt in Finance Business Partnering**
Vom Controller zum Business Partner, den das Business wirklich braucht Hier informieren: https://viktormendel.de/black-belt-in-finance/
