21.02.2025 • 58 Min.

Wieso istsh*t in, sh*t out auch bei LLMs so wichtig? Wie könnenGuardrails die Basis für Pharma-KI bilden? Worauf kommtes bei Antworten aus einem LLM überhaupt an? Darüberdiskutiert Host Christof Layher in der neuen Folge von ChaosHacker-Talk mitShaun Tyler. Der hat schon viele Erfahrungen in der IT und im reguliertenUmfeld gesammelt – erst bei Fraunhofer, heute als Director für globale SoftwareIntegration Services bei Körber Pharma Software. Seintägliches Business? GMP und Qualifizierung, seit zweieinhalb Jahren aber auchGenAI. In der Folgegeht es um Guardrails. Also eineEingabe-Ausgabe-Validierung. Die gibt es sonst in der Softwareentwicklung auch,wobei der Output des LLMs in qualifizierbare und berechenbare Schrankenverwiesen wird. Shaun hat eineigenes Guardrail-Framework entwickelt. Das Problemist nämlich: Ein Prompt muss einen wiederkehrbaren und vollständigen Outputgenerieren – nicht so ganz die Stärke von LLMs. ImPharma-Kontext ist das aber ein MUSS! Zu denGuardrails gehören verschiedene Ebenen: ContentSafety zum Beispiel, denn Jailbreak ist für GenAI noch ein Novum. Vor einerWeile gab es so einen Jailbreak, wodurch man ChatGPT so überfordern konnte,dass es sensitive Daten preis gab. Dann nochAccuracy – dabei erklärt Shaun, wie diese im Output Guardrail sichergestelltwird. AuchCompleteness ist total wichtig, dazu ein einfaches Beispiel: EineFlüssigkeit ist grün? Cool. Sie ist grünund giftig und du hast das „und giftig“ weggelassen? Gar nicht mehr cool. DasMolekulargewicht allerdings brauch ich aber nicht als Info. Und dannkommt da noch Enduring zu. Die Situationfür Pharma ist noch nicht optimal, denn in diesem Bereich dürfen nur Dingeverwendet werden, die halbwegs stabil sind. Vor allem bei der Patient Safetyein wichtiges Thema. Klar – wirwollen uns auch nix spritzen, das nicht zu 100% sicher ist. Die Correctness derAntworten muss also stimmen. Das sind eineder Grundvoraussetzungen, um LLMs produktionsnah und z.B. auf dem Shopflooreinzusetzen. Dann geht esnoch um das geliebte Thema Sh*t in, Sh*t out. Denn dieDatenbasis ist natürlich die Grundlage für vernünftige Antworten aus dem LLM.Guardrails können das noch nicht erkennen – die Datenqualität muss also schonvorher gecheckt werden. Also: Das Modelgeeignet dokumentieren. Guardrailskreieren, dokumentieren und überprüfen, um den Input und Output zuverifizieren. DieDatenbasis qualifizieren und auch den Fluss der Daten in das System. Zum Schlussmachen Christof und Shaun noch einen Blick in die Zukunft! Kapitelmarken: 00:00:00Vorstellung und Begrüßung 00:02:10Guardrails in GenAI 00:05:40Pharma und Künstliche Intelligenz 00:08:19Input- und Output-Guardrails 00:09:52Accuracy in LLM-Antworten 00:11:59Completeness in LLM-Antworten 00:14:50Enduring in LLM-Antworten 00:18:45Deterministische Prüfungen 00:21:02Guardrails in Entwicklung 00:25:39Datenqualität in KI 00:34:25Regularien als Chance 00:37:18Explainable AI 00:40:40AI-Architektur 00:42:49Zeitaufwand und Korrektheit 00:49:43 EinBlick in die Zukunft 00:53:39 ZweiFragen an Shaun