„Die KI hat mir nie gesagt, dass das Pflicht ist“: Was der erste FDA-Warning-Letter zu KI-Dokumenten wirklich verlangt

Beitragsbild: FDA-Warning-Letter zu KI-generierten GMP-Dokumenten
Ein Hersteller wusste nicht, dass eine Prozessvalidierung Pflicht ist, weil der KI-Agent es ihm „nie gesagt“ habe. So steht es im ersten FDA-Warning-Letter, der den Einsatz von KI im cGMP-Kontext ausdrücklich beanstandet. Was die Behörde verlangt und was das für KI im GxP-Umfeld bedeutet.

Es gibt Sätze, die man in einem FDA-Inspektionsbericht nicht lesen möchte. Dieser gehört dazu: Ein Hersteller wusste nicht, dass eine Prozessvalidierung vorgeschrieben ist, denn der KI-Agent, mit dem er seine Compliance aufgebaut hatte, habe es ihm „nie gesagt“.

Das ist kein ausgedachtes Szenario für eine Schulung. Es steht so im Warning Letter 320-26-58, den die FDA am 2. April 2026 an Purolea Cosmetics Lab in Michigan geschickt hat. Soweit bekannt, ist es das erste Mal, dass die Behörde den Einsatz von KI in einem cGMP-Kontext ausdrücklich beanstandet.

Der Fall im Überblick
Dokument
FDA Warning Letter 320-26-58 (Originaltext bei der FDA)
Datum
2. April 2026
Empfänger
Purolea Cosmetics Lab, Michigan (USA)
Inspektion
Oktober 2025
KI-bezogener Befund
KI-erstellte Spezifikationen, SOPs und Master Production Records ohne fachliche Prüfung durch die Qualitätseinheit
Rechtsgrundlage
21 CFR 211.22(c)

Was passiert ist

Bei der Inspektion im Oktober 2025 gab das Unternehmen an, KI-Agenten genutzt zu haben, „um FDA-Vorschriften einzuhalten“. Konkret erstellte die KI drei Dinge:

KI-erstellt

Spezifikationen

Spezifikationen für Arzneimittel

KI-erstellt

Verfahrensanweisungen

Standard Operating Procedures (SOPs)

KI-erstellt

Herstellungsunterlagen

Master Production Records und Kontrollaufzeichnungen

Also genau die Dokumente, auf denen ein GMP-System aufbaut.

Fairerweise muss man sagen: Die KI war nicht das einzige Problem. Der Warning Letter nennt Insekten und Schmutz in der Produktion, fehlende mikrobiologische Freigabeprüfungen, ungeprüfte Ausgangsstoffe und eine Qualitätseinheit, die ihre Aufgaben nicht wahrgenommen hat. Ein Betrieb mit solchen Mängeln hätte wahrscheinlich auch ohne KI einen Warning Letter bekommen.

Gerade deshalb ist der Fall lehrreich. Die KI hat die Probleme nicht verursacht, aber sie hat sie verdeckt. Die Dokumente sahen nach Compliance aus. Es gab nur niemanden, der geprüft hat, ob sie auch stimmen.

Was die FDA tatsächlich verlangt

Der KI-Abschnitt im Warning Letter ist kurz, aber deutlich. Drei Punkte sind entscheidend.

01

KI ist als Hilfsmittel erlaubt

Die FDA verbietet KI nicht. Sie schreibt ausdrücklich: Wenn KI als Hilfe bei der Dokumentenerstellung genutzt wird, gelten bestimmte Pflichten.

Kurz gesagt: Kein Nein, sondern ein Ja mit Bedingungen.

02

Die Prüfung ist Pflicht der Qualitätseinheit nach 21 CFR 211.22(c)

KI-generierte Dokumente müssen geprüft werden, damit sie „korrekt und tatsächlich CGMP-konform“ sind. Wer das unterlässt, verstößt gegen 21 CFR 211.22(c), also gegen die Pflicht der Qualitätseinheit, Spezifikationen und Verfahren zu genehmigen oder abzulehnen.

Kurz gesagt: Neue Regeln braucht es dafür nicht, die bestehenden reichen.

03

Am Ende entscheidet ein Mensch, und zwar mit Befugnis

Jeder Output und jede Empfehlung eines KI-Agenten muss von einer autorisierten menschlichen Person der Qualitätseinheit geprüft und freigegeben werden. Es reicht also nicht, dass irgendjemand kurz drüberschaut. Es muss jemand sein, der dazu befugt ist und dafür die Verantwortung trägt.

Kurz gesagt: Verantwortung lässt sich nicht an einen Algorithmus abgeben.

Warum der Fall auch für gut aufgestellte Unternehmen relevant ist

Man könnte es sich leicht machen: ein kleiner Hersteller mit Insekten in der Halle, das betrifft uns nicht. Das wäre ein Fehler.

Der Satz „die KI hat es mir nicht gesagt“ beschreibt ein Muster, das auch in großen Organisationen vorkommt. Nicht so krass, aber mit derselben Ursache. Ein Copilot formuliert eine SOP-Revision. Ein Sprachmodell fasst Abweichungsberichte zusammen. Ein Tool schlägt Spezifikationsgrenzen vor. Die Ergebnisse klingen gut und sind sauber formatiert, deshalb werden sie seltener hinterfragt als ein Entwurf von einem Kollegen.

Genau das meint die FDA mit „overreliance“: Man verlässt sich auf eine KI, als hätte sie Fachwissen. Ein Sprachmodell kennt aber Ihre Prozesse nicht, Ihre Validierungslage nicht und Ihre Risikobewertung nicht. Es weiß auch nicht, was es nicht weiß, und genau das ist im GMP-Umfeld das Problem.

Was das für die KI-Validierung in Pharma bedeutet

Aus dem Warning Letter lässt sich eine einfache Grundregel ableiten. Bevor KI im GxP-Umfeld eingesetzt wird, sollten fünf Fragen beantwortet sein:

  1. Wofür genau wird die KI genutzt?Ein Tool, das Formulierungen vorschlägt, ist etwas anderes als eines, das Spezifikationen festlegt. Je näher der Output an der Produktqualität ist, desto strenger muss die Kontrolle sein. Das ist ein klassischer risikobasierter Ansatz im Sinne von GAMP 5 und ICH Q9.
  2. Wer gibt frei und mit welcher Befugnis?Die Freigabe KI-gestützter GxP-Dokumente gehört in die Qualitätseinheit. Das muss in einer SOP geregelt sein, inklusive Verantwortlichkeiten.
  3. Was genau wird geprüft?Rechtschreibung zu kontrollieren reicht nicht. Die Prüfung muss fachlich sein: Stimmt das regulatorisch? Passt es zu unserem Prozess? Fehlt etwas? Gerade das Letzte findet man nur, wenn man selbst weiß, was hineingehört.
  4. Ist nachvollziehbar, wo KI beteiligt war?Data Integrity bedeutet auch, dass man im Nachhinein sieht, welcher Teil eines Dokuments von wem stammt. Eine einfache Kennzeichnung im Dokumentenlebenszyklus hilft bei der nächsten Inspektion enorm.
  5. Wie wird das Tool selbst qualifiziert?Je nach Einsatz gelten Anforderungen an computergestützte Systeme, in den USA 21 CFR Part 11, in der EU Annex 11. Für KI-Modelle im GMP-Umfeld hat die EU-Kommission zudem einen neuen Annex 22 „Artificial Intelligence“ vorgeschlagen. Er ist noch nicht final verabschiedet, liegt also bisher nur als Entwurf vor. Die Richtung ist aber klar, und wer in beiden Märkten tätig ist, sollte sie schon jetzt im Blick behalten.
Passend dazuKI in der Pharmaindustrie: Innovationspotenzial, Regulierung und Compliance

Fazit: KI kann Arbeit abnehmen, aber keine Verantwortung

Der Fall Purolea ist kein Argument gegen KI in der Pharma-Compliance. Er zeigt, wo die Grenze liegt. KI kann Entwürfe schneller erstellen, Dokumente vergleichen und auf Lücken hinweisen. Ob ein Dokument stimmt, muss aber weiterhin ein qualifizierter Mensch entscheiden, der dafür unterschreibt.

Die FDA hat das jetzt erstmals schriftlich festgehalten. Wahrscheinlich nicht zum letzten Mal.

Hinweis: Dieser Artikel wurde von einem menschlichen Autor verfasst und mithilfe von KI-Tools sprachlich optimiert.

Note: This article was written by a human author and linguistically refined with the help of AI tools.

Uwaga: Ten artykuł został napisany przez autora-człowieka, a jego warstwa językowa została dopracowana przy pomocy narzędzi AI.

Liked this post? Share with others!

Demo

Schenken Sie uns 20 Minuten.

Bringen Sie Ihren größten Datenraum mit. Wir zeigen Ihnen das Produkt. Gerne mit Ihren Testdaten.

Hosting in Deutschland · § 203 StGB-konform · Zero Data Retention

aiuno Screen

Demo

Give us 20 minutes.

Bring your largest data room. We’ll show you the product – happy to use your test data.

Hosted in Germany · No US transfer · Zero Data Retention

aiuno Screen

Demo

Dajcie nam 20 minut.

Przynieście swój największy data room. Pokażemy produkt – chętnie na Waszych danych testowych.

Hosting w Niemczech · Bez transferu do USA · Zero Data Retention

aiuno Screen
Nach oben scrollen