Unter der Klammer „Künstliche Intelligenz“ (KI) gibt es dutzende Interpretationen. Nicht nur in der Literatur oder in Filmen, wo uns KI als rotes Kameraauge HAL 9000 oder in Gestalt humanoider Roboter begegnet. In der Pharmaindustrie und Medizintechnik lässt sich der KI-Begriff jedoch auf das Machine Learning (ML) eingrenzen: Ein Computersystem wird trainiert, um eine bestimmte Aufgabe durch Mustererkennung zu bearbeiten. Grundlage des Machine Learning und damit für dessen Validierung sind Trainingsdaten, die in möglichst hoher Qualität existieren müssen. D.h., viele Daten plus die zur Fragestellung passenden Merkmale.

Einsatzfelder in der Gesundheitsindustrie

Das Potential für die Qualitätssicherung und pharmazeutische Produktion ist groß:

1) Predictive Maintenance: Störfälle im Fertigungsablauf lassen sich mittels Machine Learning vorhersehen. Vernetzte Sensoren erfassen einen umfassenden Datenstrom, der analysiert wird um Ausfälle zu vermeiden.

2) Qualitätssicherung durch eine automatische Sichtkontrolle: Mit optischen Sensoren wird jede Tablette oder Ampulle „fotografiert“ und die Oberflächenqualität oder Trübstoffe durch eine KI beurteilt. Gerade bei dieser Sichtkontrolle ist eine ermüdungsfreie KI dem menschlichen Auge überlegen. So entwickelte das Fraunhofer IPA ein adaptives, optisches Inspektionsverfahren, bei dem die KI Oberflächenfehler, Verunreinigungen und Schwankungen im Serienprozess erkennt. (1) Vergleichbare Anwendungsfelder für optische Verfahren gibt es auch in der Pharmaforschung bei der Erkennung von Zellen.

In der Medizintechnik kann der Einfluss auf das Patientenwohl noch direkter sein: Hier existieren schon KI-basierte diagnostische Verfahren. So ist z.B. ein System, das herzkranke Patienten bei abweichender Herzfrequenz vor einem drohenden Herzinfarkt warnt, von besonders großem Vorteil. Es muss allerdings auch höchste Anforderungen in Hinblick auf Funktionssicherheit und Genauigkeit erfüllen.

Was müssen Unternehmen bei der Validierung von Machine Learning / KI beachten?

In einem ersten Schritt wird in jeder Validierung der „Intended Purpose“, also der Sinn und Zweck festgelegt und dann die technische Implementierung geplant. Bis hier unterscheiden sich klassische (linear-deterministische) Systeme und nicht-lineare KI-Systeme kaum. Fundamental anders ist der Black-Box Charakter der KI, in dem es keine tiefer gehenden Einsichten gibt, was das KI-System gelernt hat und wie es entscheidet. Wir können jedoch festlegen, mit welchen Trainingsdaten das KI-System lernt. Dabei stehen folgende Fragen im Vordergrund:

Woher kommen die Daten und wie „gut“ sind sie? Gibt es keinen Zusammenhang zwischen den Daten und dem Intended Purpose, dann trainiere ich mein System auf „irgendetwas“. Tückisch sind Pseudokorrelationen: so würden auch Enten als Schiffe erkannt, wenn die KI auf das umgebende Wasser als Merkmal trainiert ist. Hier existieren bereits Ansätze, die Black-Box zu öffnen und den Entscheidungsprozess der KI selber zu verstehen. (2)

Wann ist das Training abgeschlossen? Ein System-Lock kann stattfinden, wenn ein erwünschtes Verhalten beobachtet wird. Dabei wandelt sich der klassische Test zu einer statistischen Kennzahl oder Wahrscheinlichkeit: Wie viele falsche Positive und wieviel nichterkannte Symptome sind akzeptabel? Auch hier ist eine Risikoabschätzung notwendig, die vom Einsatzfall abhängt. Ist ein kontinuierlich lernendes System das Ziel, muss man es gegen falsche Daten schützen. Nicht umsonst werden klinische Studien gefordert, um die Wirksamkeit einer KI-Software als Medical Device nachzuweisen.

Eine KI-Validierung entspricht also nur teilweise den bekannten Methoden. Die inhaltlichen Fragen und die Art und Weise diese Methoden zu bedienen, unterscheiden sich von einer traditionellen Computersystem-Validierung. Dies erfordert ein Verständnis der Patientenrisiken und der genutzten KI-Technologie.

Quelle:

(1) Fraunhofer IPA, https://www.ipa.fraunhofer.de/de/ueber_uns/Leitthemen/ki/ki_fuer_die_produktion/ki_fuer_die_qualitaetssicherung.html (abgerufen am 06.05.19)

(2) Unmasking Clever Hans predictors and assessing what machines really learn, S. Lapuschkin, et. Al., Nature Communications, 2019