Hintergrund / Problemstellung: Die meisten Modelle der künstlichen Intelligenz basieren auf
komplexen Abbildungsvorschriften und bieten dadurch keine Möglichkeiten, die Funktionsweise der
Modelle im Detail zu begutachten oder externes Wissen durch Experten zu integrieren. Durch diese
Einschränkungen können diese Modelle nur schwer validiert werden und sind deshalb für viele
Anwendungsfelder ungeeignet. Sie werden deshalb auch als Black-Box-Modelle bezeichnet.
Zielsetzung / Lösungsansatz: Das Forschungsvorhaben verfolgt zwei primäre Ziele: Die Entwicklung
von neuen White-Box-Modellen und die Gewinnung von Erkenntnissen über die Akzeptanz der KI von
Experten. Diese zwei Ziele sind dabei eng miteinander verwoben und beeinflussen sich gegenseitig.
Zum einen werden die gelernten Abbildungsvorschriften der gelernten White-Box-Modelle zur
Interpretation durch Experten visuell dargestellt. Diese visuellen Darstellungen erlauben es Experten,
unter anderem Fehler oder Bias-Effekte in den darunterliegenden Daten sowie in der Modellabbildung
zu erkennen. Zum anderen sollen Experten ihr Wissen in die White-Box-KI zurückspielen können.
Dazu werden Nebenbedingungen in den Optimierungsproblemen zum Lernen der KI entwickelt,
welche das Expertenwissen widerspiegeln.
Kernarbeiten des Projektes: Die Kernarbeiten erstrecken sich folgend den Zielsetzungen über zwei
Gebiete: Entwicklung der Algorithmik zum Lernen von White-Box-Modellen und Evaluationen der
gelernten Modelle mit Hilfe von Experten. Die Entwicklung der Algorithmik wird sich dabei mit
Erweiterungen beschäftigen, die es erlauben, Expertenwissen mit in die KI-Modelle einfließen zu
lassen, aber auch mit Erweiterungen, welche ein schnelleres Lernen ermöglichen. Zur Evaluation der
gelernten Modelle werden Metriken zur Messung der Verständlichkeit aufgestellt, welche dann in
Feldversuchen verwendet werden, um den Mehrwert der White-Box-Modelle zu eruieren.
Verwertungspotenzial: Die Resultate dieses Vorhabens bieten sowohl in der Forschung als auch in
der Praxis großes Verwertungspotenzial. Die aktuelle Forschung befasst sich aktuell nahezu
ausschließlich mit rein datengetriebenen White-Box-Modellen. Dieses Vorhaben bildet somit einen
Grundstein zur Kombination von KI und Expertenwissen. In der Praxis können viele KI-Methoden nicht
angewandt werden, da keine endgültige Validierung der Methoden möglich ist und somit ein Einsatz
rechtlich oder ethisch nicht vertretbar ist. In diesem Vorhaben werden White-Box-KI-Modelle
entwickelt, die völlig transparent sind und somit vor einem Einsatz validiert werden können.
The main objective of my research is to translate health data into better treatment decisions through the use of data analytics. For this purpose, I develop innovative methodology from the fields of statistics, machine learning and big data in order to contribute to further research developments in data-driven decision support across various tasks in health management.
Current projects
“White-Box AI” - Transparente Entscheidungsunterstützung durch interpretierbare Machine-Learning-Modelle
(Third Party Funds Single)
Funding source: Bundesministerium für Bildung und Forschung (BMBF)
URL: https://www.whitebox-ai.rw.fau.de/
Hintergrund / Problemstellung: Die meisten Modelle der künstlichen Intelligenz basieren auf
komplexen Abbildungsvorschriften und bieten dadurch keine Möglichkeiten, die Funktionsweise der
Modelle im Detail zu begutachten oder externes Wissen durch Experten zu integrieren. Durch diese
Einschränkungen können diese Modelle nur schwer validiert werden und sind deshalb für viele
Anwendungsfelder ungeeignet. Sie werden deshalb auch als Black-Box-Modelle bezeichnet.
Zielsetzung / Lösungsansatz: Das Forschungsvorhaben verfolgt zwei primäre Ziele: Die Entwicklung
von neuen White-Box-Modellen und die Gewinnung von Erkenntnissen über die Akzeptanz der KI von
Experten. Diese zwei Ziele sind dabei eng miteinander verwoben und beeinflussen sich gegenseitig.
Zum einen werden die gelernten Abbildungsvorschriften der gelernten White-Box-Modelle zur
Interpretation durch Experten visuell dargestellt. Diese visuellen Darstellungen erlauben es Experten,
unter anderem Fehler oder Bias-Effekte in den darunterliegenden Daten sowie in der Modellabbildung
zu erkennen. Zum anderen sollen Experten ihr Wissen in die White-Box-KI zurückspielen können.
Dazu werden Nebenbedingungen in den Optimierungsproblemen zum Lernen der KI entwickelt,
welche das Expertenwissen widerspiegeln.
Kernarbeiten des Projektes: Die Kernarbeiten erstrecken sich folgend den Zielsetzungen über zwei
Gebiete: Entwicklung der Algorithmik zum Lernen von White-Box-Modellen und Evaluationen der
gelernten Modelle mit Hilfe von Experten. Die Entwicklung der Algorithmik wird sich dabei mit
Erweiterungen beschäftigen, die es erlauben, Expertenwissen mit in die KI-Modelle einfließen zu
lassen, aber auch mit Erweiterungen, welche ein schnelleres Lernen ermöglichen. Zur Evaluation der
gelernten Modelle werden Metriken zur Messung der Verständlichkeit aufgestellt, welche dann in
Feldversuchen verwendet werden, um den Mehrwert der White-Box-Modelle zu eruieren.
Verwertungspotenzial: Die Resultate dieses Vorhabens bieten sowohl in der Forschung als auch in
der Praxis großes Verwertungspotenzial. Die aktuelle Forschung befasst sich aktuell nahezu
ausschließlich mit rein datengetriebenen White-Box-Modellen. Dieses Vorhaben bildet somit einen
Grundstein zur Kombination von KI und Expertenwissen. In der Praxis können viele KI-Methoden nicht
angewandt werden, da keine endgültige Validierung der Methoden möglich ist und somit ein Einsatz
rechtlich oder ethisch nicht vertretbar ist. In diesem Vorhaben werden White-Box-KI-Modelle
entwickelt, die völlig transparent sind und somit vor einem Einsatz validiert werden können.
Recent publications
2023
2022
2021
2020
Related Research Fields
Contact: