The goal of my research is the development and application of machine learning methods to medical imaging, and their translation into clinical practice so that they can help patients on a day-to-day level.
Research projects
Accelerated MR imaging
Machine Learning for MRI data acquisition and image reconstruction
Quantitative imaging biomarkers for disease processes
Increase the global availability of imaging technology in second and third world countries
Current projects
Teilprojekt A2
(Third Party Funds Group – Sub project)
Overall project: Quantitative diffusionsgewichtete MRT und Suszeptibilitätskartierung zur Charakterisierung der Gewebemikrostruktur Term: 1. September 2023 - 31. August 2027 Funding source: DFG / Forschungsgruppe (FOR)
Dieses Projekt ist Teil der Forschungsgruppe (FOR) "Schnelle Kartierung von quantitativen MR bio-Signaturen bei ultrahohen Magnetfeldstärken". Es konzentriert sich auf die Erweiterung, Beschleunigung und Verbesserung der Diffusions- und quantitativen Suszeptibilitäts-Magnetresonanztomographie. Das Arbeitsprogramm ist in zwei Teile gegliedert. Im ersten Teil wird ein beschleunigtes Protokoll für die klinischen Projekte der FOR vorbereitet. Im zweiten Teil sollen eine weitere Beschleunigung sowie Qualitätsverbesserungen erreicht werden. Konkret werden wir eine lokal niedrigrangig regularisierte echoplanare Bildgebungssequenz für die diffusionsgewichtete Bildgebung implementieren. Sie nutzt Datenredundanzen bei Akquisitionen mit mehreren Diffusionskodierungen, um das Signal-Rausch-Verhältnis effektiv zu erhöhen und damit den Akquisitionsprozess zu beschleunigen. Die Sequenz wird im Wesentlichen beliebige Diffusionskodierungsmöglichkeiten ermöglichen (z.B. b-Tensor-Kodierung). In einem zweiten Schritt werden wir eine verschachtelte Mehrschuss-Version dieser Sequenz entwickeln, um Bildverzerrungen zu reduzieren, die bei der 7-Tesla echoplanaren Bildgebung störend sind. Für die quantitative Suszeptibilitätskartierung (QSM) werden wir eine Sequenz mit einer Stack-of-Stars-Aufnahmetrajektorie implementieren. Da die Magnitudenbilder von Gradientenechosequenzen, die zu unterschiedlichen Echozeiten akquiriert werden, Datenredundanzen aufweisen, die mit denen von diffusionskodierten Bildern vergleichbar sind, werden wir bei der Bildrekonstruktion ebenfalls eine lokale Regularisierung niedrigen Ranges verwenden. Die radialen Trajektorien dieser Sequenz sollten für eine unterabgetastete und damit beschleunigte Bildrekonstruktion gut geeignet sein. In einem zweiten Schritt werden wir die Fähigkeiten unserer Sequenz durch eine quasi-kontinuierliche Echozeit-Abtastung erweitern, bei dem jede Speiche ihre eigene optimierte Echozeit hat. Dies wird eine verbesserte Qualität der QSM ermöglichen, wenn Fett im Bild vorhanden ist, wie es häufig bei Muskeluntersuchungen und in der Brustbildgebung der Fall ist. Bezüglich der QSM-Rekonstruktion werden wir Verfahren des tiefen Lernens entwickeln, um eine qualitativ hochwertige Rekonstruktion mit einer geringeren Menge an Bilddaten als bei herkömmlichen Rekonstruktionsansätzen zu ermöglichen. Wir werden bestehende neuronale Netzwerke von niedrigeren Feldstärken auf 7 T anpassen und deren Fähigkeiten so erweitern, dass wir auch atemzyklusabhängige Feldkarten. Dieses Projekt wird parallele Sendemethoden (pTx) vom pTx-Projekt der FOR erhalten. Wir werden die entwickelten Sequenzen nach dem ersten Jahr an die klinischen Projekte der FOR liefern. Darüber hinaus werden wir wesentliche Auswerte- und Bildrekonstruktionsmethoden an die anderen Projekte der FOR transferieren.und quasi-kontinuierliche Echozeiten in die Rekonstruktion integrieren können.
The majority of diagnostic medicalimaging pipelines follow the same principles: raw measurement data is acquiredby scanner hardware, processed by image reconstruction algorithms, and thenevaluated for pathology by human radiology experts. Under this paradigm, every stephas traditionally been optimized to generate images that are visually pleasingand easy to interpret for human experts. However, raw sensor information thatcould maximize patient-specific diagnostic information may get lost in thisprocess. This problem is amplified by recent developments in machine learning for medical imaging. Machine learning has been used successfully inall steps of the diagnostic imaging pipeline: from the design of dataacquisition to image reconstruction, to computer-aided diagnosis. So far, thesedevelopments have been disjointed from each other. In this project, we willfuse machine learning for image reconstruction and for image-based diseaselocalization, thus providing an end-to-end learnable image reconstruction andjoint pathology detection approach that operates directly on raw measurementdata. Our hypothesis is that this combination can maximize diagnostic accuracywhile providing optimal images for both human experts and diagnostic machinelearning models.
The broad mission of our Center for Advanced Imaging Innovation and Research (CAI2R) is to bring together collaborative translational research teams for the development of high-impact biomedical imaging technologies, with the ultimate goal of changing day-to-day clinical practice. Technology Research and Development (TR&D) Project 1 aims to replace traditional complex and inefficient imaging protocols with simple, comprehensive acquisitions that also yield quantitative parameters sensitive to specific disease processes. In the first funding period of this P41 Center, our project team led the way in establishing rapid, continuous, comprehensive imaging methods, which are now available on a growing number of commercial magnetic resonance imaging (MRI) scanners worldwide. This foundation will allow us, in the proposed research plan for the next period, to enrich our data streams, to advance the extraction of actionable information from those data streams, and to feed the resulting information back into the design of our acquisition software and hardware. Thanks to developments during our first funding period, we are now in a position to question long-established assumptions about scanner design, originating from the classical imaging pipeline of human radiologists interpreting multiple series of qualitative images. We will reimagine the process of MR scanning, leveraging our core expertise in pulse-sequence design, parallel imaging, compressed sensing, model-based image reconstruction and machine learning. We will also extend our methods to complex multifaceted data streams, arising not only from MRI but also from Positron Emission Tomography (PET) and other imaging modalities, as well as from diverse arrays of complementary sensors.
Fürnrohr, F., Wetzl, J., Vornehm, M., Giese, D., & Knoll, F. (2024). Data Consistent Variational Networks for Zero-shot Self-supervised MR Reconstruction. In Andreas Maier, Thomas M. Deserno, Heinz Handels, Klaus Maier-Hein, Christoph Palm, Thomas Tolxdorff (Eds.), Bildverarbeitung für die Medizin 2024 (pp. 316-321). Erlangen, DE: Wiesbaden: Springer Vieweg.
Zaiß, M., Rajput, J.R., Dang, H.N., Golkov, V., Cremers, D., Knoll, F., & Maier, A. (2024). Exploring GPT-4 as MR Sequence and Reconstruction Programming Assistant. In Andreas Maier, Thomas M. Deserno, Heinz Handels, Klaus Maier-Hein, Christoph Palm, Thomas Tolxdorff (Eds.), Bildverarbeitung für die Medizin 2024. BVM 2024 (pp. 94-99). Erlangen, DE: Wiesbaden: Springer Vieweg.
Huang, Z., Bae, J., Johnson, P.M., Sood, T., Heacock, L., Fogarty, J.,... Knoll, F. (2021). A Simulation Pipeline to Generate Realistic Breast Images for Learning DCE-MRI Reconstruction. In Nandinee Haq, Patricia Johnson, Andreas Maier, Tobias Würfl, Jaejun Yoo (Eds.), Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics) (pp. 45-53). Virtual, Online: Springer Science and Business Media Deutschland GmbH.
Sriram, A., Zbontar, J., Murrell, T., Defazio, A., Zitnick, C.L., Yakubova, N.,... Johnson, P. (2020). End-to-End Variational Networks for Accelerated MRI Reconstruction. In Anne L. Martel, Purang Abolmaesumi, Danail Stoyanov, Diana Mateus, Maria A. Zuluaga, S. Kevin Zhou, Daniel Racoceanu, Leo Joskowicz (Eds.), Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics) (pp. 64-73). Lima, PER: Springer Science and Business Media Deutschland GmbH.
The goal of my research is the development and application of machine learning methods to medical imaging, and their translation into clinical practice so that they can help patients on a day-to-day level.
Research projects
Current projects
Teilprojekt A2
(Third Party Funds Group – Sub project)
Term: 1. September 2023 - 31. August 2027
Funding source: DFG / Forschungsgruppe (FOR)
Quantitative diffusionsgewichtete MRT und Suszeptibilitätskartierung zur Charakterisierung der Gewebemikrostruktur
(Third Party Funds Group – Sub project)
Term: 1. September 2023 - 31. August 2027
Funding source: DFG / Forschungsgruppe (FOR)
Dieses Projekt ist Teil der Forschungsgruppe (FOR) "Schnelle Kartierung von quantitativen MR bio-Signaturen bei ultrahohen Magnetfeldstärken". Es konzentriert sich auf die Erweiterung, Beschleunigung und Verbesserung der Diffusions- und quantitativen Suszeptibilitäts-Magnetresonanztomographie. Das Arbeitsprogramm ist in zwei Teile gegliedert. Im ersten Teil wird ein beschleunigtes Protokoll für die klinischen Projekte der FOR vorbereitet. Im zweiten Teil sollen eine weitere Beschleunigung sowie Qualitätsverbesserungen erreicht werden. Konkret werden wir eine lokal niedrigrangig regularisierte echoplanare Bildgebungssequenz für die diffusionsgewichtete Bildgebung implementieren. Sie nutzt Datenredundanzen bei Akquisitionen mit mehreren Diffusionskodierungen, um das Signal-Rausch-Verhältnis effektiv zu erhöhen und damit den Akquisitionsprozess zu beschleunigen. Die Sequenz wird im Wesentlichen beliebige Diffusionskodierungsmöglichkeiten ermöglichen (z.B. b-Tensor-Kodierung). In einem zweiten Schritt werden wir eine verschachtelte Mehrschuss-Version dieser Sequenz entwickeln, um Bildverzerrungen zu reduzieren, die bei der 7-Tesla echoplanaren Bildgebung störend sind. Für die quantitative Suszeptibilitätskartierung (QSM) werden wir eine Sequenz mit einer Stack-of-Stars-Aufnahmetrajektorie implementieren. Da die Magnitudenbilder von Gradientenechosequenzen, die zu unterschiedlichen Echozeiten akquiriert werden, Datenredundanzen aufweisen, die mit denen von diffusionskodierten Bildern vergleichbar sind, werden wir bei der Bildrekonstruktion ebenfalls eine lokale Regularisierung niedrigen Ranges verwenden. Die radialen Trajektorien dieser Sequenz sollten für eine unterabgetastete und damit beschleunigte Bildrekonstruktion gut geeignet sein. In einem zweiten Schritt werden wir die Fähigkeiten unserer Sequenz durch eine quasi-kontinuierliche Echozeit-Abtastung erweitern, bei dem jede Speiche ihre eigene optimierte Echozeit hat. Dies wird eine verbesserte Qualität der QSM ermöglichen, wenn Fett im Bild vorhanden ist, wie es häufig bei Muskeluntersuchungen und in der Brustbildgebung der Fall ist. Bezüglich der QSM-Rekonstruktion werden wir Verfahren des tiefen Lernens entwickeln, um eine qualitativ hochwertige Rekonstruktion mit einer geringeren Menge an Bilddaten als bei herkömmlichen Rekonstruktionsansätzen zu ermöglichen. Wir werden bestehende neuronale Netzwerke von niedrigeren Feldstärken auf 7 T anpassen und deren Fähigkeiten so erweitern, dass wir auch atemzyklusabhängige Feldkarten. Dieses Projekt wird parallele Sendemethoden (pTx) vom pTx-Projekt der FOR erhalten. Wir werden die entwickelten Sequenzen nach dem ersten Jahr an die klinischen Projekte der FOR liefern. Darüber hinaus werden wir wesentliche Auswerte- und Bildrekonstruktionsmethoden an die anderen Projekte der FOR transferieren.und quasi-kontinuierliche Echozeiten in die Rekonstruktion integrieren können.
End-to-End Deep Learning Image Reconstruction and Pathology Detection
(Third Party Funds Single)
Funding source: DFG-Einzelförderung / Sachbeihilfe (EIN-SBH)
The majority of diagnostic medicalimaging pipelines follow the same principles: raw measurement data is acquiredby scanner hardware, processed by image reconstruction algorithms, and thenevaluated for pathology by human radiology experts. Under this paradigm, every stephas traditionally been optimized to generate images that are visually pleasingand easy to interpret for human experts. However, raw sensor information thatcould maximize patient-specific diagnostic information may get lost in thisprocess. This problem is amplified by recent developments in machine
learning for medical imaging. Machine learning has been used successfully inall steps of the diagnostic imaging pipeline: from the design of dataacquisition to image reconstruction, to computer-aided diagnosis. So far, thesedevelopments have been disjointed from each other. In this project, we willfuse machine learning for image reconstruction and for image-based diseaselocalization, thus providing an end-to-end learnable image reconstruction andjoint pathology detection approach that operates directly on raw measurementdata. Our hypothesis is that this combination can maximize diagnostic accuracywhile providing optimal images for both human experts and diagnostic machinelearning models.
TR&D 1: Reimagining the Future of Scanning: Intelligent image acquisition, reconstruction, and analysis
(Third Party Funds Single)
Funding source: National Institutes of Health (NIH)
URL: https://grantome.com/grant/NIH/P41-EB017183-07-6366
The broad mission of our Center for Advanced Imaging Innovation and Research (CAI2R) is to bring together collaborative translational research teams for the development of high-impact biomedical imaging technologies, with the ultimate goal of changing day-to-day clinical practice. Technology Research and Development (TR&D) Project 1 aims to replace traditional complex and inefficient imaging protocols with simple, comprehensive acquisitions that also yield quantitative parameters sensitive to specific disease processes. In the first funding period of this P41 Center, our project team led the way in establishing rapid, continuous, comprehensive imaging methods, which are now available on a growing number of commercial magnetic resonance imaging (MRI) scanners worldwide. This foundation will allow us, in the proposed research plan for the next period, to enrich our data streams, to advance the extraction of actionable information from those data streams, and to feed the resulting information back into the design of our acquisition software and hardware. Thanks to developments during our first funding period, we are now in a position to question long-established assumptions about scanner design, originating from the classical imaging pipeline of human radiologists interpreting multiple series of qualitative images. We will reimagine the process of MR scanning, leveraging our core expertise in pulse-sequence design, parallel imaging, compressed sensing, model-based image reconstruction and machine learning. We will also extend our methods to complex multifaceted data streams, arising not only from MRI but also from Positron Emission Tomography (PET) and other imaging modalities, as well as from diverse arrays of complementary sensors.
A comprehensive deep learning framework for MRI reconstruction
(Third Party Funds Single)
Funding source: National Institutes of Health (NIH)
URL: https://govtribe.com/award/federal-grant-award/project-grant-r01eb029957
Recent publications
2024
2023
2022
2021
2020
Related Research Fields
Contact: