Die klinische Routine in Diagnose und Behandlung von organischen Stimmstörungen ist aktuell geprägt von subjektiven/objektiven Beurteilungen der akustischen Stimmqualität und der subjektiven Beurteilung der visuell aufgezeichneten Stimmlippenschwingungen. Grund für die bisher rein subjektive Bewertung der Stimmlippenschwingungen sind der komplexe physikalische Prozess und die erschwerte Zugänglichkeit des Kehlkopfes.Aktuelle Fortschritte im Bereich des Maschinellen Lernens und der numerischen Modellierung haben das Potential zur quantitativen Diagnose und Behandlungsunterstützung für viele Erkrankungen, einschließlich Stimmstörungen, aufgezeigt. Wir wollen die Möglichkeiten von aktuellen Methoden der Klassifikation (Neuronale Netze), numerischer Modellierung und multi-modalen Datensätzen nutzen, um die Diagnostik und Behandlung organischer Stimmstörungen zu unterstützen, indem wir quantitative Aussagen über den Schweregrad der Störung vor, während und nach der Behandlung ermöglichen.Der erste innovative Aspekt ist die Entwicklung eines verbesserten Mehrmassemodells (6MM+) inklusive Lattice-Boltzmann Strömungslöser zur Simulation der Stimmlippenschwingungen unter Ausnutzung der Möglichkeiten moderner Grafikprozessoren. (2) Wir verwenden ein neuronales Netz um das 6MM+ an die, mittels Hochgeschwindigkeitsendoskopie (HSE) aufgezeichneten, Stimmlippenschwingungen zu optimieren. Dies liefert die im 6MM+ enthaltenen biomechanischen Parameter, wie z.B. lokal schwingende Stimmlippenmassen, Steifigkeiten und subglottalen Luftdruck. (3) Die aus dem 6MM+ bestimmten biomechanischen Parameter, die direkt aus der HSE berechneten glottalen Parameter, die berechneten Parameter aus dem akustischen Signal und patientenspezifische Parameter werden in einem multi-modalen Datensatz zusammengefasst. Basierend auf diesen Parametern wird mittels eines neuronalen Netzes die Schwere der Stimmstörung (0-100) errechnet. Dies ist für alle Zeitpunkte, also vor, während und nach der operativen Behandlung, möglich. (4) Mittels einer Feature Importance Analyse (Adaptive Boosting) werden die Parameter bestimmt, die das Krankheitsbild von organischen Stimmstörungen widerspiegeln. (5) Der gesamte Workflow wird in einem Softwaretool „VoIce Treatment AnaLysIs Tool (VITALITy)” integriert und steht dann anderen Wissenschaftlern zur Verfügung.Zum Training und Validierung von VITALITy wird eine Studie mit 90 PatientInnen, die an einer Stimmlippenparese, Muskelatrophie oder einem Stimmlippenpolyp leiden, und einer gesunden Kontrollgruppe (60 ProbandInnen) durchgeführt. Die Software wird zu der klinisch angestrebten quantitativen Einschätzung von organischen Stimmerkrankungen vor, während und nach der Therapie beitragen. Das Projekt wird neue Standards in der quantitativen Beurteilung von organischen Stimmstörungen setzen, indem aktuelle Methoden des Maschinellen Lernens, numerische Modellierung und multi-modale Daten gemeinschaftlich berücksichtigt werden.
Research projects
Current projects
Understanding Speech Motor Control in Hearing Impaired Patients by Means of Machine Learning
(Third Party Funds Single)
Funding source: DFG-Einzelförderung / Sachbeihilfe (EIN-SBH)
Der Sprechvorgang ist ein komplexer Prozess, bei dem einerseits die Koordination zwischen Atmung, laryngealer und oraler Motorik gegeben sein muss und andererseits auch zusätzlich zentral gesteuerte somatosensorische und auditorische Aufgaben bewältigt werden müssen. Die auditorische Rückkopplung spielt hierbei eine wichtige Rolle in der Kontrolle der Sprechmotorik. Dieser gesamte Kontroll- und Koordinationsprozess wird im englisch sprachigen Raum und im wissenschaftlichen Kontext als Speech-Motor-Control (SMC) bezeichnet. Es ist allgemein bekannt, dass auditive Deprivation durch Hörstörungen eine signifikante Verschlechterung der artikulatorischen Fähigkeiten, insbesondere der auditorischen Rückkopplung mit sich bringen kann. Die neurologischen Zusammenhänge sind hierbei jedoch noch bei weitem nicht verstanden.Der zentrale Gegenstand der Studie ist die Untersuchung des Einflusses von Schwerhörigkeit auf die Steuerung der Sprechmotorik (Speech-Motor-Control); d.h. wie wirkt sich ein gestörter auditorischer Input auf audio-kinästhetische Prozesse aus. Um dies zu untersuchen, wird ein Multi-Sensor Versuchsaufbau verwendet, bei dem alle beteiligten physiologischen Komponenten berücksichtigt und deren Vorgänge aufgezeichnet werden: Elektroenzephalographie (EEG), akustisches Stimmsignal und die direkte Beobachtung der laryngealen Vorgänge mittels Hochgeschwindigkeitsendoskopie. Durch die Analyse der multi-Sensordaten werden Zusammenhänge zwischen Perzeption und Motorik aufgedeckt. Der sogenannte Pitch-Shift-Reflex (PSR) wird in diesen Untersuchungen als Paradigma zur Untersuchung der Steuerung der Sprechmotorik verwendet.Es werden Daten von Normalhörigen und schwerhörigen Patienten erhoben. Methoden des maschinellen Lernens werden verwendet, um physiologisch interpretierbare Parameter in den Multisensordaten zu identifizieren, die die Sprechmotorikkontrolle definieren. Hierzu werden parameter- bzw. datengetriebene Verfahren des maschinellen Lernens untersucht. Dies führt zu klinisch relevanten Parametern, die die Verschlechterung der Sprechmotorikkontrolle repräsentieren. Diese werden mit audiologischen Kennwerten wie Ausmaß, Dauer und Frequenzverlauf der Hörstörung, Alter, Frequenzauflösungsvermögen und Sprachverstehensleistungen korreliert. Durch den Vergleich der Veränderungen des PSR mit audiologischen Kennwerten erwarten wir ein umfangreiches Verständnis von Form und Ausmaß des Verlustes der Sprechmotorikkontrolle bedingt durch auditorische Hörverschlechterung Innovative wissenschaftliche Aspekte des Projekts sind (1) die Verwendung endoskopischer Hochgeschwindigkeitsbildgebung zur direkten Visualisierung der laryngealen Vorgänge; (2) Verwendung von Methoden des maschinellen Lernens zur Aufdeckung von Unterschieden der Sprechmotorikkontrolle in den Multisensordaten zwischen Normalhörenden und Schwerhörigen. (3) Multiregressionsanalyse zur Identifizierung von Zusammenhängen zwischen SMC-Parametern und audiologischen Kennwerten.
Deep learning networks for quantitative evaluation of organic voice disorders and their treatment
(Third Party Funds Single)
Funding source: DFG-Einzelförderung / Sachbeihilfe (EIN-SBH)
Die klinische Routine in Diagnose und Behandlung von organischen Stimmstörungen ist aktuell geprägt von subjektiven/objektiven Beurteilungen der akustischen Stimmqualität und der subjektiven Beurteilung der visuell aufgezeichneten Stimmlippenschwingungen. Grund für die bisher rein subjektive Bewertung der Stimmlippenschwingungen sind der komplexe physikalische Prozess und die erschwerte Zugänglichkeit des Kehlkopfes.Aktuelle Fortschritte im Bereich des Maschinellen Lernens und der numerischen Modellierung haben das Potential zur quantitativen Diagnose und Behandlungsunterstützung für viele Erkrankungen, einschließlich Stimmstörungen, aufgezeigt. Wir wollen die Möglichkeiten von aktuellen Methoden der Klassifikation (Neuronale Netze), numerischer Modellierung und multi-modalen Datensätzen nutzen, um die Diagnostik und Behandlung organischer Stimmstörungen zu unterstützen, indem wir quantitative Aussagen über den Schweregrad der Störung vor, während und nach der Behandlung ermöglichen.Der erste innovative Aspekt ist die Entwicklung eines verbesserten Mehrmassemodells (6MM+) inklusive Lattice-Boltzmann Strömungslöser zur Simulation der Stimmlippenschwingungen unter Ausnutzung der Möglichkeiten moderner Grafikprozessoren. (2) Wir verwenden ein neuronales Netz um das 6MM+ an die, mittels Hochgeschwindigkeitsendoskopie (HSE) aufgezeichneten, Stimmlippenschwingungen zu optimieren. Dies liefert die im 6MM+ enthaltenen biomechanischen Parameter, wie z.B. lokal schwingende Stimmlippenmassen, Steifigkeiten und subglottalen Luftdruck. (3) Die aus dem 6MM+ bestimmten biomechanischen Parameter, die direkt aus der HSE berechneten glottalen Parameter, die berechneten Parameter aus dem akustischen Signal und patientenspezifische Parameter werden in einem multi-modalen Datensatz zusammengefasst. Basierend auf diesen Parametern wird mittels eines neuronalen Netzes die Schwere der Stimmstörung (0-100) errechnet. Dies ist für alle Zeitpunkte, also vor, während und nach der operativen Behandlung, möglich. (4) Mittels einer Feature Importance Analyse (Adaptive Boosting) werden die Parameter bestimmt, die das Krankheitsbild von organischen Stimmstörungen widerspiegeln. (5) Der gesamte Workflow wird in einem Softwaretool „VoIce Treatment AnaLysIs Tool (VITALITy)” integriert und steht dann anderen Wissenschaftlern zur Verfügung.Zum Training und Validierung von VITALITy wird eine Studie mit 90 PatientInnen, die an einer Stimmlippenparese, Muskelatrophie oder einem Stimmlippenpolyp leiden, und einer gesunden Kontrollgruppe (60 ProbandInnen) durchgeführt. Die Software wird zu der klinisch angestrebten quantitativen Einschätzung von organischen Stimmerkrankungen vor, während und nach der Therapie beitragen. Das Projekt wird neue Standards in der quantitativen Beurteilung von organischen Stimmstörungen setzen, indem aktuelle Methoden des Maschinellen Lernens, numerische Modellierung und multi-modale Daten gemeinschaftlich berücksichtigt werden.
Recent publications
2024
2023
2022
2021
2020
Related Research Fields
Contact: