Prof. Dr. Bernhard Egger

Juniorprofessur for Cognitive Computer Vision

I study how humans and machines can model and perceive 3D shapes and faces.

Research Projects

  • Inverse Rendering, 3D from 2D
  • Statistical Shape Modeling
  • Face Capture
  • Multimodal representation learning
  • Generalization in human and machine perception

  • J111: Voxelomic Atlas: Single-Voxel Spatio-Spectral Homology Matching

    (FAU Funds)

    Term: 1. October 2024 - 31. December 2026
    We aim to develop a voxelomic atlas of the brain. We will leverage high-resolution, multi-spectral ex-vivo imaging data from Magnetic Resonance Imaging (MRI) in combination with deep learning techniques, to compare single-voxel data between individuals. The atlas will serve as a tool to interpret single-voxel neuroanatomical variability. The project will build on preliminary work in sample preparation and data processing techniques.
  • Scaling Inverse Rendering to the Real World

    (Third Party Funds Single)

    Term: 1. August 2022 - 31. July 2025
    Funding source: Bundesministerium für Bildung und Forschung (BMBF)

    omputergestützte Lernverfahren zur Bildanalyse sind heute bereits in bestimmten Anwendungsfeldern schneller oder zuverlässiger als Menschen. Die gleichen Verfahren scheitern aber in komplexeren Umgebungen, insbesondere in Situationen auf denen die Algorithmen nicht trainiert wurden.  Solche Verfahren werden heutzutage hauptsächlich mit enormen Datenmengen und manuellen Annotationen trainiert. Wir glauben, dass die computergestützte Bildanalyse nicht ausschliesslich als Lernproblem angesehen werden darf, sondern stark von dateneffizienten Ansätzen profitieren wird. 

    In diesem interdisziplinären Projekt schlagen wir einen Ansatz vor, der die bestehenden Limitierungen basierend auf generativen Modellen und einem inversen Ansatz überwindet. Inverse Methoden zur Bildanalyse zielen darauf ab, alle Teile der Szene zu rekonstruieren, dies beinhaltet die 3D Form der Objekte, ihre Materialeigenschaften, Position sowie die Beleuchtung. Existierende inverse Ansätze funktionieren für einzelne Objekte oder auf synthetischen Daten aber bisher nicht ausreichend in komplexen und realistischen Umgebungen.

    In diesem Projekt leisten wir Grundlagenforschung bezüglich dreier Herausforderungen: Die erste Herausforderung liegt auf der Modellierungsseite. Inverse Methoden sind bisher nicht ausreichend (foto)realistisch und während wir für spezifische Objekte im Bereich der Analyse-durch-Synthese z.B. Gesichter grosse Fortschritte gemacht haben, skaliert dieser Ansatz nicht für generelle Objekte. Die zweite Herausforderung ist die Skalierung vom einzelnen Objekt zur Szene. Dies beinhaltet nun auch das Detektionsproblem von Objekten. Die dritte Herausforderung liegt darin herauszufinden ob unser menschliches visuelles System Methoden basierend auf der Idee von Generativen Modellen und inversen Methoden umsetzt oder nicht.

    Aus unserer Sicht können die aktuellen Limitierungen im Bereich des Computer Sehens nur, wie hier vorgeschlage gelöst werden - wenn der inverse Ansatz auf echten Daten besser generalisiert, wird er auch sehr schnell seinen Weg in Anwendungen finden. Anwendungsbereiche umfassen zum Beispiel medizinische Anwendungen, das autonome Fahren oder auch Robotik wo in vielen Bereichen heutige Algorithmen unzureichende Resultate liefern.  In Deutschland werden viele deartige Systeme entwickelt und weiterentwickelt und es entsteht ein Mehrwert für Industrie und Forschung

2025

2024

2023

2022

2021

2020

Related Research Fields

Contact: