LLMs besser verstehen
Der Forschungsbereich Grundlagen der systemischen KI beschäftigt sich intensiv mit der Frage, wie KI-Systeme nicht nur leistungsfähig, sondern auch zuverlässig, nachvollziehbar und sicher gestaltet werden können. Auf der NeuRIPS 2025 präsentiert das Team von Professor Kristian Kersting und Dr. Patrick Schramowski unter anderem ihre aktuelle Forschung im Bereich der Sparse AutoEncoders. Die Forschenden haben Methoden für die Messung und Weiterentwicklung der mechanistischen Interpretierbarkeit – also des Reverse Engineering von KI-Modellen – sowie für die Kontrolle großer Sprachmodelle (LLMs) entwickelt. Dadurch sollen die internen Prozesse von LLMs besser verständlich und beeinflussbar werden.
KI-Systeme, die durch Interaktionen lernen
Auch Forschende aus dem Bereich „Interaktives maschinelles Lernen” unter der Leitung von Prof. Daniel Sonntag werden dieses Jahr auf der renommierten KI-Konferenz ihre aktuelle Forschung präsentieren. In ihrer Forschung beschäftigen sie sich mit der Entwicklung grundlegender Methoden für intelligente Algorithmen und Benutzerschnittstellen, die maschinelles Lernen durch direkte menschliche Interaktion ermöglichen und somit das Training von KI-Systemen vereinfachen. Auf der NeurIPS werden die Forschenden unter anderem mit ExgraMed eine Methode für den optimierten Einsatz von Vision-Language-Modellen durch erweitertes Context Graph Alignment vorstellen.
LD3M: Innovatives Framework für Datensatz Destillation mit latenten Generative Priors
Ebenfalls auf der NeurIPS sind Forschende aus dem Forschungsbereich „Smarte Daten & Wissensdienste“ von Prof. Andreas Dengel. Dieser Bereich beschäftigt sich damit, aus großen und vielfältigen Datenbeständen hilfreiche Informationen zu gewinnen. Dafür werden neue Methoden entwickelt, die sowohl modellbasiert als auch datengetrieben arbeiten. Sie sollen dabei helfen, bessere Entscheidungen zu treffen, neue Erkenntnisse zu gewinnen, Verhalten zu analysieren, Unstimmigkeiten zu erkennen, Vorhersagen zu machen und Prozesse zu verbessern. Auf der NeurIPS präsentieren die Forschenden mit Latent Dataset Distillation with Diffusion Models (LD3M) ein innovatives Framework zur Datensatz Destillation mit latenten Generative Priors, das einen verbesserten Gradientenfluss von Diffusionsmodellen während des Destillationsprozesses ermöglicht.
DFKI-Beiträge auf der NeurIPS 2025:
- Paper: xLSTM-Mixer: Multivariate Time Series Forecasting by Mixing via Scalar Memories; Maurice Kraus, Felix Divo, Devendra Singh Dhami, Kristian Kersting
- Paper: Object-Centric Concept-Bottlenecks; David Steinmann, Wolfgang Stammer, Antonia Wüst, Kristian Kersting
- Paper: Measuring and Guiding Monosemanticity; Ruben Härle, Felix Friedrich, Manuel Brack, Björn Deiseroth, Stephan Waeldchen, Patrick Schramowski, Kristian Kersting
- Paper: When Causal Dynamics Matter: Adapting Causal Strategies through Meta-Aware Interventions; Moritz Willig, Tim Woydt, Devendra Singh Dhami, Kristian Kersting
- Paper: EmoNet-Face: An Expert-Annotated Benchmark for Synthetic Emotion Recognition; Christoph Schuhmann, Robert Kaczmarczyk, Gollam Rabby, Maurice Kraus, Felix Friedrich, Huu Nguyen, Kalyan Sai Krishna, Kourosh Nadi, Kristian Kersting, Sören Auer
- Paper: Exploring Neural Granger Causality with xLSTMs: Unveiling Temporal Dependencies in Complex Data; Harsh Poonia, Felix Divo, Kristian Kersting, Devendra Singh Dhami
- Paper: How Many Tokens Do 3D Point Cloud Transformer Architectures Really Need?; Tuan Tran Anh, Duy M. H. Nguyen, Hoai-Chau Tran, Michael Barz, Khoa D Doan, Roger Wattenhofer, Vien Ngo, Mathias Niepert, Daniel Sonntag, Paul Swoboda
- Paper: EXGRA-MED: Extended Context Graph Alignment for Medical Vision-Language Models; Duy M. H. Nguyen, Nghiem Diep, Trung Nguyen, Hoang-Bao Le, Tai Nguyen, Anh-Tien Nguyen, TrungTin Nguyen, Nhat Ho, Pengtao Xie, Roger Wattenhofer, Daniel Sonntag, James Zou, Mathias Niepert
- Paper: Mitigating Reward Over-optimization in Direct Alignment Algorithms with Importance Sampling; Nguyen Phuc, Ngoc-Hieu Nguyen, Duy M. H. Nguyen, Anji Liu, An Mai, Thanh Binh Nguyen, Daniel Sonntag, Khoa D Doan
- Workshop Paper: AuditCopilot: Leveraging LLMs for Fraud Detection in Double-Entry Bookkeeping; Md Abdul Kadir, Sai Suresh Macharla Vasu, Sidharth S. Nair, Daniel Sonntag
- Paper: Unlocking Dataset Distillation with Diffusion Models; Brian Bernhard Moser, Federico Raue, Sebastian Palacio, Stanislav Frolov, Andreas Dengel