Generative KI kann große Datenmengen schnell auswerten. Für sicherheitsrelevante Anwendungen reicht Geschwindigkeit allein jedoch nicht aus. Entscheidend ist, ob Ergebnisse verlässlich, nachvollziehbar und gegen Manipulationen robust sind. Das Fraunhofer IIS entwickelt deshalb im Forschungsprojekt HEGEMON OTTO einen Bewertungsrahmen für generative KI und spezialisierte KI-Verfahren für kritische Anwendungen, bei denen heutige Standardmodelle an ihre Grenzen stoßen.
Wie sich generative KI systematisch bewerten lässt
Generative KI-Systeme wie Large Language Models (LLMs) und Visual Language Models (VLMs) gelten als vielversprechende Werkzeuge für die Analyse komplexer Daten. Das Forschungsprogramm HEGEMON der Agentur für Innovation in der Cybersicherheit (Cyberagentur) untersucht, wie verlässlich diese Modelle im Umfeld von Sicherheitsbehörden eingesetzt werden können. Im Mittelpunkt stehen Fragen, die in diesem Kontext besonders wichtig sind: Sind die Ergebnisse korrekt? Lassen sie sich nachvollziehen? Und wie robust reagieren die Modelle auf fehlerhafte oder manipulierte Eingaben?
Das Fraunhofer-Institut für Integrierte Schaltungen IIS entwickelt im Projekt OTTO dafür einen umfassenden Bewertungsrahmen mit Prüfdaten, Messgrößen, standardisierten Testverfahren und Demonstratoren. Damit lässt sich systematisch untersuchen, welche KI-Modelle für welche Aufgaben geeignet sind – nicht nur hinsichtlich Leistung und Genauigkeit, sondern auch mit Blick auf Verzerrungen, Transparenz, Ressourcenbedarf, Robustheit und Qualität im Dialog mit dem System.
Verbindung aus KI, Geodaten und Anwendungspraxis
Im Projekt bündelt das Fraunhofer IIS Kompetenzen aus der KI-gestützten Bild- und Geoanalyse, der Verknüpfung strukturierter Daten über Wissensgraphen und der Entwicklung intelligenter Assistenzsysteme. Der besondere Vorteil liegt darin, unterschiedliche Technologien und Methoden zusammenzuführen und damit Daten, Analyse, Bewertung und Anwendung gemeinsam zu denken.
Zum Einsatz kommen unter anderem multimodale KI-Modelle für die Auswertung von Texten, Bildern und Karten, Datenfusion und Wissensgraphen zur transparenten Verknüpfung unterschiedlicher Quellen und Geodaten sowie intelligente Assistenzsysteme für mehrstufige Analyse- und Dialogprozesse. Ergänzt werden diese durch standardisierte Prüfverfahren für nachvollziehbare und reproduzierbare Bewertungen.
Drei Anwendungsfälle aus dem Geoinformationswesen
Die Forschung orientiert sich an der Frage, wie gut generative KI heute bereits Geodaten, Texte und Karten auswerten kann. Im Mittelpunkt stehen drei konkrete Anwendungsfelder:
- Erstellung nachvollziehbarer Lage- und Kontextdossiers aus verlässlichen Quellen
- Analyse und Vektorisierung von Luft- und Satellitenbildern sowie Bebauungsplänen
- Dialoggestützte Auswertung geografischer Informationen über einen KI-basierten Kartenassistenten
Der Demonstrator führt Text-, Bild- und Kartenauswertung in einem System zusammen. Er erstellt faktenbasierte Dossiers und Lagebilder, leitet aus Luft- und Satellitenbildern verlässliche Informationen wie Gebäude- und Straßenstrukturen ab und ermöglicht natürlichsprachliche Abfragen und den Dialog über einen Chatbot. Dadurch lassen sich komplexe Informationen schrittweise erschließen – ähnlich wie in einer Lagebesprechung.
Verantwortliche in Sicherheits- und Lagebehörden können so besser einschätzen, welche Ergebnisse belastbar sind, wie sie zustande kommen und für welche Aufgaben sich generative KI unter hohen Anforderungen an Sicherheit und Nachvollziehbarkeit eignet.
Erste Ergebnisse: Standardmodelle stoßen an Grenzen
Erste Untersuchungen zeigen, dass breit trainierte Standardmodelle in ausgewählten geobasierten Analyseaufgaben an ihre Grenzen stoßen. Für sicherheitsrelevante Entscheidungen reicht das nicht aus. Genau deshalb entwickelt das Fraunhofer IIS belastbare Bewertungsverfahren, robuste Benchmarks und für besonders kritische Anwendungen spezialisierte KI-Systeme.
»Sicherheitsrelevante Entscheidungen brauchen KI-Unterstützung, die vor allem verlässlich und nachvollziehbar ist. Das entsteht nicht allein durch leistungsfähige Modelle, sondern durch das Zusammenspiel von Daten, Algorithmen und Anwendungskompetenz. Mit unserer langjährigen Erfahrung in der sicheren Erfassung, Übertragung und Verarbeitung von Informationen entwickeln wir die Werkzeuge, mit denen sich KI-Systeme fundiert bewerten und in sicherheitskritischen Szenarien verantwortungsvoll einsetzen lassen«, sagt Prof. Giovanni Del Galdo, Institutsleiter am Fraunhofer IIS.
Das Projekt OTTO ist Teil des Forschungsprogramms HEGEMON der Cyberagentur. Ziel des Programms ist es, Verfahren zu entwickeln, mit denen sich generative KI-Systeme für sicherheitskritische Anwendungen ganzheitlich bewerten lassen. Im Fokus stehen insbesondere Anwendungen für Sicherheitsbehörden sowie geobasierte Analyse- und Auswerteprozesse auf Landes- und Bundesebene.
Mehr Informationen zum Projekt.