Fraunhofer-Institut für Kognitive Systeme IKS
Fraunhofer-Institut für Kognitive Systeme IKS
© iStock.com/JulieanneBirch

© iStock.com/JulieanneBirch

Adaptive Safety and Performance Management

Mit Unsicherheiten umgehen: Dynamisches Safety Management

© iStock.com/Rike_

Kognitive Systeme werden in dynamischen Kontexten eingesetzt. Dadurch entstehen viele sogenannte Unsicherheiten (engl. uncertainties), die es erschweren, den Systemkontext vorherzusehen und das System entsprechend abzusichern. Auch Funktionen, die auf Machine Learning basieren, sind eine Quelle von Unsicherheiten, da sich ihr Verhalten nicht vollständig vorhersagen lässt.

Klassische Absicherungsansätze würden bei diesen dynamischen Systemen immer von der schlechtes möglichen Situation ausgehen und dadurch zu komplizierten, teuren oder inperformanten Systementwürfen führen. Durch ein dynamisches Sicherheits- und Performanz-Management ist es hingegen möglich, diese aktuellen Hindernisse zu überwinden und Kognitive Systeme auch in dynamischen Kontexten einfach, kostengünstig und effizient abzusichern.

Das Fraunhofer IKS ermöglicht die Etablierung neuer kognitiver Technologien

Das Fraunhofer-Institut für Kognitive Systeme IKS erarbeitet daher Lösungen für die Entwicklung von sicherheitskritischen, oft KI-basierten Systemen, die im Gegensatz zu herkömmlichen Methoden gezielt das Spannungsdreieck aus Safety, Zuverlässigkeit und Kosten adressieren. So lassen sich neue und innovative Produkte für die unterschiedlichsten Industriezweige auf den Weg bringen, die ohne die entsprechenden Safety-Lösungen gesellschaftlich nicht akzeptanzfähig wären.

Im Detail werden hier bewährte Verfahren des Software Engineerings adaptiert und weiterentwickelt. Methodisch beinhaltet das Safety Engineering beispielsweise Verfahren, um Risiken zu ermitteln und zu bewerten, Fehleranalysen durchzuführen und Sicherheitskonzepte abzuleiten sowie Sicherheitsnachweise zu erbringen. Durch den hohen Automatisierungsgrad der modellbasierten Systementwicklung ist es möglich, Teilaspekte wie z. B. die dynamische Risikobewertung für unterschiedliche »Operational Design Domains« (ODDs) in die Laufzeit zu verlegen. Hierfür bereiten die Wissenschaftlerinnen und Wissenschaftler Modelle auf, anhand derer ein System seinen Zustand hinsichtlich Safety, Zuverlässigkeit und Verfügbarkeit zur Laufzeit erkennen und bewusst bestimmen bzw. nachvollziehbar optimieren kann. Dabei kann das System die Modelle selbst interpretieren und entsprechende Maßnahmen einleiten, um deren Resilienz zu sichern. Auf Basis von Risikomodellen kann das System zudem das Risiko für eine konkrete Situation bewerten. Diese Lösungen für situations- und kontextabhängiges Sicherheitsmanagement erlauben es damit, die gewünschte Performanz Kognitiver Systeme zu erreichen und gleichzeitig Sicherheit zu gewährleisten.

Einsatz und Erklärbarkeit von Künstlicher Intelligenz (KI)

Um den Einsatz von Künstlicher Intelligenz (KI) in dynamischen Systemen zu ermöglichen, arbeitet das Fraunhofer-Institut für Kognitive Systeme IKS außerdem daran KI-Methoden erklärbar zu machen (explainable AI). Aktuell ist Künstliche Intelligenz eine Black-Box. Das bedeutet, dass die Entscheidung einer KI nicht nachvollziehbar ist. Gerade für den Einsatz in sicherheitskritischen Bereichen ist dies allerdings eine wichtige Voraussetzung. Während die KI-Forschung versucht, diese Aspekte im Allgemeinen zu lösen, forscht das Fraunhofer IKS an erklärbaren KI-Ansätzen zur Steuerung und Regelung von autonomen Systemen. Für eine interpretierbare Ergebnisdarstellung kommen unter anderem Grey- und White-Box-Ansätze und eine Kombination unterschiedlicher KI-Verfahren gemischt mit klassischen Algorithmen zum Einsatz.

Ziel sind zum einen Verfahren zur Post-hoc-Analyse, die ein bereits bestehendes Modell interpretierbar machen. Zum anderen werden direkt interpretierbare KI-Methoden entwickelt, die selbst Erklärungen liefern, wie Vorhersagen getroffen wurden. Der Fokus liegt hier besonders auf Methoden, die die Sicherheitsanalyse von Systemen unterstützen und erhöhen, indem die Fehler erklärt und Abweichungen interpretiert werden können.