Dependable Environment Perception

Die korrekte Erfassung der Umwelt ist unumgänglich für den sicheren Betrieb Kognitiver Systeme. Autonome Fahrzeuge z. B. messen ununterbrochen ihre Umgebung durch verschiedene Sensortechnologien wie Kamera-, Radar- oder Lidar-Systeme. Auf Basis dieser erfassten Daten wird mit Hilfe von Sensorfusionsalgorithmen und Künstlicher Intelligenz (KI) ein Umfeldmodell erstellt, das wiederum als Grundlage für sämtliche Entscheidungen dient.

Da die einzelnen Sensoren jedoch über situationsabhängige Schwachstellen verfügen, muss sichergestellt werden, dass trotz dieser Schwächen der sichere Betrieb eines Kognitiven Systems gewährleistet wird. Beim automatisierten Fahren können Wetterbedingungen, Straßenbegebenheiten und spezifische Fahrsituationen Einfluss auf die Qualität der Umfelderfassung haben.

Das Fraunhofer-Institut für Kognitive Systeme IKS arbeitet daher an systematischen Sicherheitsanalysemethoden. Diese ermöglichen es, eine verlässliche Aussage über die Vollständigkeit der betrachteten Risiken zu treffen und das Systemdesign hinsichtlich Sicherheit, Performanz, Zuverlässigkeit und Kosten zu optimieren. Die entwickelten Werkzeuge können unter anderem dazu verwendet werden, um den Anforderungen des »ISO 21448«-Standards (SOTIF) zu entsprechen.

Künstliche Intelligenz (KI) und maschinelle Lernverfahren wie Deep Neural Networks (DNN) sind klassischen Algorithmen in vielen Fällen deutlich überlegen, beispielsweise in der Bild- und Audioerkennung oder in der Sensordatenverarbeitung. Aber auch wenn Machine Learning häufig gut funktioniert: In sicherheitskritischen Anwendungen wie dem autonomen Fahren geht es um Menschenleben. Eine besonders große Rolle spielen hier KI-Anwendungen bei der Erstellung von Umfeldmodellen, da hier eine fehlerhafte Information direkt zu einer gefährlichen Entscheidung führen kann. Diese hohen Qualitätsmaßstäbe zu erreichen, ist aktuell die größte Herausforderung beim Einsatz von Künstlicher Intelligenz.

Künstliche Intelligenz muss robust und verifizierbar sein. Robustheit bedeutet, dass kleine Änderungen der Eingangsdaten auch nur kleine Änderungen der Ausgabe nach sich ziehen. Bei der Verifikation von KI-basierten Algorithmen wird deswegen überprüft, ob bestimmte Spezifikationen wie die Robustheit von der KI-Methode eingehalten werden.

Klassische Ansätze der Softwarequalitätssicherung sind allerdings für KI-Methoden nur eingeschränkt nutzbar. Rein Code-basierte Tests überprüfen zwar die korrekte Implementierung eines Deep Neural Networks, sie vernachlässigen aber, dass sich das eigentliche Verhalten des Systems aus den trainierten Parametern und Eingabedaten ergibt, nicht aus der Programmierung.

Ein weiteres Problem ist die Masse der möglichen Testfälle. In einer realen Situation ist das System, beispielsweise das autonome Fahrzeug, mit so vielen Kombinationen konfrontiert, dass diese sich nicht vollständig abdecken lassen. Außerdem kann man bei Künstlicher Intelligenz nicht davon ausgehen, dass das System nach Bestehen der Tests auch in leicht abweichenden realen Fällen funktionieren wird. Eine entscheidende Frage ist deswegen: »Wann ist die Künstliche Intelligenz sicher genug?«

Um diese Frage in Zukunft beantworten zu können, forscht das Fraunhofer IKS an neuen Testabdeckungsmaßen, aus denen sich Testendekriterien ableiten lassen. Ziel sind KI-Testverfahren, die den Datenraum gründlich abdecken und kritische Szenarien identifizieren.

Außerdem entwickelt das Institut neue Qualitätsmaße für DNNs, die dem Anspruch an Sicherheitsnachweise gerecht werden. Hierfür werden die aus Großforschungsprojekten wie den VDA-Leitinitiativen entstandenen Maße evaluiert und angepasst. Außerdem werden Methoden der formalen Verifikation untersucht, um die Einhaltung der Spezifikation garantieren zu können. Da eine reine Post-hoc-Analyse hier nicht ausreichend ist, werden zertifizierbare Künstliche Intelligenz Lernverfahren entwickelt, die die Spezifikation auch während des Trainings berücksichtigen und einhalten.