Das KI-Gesetz der EU und Hochrisiko-KI-Systeme

Das KI-Gesetz (engl. AI Act) der Europäischen Kommission schafft einen gemeinsamen regulativen und rechtlichen Rahmen für Künstliche Intelligenz (KI). Der Ansatz des AI Act ist risikobasiert und legt eine Reihe von abgestuften rechtlichen und technischen Verpflichtungen fest. Diese sind abhängig davon, ob das KI-Produkt oder die Dienstleistung als ein System mit niedrigem, mittlerem oder hohem Risiko eingestuft wird, während andere KI-Anwendungen vollständig verboten werden.

Hochrisiko-KI-Systeme zum Beispiel für autonome Fahrzeuge oder medizinische Geräte können eine erhebliche Bedrohung für die Gesundheit, Sicherheit oder die Grundrechte der Einzelnen darstellen. Sie müssen eingehend geprüft und bewertet werden, bevor sie auf den Markt gebracht werden. Diese Bewertung wird vom Anbieter selbst durchgeführt. Die Einhaltung des AI Act wird für jede Organisation, die in naher Zukunft ein KI-basiertes System bereitstellt oder einsetzt, verpflichtend sein. Da das Gesetz eine breite Palette von Anwendungsfällen abdeckt, ist es wahrscheinlich, dass ein Unternehmen in den Geltungsbereich des AI-Gesetzes fällt.

Die Lücke zwischen Anforderungen und Realität schließen

Das neue KI-Gesetz wirft somit neue Fragen auf:

  • Erfüllt ein gegebenes KI-System alle Kriterien, um als vertrauenswürdig eingestuft zu werden?
  • Welchen Einfluss hat die KI auf das Gesamtrisiko in einem gegebenen operativen Bereich?

Die Beantwortung dieser Fragen erfordert erhebliche Fachkenntnisse im Bereich Safety Engineering, das Verständnis von Metriken der Robustheit und deren Auswirkungen auf die Sicherheit (Safety) sowie Wissen über die Integration solch komplexer Systeme in einen breiteren gesellschaftlichen Kontext. Um die Vorschriften für KI im Rahmen des KI-Gesetzes zu erfüllen, braucht es klar definierte und messbare Kriterien für vertrauenswürdige Künstliche Intelligenz. Das Fraunhofer IKS entwickelt systematische Prozesse, Methoden und Werkzeuge mit denen nachgewiesen werden kann, dass alle notwendigen Anforderungen und Kriterien erfüllt sind. Ziel ist eine Standardisierung, die die Lücke zwischen den strikten Vorschriften im Rahmen des AI Act und den detaillierten Anforderungen an KI für die Anwendung schließt.

Unser Angebot: AI-Act-Workshops und -Schulungen

AI-Act-Workshops

Eine proaktive Beurteilung der Konformität der KI-Systeme bietet Richtlinien für Design, Entwicklung und Einsatz eines KI-Systems, mindert die Risiken von KI-Ausfällen und kann Rufschäden sowie finanzielle Schäden durch Haftungsfragen vermeiden. Unsere AI-Act-Workshops bieten systematische Unterstützung für die Compliance Ihres KI-Systems und umfassen die folgenden Themen:

  • Etablierung eines kontinuierlichen Risikomanagementsystems durch Identifikation, Analyse und Schätzung bekannter und vorhersehbarer Risiken und Bereitstellung von Maßnahmen zur Risikominimierung
  • Sicherstellung von hochwertigen Trainings-, Validierungs- und Testdaten zur Minimierung von Diskriminierung und Bias in Datensätzen
  • Bereitstellung von Methoden für Design und Bewertung von ML-Modellen, angepasst an Ihre Anwendungsanforderungen (z. B. Genauigkeit, Robustheit, Vorhersagesicherheit, Transparenz und Erklärbarkeit)
  • Integration von Überwachungs- und Protokollierungsfähigkeiten und Bereitstellung automatisierter technischer Dokumentation
  • Gewährleistung der Überwachung und Verifizierung von Sicherheits- und Leistungseigenschaften während des gesamten Lebenszyklus
  • Unterstützung bei der Registrierung in der zukünftigen EU-Datenbank für Hochrisiko-KI-Systeme

 

Schulung »Machine Learning for Safety Experts«

Unsere Schulung »Machine Learning for Safety Experts« behandelt die grundlegenden Prinzipien zur Argumentation für die Sicherheit von Fahrzeugfunktionen, die maschinelles Lernen nutzen. Insbesondere konzentriert sich der Kurs auf den Einfluss des maschinellen Lernens auf die »Sicherheit der beabsichtigten Funktionalität« wie vom Standard ISO 21448 beschrieben. Der Kurs beinhaltet die folgenden Themen und kann an Ihren Anwendungsfall und Ihre Anforderungen angepasst werden:

  • Einführung in das maschinelle Lernen anhand einer Beispielanwendung und öffentlich zugänglicher Daten
  • Sicherheitsherausforderungen des maschinellen Lernens (ML)
  • Kurze Einführung in relevante Safety-Standards und deren Auswirkung auf das maschinelle Lernen
  • Safety-Lebenszyklus für ML-Funktionen
  • Ableitung von Safety-Anforderungen für ML-Funktionen mit besonderem Schwerpunkt auf die Definition von sicherheitsrelevanten Eigenschaften wie Genauigkeit, Robustheit, Vorhersagesicherheit, Transparenz und Erklärbarkeit
  • Einfluss von Trainings- und Testdaten auf die Sicherheit
  • Methoden zur Leistungsbewertung der ML-Funktion in Bezug auf Sicherheitsanforderungen
  • Safety-Analyse für maschinelles Lernen
  • Architektonische Maßnahmen zur Verbesserung der Sicherheit von ML-Funktionen
  • Methoden zur Gewährleistung der Sicherheit von ML-Funktionen während der Entwicklungs- und Laufzeit
  • Sicherheitsargumente für maschinelles Lernen

Sie haben Interesse an einem Workshop oder einer Schulung? Dann kontaktieren Sie uns direkt, um Ihre Anforderungen zu besprechen: business.development@iks.fraunhofer.de

Das Fraunhofer IKS profitiert von einem internationalen wissenschaftlichen Netzwerk zur Safety Assurance, z. B. der Universität York und dem Safety-Critical Systems Club, der Technischen Universität München (TUM) und der Ludwig-Maximilians-Universität München (LMU).

Referenzen und weitere Informationen

Leitung ISO/PAS 8800

Der Standard definiert sicherheitsrelevante Eigenschaften und Risikofaktoren, die sich auf die unzureichende Leistung und das Fehlverhalten von KI im Kontext von Straßenfahrzeugen auswirken.

KI in der Medizintechnik

Das Fraunhofer IKS forscht an der Entwicklung vertrauenswürdiger KI-basierter Systeme in sicherheitskritischen Bereichen wie dem Gesundheitswesen.

 

Whitepaper

The European Artificial Intelligence Act - Overview and Recommendations for Compliance

Das Fraunhofer IKS gibt in diesem Whitepaper einen Überblick über die wichtigsten Bestimmungen des EU-KI-Gesetzes. Dabei wird auf die Risikoklassifizierung, Stakeholder-Betrachtungen sowie die Anforderungen mit Fokus auf sicherheitskritische und risikobehaftete KI-Systeme eingegangen.

Safe Intelligence Blog

Erfahren Sie mehr über unsere Forschungsthemen auf unserem Safe Intelligence Blog.

KI-Standardisierung

Unter der Federführung des Fraunhofer IKS entwickelt eine internationale Arbeitsgruppe Normen und Standards, die sich mit Künstlicher Intelligenz aus Safety-Perspektive beschäftigen: Die Norm ISO/PAS 8800.  

 

safe.trAIn: Sichere KI für fahrerlose Züge

Im Projekt safe.trAIn arbeiten 17 Partner daran, die Grundlagen für den sicheren Einsatz von KI für fahrerlose Schienenfahrzeuge zu schaffen, um den Bahnverkehr effizienter und nachhaltiger zu gestalten. Der Fokus des Fraunhofer IKS liegt dabei insbesondere auf dem Sicherheitsnachweis für KI-Funktionen, der Robustheit von KI und der Operational Design Domain (ODD).

 

KI-Absicherung: Sichere Künstliche Intelligenz für autonomes Fahren

Das Projekt »KI-Absicherung«, eine Initiative des Verbandes der Deutschen Automobilindustrie (VDA), hat sich das Ziel gesetzt, die Sicherheit von KI-Systemen im Auto nachweisbar zu machen. Hierfür erarbeiten die Projektpartner eine stringente und nachweisbare Argumentationskette für die Absicherung von KI-Funktionen in hochautomatisierten Fahrzeugen.

 

Whitepaper

Complexity and uncertainty in the safety assurance and regulation of automated driving

Zusammen mit der University of York hat das Fraunhofer IKS ein Whitepaper veröffentlicht, das einen neuen Ansatz zur Gewährleistung der Sicherheit kognitiver cyber-physischer Systeme (CPS), einschließlich automatisierter Fahrsysteme, vorstellt.