KIZert – Möglichkeiten zur Zertifizierung eines Modells der künstlichen Intelligenz

Seit ChatGPT, Midjourney oder andere KI-Tools im Fokus der Gesellschaft stehen und durch ihre zum Teil verblüffenden, aber auch fragwürdigen Ergebnisse, große Aufmerksamkeit in den Medien erhalten, ist der Ruf nach Regulierung in diesem Bereich groß. Bereits 2018 hat die Europäische Union sich für eine Regulierung im Bereich der KI starkgemacht. Weiterhin ist mit dem KI-Act vor Kurzem ein Meilenstein erreicht, um die Modelle sicher, transparent, nachvollziehbar, nicht diskriminierend und umweltfreundlich zu gestalten. Aber nicht nur im gesellschaftlichen Bereich, sondern auch in der industriellen Anwendung sollen der Entwicklungsprozess und die Anwendung der KI durch die neue Maschinenverordnung sicherer gemacht werden. Im Rahmen des Projektes KIZert unterstützt das Mittelstand-Digital Zentrum Ilmenau den TÜV Thüringen bei der Realisierung einer möglichen Zertifizierungsstrategie für den KI-Entwicklungsprozess und damit der Umsetzung der neuen Maschinenverordnung.

Anhand eines beispielhaften Entwicklungsprozesses eines KI-Modells zur Bestimmung von geometrischen Eigenschaften beim Lichtbogenschweißen sollen mithilfe der KI-Trainer mögliche Ansatzpunkte zur geeigneten Dokumentation der Entwicklungsschritte und der Verantwortlichkeiten im Prozess entdeckt werden. Durch die langjährige Erfahrung des TÜV Thüringen im Bereich der Zertifizierung der verschiedensten Anlagen und Prozesse können bereits Erfahrungen und Verfahren abgeleitet und auf die KI-Entwicklung angepasst werden. Allerdings bietet die Entwicklung der Modelle keine deterministischen Parameter, wie zum Beispiel die Anzahl von Poren in einer Schweißnaht.

Grundsätzlich hat sich gezeigt, dass die Bewertung des Entwicklungsprozesses und auch des resultierenden Modells sich in drei Bereiche unterteilen lässt. Zum einen muss eine Bewertung der verwendeten Daten, die als Ausgangsbasis für die Entwicklung des Modells herangezogen werden, erfolgen. Dabei ist häufig die Herausforderung, dass die Daten bereits durch die Anwender über Jahre hinweg aufgezeichnet und gespeichert wurden. Weiterhin muss der anschließende Prozess der Entwicklung genauer betrachtet werden. Hier müssen die verantwortlichen Analysten, Programmierer, Projektleiter und alle weiteren am Prozess der Modellentwicklung Beteiligten erfasst und die Verantwortlichkeiten festgelegt werden. Ebenso die zu erreichenden Ziele. Wer sich nun fragt: „Das kommt mir doch bekannt vor?“, liegt goldrichtig. Hier liegen die Anforderungen aus der DIN ISO 9001 für Qualitätsmanagementsysteme zugrunde. Auch die Prozesse zur Entwicklung müssen entwickelt, dargestellt und hinterlegt sein. Abschließend steht die Modellverifizierung als auch -validierung an. Hier unterstützt die Phnx Alpha GmbH den TÜV Thüringen und das Mittelstand-Digital Zentrum Ilmenau mit ihrem Wissen rund um die Validierung.

Während der Projektlaufzeit konnte für die erstgenannte Phase der KI-Entwicklung ein Prozess zur Überprüfung der Datenqualität entwickelt werden. Dieser beginnt mit einer abgewandelten Form der SIPOC -Analyse. Hier werden die Prozesse, die bei der Datengewinnung beteiligt sind, aufgelistet und die Verantwortlichen für diese Prozesse erfasst. Weiterhin wie die Daten gespeichert werden und für welchen Zweck sie gesammelt wurden. Schließlich woher die Daten kommen und zu welchem weiterführenden Prozess sie führen. Diese Aufschlüsselung erfolgt tabellarisch und dient als erster Anhaltspunkt, um ein Bewusstsein für die entscheidenden Prozesse zu erlangen.

Nach Abschluss der SIPOC, die eine Übersicht über die Prozesse liefert, wird eine Wertstromanalyse 4.0 durchgeführt. Hier werden die in der SIPOC identifizierten Prozesse weiter aufgeschlüsselt und tiefergehende Informationen gesammelt. Als einer der wichtigsten Parameter ist das Speichermedium der Daten zu nennen. Werden die Daten handschriftlich erfasst und dann digitalisiert oder erfolgt die digitale Erfassung über einen Barcode und mit einem Barcodescanner? Ebenfalls das Erfassungsintervall ist ein wichtiges Merkmal für die Bewertung der Datenqualität.

Nach erfolgreicher Wertstromanalyse erfolgt die Bewertung der Prozesse mit einer vorhandenen Bewertungsmatrix, die durch den TÜV Thüringen bereitgestellt wird. Hier sind Speichermedien wie Papier, Excel-Listen und weitere Speicherformen kategorisch aufgeschlüsselt und mit einer Punkteskala bewertet. Automatisierte Eingabe der Daten in einer hochstandardisierten Form bieten dabei minimale Fehlereinflüsse und erhalten somit eine sehr gute Bewertung. Manuelle Dateneingaben können Übertragungsfehler beinhalten und unstrukturierte Ablage führt möglicherweise zu Dopplungen. Somit erhält diese Art der Datenaufnahme eine geringere Punktzahl. Sind alle Prozesse der Wertstromanalyse mit dem vorhandenen Bewertungsschema abgeglichen, erfolgt eine abschließende Bewertung der gesamten Daten. Dabei können auch Ausschlusskriterien miteinfließen. Ist eine Minimalpunktzahl erreicht, kann der Datensatz bzw. der Prozess der Datengewinnung akzeptiert und für die Entwicklung eines zertifizierten KI-Modells herangezogen werden.

Sollten die Anforderungen an die Daten sowohl für die Modellbildung als auch für die Datenqualität im Sinne der Zertifizierung nicht ausreichend sein, kann eine Optimierung anhand der gefundenen Verknüpfungen und Informationen über die Wertstromanalyse erfolgen. Weiterhin bietet die Wertstromanalyse der Daten den entscheidenden Vorteil, dass sich mögliche Anwendungsfälle für weitere Analysen und Entwicklungen für KI-Anbieter ergeben und so ein weiterer Anreiz zur Durchführung des oben aufgezeigten Prozesses geschaffen wird.

Der vorgestellte Prozess stellt allerdings nur einen Baustein einer möglichen Zertifizierungsstrategie für KI dar. Im weiteren Verlauf des Projektes sollen weitere Bausteine für die einzelnen Phasen entwickelt werden. Durch die aktive Mitwirkung der KI-Trainer bei der Entwicklung möglicher Strategien können die Ergebnisse bereits bei Umsetzungsprojekten genutzt und KMUs auf die anstehenden Zertifizierungen bestmöglich vorbereitet werden. Somit steht einer in naher Zukunft anstehenden Zertifizierung der KI-Modelle nichts im Wege.

Sollten Sie Fragen oder Anregungen zu dem Thema der KI-Zertifizierung haben, sprechen Sie uns gerne an:

Ansprechpartner:
Maximilian Rohe
KI-Trainer Modellfabrik Vernetzung
Telefon: 03677/69-3856
E-Mail: rohe@kompetenzzentrum-ilmenau.de