MLOps: Wenn ML Modelle produktiv werden
Typischerweise werden technische Innovationen durch die Grundlagen- und Auftragsforschung angeregt, die zuerst zu Prototypen führen. Diese können häufig funktionell wie qualitativ noch nicht produktiv eingesetzt werden. Der Vorgang lässt sich vergleichen mit der Überführung eines Produktprototyps in die Serienfertigung. Im vorhergehenden Eintrag des ZfKI-Blogs wurde die Bedeutung von Vorgehensmodellen für die Entwicklung von Modellen betont [3]. Im vorliegenden Blog geht es um den nächsten konsequenten Schritt, die Weiterentwicklung eines Vorgehensmodells, das auch den Bereich Operations umfasst.
DevOps als Vorläufer von MLOps
Im Bereich des Software Engineering hat sich hierbei DevOps als Kürzel für Development und Operations etabliert. Dieser bezeichnet eine enge Abstimmung zwischen den Entwicklern und den Administratoren, die von Softwareentwicklung zum operativen Betrieb führt. Es ist ein kontinuierlicher Prozess, der auf einer Pipeline von miteinander verbundenen Werkzeugen basiert. Die regelmäßig auftretenden Änderungswünsche werden hierbei in den existierenden Quellcode eingefügt, daraus Artefakte gebaut, systematisch getestet und ausgeliefert. [4] Die relevanten Vorteile sind, dass der Bau, der Test und die Auslieferung der Komponenten automatisch abläuft, beliebig reproduzierbar und skalierbar ist. Dies führt zu einer deutlichen Reduzierung der Entwicklungszeiten und -kosten.
ML Operations
Bei ML Modellen müssen aber nicht nur Änderungen an der Software, sondern auch an den Daten berücksichtigt werden. Idealerweise fließt im Betrieb durch die Nutzungweiterhin ein kontinuierlicher Datenstrom, der das ML Modell beeinflusst und verbessert. In Anlehnung an DevOps wird der Prozess zur Operationalisierung deshalb auch als Machine Learning Operations oder kurz: MLOps bezeichnet. [5]
Technische und betriebswirtschaftliche Ziele
Die technischen MLOps Ziele sind ähnlich wie bei DevOps: diese beinhalten
- die Etablierung einer Infrastruktur, die eine möglichst weitgehende Automatisierung der Abläufe erlaubt,
- den Aufbau einer durchgehenden Pipeline, die von der Erfassung des Codes bis zur Auslieferung des Produks (Deployment) geht und
- die Skalierung des Ansatzes auch für große Datenmengen und umfangreichen Softwarecode.
Neben den erwähnten technischen Aspekten geht es aber auch um betriebswirtschaftliche Ziele, wie z. B. eine Reduzierung der Entwicklungszeit, der Risiken und Kosten bei gleichzeitiger Beibehaltung der Qualität.
Typische Themen des MLOps
MLOps wurde erst in den letzten Jahren durch das zunehmende Aufkommen von ML-basierten Anwendungen notwendig. Die Weiterentwicklung und Wartung der damit zusammenhängenden ML Modelle erwies sich als aufwändig und komplex in Analogie zu typischen, großen Softwareprojekten. Während man jedoch mit komplexen Softwareprojekten über die letzten Jahrzehnte ausreichend Erfahrung gesammelt hat, so fehlt dieses Wissen noch bei MLOps. In jüngster Zeit haben sich deshalb vielfältige Fragestellungen rund um MLOps entwickelt.
Naiver und vereinfachter Lebenszyklus eines ML Modells
In einem naiven und vereinfachten Lebenszyklus für ML Modelle werden zuerst die Daten erfasst und anschließend auf ein einheitliches Format zur weiteren Verarbeitung normalisiert. Anschließend wird darauf aufbauend, ein einheitliches und formales Modell entwickelt, das anschließend trainiert und getestet wird. Das hieraus resultierende Modell wird ausgerollt, angewendet und im laufenden Betrieb überwacht. Abweichungen von erwarteten Ergebnissen werden analysiert, mögliche Verbesserungen werden vorgeschlagen, die in der nächsten Iteration umgesetzt werden können (siehe Abbildung 2).
Lebenszyklus
Vorgehensmodelle, die den kompletten Lebenszyklus, ausgehend von der Erfassung der Änderungen, über die Konzeption bis hin zur Auslieferung, abdecken, sind deshalb sehr stark nachgefragt. Eine erste Tendenz geht in die Richtung der Anpassung von bereits etablierten Ansätzen wie CRISP-DM in Richtung ML, z.B. CRISP-ML oder CRISP-ML(Q). [6] Hier werden in CRISP-DM die drei Bereiche „Business & Data Understanding“, „Model Development“ und „Model Operations“ unterschieden. Dieser Ansatz unterscheidet sich vom DevOps-Ansatz durch zwei Besonderheiten: (1) den Bereich „Business & Data Understanding“ und (2) eine kleinere Schleife mit den Phasen „Model Engineering“, „Verify“ und „Data Engineering“. Die beiden ineinander verschlungenen Zyklen „Model Development“ und „Model Operations“ entsprechen dem bekannten Vorgehen aus DevOps.
Werkzeuge
Parallel hierzu verläuft die Suche nach geeigneten Werkzeugen, die entweder einzelne Phasen des Lebenszyklus oder den gesamten Lebenszyklus unterstützen. Diese Abwägung ist auch typisch für einzelne Bereiche des Software Engineering, wo „best-of-breed“ Ansätze gegenüber Werkzeugsuiten oder Plattformen von Werkzeugen antreten [7]. Beispielhaft für Werkzeuge können die Produkte Dataiku [8] und Valohai [9] genannt werden.
Best Practices
Ein relevanter Punkt ist die Suche nach Best Practices, d. h. in der Praxis bewährten Entwurfs- und Lösungsmuster, die bereits erfolgreich in anderen MLOps Projekten zum Einsatz kamen. Aufgrund der geringen Erfahrungsbasis und der wenigen (wissenschaftlichen) Fallstudien ist die zugrundeliegende Datenbasis noch vergleichsweise schmal.
Governance
Aufgrund der zahlreichen Rollen bei der Entwicklung von ML Modellen, z. B. Data Engineers, Data Scientists, DevOps Engineers, Software Architects, stellt sich auch die Frage nach den geeigneten organisatorischen Strukturen und Mechanismen zur Steuerung der verschiedenen Rollen und deren Aufgaben. Es zeichnet sich jetzt schon der Bedarf nach einer konkreten ML Governance ab, die sowohl Vorgaben für die Entwicklung als auch für den Einsatz und die Weiterentwicklung von ML Modellen und Daten konzipiert, in Analogie zur bereits etablierten IT Governance.
Monitoring
Ein weiterer praxisrelevanter Punkt ist das kontinuierliche Monitoring der ML-basierten Anwendungen, analog zum klassischen IT Anwendungs-, Netzwerk- oder Systemmanagement. Dies ist notwendig um eine durchgehende Qualität gemäß dem vereinbarten Service Level Agreement (SLA) zu gewährleisten.
Zusammenfassung und Ausblick
MLOps unterstützt und begleitet die erfolgreiche und nachhaltige Überführung von ML Projekte aus der Theorie in die Praxis. Ein Beispiel für ein strukturiertes Vorgehensmodell ist hierfür CRISP-ML(QL), weitere wichtige Themen im MLOps-Kontext sind auch die Werkzeuge, die Governance und das Monitoring von ML-basierten Anwendungen.
Interessanterweise sind die oben genannten Themen vor allem durch große Interaktionen zwischen ML Entwicklern, Administratoren und Anwendern im Unternehmenskontext geprägt. Eine praxisorientierte wissenschaftliche Forschung beginnt sich langsam mit den obigen Themengebieten auseinanderzusetzen. Es fehlen empirisch belastbare Daten und Fallstudien von ML-Projekten aus den Unternehmen. Voraussichtlich wird diese Lücke in den nächsten Jahren geschlossen.
Literaturverzeichnis
- [1] P. Wilmott. Grundkurs Machine Learning. Bonn: Rheinwerk Verlag 2020
- [2] S.J. Russel, P. Norvig. Artificial Intelligence: A Modern Approach. London: Pearson 2021
- [3] Falko Kötter, „Von Zukunftstechnologie zum Projekterfolg: Vorgehensmodelle für Machine Learning“, ZfKI-Blog, 13.3.2023
- [4] G. Kimet al. Das DevOps-Handbuch: Teams, Tools und Infrastrukturen erfolgreich umgestalten. Heidelberg: O’Reilly 2022
- [5] M. Treveil et al. MLOps – Kernkonzepte im Überblick. Heidelberg: O’Reilly 2021
- [6] A. Däs et al. Analyse und Vergleich verschiedener Vorgehensweisen zur Entwicklung einer MLOps Best Practice. Seminararbeit. DHBW Stuttgart 2022
- [7] L. Bemebenek et al. Evaluation und Vergleich von MLOps Plattformen. Seminararbeit. DHBW Stuttgart 2022
- [8] www.dataiku.com
- [9] www.valohai.com
Mehr zu CRISP-ML(Q) finden Sie in:
- https://ml-ops.org/content/crisp-ml
- S. Studer et al. „Towards CRISP-ML(Q): A Machine Learning Process Model with Quality Assurance Methodology“ (PDF)
Einen guten, leicht verständlichen Einstieg in MLOps erhalten Sie in [5].
Blog von Prof. Dr. Thomas Kessel
- Prof. Dr. Thomas Kessel / Tel.: 0711/1849-549 / E-Mail: thomas.kessel@dhbw-stuttgart.de