Deshalb scheitern Projekte zum maschinellen Lernen
Gib mal „künstliche Intelligenz wird“ in eine Suchmaschine ein. Es folgen Vorschläge wie „die Welt verändern“, „bald alles verändern“ und „die Geschäftswelt in den nächsten 10 Jahren umkrempeln“. Wenn du weitersuchst, fällt schnell auf, dass KI und maschinelles Lernen den Fortschritt nicht nur antreiben, sondern auch Grundbestandteil des Erfolgs sind. In einer Studie von Accenture gaben 85 % der Führungskräfte in kapitalintensiven Branchen an, ihre Wachstumsziele nur mit der Skalierung von KI erreichen zu können.
Gleichzeitig deuten Forschungen von MIT Sloan darauf hin, dass die Kluft zwischen Organisationen, die erfolgreich Daten aus Datenwissenschaft gewinnen, und solchen, denen das nicht gelingt, weiter wächst. Wir wissen, dass Datenwissenschaft und maschinelles Lernen die treibende Kraft hinter KI-Anwendungen sind, da KI durch Datenverarbeitung lernt, unsere Welt zu interpretieren und wie gewünscht zu reagieren. Wenn KI merkliche Auswirkungen auf Unternehmen und deren Kunden haben soll, brauchen Unternehmen eine neue Herangehensweise an maschinelles Lernen. Im MIT Technology Review wird geschlussfolgert: „Wir trainieren KIs grundlegend falsch.“
Zahlreiche Artikel in Publikationen wie Towards Data Science und Open Data Science suchen mit der Lupe und einem gerüttelten Maß Fach-Chinesisch nach den genauen Gründen für das Fehlschlagen von Projekten zum maschinellen Lernen. Das ist prima für Datenwissenschaftler. Hilft aber dem Unternehmen nicht, das wissen möchte, warum der teure Konversationsassistent oder die umfassende Personalisierungskampagne gefloppt sind.
Sehr wahrscheinlich lag es nicht an einer falschen Herangehensweise an Datenversionierung oder Modellbereitstellung. Die meisten Projekte zum maschinellen Lernen schlagen fehl, weil Unternehmen schon mit den falschen Ressourcen, Erfahrungen oder Strategien starten. Der 2021 State of AI Report von McKinsey bestätigt dies. Unternehmen, die sowohl Kern- als auch KI-Best-Practices befolgen sowie effizienter und effektiver in KI investieren als ihre Mitbewerber, sehen unter dem Strich die besten Ergebnisse.
Fünf häufige KI-Fehler von Unternehmen
Bei unserer Arbeit an ML-Projekten für einige der größten Unternehmen der Welt konnte Applause ein Muster gängiger Fehler identifizieren, die Effizienz reduzieren, Kosten steigern und zu Verzögerungen führen und an denen Projekte zum maschinellen Lernen schließlich scheitern.
Häufiger Fehler Nr. 1: Fehleinschätzung der für das Training der ML-Algorithmen notwendigen Ressourcen
Der erste Grund für das Scheitern von Projekten zum maschinellen Lernen sind schlecht vorbereitete und ausgestattete Unternehmen. Dimensional Research zufolge stellen sich Projekte zum maschinellen Lernen in 8 von 10 Unternehmen schwieriger als erwartet heraus, weil sie den Aufwand für das richtige Training der Modelle unterschätzen. Das ist auch der Grund für die geringe Anzahl an Datenwissenschaftsprojekten, die es in die Produktion schaffen: Ohne ein klares Verständnis der notwendigen Ressourcen und Expertise scheitern Unternehmen entweder an unüberwindbaren Hindernissen oder verbrennen ihr Budget ineffizient. Meist wird der Aufwand für den Erwerb der richtigen Trainingsdaten unterschätzt – damit sind wir schon beim zweiten häufigen Fehler.
Häufiger Fehler Nr. 2: Verlassen auf Datenbroker für Trainingsdaten von der Stange
Unternehmen haben keine Probleme mit dem Erwerb von Trainingsdaten. Schließlich gibt es zahlreiche Datenverkäufer, die riesige Mengen Trainingsdatenartefakte zu niedrigen Preisen verkaufen. Der Grund für das Fehlschlagen von Projekten zum maschinellen Lernen ist, dass Unternehmen Schwierigkeiten haben, hochwertige Trainingsdaten zu erwerben.
Wenn ein Unternehmen Daten von der Stange kauft, sind diese nicht spezifisch genug für die Anforderungen seines Projekts zum maschinellen Lernen. Verdeutlichen wir das am Beispiel eines Online-Anbieters von Fitnesskursen, der einen digitalen Personal Trainer (PT) erstellt. Damit der PT schlechte Haltung erkennen und Verbesserungen vorschlagen kann, muss er mit Daten trainiert werden, die über Bilder von Personen in verschiedenen Übungshaltungen hinaus gehen. Er muss auch Personen in unterschiedlichen Erschöpfungszuständen erkennen, in unterschiedlicher Kleidung und mit verschiedenen Fitness- und Erfahrungsleveln.
Vorgefertigte Trainingsdatensätze bringen noch viele andere Probleme mit sich, beispielsweise:
Es gibt keine Garantie, dass die Daten Alter, Geschlecht, Ethnien, Akzente usw. ausgewogen darstellen, um Bias zu vermeiden.
Die Daten wurden entweder gar nicht kommentiert oder auf eine Weise, die für den Algorithmus keinen Sinn ergibt.
Die Daten wurden nicht auf Compliance mit den Datenstandards globaler KI-Regularien wie dem EU-Gesetzesentwurf über Künstliche Intelligenz geprüft.
Unternehmen können nicht sicher sein, dass die richtigen Datenschutz- und Sicherheitsmaßnahmen eingehalten wurden, und erhalten keine Hinweise zum zukünftigen Schutz der Datenintegrität.
Um Projekte zum maschinellen Lernen wirklich erfolgreichen umzusetzen, sollten Unternehmen erwägen, Trainingsdaten nicht einfach zu beschaffen, sondern vielmehr zu verlesen.
Häufiger Fehler Nr. 3: Unterschätzen des Ausmaßes der konstanten Iterationen bei der KI-Entwicklung
Der Kauf von Daten bei Anbietern wirkt sich nicht nur auf die Qualität der Trainingsdaten aus, sondern verkompliziert auch den Rest des KI-Trainingsprozesses deutlich.
Das Trainieren von ML-Algorithmen ist keine einmalige Sache. Läuft das Training einmal, müssen die Entwickler ständig Änderungen an den erhobenen Daten anfordern, da sich die Anforderungen des Datenmodells nach und nach klären. Der Grund ist folgender: Das Training eines KI-Algorithmus ist so, als ob man Lebensmittel einkauft und gleichzeitig kocht. Du denkst, du hast alles, aber wenn du anfängst, fällt dir auf, dass etwas fehlt. Etwas anderes muss ausgetauscht werden, weil sonst das Verhältnis nicht stimmt. Du musst dein Rezept ständig entsprechend anpassen.
Beim maschinellen Lernen weiß man meist erst, welche Daten genau erforderlich sind, nachdem der Trainingsprozess begonnen hat. Vielleicht ist der Trainingsdatensatz zu klein oder es gab ein Problem bei der Datenerhebung. Viele Datenbroker befolgen strenge Ergänzungsrichtlinien – oder bieten gar nicht die Möglichkeit, Bestellungen zu ändern – sodass KI-Entwickler mit nicht nutzbaren Daten dasitzen oder gezwungen sind, einen neuen Trainingsdatensatz mit den neuen Anforderungen zu kaufen. Dieser häufig auftretende Engpass treibt bei vielen Unternehmen die Kosten in die Höhe, verschleppt Termine und reduziert die Effizienz. Daran scheitern schließlich die Projekte zum maschinellen Lernen.
Häufiger Fehler Nr. 4: Qualitätssicherung nicht integriert
Unternehmen in allen Branchen versäumen es häufig, in allen Phasen des Produktentwicklungsprozesses Qualitätssicherung vorzunehmen. Sie gilt fälschlicherweise als nettes Add-on, als Formalität mit der geprüft wird, ob das Produkt richtig funktioniert, und wird nicht als Werkzeug wahrgenommen, mit dem das Produkt iterativ optimiert werden kann.
Ein Grund für das Scheitern von Projekten zum maschinellen Lernen ist diese angesichts der Realitäten der KI-Entwicklung untragbare Einstellung zur Qualitätssicherung. Anders als bei der traditionellen Softwareentwicklung werden Bugs hier nicht mit einem simplen Update beseitigt. Fehler, die in der Qualitätssicherungsphase auffallen, können nur durch aufwändiges Umarbeiten des gesamten Prozesses behoben werden. Funktioniert deine KI nicht planmäßig, liegt das höchstwahrscheinlich an einem Problem mit den Trainingsdaten oder die Trainingsdaten haben das Modell in die falsche Richtung gelenkt. In jedem Fall wird man an den Anfang zurückgeworfen und muss neue Trainingsdatenartefakte zusammenstellen.
Unternehmen, die nicht in jeder Phase der KI-Entwicklung die Ergebnisse validieren, machen sich selber zusätzliche Arbeit. Unternehmen sollten den Algorithmus nicht mit einem gigantischen Datensatz trainieren und dann die KI testen, sondern iterativ trainieren und testen. Eine agile, integrierte Herangehensweise an die Tests trägt dazu bei, unnötige Ausgaben zu reduzieren, Bearbeitungszeiten zu beschleunigen und die Ressourcen effizienter zuzuweisen.
Häufiger Fehler Nr. 5: Fehlen regelmäßiger Prüfungen
Der letzte Grund dafür, warum Projekte zum maschinellen Lernen scheitern ist, dass Unternehmen zu früh Erfolge feiern.
KI-Projekte sind nie wirklich fertig. Selbst wenn ein KI-Erlebnis alle Erwartungen an Genauigkeit und Performance vollständig erfüllt, wurde es nur mit Daten trainiert, die die heutige Gesellschaft abbilden. Der Algorithmus hat gelernt, Entscheidungen auf der Basis von Meinungen, Dialogen und Bildern zu treffen, die sich bereits ändern. Denke nur an Anwendungen zur Verarbeitung natürlicher Sprache: Die können nur kommunizieren, weil sie mal mit echten Konversationen mit Menschen trainiert wurden. Angesichts der Tatsache, dass alleine in der englischen Sprache jährlich 5.400 neue Wörter entstehen, ist klar, dass diese Anwendungen schnell an Genauigkeit verlieren.
Wenn KI-Erlebnisse für die Kundschaft praktisch bleiben sollen, müssen sie laufend neu trainiert werden, da sich soziale Einstellungen, technologische Entwicklungen und Terminologie ändern.
So sicherst du den Erfolg von Projekten zum maschinellen Lernen
Die Unternehmen brauchen eine programmatische Herangehensweise an die KI-Entwicklung. Die einzelnen Phasen des Prozesses dürfen nicht als getrennte Projekte betrachtet werden, sondern sollten von den Unternehmen als Teile eines ganzheitlichen Programms gesehen werden. Die KI-Entwicklung ist ein iterativer, agiler Prozess, bei dem Teams nicht in Silos arbeiten dürfen, sondern gemeinsam unter der Leitung eines für den Programmerfolg verantwortlichen Programmleiters.
Lade unser Whitepaper „Building a Global ML/AI Data Collection & Quality Program“ herunter, um zu erfahren, wie dein Unternehmen eine programmatische Herangehensweise an die Schaffung von wirklich nützlichen KI-Erlebnissen entwickelt.
