AutoML Adoption: Machen wir einen Realitätscheck

Es gibt keine Heilung für die Alzheimer-Krankheit. Aber was wäre, wenn wir einen Weg finden könnten, es frühzeitig zu erkennen? Die Frage interessierte die Wissenschaftler von Imagia, die dann Googles maschinelles Lernen (AutoML) nutzten, um die Verarbeitungszeit des Tests von 16 Stunden auf eine Stunde zu reduzieren. PayPal hat ähnliche Vorteile. Im Jahr 2018 erhöhte PayPal mit AutoML von H2O die Genauigkeit seines Betrugserkennungsmodells um 6 % und beschleunigte den Modellentwicklungsprozess um das Sechsfache.

Erfolgsgeschichten wie diese haben etwa 61 % der Entscheidungsträger in Unternehmen, die künstliche Intelligenz (KI) einsetzen, dazu inspiriert, AutoML einzuführen. Ihre Akzeptanz wird zunehmen, da sie die durch den Mangel an Datenwissenschaftlern verursachten Probleme weitgehend mildern kann. Auch die Fähigkeit von AutoML, die Skalierbarkeit zu verbessern und die Produktivität zu steigern, wird zwangsläufig Kunden anziehen.

Aber bedeutet dies, dass die Einführung von AutoML ein Muss ist? Nun, dies ist ein Rätsel, mit dem die meisten Unternehmen derzeit konfrontiert sind, und die Untersuchung von Fällen aus der Praxis könnte eine Lösung sein.

Als Senior Software Engineer habe ich mit vielen Startups zusammengearbeitet, bei denen KI eine zentrale Rolle gespielt hat. Sie haben die Vor- und Nachteile sowie die geschäftlichen Auswirkungen gesehen. Aber bevor wir uns mit den Anwendungsfällen befassen, wollen wir zunächst definieren, was AutoML ist, seinen aktuellen Zustand und was es kann und was nicht.

Was ist AutoML?

AutoML (Automated Machine Learning) ist die Fähigkeit des Systems, automatisch das richtige Modell auszuwählen und die Parameter einzustellen, um das bestmögliche Modell zu liefern. Ich werde mich in diesem Artikel nur auf tiefe neuronale Netze konzentrieren.

In tiefen neuronalen Netzen ist es immer eine große Herausforderung, die richtige Struktur zu finden. Mit Architektur meine ich die Grundbausteine ​​(z. B. für die Bilderkennung wären die Grundbausteine ​​3X3 Max Pooling, 3X1 Convolution usw.) und die Verbindungen zwischen ihnen für mehrere verborgene Schichten.

Research Neural Architecture (NAS) ist eine Technologie zur Automatisierung des Designs tiefer neuronaler Netze. Es wird verwendet, um Netzwerke zu entwerfen, die handgezeichneten Architekturen ebenbürtig sind oder diese übertreffen können. Aber wir müssen im Rahmen des Suchprozesses eine große Anzahl von Kandidatennetzwerken trainieren, um die richtige Architektur zu finden, was sehr zeitaufwändig ist.

Aktueller Stand der verfügbaren Plattformen

NAS spielt eine zentrale Rolle bei der Gestaltung des AutoML-Frameworks für Amazon Web Services (AWS) und Google Cloud Platform (GCP). Aber AutoML befindet sich noch in der Anfangsphase, und diese Plattformen entwickeln sich weiter. Lassen Sie uns diese beiden beliebten Frameworks für AutoML besprechen.

GCP-AutoML

Im Mittelpunkt von GCP AutoML stehen NAS und Transfer Learning. Der NAS sucht die optimale Architektur aus einem Satz von Architekturen basierend auf früheren Trainingsergebnissen. Anfänglich wurden Reinforcement-Learning-Algorithmen für die Architekturforschung verwendet.

Diese Algorithmen neigen jedoch aufgrund des großen Suchraums dazu, rechenintensiv zu sein. In letzter Zeit hat es einen Paradigmenwechsel hin zur Entwicklung von gradientenbasierten Methoden gegeben, die vielversprechende Ergebnisse gezeigt haben. Aber was in GCP AutoML passiert, ist immer noch nicht klar, und es ist mehr als nur eine Black-Box-Lösung.

AWS-Autopilot

Das Hauptkonzept von AWS Autopilot besteht darin, eine konfigurierbare AutoML-Lösung bereitzustellen. Jedes Detail des maschinellen Lernzyklus wird offengelegt, von der Transformation der Daten über das Trainieren des Modells bis hin zur Abstimmung der Hyperparameter. Im Gegensatz zu GCP AutoML ist AWS Autopilot eine Whitebox-Lösung.

AWS Autopilot verwendet verschiedene Datenstrategien und Pipelines für maschinelles Lernen (ML). Einige dieser Strategien basieren auf „if-else“-Anweisungen, die von Domänenexperten vorgeschlagen werden; Andere Strategien hängen von der Auswahl der richtigen Hyperparameter (d. h. Lernrate, Hyperparameter und Modulationsgröße) für die Pipeline ab.

Was AutoML kann und was nicht

Die Leute sagen manchmal, dass AutoML der heilige Gral von AI/ML ist, eine Ansicht, die ich nicht teile. Also machen wir weiter:

	Was kannst du tun	Was du nicht kannst
Datenkonvertierung	Es kümmert sich um die Vorverarbeitung und Datenkonvertierung. Definiert und kann numerische und kategoriale Variablen verarbeiten.	Es kann Fehler machen, wie z. B. die falsche Identifizierung numerischer Merkmale in Daten mit niedriger Kardinalität als kategoriales Merkmal. Kann keine Daten ausgeben und davon ausgehen, dass es ohne Schluckauf funktioniert.
Extraktionsfunktion	Extrahiert Features bis zu einem gewissen Grad.	In domänenabhängigen Modellen ist die Merkmalsextraktion unerlässlich. Die Beherrschung von Domänenwissen ist immer noch ein Problem.
Modellierung und Abstimmung	Definiert die besten Hyperparameter. Für eine bessere Architektur kann geforscht werden.	AutoML kann nicht mit einer kleinen Datenmenge arbeiten, da es minimale Datenpunktbeschränkungen gibt. Es ist ein Overkill für einfache Probleme, bei denen wir lineare Regression oder ein grundlegendes Modell verwenden. Dies ist eine zeitaufwändige Aufgabe, die sowohl bei kleineren Problemen als auch bei Problemen mit einer großen Datenmenge hohe Kosten verursachen kann.

Lassen Sie mich einige empirische Ideen mit realen Beispielen teilen, um Ihnen zu zeigen, wo AutoML relevant war und wo nicht.

Anwendungsfall 1: Messen Sie die Leistung eines Händlers in der Automobilindustrie

Wir mussten eine Metrik erstellen, um die Händlerleistung mit Gigabyte an historischen Daten wie vergangenen Verkäufen, Volkszählungsdaten, religiösen Daten und geografischen Daten zu bewerten. Wir haben AutoML verwendet und eine menschenähnliche Leistung erzielt.

Wir brauchten jedoch einen Data Scientist für die Datenvorverarbeitung, das Feature-Engineering und die Transformation. Es hat AutoML viel Arbeit gekostet, herauszufinden, welche Daten in unseren Datenspalten wichtig sind, da es Tausende von Spalten gab. Selbst ein Experiment hätte enorme Kosten verursacht und wertvolle Zeit verschwendet.

Anwendungsfall 2: Vorhersage der Immobilienmiete

Wir mussten ein Prognosetool für Immobilienmieten entwickeln, aber AutoML funktionierte nicht sehr gut, da der Immobilienmarkt viele lokale (bundesstaatliche) Informationen enthält. Tatsächlich schlugen unsere Versuche mit einem Modell pro Region fehl, weil es nicht genügend Daten (weniger als 500 Datenpunkte) hatte, um die Architektur zu lernen. Eine einfache Art von XGBoost-Modell mit geringen Funktionen, die im Vergleich zu AutoML gut abschneidet.

In Fällen, in denen die Daten gut genug für AutoML waren, war unser Vorhersagemodell besser als die hauseigene Lösung.

Anwendungsfall 3: TV-Rating vorhersagen

Im Fall der TV-Einschaltquotenvorhersage geschah dasselbe. AutoML kann das tageszeitraumbasierte Verhalten über mehrere Kanäle hinweg nicht erfassen. Zum Beispiel ist NICK für Kinder; Die meisten Kinder sehen Programme am Nachmittag, Erwachsene sehen meistens MTV und haben am Abend einen Sehspitzenwert. Dies ist nur ein einfaches Muster, aber AutoML war nicht in der Lage, mehrere Muster aus mehreren Klassen in einem einzigen Modell zu erfassen.

Wird AutoML wirklich DS ersetzen?

Aufgrund meiner Erfahrung in diesem Bereich sage ich “nein”. AutoML kann Data Scientists nicht direkt ersetzen. Aber es kann ein nützliches Werkzeug für Data Scientists sein.

Wo sollten wir AutoML einsetzen

Die Wahrscheinlichkeit, dass AutoML ohne menschlichen Eingriff gut funktioniert, ist in Szenarien höher, in denen die Probleme aus der Literatur bekannt sind. In Fällen wie der Objekterkennung von globalen Objekten oder der Bildklassifizierung können Sie AutoML verwenden, da es bereits mit einer großen Datenmenge ausgestattet ist. Es kann Ihnen auch helfen, schnell einen PoC zu entwickeln, der eine angemessene Leistung bieten kann oder nicht.

Wo wir AutoML nicht verwenden sollten

Manchmal müssen wir einfache Funktionen mit einem einfachen linearen Regressionsmodell für reale ML-Projekte entwickeln. AutoML kann in diesen Fällen höhere Kosten verursachen, da Feature Engineering nicht unterstützt wird. Intern verwendet es ein tiefes neuronales Netzwerk, was bedeutet, dass ein gewisses Feature-Engineering erforderlich ist, aber dafür werden viele Daten benötigt. Es ist auch teuer, wenn man es mit dem grundlegenden Ansatz vergleicht. Und die Leistung des von AutoML definierten Modells muss verbessert werden.

Szenarien, in denen das Problem domänenspezifisch ist und einige Domänenkenntnisse erfordert, schlagen mit AutoML wahrscheinlich ebenfalls fehl. Hier sind die Szenarien, in denen wir AutoML verwenden sollten, und solche, die wir vermeiden sollten:

	AutoML	benutzerdefiniertes Modell
Sicherheit und Privatsphäre	Es hat ein Sicherheitsproblem, weil wir die Daten in die Cloud hochladen müssen.	Das ist sicher. Wir können auch benutzerdefinierte Modelle auf unseren persönlichen Maschinen trainieren.
Domänenspezifisches Problem	AutoML funktioniert nicht bei bestimmten Problemen.	Wir können das Modell auf domänenspezifische Probleme trainieren.
Budgetbeschränkungen	AutoML ist in vielen Fällen als lineare Regression teuer.	Sein Budget hängt von den Anforderungen ab.
Weniger Daten	AutoML hat Mindestdatenanforderungen.	Es kann die Leistung beeinträchtigen, aber es gibt keine solche Einschränkung.
Es ist Zeit einzukaufen	Mit AutoML können wir die Aufgabe schnell erledigen.	Wir müssen in diesem Fall eine Pipeline erstellen, was sehr lange dauert.
Standardproblem	Bei Standardproblemen kann AutoML diese schnell lösen.	Benutzerdefinierte Modelle benötigen mehr Zeit, um die optimale Architektur zu finden.
Feature-Engineering	AutoML kann nicht beim Entwickeln von Funktionen helfen, da wir Domänenkenntnisse benötigen, um sie zu erstellen.	Wir müssen separat am Feature-Engineering arbeiten; Dann können wir es an AutoML weitergeben.
Lösung	Es werden Lösungen aus bereits bekannten Methoden für bestehende Probleme gegeben.	Datenwissenschaftler können neue Ansätze ausprobieren, die sehr spezifisch für die Problemstellung sind.

Fazit

AutoML ist keine künstliche allgemeine Intelligenz (AGI), was bedeutet, dass es Problemstellungen nicht automatisch identifizieren und lösen kann. Es kann jedoch die vordefinierten Problemdaten lösen, wenn wir ihm relevante Daten und Funktionen geben.

Die Verwendung von AutoML beinhaltet einen Kompromiss zwischen Problemverallgemeinerung und problemspezifischer Leistung. Wenn AutoML seine Lösung verallgemeinert, muss es die Leistung eines bestimmten Problems beeinträchtigen (da die AutoML-Architektur nicht darauf abgestimmt ist). Eine generische Lösung kann nicht helfen, domänenspezifische Probleme zu lösen, da wir einen neuen Ansatz brauchen, um sie zu lösen.

Alakh Sharma ist Datenwissenschaftler bei Talentica Software.