Der Aufbau besserer Modelle beginnt mit einer erneuten Prüfung der Metriken

Aug 06, 2023

USC-Informatiker präsentieren auf der International Conference on Machine Learning (ICML) eine bessere Möglichkeit, die Leistung generativer KI-Modelle zu messen.

Bildnachweis: Metamorworks/Getty Images

„Generative KI-Modelle sind im Wesentlichen Methoden, die einige Daten betrachten und versuchen, mehr dieser Daten zu erstellen. „Die genaue Messung der Leistung dieser Modelle ist aufgrund des schnellen Wachstums ihrer Anwendung in nachgelagerten Aufgaben immer wichtiger geworden“, sagte Mahyar Khayatkhoei, Informatiker am Information Sciences Institute (ISI) der USC.

Auf der 40. International Conference on Machine Learning (ICML '23), die vom 23. bis 29. Juli in Honolulu, HI, stattfand, präsentierte Khayatkhoei, der mit der VIMAL-Forschungsgruppe (Visual Intelligence and Multimedia Analytics Laboratory) am ISI zusammenarbeitet, seine neueste Arbeit zum Thema die Leistung generativer Modelle.

Khayatkhoei sagte: „Leistung ist normalerweise nichts, worauf die Leute sehr genau achten. Sie stützen sich auf vorhandene Benchmarks und versuchen, bessere Modelle zu erstellen, es ist jedoch nicht immer klar, ob diese Modelle wirklich besser sind. Deshalb halte ich es für sehr wertvoll, genau zu prüfen, was „besser“ bedeutet und ob die Art und Weise, wie Sie diese „Besserheit“ messen, korrekt ist.“

Der Artikel wurde von VIMAL-Gründungsdirektor Wael AbdAlmageed, wissenschaftlicher Mitarbeiter am Ming Hsieh Department of Electrical and Computer Engineering der USC Viterbi und Forschungsdirektor am ISI, gemeinsam verfasst. AbdAlmageed sagte über das Papier: „Generative KI ist größtenteils eine kaum verstandene Black Box. Mitten im Hype um ChatGPT und Large Language Models (LLMs) musste jemand einen Gang zurückschalten und versuchen, das Verhalten dieser Modelle zu untersuchen, um ihre Leistung besser zu charakterisieren.“

Ein generatives Modell wurde verwendet, um ein Bild eines Schwarzen Lochs zu erstellen, wenn Wissenschaftler Teile des Bildes hatten, und aus diesen Teilen konnte das Modell den Rest aufbauen. Aber generative Modelle treffen näher an ihrem Ziel als Schwarze Löcher. Khayatkhoei sagte: „Sie werden in vielen Anwendungen eingesetzt; Viele Methoden der bildbasierten Erkennung, beispielsweise die Erkennung von Krebstumoren in einem medizinischen Scan oder von menschlichen Gesichtern auf Fotos, verwenden in ihrer Pipeline eine Art generative KI, um die Genauigkeit zu verbessern; Es gibt auch direkte Anwendungsfälle generativer KI in der Arzneimittelforschung, Dynamikvorhersagen und Physiksimulationen.“

Khayatkhoei erklärte: „Wir haben oft nicht Zugriff auf so viele Daten, wie wir möchten, deshalb verwenden wir generative Modelle, um die Anzahl der Beobachtungen zu erhöhen, auf denen wir neuronale Netze trainieren.“ Neuronale Netze sind die in der KI verwendeten Rechenmodelle, die Beziehungen in Datensätzen identifizieren.

Ein Beispiel: Wenn eine Anwendung einen Krebstumor erkennen soll, muss das neuronale Netzwerk auf einen sehr großen Datensatz von Tumoren trainiert werden, und ein generatives Modell kann einen solchen Datensatz erstellen. Die Qualität des generierten Datensatzes wird durch Genauigkeit und Diversität beschrieben.

Khayatkhoei erklärt diese Eigenschaften am Beispiel der menschlichen Gesichtsgenerierung. „Mit generativen Modellen versuchen wir, die Verteilung von Daten aus wenigen Beobachtungen zu lernen. Ein Modell sieht also möglicherweise eine begrenzte Anzahl menschlicher Gesichter und versucht, eine unendliche Anzahl menschlicher Gesichter zu erzeugen. „Fidelity“ beschreibt, wie realistisch die Bilder sind. Und dann stellt sich die Frage, wie viel „Vielfalt“ die Generation hat; Erzeugt das Modell dasselbe Gesicht? Erzeugt es Gesichter in verschiedenen Formen, Farben, Hintergründen und so weiter?“

Eine Standardmethode zur Messung der Leistung eines generativen Modells ist die Quantifizierung von Genauigkeit und Diversität mithilfe von Metriken, die als „Präzision“ bzw. „Erinnerung“ bezeichnet werden.

In der Arbeit zeigt Khayatkhoei theoretisch, dass es Mängel bei Präzision und Erinnerung gibt. „Menschen nutzen diese Messungen, um bessere Modelle zu erstellen oder zu entscheiden, welches Modell sie in ihrer Anwendung verwenden möchten. Wenn diese Messungen fehlerhaft sind, bedeutet das, dass möglicherweise auch alle diese Entscheidungen fehlerhaft sind“, sagte Khayatkhoei.

Khayatkhoei erklärte, wie er die Herausforderung anging: „Wir haben Experimente durchgeführt, um zu zeigen, dass dieses Problem existiert, und wir haben mathematisch bewiesen, dass es sich unter bestimmten Annahmen tatsächlich um ein sehr allgemeines Problem handelt.“ Und dann haben wir aus den Erkenntnissen der mathematischen Analyse eine modifizierte Version zur Berechnung dieser Metriken erstellt, die das Problem entschärft.“

Khayatkhoei präsentierte seinen Artikel „Emergent Asymmetry of Precision and Recall for Measurement Fidelity and Diversity of Generative Models in High Dimensions“ als Posterpräsentation auf der ICML '23.

Er sagte: „Ich freue mich darauf, mit den Leuten darüber zu sprechen und darauf hinzuweisen, dass diese Kennzahlen möglicherweise nicht wirklich das erfassen, was Sie zu erfassen glauben.“

ICML ist eine der am schnellsten wachsenden KI-Konferenzen der Welt. In diesem Jahr verzeichnete die Konferenz eine Rekordzahl von 6538 Einreichungen (ein Anstieg von 16 % gegenüber der Rekordzahl von 5630 im letzten Jahr) und eine Annahmequote von 27,9 %.

Veröffentlicht am 2. August 2023

Zuletzt aktualisiert am 1. August 2023