Was die Studie untersucht
Ein Foto einer Katze und der Satz „Eine Katze sitzt auf dem Sofa“ sehen verschieden aus. Trotzdem beschreiben sie dieselbe Szene. Können KI-Modelle dafür ähnliche innere Karten entwickeln?
Randall Balestriero und Yann LeCun untersuchen diese Frage in einem Preprint, also einer vor einer abgeschlossenen Begutachtung veröffentlichten Forschungsarbeit. Sie betrachten einen Ansatz namens JEPA und beschreiben mathematische Ergebnisse unter bestimmten Annahmen sowie passende Experimente.
Zwei unterschiedliche Beschreibungen derselben Szene können als hilfreiche „Ansichten“ dienen. In einem Vergleich auf demselben Textkorpus erreichte ein so trainiertes JEPA-Modell nach 21,6 Millionen Trainingsbeispielen eine ähnliche Übereinstimmung wie die Vorhersage des nächsten Tokens nach 900 Millionen Beispielen. Die Autoren sprechen von rund 42-mal weniger Beispielen.
Was die Werte nicht zeigen
Bei einer weiteren Messung erreichte das Text-JEPA mit 109 Millionen Parametern einen Übereinstimmungswert von 0,184; das verglichene Qwen2.5-72B kam auf 0,154. Parameter sind beim Training gelernte einstellbare Werte. Gemessen wurde eine bestimmte Ähnlichkeit interner Darstellungen. Daraus folgt nicht, dass das kleine Modell beim Programmieren, Rechnen oder Chatten insgesamt besser ist.
Die Arbeit nennt auch Grenzen, etwa Unterschiede zwischen Trainingsläufen und Überschneidungen in Daten. Die theoretische Aussage gilt unter den beschriebenen Voraussetzungen. Spannend bleibt die Forschungsfrage: Welche verschiedenen Ansichten helfen einem Modell, eine gemeinsame Struktur zu erkennen?
