Lernheft: Vorhersage im Merkmalsraum

Vier Module · sechzehn Abschnitte · vierzehn Prüffragen · acht Primärquellen Kennung JEPA-PROV0001-LH · Fassung 1.2 · Stand 2026-09-22

Vorbemerkung

Dieses Heft behandelt ein Verfahren des maschinellen Lernens, das seit 2022 unter der Abkürzung JEPA geführt wird. Es setzt keine Vorkenntnisse in Mathematik über das Gymnasium hinaus voraus und kommt ohne Formeln aus. Wer danach rechnen will, findet am Schluss die Fundstellen.

Das Heft ist so gebaut, dass es ausgedruckt werden kann. Es enthält keine Aufgaben, die einen Rechner voraussetzen.

Was in diesem Heft nicht steht: Versprechen. Das Verfahren ist an manchen Stellen nützlich und an vielen nicht. Beide Seiten stehen im Text, und die Gegenposition zur ganzen Forschungsrichtung hat einen eigenen Abschnitt.

Modul 1 — Das Prinzip

1.1 Das Problem mit dem Beurteilen

Maschinelles Lernen im klassischen Sinn braucht Beispiele mit Urteil: dieses Bauteil ist gut, jenes ist fehlerhaft. Das Urteil muss ein Mensch fällen. In einem Betrieb ist genau das die teuerste Arbeit — nicht das Rechnen, sondern das Hinsehen und Entscheiden, tausendfach.

Selbstüberwachtes Lernen umgeht das. Es verdeckt einen Teil der Eingabe und lässt das Modell den verdeckten Teil erschließen. Das Urteil liefert die Aufgabe selbst.

1.2 Drei Wege, denselben Trick zu nutzen

Die Wege unterscheiden sich in einer einzigen Frage: Worauf wird der Fehler gerechnet?

Der dritte Weg ist der Gegenstand dieses Hefts.

1.3 Warum das Weglassen der Kern ist

Ein Bild enthält Anteile, die sich grundsätzlich nicht vorhersagen lassen: das Rauschen des Bildsensors, ein Lichtflackern, ein Staubkorn. Ein Verfahren, das das Bild wiederherstellen soll, verbraucht einen Teil seiner Kapazität darauf, diese Anteile nachzubilden — obwohl sie keine Information tragen.

Wer dagegen nur die Beschreibung vorhersagt, darf das Unvorhersagbare weglassen. Yann LeCun formuliert das so: Das Modell lernt eine abstrakte Darstellung der Welt und sagt in dieser abstrakten Darstellung voraus, wobei es Einzelheiten weglässt, die sich nicht vorhersagen lassen.

1.4 Woher der Gedanke stammt

Der Begriff stammt aus einem Positionspapier von 2022. Nach der allgemeinen Einordnung des Feldes ist JEPA dort noch kein Verfahren, sondern ein Baustein in einem Entwurf für eine Maschine, die planen kann; für dieses Heft wurde der Text selbst nicht gelesen und ist entsprechend nur als Fundstelle geführt. Die erste vollständige Umsetzung folgte 2023 für Bilder.

Zum Mitdenken: Der Gedanke ist älter als seine Umsetzung, und die Umsetzung ist älter als ihre Brauchbarkeit. Zwischen dem Aufsatz von 2022 und offenen, herunterladbaren Modellen liegen drei Jahre.

Modul 2 — Aufbau und Stolperstein

2.1 Die vier Bauteile

Die Ortsangabe ist wichtig: Der Vorhersager erfährt, wo der verdeckte Teil lag. Ohne diese Angabe könnte er nur einen Durchschnitt liefern.

2.2 Der Zielgeber wird nicht gelernt

Das ist der ungewöhnlichste Teil des Aufbaus. Der Zielgeber bekommt seine Gewichte nicht aus dem Training, sondern als gleitenden Mittelwert der Gewichte des Kontextgebers. Er läuft dem Kontextgeber also nach, mit Verzögerung.

2.3 Warum das so sein muss: der Zusammenbruch

Würden beide Seiten gemeinsam optimiert, gäbe es eine Lösung, die den Fehler sofort auf null bringt: Beide antworten immer dasselbe. Der Abstand ist dann null, und gelernt wurde nichts.

Dieser Zusammenbruch der Beschreibung ist der Stolperstein des ganzen Verfahrens. Er ist kein seltener Störfall, sondern die naheliegende Lösung, in die das Training von selbst läuft, wenn man nichts dagegen tut.

2.4 Wie man ihn verhindert — und was sich 2025 geändert hat

Bis 2025 half eine Reihe von Kunstgriffen: der gleitende Mittelwert, das Abschneiden bestimmter Gradienten, Zentrieren und Normieren der Beschreibungen, sorgsam gewählte Maskierungsmuster. Jeder Griff bringt Einstellgrößen mit, und jede Einstellgröße kostet Versuchsläufe.

2025 erschien mit LeJEPA eine Arbeit, die herleitet, welcher Verteilung die Beschreibungen folgen sollten, und die Sammlung von Kunstgriffen durch eine einzige Bedingung mit einem einzigen Regelparameter ersetzt. Nach der herangezogenen Zusammenfassung genügen dafür wenige Dutzend Zeilen Code.

Warum das gerade für kleine Betriebe zählt: Die Hürde ist selten die Rechenleistung. Die Hürde ist die Einstellarbeit. Ein Verfahren mit einem einzigen Regelparameter ist ein anderer Gegenstand als eines mit einem Dutzend.

Modul 3 — Wo es trägt und wo nicht

3.1 Was gemessen vorliegt

Aus den Veröffentlichungen selbst:

• I-JEPA (2023): 79,3 % Top-1 im linearen Test auf ImageNet-1K; Vortraining unter 1.200 GPU-Stunden — etwa ein Zehntel des Aufwands eines vergleichbaren rekonstruierenden Verfahrens.
• V-JEPA 2 (2025): 77,3 % auf Something-Something v2; Vortraining auf über einer Million Stunden Video; anschließend Greifen und Ablegen an zwei Standorten nach weniger als 62 Stunden Roboteraufnahmen.
• V-JEPA 2.1 (2026): ortsgenaue Merkmale; 47,9 mIoU auf ADE20K; Modelle von 80 Millionen bis 2 Milliarden Parametern.

Wichtig: Alle Zahlen stammen aus Vergleichsdatensätzen der Forschung. Sie sagen nichts darüber, wie sich dieselben Modelle auf Aufnahmen aus einer Werkstatt verhalten. Diese Übertragung ist der eigentliche Prüfschritt.

3.2 Die Felder im Überblick

3.3 Vier Aufgaben, bei denen es trägt

1. Abweichungen erkennen. Ein Modell des Normalzustands entsteht ohnehin; alles, was davon abweicht, fällt auf.
2. Ähnliches finden. Der gelernte Merkmalsraum ist ohne weiteres Training als Suchraum brauchbar.
3. Vorhersagen. Vorhersage im Merkmalsraum ist der Kern des Verfahrens.
4. Mit wenigen Urteilen einordnen. Merkmale einfrieren, darauf einen kleinen Aufsatz trainieren — dafür genügen wenige beurteilte Beispiele.

3.4 Drei Aufgaben, bei denen es nicht trägt

1. Etwas erzeugen. Das Verfahren lässt Einzelheiten bewusst weg. Wer Bilder oder Töne erzeugen will, braucht ein erzeugendes Modell.
2. Etwas erklären. Gelernte Beschreibungen sind Zahlenvektoren und tragen keine Begründung.
3. Tabellen auswerten. Hier sind Gradientenverfahren auf Entscheidungsbäumen weiterhin überlegen.

Modul 4 — Einordnung, Recht und erste Schritte

4.1 Die Gegenposition

Eine ausführliche Gegenposition von 2025 hält den Ansatz für begrifflich elegant, den Nachweis des praktischen Nutzens aber für begrenzt: gezeigt vor allem in einfachen Umgebungen, die Übertragbarkeit auf vielfältige Aufgaben offen. Hinzu kommt der Einwand, die Konzentration auf Sinnesdaten übergehe die abstrakte und kontrafaktische Information, die Sprache trägt.

Diese Einwände werden in diesem Heft nicht entkräftet. Sie gehören zum Stand der Sache.

4.2 Drei verbreitete Behauptungen, die nicht stimmen

• „JEPA ersetzt Sprachmodelle.“ Es handelt sich um ein Lernziel, nicht um einen Produkttyp. Es gibt Arbeiten, die dasselbe Ziel auf Sprachmodelle anwenden.
• „Weltmodelle verstehen Physik.“ Die Modelle sagen Beschreibungen voraus. Ob das „Verstehen“ heißt, ist eine Frage der Begriffswahl, keine Messgröße.
• „Das läuft auf jedem Rechner.“ Merkmale aus einem kleinen Modell entnehmen: ja, mit Grafikbeschleuniger. Eigenes Vortraining: nein.

4.3 Lizenz und Recht

Die Lizenzlage ist innerhalb derselben Modellreihe uneinheitlich: Die Modellkarten zu V-JEPA 2 nennen MIT, die Veröffentlichung zu V-JEPA 2.1 nennt CC BY-NC-ND 4.0 und schließt damit gewerbliche Nutzung und Bearbeitung aus.

Daraus die Regel: je Modellstand einzeln prüfen, nicht je Modellfamilie, und das Ergebnis mit Datum und Fundstelle schriftlich festhalten.

Für gewerbliche Anwendungen in der Europäischen Union kommt die Einstufung nach der KI-Verordnung dazu. Sie ist vor der Umsetzung zu klären, nicht danach.

4.4 Wenn Sie einen einzigen Versuch machen

Nehmen Sie einen vorhandenen Bild- oder Dokumentenbestand, entnehmen Sie mit einem offenen Modell die Merkmale und stellen Sie die Ähnlichkeitssuche gegen die Dateinamensuche. Zwei Tage Arbeit, kein Training, keine neuen Daten.

Danach wissen Sie, ob der Ansatz in Ihrem Haus etwas bringt. Alles Weitere setzt einen Datenbestand voraus — und der Aufbau dieses Bestands ist die eigentliche Investition, nicht die Wahl des Verfahrens.

Prüffragen

1. Worin unterscheiden sich die drei Wege des selbstüberwachten Lernens? Darin, worauf der Fehler gerechnet wird: auf dem Rohdatum, auf Abständen zwischen veränderten Ansichten, oder auf den Beschreibungen.

2. Warum ist es ein Vorteil, nicht das Rohdatum vorherzusagen? Weil sich Anteile wie Sensorrauschen grundsätzlich nicht vorhersagen lassen. Wer sie nicht nachbilden muss, verbraucht keine Kapazität darauf.

3. Welche vier Bauteile hat der Aufbau? Kontextgeber, Zielgeber, Vorhersager, Verlustmaß im Merkmalsraum.

4. Warum wird der Zielgeber nicht mittrainiert? Sonst gäbe es die triviale Lösung, dass beide Seiten immer dasselbe antworten. Der Fehler wäre null, gelernt wäre nichts.

5. Wie heißt dieser Fehlerfall und wie häufig ist er? Zusammenbruch der Beschreibung. Er ist kein seltener Störfall, sondern die Lösung, in die das Training von selbst läuft, wenn man nichts dagegen tut.

6. Was hat LeJEPA 2025 geändert? Die Sammlung von Kunstgriffen wurde durch eine einzige Bedingung mit einem einzigen Regelparameter ersetzt.

7. Warum zählt das für einen kleinen Betrieb mehr als eine bessere Messzahl? Weil die Hürde meist die Einstellarbeit ist und nicht die Rechenleistung.

8. Was sagen die Messwerte aus den Vergleichsdatensätzen über die eigene Werkstatt aus? Nichts. Die Übertragung auf eigenes Material ist ein eigener Prüfschritt.

9. Nennen Sie Aufgaben, bei denen das Verfahren trägt, und solche, bei denen es nicht trägt. Trägt: Abweichungen erkennen, Ähnliches finden, mit wenigen Urteilen einordnen, vorhersagen. Trägt nicht: erzeugen, erklären, Tabellen auswerten.

10. Warum taugt das Verfahren nicht zum Erklären? Gelernte Beschreibungen sind Zahlenvektoren und tragen keine Begründung.

11. Was ist der Kern der Gegenposition von 2025? Der Ansatz sei begrifflich elegant, der Nachweis des praktischen Nutzens aber begrenzt; gezeigt vor allem in einfachen Umgebungen.

12. Warum ist die Aussage „JEPA ersetzt Sprachmodelle“ unzutreffend? Weil JEPA ein Lernziel ist und kein Produkttyp; dasselbe Ziel wurde bereits auf Sprachmodelle angewandt.

13. Welche zwei Nutzungen schließt CC BY-NC-ND 4.0 aus? Die gewerbliche Nutzung und die Bearbeitung — also auch das Nachtrainieren.

14. Was ist bei einem Vorhaben die eigentliche Investition? Der Aufbau des Datenbestands, nicht die Wahl des Verfahrens.

Primärquellen

Acht Fundstellen, die den Inhalt dieses Hefts tragen. Die vollständige Liste mit Prüfstufe je Eintrag steht im beiliegenden Literaturverzeichnis.

1. LeCun (2022): A Path Towards Autonomous Machine Intelligence, Version 0.9.2 — https://openreview.net/pdf?id=BZ5a1r-kVsf
2. Assran u. a. (2023): Self-Supervised Learning From Images With a Joint-Embedding Predictive Architecture, CVPR — https://arxiv.org/abs/2301.08243
3. Bardes u. a. (2024): Revisiting Feature Prediction for Learning Visual Representations from Video — https://arxiv.org/abs/2404.08471
4. Ballas u. a. (2025): V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning — https://arxiv.org/abs/2506.09985
5. Balestriero und LeCun (2025): LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics — https://arxiv.org/abs/2511.08544
6. Mur-Labadia u. a. (2026): V-JEPA 2.1: Unlocking Dense Features in Video Self-Supervised Learning — https://arxiv.org/abs/2603.14482
7. Xing u. a. (2025): Critiques of World Models — https://arxiv.org/abs/2507.05169
8. He u. a. (2026): SC-JEPA: Stabilizing Latent Predictive Learning for Time-Series Anomaly Prediction, SDM 2026 — https://arxiv.org/abs/2602.04643

Zum Weiterarbeiten

Die beiliegende Einordnungshilfe beantwortet für einen konkreten Fall, ob ein Versuch lohnt. Sie läuft im Browser, sendet nichts und weist jede Teilbewertung mit Begründung und Fundstelle aus.