Robostral Navigate: single-camera AI navigation
Zusammenfassung
Kurz
Mistral zufolge navigiert Robostral Navigate mit einer einzelnen RGB-Kamera und natürlichsprachlichen Anweisungen und erzielt 76,6 Prozent Erfolgsquote auf ungesehenen R2R-CE-Umgebungen. Das Unternehmen berichtet von Simulationstraining, effizienterem Lernen durch Prefix-Caching und einer zusätzlichen Leistungssteigerung durch Online-Reinforcement-Learning; die Überprüfung der Übertragbarkeit auf reale Umgebungen wird im Text nicht ausführlich beschrieben.
Mittel
Mistral stellt Robostral Navigate vor, ein intern entwickeltes Modell mit 8 Milliarden Parametern, das Roboter mithilfe einer einzelnen RGB-Kamera und natürlichsprachlicher Anweisungen navigieren soll. Laut Bericht erreicht es auf R2R-CE 76,6 Prozent Erfolgsquote in ungesehenen und 79,4 Prozent in bekannten Validierungsumgebungen. Mistral zufolge übertrifft das die verglichenen Systeme mit einer Kamera um 9,7 Prozentpunkte und Systeme mit Tiefensensoren oder mehreren Kameras um 4,5 Punkte.
Meist bestimmt das Modell einen Zielpunkt im aktuellen Bild und die Ankunftsausrichtung. Liegt das Ziel außerhalb des Sichtfelds, nutzt es stattdessen Bewegungsangaben im lokalen Koordinatensystem. Das Training erfolgte laut Unternehmen vollständig in Simulation mit rund 2,4 Millionen Trajektorien aus 350.000 Szenen. Ein Prefix-Caching-Verfahren soll die benötigten Trainingstoken gegenüber Training pro Zeitschritt um den Faktor 22 senken. Zusätzliches Online-Reinforcement-Learning mit CISPO habe die Erfolgsquote um 3,2 Prozentpunkte gesteigert.
Mistral behauptet, das System funktioniere auf verschiedenen Roboterarten und könne sich an reale Hindernisse anpassen. Der Bericht nennt Benchmarks und Trainingsdaten, beschreibt aber die Prüfung der Übertragung auf reale Umgebungen nicht im Detail. Für weitere technische Einzelheiten verweist er auf einen technischen Bericht.
Ausführlich lesen
Mistral stellt Robostral Navigate als ein 8‑Milliarden-Parameter-Modell für die Navigation von Robotern vor. Es verarbeitet Bilder einer einzelnen gewöhnlichen RGB-Kamera und Anweisungen in natürlicher Sprache, um einen Roboter durch Umgebungen zu führen. Laut Bericht erreicht es im Benchmark R2R-CE eine Erfolgsquote von 76,6 Prozent auf zuvor ungesehenen Umgebungen und 79,4 Prozent auf Umgebungen, die im Validierungssatz bereits bekannt sind. Mistral zufolge liegt der Wert für ungesehene Umgebungen 9,7 Prozentpunkte über dem besten verglichenen Ein-Kamera-System und 4,5 Punkte über dem besten System mit Tiefensensoren oder mehreren Kameras. Diese Zahlen sind die im Bericht dargestellten Benchmark-Ergebnisse.
Die Navigation erfolgt meist über „Pointing“: Das Modell bestimmt im aktuellen Kamerabild einen Zielpunkt sowie die gewünschte Ausrichtung bei der Ankunft. Mistral zufolge macht das die Steuerung unempfindlicher gegenüber unterschiedlichen Kameraparametern und Maßstäben. Liegt das Ziel außerhalb des Sichtfelds, kann Pointing nicht eingesetzt werden; dann wechselt das Modell laut Beschreibung zu Bewegungsangaben im lokalen Koordinatensystem, etwa einer Distanz und einer Drehung.
Mistral berichtet, das Modell sei intern entwickelt und vollständig mit simulierten Daten trainiert worden. Dafür habe das Unternehmen rund 2,4 Millionen Trajektorien in 350.000 Szenen erzeugt. Das überwachte Training nutzt Prefix-Caching und baumförmige Aufmerksamkeitsmaskierung, um Episoden als Sequenzen zu verarbeiten und zugleich Informationsübertragung zwischen Zeitschritten zu verhindern. Verglichen mit einem Ansatz, der jeden Zeitschritt einzeln trainiert, soll dies die Zahl der Trainingstoken um den Faktor 22 senken. Mistral gibt außerdem an, dadurch Trainingsläufe von Monaten auf Tage verkürzt zu haben.
Nach dem überwachten Training kam laut Bericht das Online-Verfahren CISPO zum Einsatz. Es soll dem Modell ermöglichen, aus Versuch und Fehler zu lernen, nach Fehlschlägen weiterzumachen und Erkundungsverhalten auszubilden. Mistral schreibt diesem Schritt eine Verbesserung der Erfolgsquote um 3,2 Prozentpunkte zu und erklärt, bislang keine Leistungsstagnation zu beobachten.
Der Bericht behauptet, das Modell laufe auf rollenden, laufenden und fliegenden Robotern, passe sich verschiedenen Robotergrößen an und könne mit Hindernissen in realen Räumen umgehen, die im Training nicht vorkamen. Als mögliche Einsatzfelder nennt Mistral unter anderem Fertigung, Lieferung, Logistik und Gastgewerbe. Die beschriebenen Zahlen und Fähigkeiten stammen aus der Unternehmensdarstellung; der Text erläutert nicht im Einzelnen, wie die behauptete Übertragung auf reale Umgebungen geprüft wurde. Er verweist für Architektur, Trainingsaufbau und Benchmark-Ergebnisse auf einen technischen Bericht. Mistral beschreibt Robostral Navigate als ersten Schritt zu einem einheitlichen, allgemein einsetzbaren Robotik-Agenten, nicht als Abschluss dieser Entwicklung.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna hat zwei Fassungen geliefert (kurz und mittel); beide geben die Kernzahlen korrekt wieder, die kurze Fassung ist treu, die mittlere Fassung lässt die Verzichtsaussage zu Tiefensensoren aus. Bei der Einordnung habe ich mehrere Stufen nach unten korrigiert, weil die Fragen die Aussagen des Berichts zur Navigation nur am Rande berühren.
Im Bericht, aber nicht in der Zusammenfassung
- Der Verzicht auf Tiefensensoren und LiDAR, der laut Bericht ein zentraler Punkt ist
- Die Robustheit gegenüber unterschiedlichen Kameraparametern als Vorteil des Zeigeverfahrens
- Die Angabe, das Modell basiere nicht auf bestehenden Open-Source-VLMs
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 34 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 56 %einzelne zitierbare Belege
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 47 %einzelne zitierbare Belege
- JEV 44 %einzelne zitierbare Belege
- amos 26 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung einzelne zitierbare Belege
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 63 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 48 %einzelne zitierbare Belege
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 73 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren?
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 43 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 65 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3-T03 Werden Labore und die übrige Branche gemeinsame Tests veröffentlichen, ob Werte bei unbekannten Aufgaben, widerstreitenden Anreizen, in gegnerischen Lagen und bei fehlender oder anders wahrgenommener Aufsicht halten, unabhängig wiederholt und mit Fehlschlägen und Unsicherheit?
- SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat?
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 42 %einzelne zitierbare Belege
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 25 %einzelne zitierbare Belege
- JEV 21 %einzelne zitierbare Belege
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 48 %gleiches Oberthema, hilft nicht
- SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten?
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 31 %einzelne zitierbare Belege
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 56 %gleiches Oberthema, hilft nicht
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 35 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 47 %umfangreiche Belege
- JEV 48 %beantwortet teilweise oder widerspricht
- amos 29 %einzelne zitierbare Belege
- SubQ 100 %kein Bezug
- drex 30 %gleiches Oberthema, hilft nicht
- d3-ultra 45 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung einzelne zitierbare Belege
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Alle Berichte im Archiv