The First 10 Million Token AI Model You Can Run on a Single GPU Is Here
Zusammenfassung
Kurz
Der Beitrag berichtet über Pokee-Isaac 28B, das laut Pokee zehn Millionen Tokens Kontext verarbeiten und auf einer einzelnen RTX 4090 laufen soll. Die genannten Benchmark-, Geschwindigkeits- und Hardwarewerte stammen aus Anbieterangaben; der Text liefert keine unabhängige Prüfung oder ausführlichen Testbedingungen.
Mittel
Der Bericht beschreibt Pokee-Isaac 28B als Modell mit einem Kontextfenster von zehn Millionen Tokens, das laut Anbieter auf einer einzelnen RTX 4090 oder ähnlicher Hardware laufen könne. Ein so großes Fenster könnte ganze Codebasen oder umfangreiche Archive in einer Anfrage verfügbar machen und damit RAG-Abläufe vereinfachen, bei denen relevante Textabschnitte zunächst gesucht werden müssen.
Pokee zufolge erreicht das Modell bei zehn Millionen Tokens 93,3 Prozent RULER-Genauigkeit. Der Beitrag nennt außerdem Ergebnisse auf BFCL v4, τ³-bench und dem Sicherheitsbenchmark DTAP. Die berichteten Messwerte zeigen beim Prefill eine höhere Tokenrate und eine etwa dreifache statt zehnfache Zunahme der Zeit bis zum ersten Token zwischen einer und zehn Millionen Tokens; die Dekodiergeschwindigkeit bleibe nahezu gleich. Für Intel Arc Pro B70 meldet Pokee Vorteile gegenüber llama.cpp. Vorgesehen sei das Modell für Agenten und OpenAI-kompatible Anwendungen; genannt werden Cloud-, lokale und Gerätebereitstellung sowie vorläufige API-Preise von 0,15 US-Dollar je Million Eingabe- und 1 US-Dollar je Million Ausgabe-Tokens. Diese Leistungs-, Kompatibilitäts- und Hardwareangaben sind im Text Anbieterbehauptungen; unabhängige Bestätigung und detaillierte Testbedingungen fehlen.
Ausführlich lesen
Der Bericht stellt Pokee-Isaac 28B vor und beschreibt ihn als Modell mit einem Kontextfenster von zehn Millionen Tokens, das laut Pokee auf einer einzelnen RTX 4090 oder vergleichbarer Hardware laufen könne. Der Beitrag ordnet die Ankündigung in den Wettbewerb um immer größere Kontextfenster ein: Solche Fenster sollen mehr Text in einer Anfrage verfügbar machen, doch lange Eingaben können die Verarbeitung verlangsamen. Tokens seien kleine Texteinheiten; zehn Millionen davon könnten laut der groben Einordnung des Beitrags etwa ein ganzes Softwareprojekt samt Dokumentation, Protokollen und E-Mails umfassen.
Als möglichen Nutzen nennt der Text die Analyse vollständiger Codebasen. Übliche RAG-Systeme teilen Inhalte in Abschnitte, speichern sie in einer Vektordatenbank und rufen passende Teile ab. Dabei könne wichtiges Material übersehen werden. Ein sehr großes Kontextfenster könnte diese Abrufschritte teilweise ersetzen, indem das Modell mehr Material direkt erhält. Der Bericht leitet daraus mögliche Anwendungen für umfangreiche technische Projekte, Rechtsarchive, Forschungsdaten und interne Dokumentationen ab.
Die Leistungsangaben stammen laut Beitrag von Pokee. Genannt werden 93,3 Prozent RULER-Genauigkeit bei zehn Millionen Tokens, führende Resultate auf BFCL v4, starke Ergebnisse auf τ³-bench und die niedrigste kombinierte Angriffs-Erfolgsrate unter den getesteten Modellen im DTAP-Sicherheitsbenchmark. Für den Vorlauf zur Antwort (Prefill) nennt der Bericht 42.400 Tokens pro Sekunde bei einer Million Tokens und 137.200 bei zehn Millionen. Die Zeit bis zum ersten Token steige den Angaben zufolge von 23,6 auf 72,9 Sekunden. Die Dekodiergeschwindigkeit werde mit 335 beziehungsweise 337 Tokens pro Sekunde als nahezu konstant dargestellt. Für die Intel Arc Pro B70 vergleicht Pokee sein System mit dem unveränderten llama.cpp und meldet höhere Prefill- und Dekodiergeschwindigkeiten.
Das Modell werde als Grundlage für autonome Agenten mit Funktionsaufrufen, Streaming, Hintergrundausführung und einer OpenAI-kompatiblen API positioniert. Als Bereitstellungsoptionen nennt der Beitrag Rechenzentren, Workstations, professionelle GPUs und bestimmte Edge-Geräte sowie VPC, lokale Infrastruktur und Gerätebetrieb. Der angegebene vorläufige API-Preis beträgt 0,15 US-Dollar je Million Eingabe-Tokens und 1 US-Dollar je Million Ausgabe-Tokens.
Die Aussagen zu Kontextgröße, Hardware-Unterstützung, Benchmarks, Geschwindigkeit und Preis werden im Bericht als Angaben beziehungsweise Behauptungen von Pokee wiedergegeben. Er legt keine unabhängige Prüfung, Testbedingungen im Detail oder Vergleichsmethodik vor. Daher belegen die genannten Zahlen im bereitgestellten Text nicht eigenständig, dass die Leistung in anderen Umgebungen ebenso erreicht wird.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Bewertet wurden nur die drei Sammelfragen, da keine Teilfragen angegeben sind. Die Zusammenfassungen wurden anhand der beiden Fassungen kurz und mittel geprüft; die mittlere ist inhaltlich genauer.
Im Bericht, aber nicht in der Zusammenfassung
- Kurzfassung: die RULER-Genauigkeit von 93,3 % bei 10 Mio. Tokens und die Prefill- sowie Time-to-First-Token-Werte fehlen
- Kurzfassung: Preise und der Intel-Arc-Vergleich mit llama.cpp fehlen
- Beide Fassungen lassen den Vergleich mit gängigen Modellen aus, die laut Bericht etwa zehnmal kleinere Kontextfenster haben
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M2 Wie muss ein Meldekanal zwischen Staaten gebaut sein, damit er verlässlich arbeitet, auch in einer Krise?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 69 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 55 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 72 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 53 %einzelne zitierbare Belege
- JEV 44 %nur am Rande erwähnt
- amos 34 %nur am Rande erwähnt
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 36 %gleiches Oberthema, hilft nicht
- d3-ultra 45 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 31 %einzelne zitierbare Belege
- amos 28 %nur am Rande erwähnt
- SubQ 62 %gleiches Oberthema, hilft nicht
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 35 %einzelne zitierbare Belege
- amos 30 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 69 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 61 %gleiches Oberthema, hilft nicht
- drex 83 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 78 %gleiches Oberthema, hilft nicht
- d3-ultra 53 %gleiches Oberthema, hilft nicht
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 63 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 86 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 30 %Hintergrund, keine Belege
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 45 %einzelne zitierbare Belege
- JEV 54 %umfangreiche Belege
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 55 %gleiches Oberthema, hilft nicht
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 52 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 32 %nur am Rande erwähnt
- JEV 53 %nur am Rande erwähnt
- amos 34 %nur am Rande erwähnt
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 58 %gleiches Oberthema, hilft nicht
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 58 %gleiches Oberthema, hilft nicht
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 55 %gleiches Oberthema, hilft nicht
- drex 71 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 46 %gleiches Oberthema, hilft nicht
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H4 Was geschieht mit Modellen und Sicherheitspflichten, wenn ein Labor verkauft, aufgelöst oder ein Modell stillgelegt wird?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 58 %gleiches Oberthema, hilft nicht
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 69 %gleiches Oberthema, hilft nicht
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 54 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 37 %Hintergrund, keine Belege
- JEV 61 %einzelne zitierbare Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 57 %gleiches Oberthema, hilft nicht
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung Hintergrund, keine Belege
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %gleiches Oberthema, hilft nicht
- amos 58 %gleiches Oberthema, hilft nicht
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 74 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv