IBM’s Granite Docling: A New Open-Source Multimodal Model for Smarter Document AI
Zusammenfassung
Kurz
Der Bericht stellt Granite Docling als quelloffenes Modell vor, das Text und visuelle Dokumentmerkmale aus PDFs in strukturierte Formate wie Markdown oder HTML umwandeln soll. Es soll mehrere Dokumentaufgaben bündeln, bleibt laut Artikel jedoch auf Dokumente spezialisiert, kann Fehler machen und wird nicht durch quantitative Vergleichsergebnisse belegt.
Mittel
Der Bericht beschreibt IBM Granite Docling als quelloffenes, multimodales Modell, das PDF-Inhalte einschließlich Text, Layout, Formeln und Bildern erfassen und etwa in Markdown oder HTML ausgeben soll. Es basiert laut Artikel auf IDEFICS3 mit einem neuen Vision-Encoder (siglip2-base-patch16–512) und dem kleineren Granite-165M-Sprachmodell. Docling soll unter anderem Formeln und Tabellen verarbeiten, einzelne Dokumentbereiche gezielt untersuchen, Fragen zum Dokument beantworten und mehrere zuvor getrennte Aufgaben in einem Modell bündeln. Mehrsprachige Unterstützung für Japanisch, Arabisch und Chinesisch wird als experimentell beschrieben.
Für das Training seien synthetische Datensätze zu Code, Mathematik und Diagrammen sowie reale Dokumentbeispiele verwendet worden; trainiert worden sei auf IBMs Blue-Vela-H100-Cluster. Der Artikel zeigt Befehle, mit denen sich über die Docling-Bibliothek HTML, Markdown und eine Layoutansicht erzeugen lassen. Er betont zugleich, dass das Modell kein allgemeines Bildmodell ist und Fehler machen kann. Als zusätzliche Sicherheitsprüfung empfiehlt IBM dem Bericht zufolge Granite Guardian. Quantitative Vergleiche oder unabhängige Testergebnisse liefert der Text nicht.
Ausführlich lesen
Der Bericht stellt IBM Granite Docling als quelloffenes, multimodales Modell für die Verarbeitung von Dokumenten vor. Ausgangspunkt ist das bekannte Problem, dass bei der Textextraktion aus PDFs Formeln, Tabellen und Formatierung verloren gehen können. Docling soll Dokumente anhand von Text und visuellen Merkmalen wie Layout, Formeln und Bildern erfassen und in strukturierte Formate wie Markdown oder HTML umwandeln.
Laut Bericht basiert das Modell auf IDEFICS3, wobei IBM den Vision-Encoder durch siglip2-base-patch16–512 und das Sprachmodell durch Granite 165M ersetzt hat. Der Artikel hebt hervor, dass Docling mehrere Aufgaben in einem Modell zusammenführen soll, für die andere Dokumentwerkzeuge oft getrennte Modelle für OCR, Mathematik oder Tabellen verwenden. Zu den genannten Funktionen gehören die Erkennung von Formeln, die gezielte Verarbeitung einzelner Dokumentbereiche, stabilere Durchläufe und eine Frage-Antwort-Funktion, mit der sich etwa nach einem Anhang fragen lasse. Japanisch, Arabisch und Chinesisch werden als experimentell unterstützte Sprachen bezeichnet.
Als Aufbau nennt der Bericht drei Bestandteile: Vision-Encoder, Pixel-Shuffle-Verbindung aus IDEFICS3 und Granite-165M-Sprachmodell. Für das Training habe IBM synthetische Datensätze für Code, Formeln und Diagramme sowie reale Dokumentbeispiele zusammengestellt. Genannt werden SynthCodeNet, SynthFormulaNet, SynthChartNet und DoclingMatix. Trainiert worden sei das Modell auf IBMs Blue-Vela-H100-Cluster. Diese Angaben werden im Text berichtet; unabhängige Messwerte oder ein Vergleich der Ergebnisse werden nicht vorgelegt.
Der Artikel beschreibt auch einen praktischen Einstieg über die Docling-Bibliothek: Nach der Installation soll ein Kommandozeilenaufruf PDFs – auch über eine URL – als HTML und Markdown ausgeben können. Ein weiteres Beispiel erzeugt eine geteilte Seitenansicht mit Layoutdarstellung.
Die Grenzen werden ausdrücklich eingeräumt: Granite Docling sei kein allgemeines Bildverständnismodell und solle weder Fotos beschreiben noch beliebige KI-Aufgaben lösen. Als kleineres Modell könne es Fehler machen. Der Bericht empfiehlt den Einsatz mit Granite Guardian als zusätzlicher Sicherheitsprüfung. Insgesamt bewertet der Autor das Modell als Fortschritt für die Dokumentverarbeitung, ohne dafür im Artikel quantitative Belege oder systematische Testergebnisse anzuführen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Zusammenfassung liegt in zwei Fassungen vor (kurz und mittel); bewertet wurden beide gemeinsam, wobei die Mittelfassung die treuere ist und die Kurzfassung die oben genannten Auslassungen hat. Die Einordnung erfolgte unabhängig von Lunas Stufen und Anteilen und stützt sich ausschließlich auf den Bericht.
Im Bericht, aber nicht in der Zusammenfassung
- Die Kurzfassung nennt weder die Architektur (IDEFICS3) noch die Trainingsdaten (synthetische Datensätze, DoclingMatix) und Blue Vela.
- Die Kurzfassung erwähnt Granite Guardian nicht als empfohlene Sicherheitsschicht.
- Die Mittelfassung lässt die Befehle für Docling und die Split-Page-Layoutansicht nur teilweise aus; das Zählen der Befehle ist aber kein zentraler Punkt.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 54 %nur am Rande erwähnt
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 33 %gleiches Oberthema, hilft nicht
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 65 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 77 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 25 %nur am Rande erwähnt
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 76 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 48 %einzelne zitierbare Belege
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 37 %Hintergrund, keine Belege
- JEV 39 %einzelne zitierbare Belege
- amos 27 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 54 %einzelne zitierbare Belege
- JEV 61 %einzelne zitierbare Belege
- amos 29 %nur am Rande erwähnt
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 51 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung Hintergrund, keine Belege
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 50 %umfangreiche Belege
- JEV 58 %beantwortet direkt und ausführlich
- amos 41 %einzelne zitierbare Belege
- SubQ 100 %kein Bezug
- drex 31 %gleiches Oberthema, hilft nicht
- d3-ultra 50 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung einzelne zitierbare Belege
Offenlegung und Rechenschaft
- SF-O1 Wie können Mitarbeitende Sicherheitsbedenken melden, ohne alles zu riskieren?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 54 %Hintergrund, keine Belege
- JEV 60 %einzelne zitierbare Belege
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 48 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 30 %gleiches Oberthema, hilft nicht
- amos 57 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv