Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai7. Februar 2018 · Q008530

Discovering types for entity disambiguation

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Beitrag beschreibt ein Verfahren, das mehrdeutige Namen mithilfe von rund 100 aus Wikipedia- und Wikidata-Daten ausgewählten Typen im Kontext auflöst. Die Autoren berichten hohe Genauigkeitswerte auf CoNLL (YAGO) und TAC KBP 2010, weisen aber darauf hin, dass das Typensystem auf einer kleinen Wikipedia-Teilmenge entdeckt wurde und seine Skalierung noch offen ist.

Mittel

Der Beitrag stellt ein Verfahren zur Auflösung mehrdeutiger Entitätsnamen vor. Ein neuronales Netz schätzt anhand des Kontexts die Zugehörigkeit eines Ausdrucks zu etwa 100 ausgewählten Typen. Diese Typwahrscheinlichkeiten werden anschließend mit den möglichen Bedeutungen des Ausdrucks kombiniert, um eine Entität auszuwählen.

Wikipedia-Links liefern mögliche Entitäten und Trainingskontexte; Wikidata-Beziehungen und Wikipedia-Kategorien ordnen den Entitäten Typen zu. Eine heuristische oder stochastische Optimierung wählt eine kompakte Typmenge, die zugleich unterscheidungskräftig und aus Kontext lernbar sein soll. Zur Bereinigung verrauschter Linkstatistiken bildet das Verfahren Verweise heuristisch auf allgemeinere Bedeutungen ab. Im Beispiel gehen die mit „king“ verknüpften Entitäten von 974 auf 14 zurück, während „queen“-Verweise auf „Monarch“ von 32 auf 3553 steigen.

Die Autoren berichten 94,88 Prozent Genauigkeit auf CoNLL (YAGO) und 90,85 Prozent auf TAC KBP 2010 sowie einen F1-Wert über 0,91 für die Typvorhersage auf Wikipedia-Text. Die Typen wurden auf einer kleinen Wikipedia-Teilmenge entwickelt; eine Skalierung auf ganz Wikipedia und Vergleiche mit verteilten Repräsentationen bleiben offene Punkte.

Ausführlich lesen

Der OpenAI-Beitrag beschreibt ein Verfahren zur automatischen Auflösung mehrdeutiger Entitätsnamen: Ein Modell schätzt, welchen von ungefähr 100 automatisch ausgewählten Typen ein Wort im jeweiligen Kontext angehört. Statt direkt zwischen allen möglichen Bedeutungen eines Ausdrucks wie „jaguar“ zu wählen, prüft das System gewissermaßen schrittweise, ob die gemeinte Entität etwa ein Tier, eine Automarke oder etwas anderes ist. Der Beitrag behauptet, dieser typenbasierte Ansatz verbessere den damaligen Stand bei mehreren Datensätzen deutlich.

Als Ergebnisse nennt der Text 94,88 Prozent Genauigkeit auf CoNLL (YAGO) und 90,85 Prozent beim TAC KBP 2010 Challenge. Zum Vergleich führt er frühere Werte von 91,50 und 91,70 Prozent beziehungsweise 87,20 und 87,70 Prozent an. Die Autoren geben außerdem an, dass eine perfekte Vorhersage der Typen auf diesen Aufgaben eine Genauigkeit von 98,6 bis 99 Prozent ermöglichen würde. Diese Zahlen beziehen sich auf die genannten Datensätze und den im Beitrag beschriebenen Vergleich.

Das Verfahren baut auf Wikipedia und Wikidata auf. Zunächst werden interne Wikipedia-Links genutzt, um mögliche Entitäten für Ausdrücke zu sammeln. Dann werden Entitäten über Wikidata-Beziehungen und Wikipedia-Kategorien mit Typen verknüpft. Eine Optimierung wählt daraus eine kompakte Menge von rund 100 Kategorien. Aus verlinkten Textstellen samt Kontext entstehen Trainingsbeispiele: Ein neuronales Netz lernt, die Typzugehörigkeiten eines Ausdrucks vorherzusagen. Bei der Anwendung werden diese Wahrscheinlichkeiten mit Bayes’ Theorem kombiniert, um die möglichen Entitäten zu gewichten.

Ein Abschnitt behandelt verrauschte Verknüpfungsdaten. Wikipedia-Links können etwa eine konkrete Person statt eines allgemeinen Begriffs meinen oder Spitznamen und Metonymien verwenden. Dadurch entstehen zu viele mögliche Entitäten und verzerrte Häufigkeiten. Der beschriebene Ansatz nutzt den Wikidata-Eigenschaftsgraphen, um Verknüpfungen heuristisch auf allgemeinere Bedeutungen abzubilden. Im Beispiel sinkt die Zahl der mit „king“ verbundenen Entitäten von 974 auf 14; für „queen“ steigt die Zahl der Verknüpfungen zum Typ „Monarch“ von 32 auf 3553.

Die Typauswahl ist laut Beitrag zu umfangreich für eine exakte Suche. Stattdessen kommen heuristische Suche oder stochastische Optimierung zum Einsatz. Bewertet werden unter anderem, wie gut Typen aus Kontext lernbar sind (AUC) und wie genau eine ideale Typvorhersage Entitäten unterscheiden könnte. Für die Lernbarkeit dient ein kleines Ersatzmodell, da das vollständige Modell mehrere Tage Training benötigt. Das endgültige bidirektionale LSTM wurde nach Angaben der Autoren mit jeweils 400 Millionen Tokens für Englisch und Französisch trainiert und erreichte auf Wikipedia-Quelltext einen F1-Wert über 0,91.

Als Grenzen und offene Fragen nennt der Beitrag, dass die Typen anhand einer kleinen Wikipedia-Teilmenge entdeckt wurden; eine Skalierung auf die gesamte Wikipedia könnte andere oder breiter nutzbare Typensysteme ergeben. Die Autoren weisen zudem darauf hin, dass sie den End-to-End-Ansatz noch mit verteilten Repräsentationen vergleichen möchten. Für die Laufzeit beanspruchen sie eine lineare Abhängigkeit von der Dokumentlänge, da mögliche Bedeutungen über einen Trie nachgeschlagen und einzeln gewichtet werden.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Einordnung bezieht sich ausschließlich auf den Inhalt des Berichts. Der Beitrag ist ein Blogpost von 2018 über Entitätsdisambiguierung und hat keinen Bezug zu Sicherheits- oder Governance-Fragen des Modells.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Obergrenze bei perfekter Typvorhersage von 98,6 bis 99 Prozent
  • Die O(N)-Laufzeit der Inferenz über einen Trie statt eines Kohärenzmaßes
  • Die früheren Bestwerte von 91,70 bzw. 87,70 Prozent als Vergleichsbasis

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Tempo und Grenzen
Vertrauen in Modelle
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 43 %einzelne zitierbare Belege
    • JEV 43 %beantwortet direkt und ausführlich
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung einzelne zitierbare Belege

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →