Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmindohne Datum · Q001875

Large language models possess some ecological knowledge, but how much?

infoscience.epfl.ch · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht vergleicht GPT-4o und Gemini 1.5 Pro bei fünf ökologischen Aufgaben. Beide waren bei groben Artenvorkommen am stärksten, hatten aber deutliche Schwierigkeiten mit präzisen Verbreitungskarten und Bedrohungseinstufungen; die Aussagekraft ist durch zwei getestete Modelle, begrenzte Stichproben und Unsicherheiten der Referenzdaten eingeschränkt.

Mittel

Der Bericht prüft GPT-4o und Gemini 1.5 Pro in fünf ökologischen Aufgaben: Artenvorkommen erkennen, Verbreitungskarten erstellen, kritisch gefährdete Vögel für Länder auflisten, Bedrohungen einstufen und Artenmerkmale schätzen. Die Modelle wurden ohne externe Datenquellen getestet und mit Fachdatensätzen verglichen.

Am besten schnitten sie bei der Erkennung von Artenvorkommen ab: Bei Länderangaben betrug die mittlere Genauigkeit etwa 85 Prozent für Gemini und 88 Prozent für GPT-4o. Nahe den Grenzen bekannter Verbreitungsgebiete häuften sich jedoch Fehler. Verbreitungskarten waren deutlich ungenauer; ihre mittleren F1-Werte lagen bei rund 25 beziehungsweise 21 Prozent, gegenüber rund 61 Prozent für das verglichene SINR-Modell. Auch beim Auflisten gefährdeter Arten und beim Einstufen von Bedrohungen zeigten sich erhebliche Schwächen. GPT-4o schätzte die getesteten numerischen Merkmale insgesamt besser als Gemini, wobei die Ergebnisse je nach Merkmal variierten.

Die Autorinnen und Autoren warnen vor einer Verallgemeinerung: Untersucht wurden nur zwei Modellversionen und meist 100 Arten pro Aufgabe; die Referenzdaten enthalten ebenfalls Unsicherheiten. Sie sehen mögliche Anwendungen in Arbeitsabläufen mit Datenbanken und Fachwerkzeugen, empfehlen aber menschliche Prüfung und raten davon ab, die Modelle allein für Naturschutzentscheidungen einzusetzen.

Ausführlich lesen

Der Bericht untersucht, welches ökologische Wissen zwei Sprachmodelle ohne externe Datenbanken oder Internetsuche abrufen können: GPT-4o und Gemini 1.5 Pro. Die Autorinnen und Autoren stellen dafür einen Benchmark mit fünf Aufgaben vor. Sie prüfen, ob die Modelle Arten an Orten erkennen, Verbreitungsgebiete als Karten ausgeben, vom Aussterben bedrohte Vogelarten für Länder aufzählen, Bedrohungen nach dem IUCN-System einstufen und Merkmale von Vogel- und Säugetierarten schätzen können. Die Auswertung vergleicht Antworten mit Fachdatensätzen, darunter Verbreitungskarten der IUCN sowie AVONET- und COMBINE-Merkmalsdaten.

Die Modelle schnitten bei der Erkennung von Artenvorkommen am besten ab. Bei 100 untersuchten Arten lag ihre mittlere Genauigkeit über dem Zufallsniveau; bei Länderangaben erreichten sie rund 85 Prozent für Gemini und 88 Prozent für GPT-4o. Bei Koordinaten waren die Werte niedriger. Laut Bericht traten Fehler besonders häufig nahe den Grenzen der bekannten Verbreitungsgebiete auf. Die Modelle konnten also eher grobe Vorkommen erfassen als präzise räumliche Grenzen.

Bei der Erstellung von Verbreitungskarten waren die Ergebnisse deutlich schwächer: Der mittlere F1-Wert betrug 24,7 Prozent für Gemini und 20,9 Prozent für GPT-4o. Zum Vergleich erreichte das separat ausgewertete Verbreitungsmodell SINR mit einer Schwellenwertmethode 60,7 Prozent. Beim Auflisten kritisch gefährdeter Vogelarten waren Präzision, Trefferquote und F1-Werte im Durchschnitt ebenfalls niedrig und unterschieden sich stark zwischen Ländern. Die Autorinnen und Autoren führen Schwierigkeiten unter anderem auf lange Antwortlisten zurück. Bei der Einstufung von Bedrohungsumfang und -schwere lagen die Modelle nur etwa zehn Prozentpunkte über dem Zufallsvergleich; sie stuften den Umfang häufig zu niedrig ein. Bei numerischen Merkmalen schnitt GPT-4o über die untersuchten Vogel- und Säugetiermerkmale hinweg besser ab als Gemini. Die Leistung variierte jedoch je nach Merkmal; bei der maximalen Lebenserwartung war sie besonders schwach.

Die Studie nutzte feste Modellversionen aus dem Jahr 2024, jeweils mit einer Temperatur von null und überwiegend einfachen, strukturierten Prompts. Die Modelle wurden an 100 Arten in mehreren Aufgaben getestet. Der Bericht betont, dass damit nur diese beiden Modelle erfasst werden und kleine Leistungsunterschiede wegen der begrenzten Stichprobe unentdeckt bleiben können. Auch die Referenzdaten sind Näherungen biologischer Wirklichkeit: Bei IUCN-Karten und Artmittelwerten können Unsicherheiten bestehen.

Die Autorinnen und Autoren folgern, dass Sprachmodelle ökologische Informationen teilweise wiedergeben, ihre Fähigkeiten aber stark von der Aufgabe abhängen. Sie empfehlen, sie nicht als eigenständige Grundlage für Naturschutzentscheidungen zu behandeln. In der Praxis könnten sie zusammen mit verlässlichen Datenbanken, statistischen und räumlichen Werkzeugen sowie menschlicher Prüfung nützlich sein. Der Benchmark soll künftige Vergleiche und Untersuchungen zu externem Datenzugriff ermöglichen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Bewertet wurde die mittlere Zusammenfassung von Luna; die kurze Fassung wurde nicht gesondert geprüft. Die Sammelfragen und Teilfragen betreffen allgemeine KI-Sicherheit und Ethik und nicht den Gegenstand des Berichts, daher fallen die Einordnungen niedrig aus.

Im Bericht, aber nicht in der Zusammenfassung

  • Bei der Bedrohungseinstufung liegen die Modelle nur rund 10 Punkte über dem Zufallsniveau, was die Schwäche deutlicher macht als die bloße Angabe erheblicher Schwächen
  • Gemini 1.5 Pro lieferte deutlich mehr ungültige Antworten als GPT-4o
  • Die Aussage, dass sich das Wissen je nach Aufgabenstruktur ungleich verteilt und die Autorinnen und Autoren domänenspezifisches Feintuning für nötig halten
  • Die Modelle übertreffen einfache Zufalls- und Konstantbaselines zwar, aber nur mit begrenztem Abstand, was bei der Beurteilung der Leistung wichtig ist

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 50 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 35 %umfangreiche Belege
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 49 %gleiches Oberthema, hilft nicht
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 72 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 46 %einzelne zitierbare Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 63 %Hintergrund, keine Belege
    • JEV 32 %beantwortet teilweise oder widerspricht
    • amos 25 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Agenten und vernetzte Systeme
Modelle teilen und schützen
  1. SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 25 %nur am Rande erwähnt
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  3. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 49 %einzelne zitierbare Belege
    • JEV 39 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 74 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt
  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 77 %Hintergrund, keine Belege
    • JEV 35 %einzelne zitierbare Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt

    • SF-E5-T02 Welche Entscheidungen müssen menschlich bleiben, auch wenn eine KI sie besser treffen könnte, und wie würden Staaten in Entscheidungsschleifen mit hohem Risiko prüfbar machen, dass ein Mensch die Ausgabe der KI wirklich beurteilt und nicht nur routinemäßig abgenickt hat? Luna: Stufe 3 · 30 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
Information und Öffentlichkeit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →