Large language models possess some ecological knowledge, but how much?
Zusammenfassung
Kurz
Der Bericht vergleicht GPT-4o und Gemini 1.5 Pro bei fünf ökologischen Aufgaben. Beide waren bei groben Artenvorkommen am stärksten, hatten aber deutliche Schwierigkeiten mit präzisen Verbreitungskarten und Bedrohungseinstufungen; die Aussagekraft ist durch zwei getestete Modelle, begrenzte Stichproben und Unsicherheiten der Referenzdaten eingeschränkt.
Mittel
Der Bericht prüft GPT-4o und Gemini 1.5 Pro in fünf ökologischen Aufgaben: Artenvorkommen erkennen, Verbreitungskarten erstellen, kritisch gefährdete Vögel für Länder auflisten, Bedrohungen einstufen und Artenmerkmale schätzen. Die Modelle wurden ohne externe Datenquellen getestet und mit Fachdatensätzen verglichen.
Am besten schnitten sie bei der Erkennung von Artenvorkommen ab: Bei Länderangaben betrug die mittlere Genauigkeit etwa 85 Prozent für Gemini und 88 Prozent für GPT-4o. Nahe den Grenzen bekannter Verbreitungsgebiete häuften sich jedoch Fehler. Verbreitungskarten waren deutlich ungenauer; ihre mittleren F1-Werte lagen bei rund 25 beziehungsweise 21 Prozent, gegenüber rund 61 Prozent für das verglichene SINR-Modell. Auch beim Auflisten gefährdeter Arten und beim Einstufen von Bedrohungen zeigten sich erhebliche Schwächen. GPT-4o schätzte die getesteten numerischen Merkmale insgesamt besser als Gemini, wobei die Ergebnisse je nach Merkmal variierten.
Die Autorinnen und Autoren warnen vor einer Verallgemeinerung: Untersucht wurden nur zwei Modellversionen und meist 100 Arten pro Aufgabe; die Referenzdaten enthalten ebenfalls Unsicherheiten. Sie sehen mögliche Anwendungen in Arbeitsabläufen mit Datenbanken und Fachwerkzeugen, empfehlen aber menschliche Prüfung und raten davon ab, die Modelle allein für Naturschutzentscheidungen einzusetzen.
Ausführlich lesen
Der Bericht untersucht, welches ökologische Wissen zwei Sprachmodelle ohne externe Datenbanken oder Internetsuche abrufen können: GPT-4o und Gemini 1.5 Pro. Die Autorinnen und Autoren stellen dafür einen Benchmark mit fünf Aufgaben vor. Sie prüfen, ob die Modelle Arten an Orten erkennen, Verbreitungsgebiete als Karten ausgeben, vom Aussterben bedrohte Vogelarten für Länder aufzählen, Bedrohungen nach dem IUCN-System einstufen und Merkmale von Vogel- und Säugetierarten schätzen können. Die Auswertung vergleicht Antworten mit Fachdatensätzen, darunter Verbreitungskarten der IUCN sowie AVONET- und COMBINE-Merkmalsdaten.
Die Modelle schnitten bei der Erkennung von Artenvorkommen am besten ab. Bei 100 untersuchten Arten lag ihre mittlere Genauigkeit über dem Zufallsniveau; bei Länderangaben erreichten sie rund 85 Prozent für Gemini und 88 Prozent für GPT-4o. Bei Koordinaten waren die Werte niedriger. Laut Bericht traten Fehler besonders häufig nahe den Grenzen der bekannten Verbreitungsgebiete auf. Die Modelle konnten also eher grobe Vorkommen erfassen als präzise räumliche Grenzen.
Bei der Erstellung von Verbreitungskarten waren die Ergebnisse deutlich schwächer: Der mittlere F1-Wert betrug 24,7 Prozent für Gemini und 20,9 Prozent für GPT-4o. Zum Vergleich erreichte das separat ausgewertete Verbreitungsmodell SINR mit einer Schwellenwertmethode 60,7 Prozent. Beim Auflisten kritisch gefährdeter Vogelarten waren Präzision, Trefferquote und F1-Werte im Durchschnitt ebenfalls niedrig und unterschieden sich stark zwischen Ländern. Die Autorinnen und Autoren führen Schwierigkeiten unter anderem auf lange Antwortlisten zurück. Bei der Einstufung von Bedrohungsumfang und -schwere lagen die Modelle nur etwa zehn Prozentpunkte über dem Zufallsvergleich; sie stuften den Umfang häufig zu niedrig ein. Bei numerischen Merkmalen schnitt GPT-4o über die untersuchten Vogel- und Säugetiermerkmale hinweg besser ab als Gemini. Die Leistung variierte jedoch je nach Merkmal; bei der maximalen Lebenserwartung war sie besonders schwach.
Die Studie nutzte feste Modellversionen aus dem Jahr 2024, jeweils mit einer Temperatur von null und überwiegend einfachen, strukturierten Prompts. Die Modelle wurden an 100 Arten in mehreren Aufgaben getestet. Der Bericht betont, dass damit nur diese beiden Modelle erfasst werden und kleine Leistungsunterschiede wegen der begrenzten Stichprobe unentdeckt bleiben können. Auch die Referenzdaten sind Näherungen biologischer Wirklichkeit: Bei IUCN-Karten und Artmittelwerten können Unsicherheiten bestehen.
Die Autorinnen und Autoren folgern, dass Sprachmodelle ökologische Informationen teilweise wiedergeben, ihre Fähigkeiten aber stark von der Aufgabe abhängen. Sie empfehlen, sie nicht als eigenständige Grundlage für Naturschutzentscheidungen zu behandeln. In der Praxis könnten sie zusammen mit verlässlichen Datenbanken, statistischen und räumlichen Werkzeugen sowie menschlicher Prüfung nützlich sein. Der Benchmark soll künftige Vergleiche und Untersuchungen zu externem Datenzugriff ermöglichen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Bewertet wurde die mittlere Zusammenfassung von Luna; die kurze Fassung wurde nicht gesondert geprüft. Die Sammelfragen und Teilfragen betreffen allgemeine KI-Sicherheit und Ethik und nicht den Gegenstand des Berichts, daher fallen die Einordnungen niedrig aus.
Im Bericht, aber nicht in der Zusammenfassung
- Bei der Bedrohungseinstufung liegen die Modelle nur rund 10 Punkte über dem Zufallsniveau, was die Schwäche deutlicher macht als die bloße Angabe erheblicher Schwächen
- Gemini 1.5 Pro lieferte deutlich mehr ungültige Antworten als GPT-4o
- Die Aussage, dass sich das Wissen je nach Aufgabenstruktur ungleich verteilt und die Autorinnen und Autoren domänenspezifisches Feintuning für nötig halten
- Die Modelle übertreffen einfache Zufalls- und Konstantbaselines zwar, aber nur mit begrenztem Abstand, was bei der Beurteilung der Leistung wichtig ist
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F3 Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 47 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F4-T03 Welche neue Prüfung braucht jeder Einsatz, wenn Fähigkeiten zunehmend im Nachdenken des Modells während der Nutzung stecken statt in einem einmal trainierten Modell, und würden die für ein festes Modell gebauten Freigabetests das noch erfassen?
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 40 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 35 %umfangreiche Belege
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 67 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 36 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 72 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 44 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 45 %Hintergrund, keine Belege
- JEV 46 %einzelne zitierbare Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V4-T03 Ist Intelligenz, die „eher gewachsen als entworfen“ ist, ein Grund für mehr Vorsicht oder dafür, Modelle wie ein Ökosystem zu pflegen?
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 63 %Hintergrund, keine Belege
- JEV 32 %beantwortet teilweise oder widerspricht
- amos 25 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten?
- SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar?
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 34 %nur am Rande erwähnt
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 39 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 45 %Hintergrund, keine Belege
- JEV 25 %nur am Rande erwähnt
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 49 %einzelne zitierbare Belege
- JEV 39 %einzelne zitierbare Belege
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 37 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 74 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 77 %Hintergrund, keine Belege
- JEV 35 %einzelne zitierbare Belege
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-E5-T01 Wer soll das Tempo der KI-Entwicklung bestimmen: die Labore, die Regierungen oder die Menschen, die diese Systeme jeden Tag nutzen?
- SF-E5-T02 Welche Entscheidungen müssen menschlich bleiben, auch wenn eine KI sie besser treffen könnte, und wie würden Staaten in Entscheidungsschleifen mit hohem Risiko prüfbar machen, dass ein Mensch die Ausgabe der KI wirklich beurteilt und nicht nur routinemäßig abgenickt hat?
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv