Better answers, broader thinking: What students gain from ChatGPT and critical-thinking training
Zusammenfassung
Kurz
Ein randomisiertes Experiment mit mehr als 1.000 Bocconi-Erstsemesterstudierenden ergab laut Bericht unterschiedliche, sich ergänzende Effekte: ChatGPT verbesserte die Ausarbeitung und Bewertung der Marketingempfehlungen, während kausales Denken klarere Begründungen und vielfältigere Ideen förderte. Die Ergebnisse stammen aus einer konkreten Aufgabe an einer Universität und legen dem Bericht zufolge nahe, bei Bewertungen auch Originalität und Begründungen zu berücksichtigen.
Mittel
Der Bericht fasst ein randomisiertes Experiment mit mehr als 1.000 Erstsemesterstudierenden der Bocconi-Universität zusammen. Sie bearbeiteten einen Geschäftsfall zu Marketingempfehlungen für den Universitätsshop und erhielten je nach Gruppe Zugang zu ChatGPT, eine Übung im kausalen Denken, beides oder keines. Menschliche Bewertende benoteten die Arbeiten; zusätzlich untersuchten die Forschenden Ideenvielfalt, kausales Denken und Ähnlichkeit zu Empfehlungen von Fachleuten.
Laut Bericht verbesserte ChatGPT-Zugang die Bewertung, die Anzahl der Ideen, den logischen Aufbau und die Ähnlichkeit zu Expertenempfehlungen. Das Training im kausalen Denken erhöhte dagegen nicht die Bewertungsnote, führte aber zu klareren Erklärungen möglicher Wirkungen und zu vielfältigeren, eigenständigeren Ideen. Die Gruppe mit beiden Angeboten zeigte Merkmale beider Ansätze und schnitt über die größte Bandbreite der untersuchten Maße hinweg besser ab.
Der Bericht argumentiert, dass herkömmliche Bewertungsrubriken Originalität und Begründungsqualität übersehen können. Wenn KI ausgefeilte Antworten erleichtert, sollten Aufgaben und Bewertungen laut den Autorinnen und Autoren daher auch eigenständige Ideen, nachvollziehbares Denken und mehrere Lösungswege berücksichtigen. Die Ergebnisse beziehen sich auf eine konkrete Aufgabe mit Erstsemesterstudierenden an einer Universität; sie belegen nicht automatisch dieselben Wirkungen in anderen Fächern oder Altersgruppen.
Ausführlich lesen
Der Bericht beschreibt ein randomisiertes Experiment an der Bocconi-Universität mit mehr als 1.000 Studierenden im ersten Bachelorjahr. Untersucht wurde, wie sich Zugang zu ChatGPT und eine Übung zum kausalen Denken auf die Bearbeitung eines realen Geschäftsfalls auswirken. Die Studierenden sollten Marketingempfehlungen für den Merchandise-Shop der Universität entwickeln. Nach Kurszeitraum wurden sie einer von vier Gruppen zugeteilt: ChatGPT-Zugang (GPT‑4o), Training im kausalen Denken, beides oder keines von beidem.
Das Training vermittelte keine KI-Nutzung, sondern übte anhand eines Spiels, von Beispielen, Fragen und Rückmeldungen, Ursache und Wirkung zu verknüpfen und zu erklären, weshalb eine Lösung funktionieren oder scheitern könnte. Geschulte menschliche Bewertende benoteten die Arbeiten anhand einer fünfstufigen Skala. Daneben analysierten die Forschenden automatisiert Anzahl und Vielfalt der Ideen, Hinweise auf kausales Denken sowie die Ähnlichkeit der Empfehlungen zu denen von drei Fachleuten.
Laut Bericht erzielten Studierende mit ChatGPT-Zugang auf der Bewertungsskala fast einen Punkt mehr. Ihre Arbeiten enthielten mehr Ideen, waren klarer logisch aufgebaut und ähnelten stärker den Empfehlungen der Fachleute. Die Autorinnen und Autoren deuten dies als Hilfe für Anfängerinnen und Anfänger, professioneller wirkende Arbeit zu erstellen. Zugleich seien die Studierenden weiterhin selbst dafür verantwortlich gewesen, passende Fragen zu stellen, Antworten zu prüfen und auszuwählen, was in die Abgabe kam.
Das Training im kausalen Denken zeigte einen anderen Nutzen: Die Teilnehmenden erklärten klarer, warum ihre Vorschläge funktionieren könnten und unter welchen Umständen sie scheitern würden. Auf der Bewertungsskala schnitten sie jedoch nicht besser ab. Diese Skala erfasste nur, wie gut die Vorschläge zwei vorgegebene Marketingziele unterstützten: Bekanntheit und Nutzung des Shops zu steigern. Eine gesonderte Textanalyse ergab laut Bericht, dass die trainierten Studierenden ein breiteres und von den Ideen ihrer Mitstudierenden stärker abweichendes Spektrum an Vorschlägen entwickelten. Der Bericht folgert daraus, dass eine herkömmliche Bewertungsrubrik klare und gut strukturierte Antworten belohnen kann, ohne die Einzigartigkeit von Ideen angemessen abzubilden.
Die Gruppe, die sowohl ChatGPT-Zugang als auch das Training erhielt, zeigte laut Bericht Vorteile aus beiden Ansätzen. Ihre Ideenvielfalt entsprach der Gruppe mit Training allein; Bewertungswerte und Ideenanzahl ähnelten denen der Gruppe mit ChatGPT allein. Außerdem wiesen ihre Arbeiten mehr logischen Zusammenhang und stärkere Anzeichen dafür auf, Erklärungen zu suchen und Annahmen zu hinterfragen. Insgesamt habe diese Gruppe über die größte Bandbreite der untersuchten Maße hinweg Verbesserungen gezeigt.
Als Konsequenz für Schulen stellt der Bericht infrage, ob allein das fertige, sprachlich ausgefeilte Ergebnis noch ausreichend erkennen lässt, was Lernende verstanden haben, wenn KI solche Ergebnisse erleichtert. Er spricht sich dafür aus, bei Aufgaben und Bewertungen auch Originalität, Begründungen und die Abwägung mehrerer Ansätze zu berücksichtigen. Die Aussagekraft bleibt an den beschriebenen Versuch gebunden: untersucht wurden Erstsemester einer Universität, eine konkrete Marketingaufgabe und bestimmte Bewertungs- und Textanalysemaße. Der Bericht liefert damit Hinweise auf komplementäre Wirkungen von KI-Zugang und Training im kausalen Denken, aber keine allgemeine Aussage über alle Fächer, Altersgruppen oder Lernaufgaben.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna hat die Sammelfragen zutreffend als thematisch fern vom Bericht eingestuft; Stufe 3 bzw. 1 war zu hoch angesetzt, weil der Bericht keine Belege zu Schwellen, Mitsprache oder Marktmacht liefert. Die Zusammenfassungen sind weitgehend treu, enthalten aber eine eigene Einschränkung, die nicht im Bericht steht.
Im Bericht, aber nicht in der Zusammenfassung
- Das Training war nicht KI-bezogen und vermittelte kausales Denken über ein Spiel, Beispiele, Fragen und Feedback.
- Studierende mussten weiterhin entscheiden, was sie ChatGPT fragen, wie sie Antworten prüfen und was sie einreichen; die Übernahme war also nicht vollständig.
- Die Gruppe mit beiden Angeboten hatte eine Ideenvielfalt ähnlich der Trainingsgruppe und eine Bewertung sowie Ideenzahl ähnlich der reinen ChatGPT-Gruppe.
- Der Bericht betont, dass die randomisierte Anlage die Effekte von ChatGPT-Zugang, Training und deren Kombination trennen konnte.
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Der Hinweis, die Ergebnisse belegten nicht automatisch dieselben Wirkungen in anderen Fächern oder Altersgruppen, steht so nicht im Bericht.
- Die Aussage, die Gruppe mit beiden Angeboten habe über die größte Bandbreite der Maße besser abgeschnitten, ist im Bericht nur sinngemäß belegt und nicht als pauschales Ergebnis formuliert.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Unabhängig prüfen
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 31 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 41 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 70 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 52 %einzelne zitierbare Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 33 %gleiches Oberthema, hilft nicht
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra
Modelle teilen und schützen
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 50 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 40 %Hintergrund, keine Belege
- JEV 24 %Hintergrund, keine Belege
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv