Sentiment/Emotion Analysis with Generative AI (JSON Mode)
Zusammenfassung
Kurz
Der Bericht zeigt, wie der Autor Claude 3 über Bedrock mit erzwungenem Tool-Aufruf JSON-Werte für sieben Emotionen in kurzen Texten erzeugen lässt. Zwei Beispiele erscheinen ihm vielversprechend, liefern aber keine systematische Evidenz zur Genauigkeit; Kosten und möglicher Infrastrukturaufwand nennt er als Nachteile.
Mittel
Der Autor erprobt generative KI zur Bewertung von sieben Emotionen in kurzen Nachrichten: Angst, Wut, Freude, Traurigkeit, Verachtung, Ekel und Überraschung. Herkömmliche Sentimentanalyse sei ihm zu grob; ein von ihm gefundenes japanisches Werkzeug beruhe auf Wörterbuchabgleich und könne unbekannte Wörter daher schwer einordnen.
Für den Versuch nutzt er Claude 3 Haiku über Amazon Bedrock. Function Calling zwingt das Modell, ein JSON-Objekt mit einem Wert zwischen 0 und 1 je Emotion auszugeben. Die Werte müssen sich nicht zu 1 addieren, sodass mehrere Emotionen zugleich abgebildet werden können. Bei zwei Beispielsätzen erhält jeweils die aus Sicht des Autors passende Emotionengruppe die stärksten Werte; der zweite Satz ergibt mehrere gemischte Bewertungen.
Der Autor hält das Ergebnis für vielversprechend, doch der Bericht zeigt nur zwei Beispiele und keine systematische Genauigkeitsprüfung. Als Vorteile nennt er differenziertere Analysen und Texte außerhalb des Japanischen. Als Nachteile führt er Kosten sowie mögliche Backend-Anforderungen bei Bedrock an; ein Preisvergleich mit OpenAI bleibt unbelegt.
Ausführlich lesen
Der Bericht beschreibt einen Versuch, mit generativer KI einzelne Emotionen in kurzen Textnachrichten zu bewerten. Der Autor hält gewöhnliche Sentimentanalyse, die meist nur positive, negative oder neutrale Stimmung ausgibt, für zu grob. Gewünscht sind Werte für sieben Emotionen: Angst, Wut, Freude, Traurigkeit, Verachtung, Ekel und Überraschung. Als Vergleich nennt er Pymlask, eine auf Musterabgleich beruhende Analyse für japanische Texte. Nach seiner Darstellung schränkt die Sprache den Einsatz außerhalb des Japanischen ein; außerdem könne ein Wörterbuchverfahren unbekannte Wörter nicht zuverlässig einordnen.
Für den Versuch nutzt der Autor Claude 3 Haiku über die Converse API von Amazon Bedrock. Eine Werkzeugdefinition verlangt ein JSON-Objekt mit einem Zahlenwert zwischen 0 und 1 für jede der sieben Emotionen. Der Autor bezeichnet dies als „JSON Mode“: Dabei werde keine eigene Modelloption aktiviert, sondern Function Calling beziehungsweise Tool Use eingesetzt, um die Ausgabe an ein Schema zu binden. Die Werkzeugauswahl wird erzwungen; Name und Beschreibung des Werkzeugs sollen aus Sicht des Modells formuliert sein, da die gewünschten Werte als Eingabe des Werkzeugs zurückkommen. Die Emotionswerte müssen sich nicht zu 1 summieren, damit mehrere gleichzeitige Emotionen dargestellt werden können.
Als Beispiele führt der Beitrag den Satz „I feel super awesome today!“ an. Das Modell weist Freude mit 0,8 den höchsten Wert zu, gibt aber auch einigen anderen Emotionen kleine positive Werte. Bei „You don’t even know how to do that?“ entstehen mehrere mittlere Werte, darunter Wut 0,4, Ekel 0,3 und Traurigkeit 0,3. Der Autor bewertet dieses zweite Ergebnis als gelungen und meint, dass die KI mehrdeutige, kontextabhängige Emotionen erfassen könne.
Diese Einschätzung stützt sich im Bericht auf zwei Beispiele und die persönliche Bewertung des Autors; eine systematische Prüfung, Vergleichsmessung oder allgemeingültige Genauigkeitsangabe wird nicht beschrieben. Als mögliche Gründe für den Einsatz nennt er den Wunsch nach differenzierteren Emotionen und die Analyse nicht-japanischer Texte. Als Nachteil führt er Kosten an. Für Bedrock könne außerdem eine Backend-Infrastruktur nötig sein, etwa mit Lambda und API Gateway. Der Beitrag erwähnt, dass OpenAI möglicherweise günstiger sei, belegt diesen Vergleich aber nicht.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Der Bericht ist ein Medium-Beitrag über Emotionsanalyse mit Claude 3 über Bedrock und enthält keine Aussagen zu KI-Sicherheit, Aufsicht oder Regulierung. Die Einordnung fällt deshalb gering aus. Die Zusammenfassung ist im Wesentlichen korrekt; die Aussage zu einem unbelegten Preisvergleich mit OpenAI ist vorsichtig formuliert, weil der Autor sie selbst als Vermutung (Probably less) bringt.
Im Bericht, aber nicht in der Zusammenfassung
- Der Autor nennt Pymlask als einziges Werkzeug, das die sieben Emotionen liefern soll, und begründet seine Ablehnung ausführlich; das wird nur knapp angedeutet.
- Der Autor sieht den Vorteil vor allem darin, vage Emotionen und Kontext jenseits des reinen Textes zu erfassen; das fehlt als zentrale Aussage.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 71 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 50 %Hintergrund, keine Belege
- JEV 33 %einzelne zitierbare Belege
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 37 %einzelne zitierbare Belege
- JEV 45 %einzelne zitierbare Belege
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 58 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug