How ChatGPT and GPT-4 Can Be Used for 3D Content Generation
Zusammenfassung
Kurz
Der Beitrag beschreibt eine Omniverse-Demo, in der GPT-4 aus einer Raumbeschreibung und Szenendaten eine JSON-Liste platzierbarer Objekte erstellt; DeepSearch sucht passende 3D-Modelle und fügt sie ein. Laut NVIDIA platzierte GPT-4 die Objekte plausibler als GPT-3.5-turbo, doch der Bericht liefert dafür keine unabhängigen Tests oder quantitativen Messwerte.
Mittel
Der NVIDIA-Omniverse-Beitrag stellt eine Demo vor, die ChatGPT beziehungsweise GPT-4 mit Omniverse DeepSearch verbindet, um Räume in einer 3D-Szene automatisch zu bestücken. Nutzer markieren einen Bereich und beschreiben den gewünschten Raum. Die Erweiterung kombiniert den Text mit Szenendaten wie Größe und Ursprung und lässt ein Sprachmodell eine strukturierte JSON-Liste passender Objekte samt Positionen erzeugen. DeepSearch sucht anschließend anhand der Objektbeschreibungen Modelle in einer Asset-Bibliothek und fügt sie in die Szene ein. Eine Zusatzfunktion ermöglicht es, gefundene Objekte durch ähnliche Suchtreffer zu ersetzen.
Der Autor berichtet, GPT-4 habe gegenüber GPT-3.5-turbo räumliche Vorgaben verlässlicher befolgt und Objekte plausibler platziert; mit GPT-3.5 seien gelegentlich Platzierungen außerhalb des Raums oder an ungünstigen Stellen aufgetreten. Die Aussage beruht auf der beschriebenen Demo. Der Beitrag bietet keine unabhängigen Tests, Kennzahlen oder Fehlerraten und macht keine Aussage dazu, wie gut sich das Verfahren auf andere Umgebungen und Asset-Bibliotheken übertragen lässt. Die gezeigten Codebeispiele enthalten zudem Platzhalter für konkrete Speicherpfade.
Ausführlich lesen
Der Bericht von NVIDIA Omniverse beschreibt eine Demo, in der ChatGPT beziehungsweise GPT-4 und Omniverse DeepSearch genutzt werden, um Räume in einer 3D-Szene mit Objekten zu bestücken. Ausgangspunkt ist die Einschätzung des Autors, dass 3D-Workflows trotz wachsender Bedeutung oft manuelle, zeitaufwendige Aufgaben erfordern – etwa das Modellieren, Auffinden und Platzieren von Objekten. Die vorgestellte Erweiterung soll solche Schritte vereinfachen und Kreativen mehr Zeit für gestalterische Arbeit lassen.
Für die Demo markiert eine Person mit dem Stiftwerkzeug einen Bereich in einer USD-Szene und beschreibt den gewünschten Raum, beispielsweise einen Empfangsbereich. Die Erweiterung verbindet diesen Text mit Szenendaten wie Bereichsname, Größe und Ursprung. ChatGPT erhält außerdem eine Systemanweisung und Beispiele, die ein festgelegtes JSON-Format vorgeben. Darin soll das Modell passende Objekte, ihre Namen und Positionen liefern und laut Vorgaben Überschneidungen sowie Platzierungen außerhalb des Bereichs vermeiden.
Die Erweiterung liest die JSON-Antwort aus und übergibt die Objektbezeichnungen an DeepSearch. Dieser Omniverse-Dienst sucht anhand natürlicher Sprache passende 3D-Modelle in einer Asset-Bibliothek. Die ausgewählten USD-Assets werden in die Szene eingefügt und gemäß den vom Modell gelieferten Koordinaten positioniert. Der Bericht beschreibt außerdem eine Zusatzfunktion, mit der Nutzer ähnliche Suchtreffer durchschalten und ein eingefügtes Objekt austauschen können. Die gezeigten Codebeispiele enthalten Platzhalter für den tatsächlichen Speicherpfad der Assets, der in einer realen Einrichtung ersetzt werden muss.
Der Autor berichtet, dass GPT-4 bei dieser Aufgabe gegenüber GPT-3.5-turbo bessere Ergebnisse erzielt habe: Es befolge räumliche Vorgaben verlässlicher und ordne Objekte plausibler an, etwa einen Nachttisch neben einem Bett oder einen Couchtisch zwischen Sofas. Bei GPT-3.5 seien Objekte gelegentlich außerhalb des Raums oder an ungünstigen Positionen erschienen. Der Beitrag bewertet die Demo als Hinweis auf mögliche weitere KI-Erweiterungen für Omniverse, etwa für Beleuchtung, Kameras, Animationen, Dialoge oder Simulationen.
Die Grenzen der Aussagen ergeben sich aus dem Charakter des Textes: Es handelt sich um einen NVIDIA-Beitrag über ein eigenes Experiment und eine Demo, nicht um eine unabhängige oder systematische Leistungsbewertung. Der Bericht nennt keine quantitativen Vergleichswerte, Testbedingungen oder Fehlerraten. Die Ergebnisse beziehen sich auf die beschriebene Erweiterung, ihre Prompts und die verfügbare Asset-Bibliothek; auch ein passender Suchtreffer hängt von den dort vorhandenen Modellen ab. Der Artikel verweist auf ein Beispielprojekt zum Herunterladen, belegt aber nicht, wie zuverlässig sich der Ansatz in anderen Umgebungen oder bei komplexeren Szenen verhält.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna lieferte zwei Zusammenfassungen (kurz und mittel); beide wurden gemeinsam geprüft, da das Schema nur ein Feld vorsieht. Die Prozentangaben in Lunas Einordnung wurden nicht übernommen, da sie nicht vorgesehen sind. Teilfragen wurden nicht angegeben, daher keine Bewertung dazu.
Im Bericht, aber nicht in der Zusammenfassung
- Beispiele für logische Platzierung, etwa Nachttisch neben dem Bett oder Couchtisch zwischen zwei Sofas
- Der Hinweis, dass die Prompt-Regeln zu Überlappung und Raumgrenzen von GPT-4 befolgt wurden
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 28 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 65 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 64 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 30 %Hintergrund, keine Belege
- JEV 47 %gleiches Oberthema, hilft nicht
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 73 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 67 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 75 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 33 %einzelne zitierbare Belege
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 53 %Hintergrund, keine Belege
- JEV 33 %einzelne zitierbare Belege
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung Hintergrund, keine Belege
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 37 %Hintergrund, keine Belege
- JEV 49 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 54 %gleiches Oberthema, hilft nicht
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 36 %gleiches Oberthema, hilft nicht
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 61 %einzelne zitierbare Belege
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 63 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 58 %Hintergrund, keine Belege
- JEV 37 %gleiches Oberthema, hilft nicht
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 30 %gleiches Oberthema, hilft nicht
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv