Why Codex Security doesn’t start with a SAST report
Zusammenfassung
Kurz
Der Beitrag argumentiert, Codex Security solle Schutzmaßnahmen im Kontext des gesamten Repositories prüfen und Befunde möglichst praktisch validieren, statt seine Suche an einer SAST-Fundstellenliste auszurichten. SAST bleibe für bekannte und einfache Fehler nützlich; der Text begründet seine Designentscheidung, liefert aber keine quantitativen Vergleichsergebnisse.
Mittel
Der Beitrag begründet, warum Codex Security nicht mit einer SAST-Fundstellenliste startet. SAST könne viele klassische Datenflussfehler erkennen, müsse bei großen und komplexen Codebasen aber Annahmen treffen. Zudem zeige ein erkannter Datenfluss noch nicht, ob eine Schutzmaßnahme tatsächlich wirkt. Entscheidend sei oft, ob eine Validierung nach Dekodierung, Normalisierung oder weiterer Verarbeitung noch die beabsichtigte Einschränkung gewährleistet. Als Beispiel nennt der Text eine Express-Open-Redirect-Schwachstelle, bei der kodierte URLs laut Beitrag Prüfungen umgehen konnten.
Codex Security beginne daher mit dem Repository, seiner Architektur und seinem beabsichtigten Verhalten. Es analysiere relevante Codepfade, untersuche kleine Codeausschnitte, nutze bei Bedarf Fuzzer oder z3 und führe Hypothesen möglichst in einer isolierten Umgebung aus. Ein vorgeschalteter SAST-Bericht könne die Suche verengen, ungesicherte Annahmen übernehmen lassen und die Bewertung eigener Entdeckungen erschweren. Der Beitrag betont zugleich, dass SAST für bekannte Muster und einfache Fehler weiterhin wertvoll ist. Er beschreibt eine Designentscheidung, liefert aber keine quantitativen Vergleichsdaten, die einen Vorteil gegenüber einem SAST-gestützten Vorgehen messen.
Ausführlich lesen
Der Beitrag erklärt, warum Codex Security seine Untersuchung nicht mit einem Bericht statischer Anwendungssicherheitstests (SAST) beginnt. Die Autorinnen und Autoren stellen SAST als nützliches Verfahren dar, das viele klassische Fehler findet, etwa wenn nicht vertrauenswürdige Eingaben ungeprüft zu sensiblen Stellen im Programm gelangen. Um Analysen in großen Codebasen praktikabel zu halten, müsse SAST jedoch Annahmen treffen, besonders bei indirekten Aufrufen, dynamischer Ausführung und komplexen Frameworks.
Der Beitrag sieht die entscheidende Schwierigkeit oft nicht darin, einen Datenfluss zu erkennen, sondern zu beurteilen, ob eine Schutzmaßnahme tatsächlich die angenommene Sicherheit gewährleistet. Ein Aufruf zur Bereinigung von HTML belege für sich genommen nicht, dass der Inhalt im konkreten Kontext sicher ist. Ähnlich könne bei einer Weiterleitung eine URL vor dem Dekodieren geprüft werden, obwohl erst die spätere Interpretation der dekodierten und normalisierten Zeichenfolge darüber entscheidet, ob die Prüfung greift. Als Beispiel nennt der Text eine Open-Redirect-Schwachstelle in Express (CVE-2024-29041), bei der fehlerhaft kodierte Ziele laut Beitrag übliche Allowlist-Prüfungen umgehen konnten. Solche Fälle beträfen Reihenfolge, Normalisierung und unterschiedliche Interpretationen von Werten.
Nach Darstellung des Beitrags beginnt Codex Security deshalb mit dem Repository, seiner Architektur, seinen Vertrauensgrenzen und dem beabsichtigten Verhalten. Bei scheinbaren Validierungs- oder Bereinigungsgrenzen soll das System zunächst verstehen, welche Eigenschaft der Code sichern soll, und anschließend versuchen, diese Annahme zu widerlegen. Dazu gehören laut Text die Analyse relevanter Codepfade im Repository-Kontext, die Reduktion auf kleine prüfbare Ausschnitte, gegebenenfalls Micro-Fuzzer und formale Überlegungen mit dem Solver z3. Wenn möglich, werden Hypothesen in einer isolierten Umgebung ausgeführt, um einen denkbaren Verdacht von einem nachgewiesenen Problem zu unterscheiden.
Der Beitrag nennt drei Gründe, warum ein vorangestellter SAST-Bericht diese Arbeitsweise beeinträchtigen könne: Eine vorhandene Fundstellenliste könnte die Suche vorschnell auf bereits untersuchte Bereiche verengen; Annahmen des Analysewerkzeugs zu Bereinigung, Validierung oder Vertrauensgrenzen könnten die weitere Prüfung beeinflussen; und es werde schwieriger festzustellen, welche Erkenntnisse der Agent selbst gewonnen hat. Das erschwere nach Ansicht der Autorinnen und Autoren die Bewertung und Verbesserung des Systems.
Zugleich betont der Text, dass SAST für sichere Programmierstandards, bekannte Muster und einfache Datenflussfehler weiterhin wichtig sei und zur mehrschichtigen Absicherung beitragen könne. Seine Begründung ist enger gefasst: Ein auf Verhalten und Validierung ausgerichteter Agent solle nicht an eine statische Fundstellenliste gebunden sein. Außerdem seien manche Schwachstellen Zustands- oder Invariantenprobleme, etwa Berechtigungsfehler oder umgehbare Abläufe, die sich nicht auf einen einzelnen gefährlichen Datenfluss reduzieren ließen. Der Beitrag erwartet, dass statische Analyse, Fuzzing, Laufzeitprüfungen und agentische Verfahren nebeneinander eine Rolle spielen. Er beschreibt die beabsichtigte Arbeitsweise und ihre Begründung, präsentiert aber keine quantitativen Vergleichsergebnisse, die ihre Überlegenheit gegenüber einem SAST-gestützten Einstieg belegen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Das Schema sieht eine einzige Zusammenfassung vor, Luna lieferte zwei (kurz und mittel); beide wurden geprüft. Keine der beiden enthält erfundene Fakten. Die Aussage, der Beitrag liefere keine quantitativen Vergleichsdaten, trifft zu. Die mittlere Fassung ist vollständiger, lässt aber die Zustands- und Invariantenprobleme aus. Die Einordnung fällt bei allen drei Sammelfragen niedrig aus, weil der Bericht ein Werkzeugdesign für Softwaresicherheit behandelt und nicht die Themen der Fragen. Die Teilfragen-Liste war leer und wurde deshalb nicht bewertet.
Im Bericht, aber nicht in der Zusammenfassung
- Der Beitrag nennt Zustands- und Invariantenprobleme (Workflow-Umgehungen, Autorisierungslücken), die kein Datenfluss sind; beide Zusammenfassungen lassen diesen Punkt aus.
- Die kurze Zusammenfassung lässt das Beispiel (Validierung vor Dekodierung, Express-CVE-2024-29041) und die drei Fehlermodi eines SAST-gestützten Starts aus.
- Die Warnung, dass SAST-Befunde Annahmen über Sanitisierung und Vertrauensgrenzen einschleusen, fehlt in der kurzen Fassung.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M3 Wie stellt man fest, ob ein Vorfall gewollt oder versehentlich war, und ob KI oder herkömmliche Mittel dahinterstecken?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 41 %Hintergrund, keine Belege
- JEV 27 %gleiches Oberthema, hilft nicht
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 36 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 48 %gleiches Oberthema, hilft nicht
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 56 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 33 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 40 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 36 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 43 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 32 %einzelne zitierbare Belege
- amos 35 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 32 %Hintergrund, keine Belege
- JEV 49 %einzelne zitierbare Belege
- amos 25 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %einzelne zitierbare Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv