See
Bericht vom TMC DACH Geburtstag und „Vibestagram“: KI‑gestütztes Coding Experiment und Security‑Erfahrungen (TMC DACH)
Kontext
Beim virtuellen Termin von TMC DACH am 18.03.26 nahmen rund 25 Personen teil, moderiert von Ron. Nach einer kurzen Einführung in TMC und gab es zwei tolle Ankündigungen:
- TMC DACH feiert seinen ersten Geburtstag!
- Und als Geschenk gibt es die Veröffentlichung von
Dann ging es auch gleich zu unserem Gastredner Jan über. Er hatte Spannendes über einen Workshop zu berichten, welcher bei iteratec im Sommer 2025 durchgeführt wurde.
Die Aufgabe: In einer Stunde sollten kleine Teams einen funktionsfähigen Klon von Instagram mit KI‑Unterstützung entwickeln – egal mit welchem Modell. Nach der Erarbeitung, in der zweiten Stunde des Workshops, tauschten die Gruppen gegenseitig ihren Code, um Schwachstellen und Qualitätsaspekte zu beurteilen. Im Workshop befanden sich u.a. Entwicklerinnen und Entwickler, Architektinnen und Architekten und Pentesterinnen und Pentester.
Beobachtungen aus der Übung
Die Spannbreite der Ergebnisse war groß:
- Einige Teams konzentrierten sich auf visuelle Gestaltung (Design, UI/UX), andere schafften voll funktionale Webanwendungen mit Login, Passwort‑Reset und Upload‑Funktionen.
- Mehrere Gruppen diskutierten während der gesamten Stunde noch Architekturfragen – andere hatten bereits nahezu fertige Klone aufgebaut.
- Typische kleine Webfehler (klickbarer Logout‑Button der auf “Not found” leitet, Retro‑Layout) waren verbreitet, aber auch positive Überraschungen: Passwörter in der Datenbank waren gehasht und gesalzen.
- Gleichzeitig existierten kritische Lücken: ungeschützte Upload‑Pfad‑Zugriffe, direkt aufrufbare Datenbank‑Initialisierung, fehlende CSRF‑Tokens, downloadbare SQLite‑Dateien, teilweise hochladbare Webshells.
- Eine bemerkenswerte Abwesenheit: keine SQL‑Injection wurdem gefunden – dafür Schwächen auf Konzept‑ und Integrationsebene.
Jan fasste zusammen: „Ein Speedrun durch OWASP Top 10 – nur eine Stufe tiefer als gedacht.“
Bilder dazu:
Nach der Austauschphase bewerteten die Gruppen die gefundenen Probleme und glichen sie mit ihren anfänglichen Erwartungen ab – meist fiel das Fazit positiver aus als gedacht.
Diskussion: KI‑Erfahrungen und Modellvergleiche
In der anschließenden Diskussion (fast 1h) schilderten Teilnehmende sehr unterschiedliche Erfahrungen mit KI‑Assistenz in der Entwicklung:
- Claude wurde von einigen für Code‑Generierung genutzt, Gemini für Reviews – mit dem Feedback: KI‑Modelle kritisieren die Benutzerin/den Benutzer eher wenig, aber machen sich gegenseitig schlecht (Gemini sei „freier“ und wirft der anfragenden Person schon mal einen Vorwurf an den Kopf wie „das kann doch schon ein siebenjähriges Kind!“).
- Jan berichtete von großen Modellunterschieden – was heute generiert wird, unterscheidet sich spürbar von Ergebnissen vor wenigen Monaten.
- Ein Teilnehmer betonte, dass präzise Fachbeschreibungen entscheidend sind – unscharfe Prompts führen schnell zum Scheitern.
- Ron wies darauf hin, dass viele Modelle Schwierigkeiten haben, Unwissen einzugestehen – was zu architektonischen Schwächen führen kann.
- Jan ergänzte, dass gezieltes Prompten („prüfe speziell XSS“, „prüfe speziell SQL Injection“) deutlich bessere Resultate bringt als allgemeine offene Sicherheitsfragen.
- Ein weiterer Teilnehmer beschrieb den Ansatz, spezielle Agents für klar abgegrenzte Teilaufgaben (z. B. Testen, Review, Spezifikationsvergleich) einzusetzen. Das verbessert die Präzision, zeigt aber auch Integrationsgrenzen.
Übergreifende Reflexionen
Die Runde widmete sich dann der Rolle von KI im Software‑Lifecycle:
- Positiv: Review von Pentest‑Reports und statische Codeanalyse funktionieren laut Jan inzwischen sehr zuverlässig.
- Fehlende Nutzung: Dependency‑Checks oder Laufzeit‑Konflikte werden unter den Teilnehmenden nicht mit KI geprüft.
- Kritisch: Mehrere Stimmen warnten vor dem Verlust des „Handwerksstolzes“ – wer zu oft die KI entscheiden ließe, verlerne Grundfertigkeiten.
- Ein weiterer Teilnehmer brachte den Aspekt der digitalen Souveränität ein: Abhängigkeit von proprietären US‑Modellen gefährdet langfristig europäische Kontrolle über Entwicklungsprozesse.
- Der Vergleich zu Ärztinnen und Ärzten, die Bildbefunderkennung wieder ohne KI trainieren, wurde als Analogie zur Software‑Ausbildung herangezogen. Noch niemand im Publikum hatte eine solche Praxis aktiv eingeführt.
- Einigkeit bestand darin, dass europäische Modelle – etwa Aleph Alpha – perspektivisch aufholen können, aber derzeit noch im Rückstand sind.
Fazit
Das Experiment zeigte: KI‑gestützte Entwicklung kann in kurzer Zeit überraschend funktionsfähige Anwendungen hervorbringen, doch sicherheitsrelevante Designfehler bleiben. Die Qualität hängt stark vom Modell, der Promptpräzision und der Rollenverteilung zwischen Mensch und KI ab.
Gleichzeitig wurde deutlich, dass organisatorische und ethische Fragen – Abhängigkeit, Kompetenzerhalt, Transparenz – zunehmend in den Vordergrund treten und über reine technische Sicherheit hinausgehen.
Es bleibt zu beobachten, wie sich solches mit besser werdenden Modellen weiterentwickelt…
Nächste Veranstaltung
Wie üblich haben wir bereits das nächste virtuelle Treffen im April geplant:
Dies ist die erste Veranstaltung in unserem neuen Format “Werkzeugschau”. Hier stellen Fachkundige (oder die Schöpfer:innen selbst) Bedrohungsmodellierungswerkzeuge und ihre Hintergründe vor. Dann probieren wir das Werkzeug direkt aus!
Inspiration für dieses Format gibt es genug - zuletzt hatte Toreon ein Verzeichnis mit aktuell 55 Werkzeugen veröffentlicht.
Wir freuen uns, euch zu sehen!
Werkzeugschau: AttackTree.online trifft KI-Agenten - TMC DACH · Zoom · Luma
[lang:de] Triff und erprobe AttackTree.online ! Mit Christian Schneider lernen und erproben wir das Threat Modeling Werkzeug AttackTree.online -…