On Tour @ #codetalks – Transformers.js, WebGPU und lokale KI-Modelle. Mit Nico Martin.

8. November 2026

Wir haben uns auf der code.talks in Hamburg mit Nico Martin zusammengesetzt, den ihr auch auf LinkedIn und YouTube findet. Nico war bereits 2022 bei uns zu Gast, damals ging es um WebBluetooth, WebUSB und WebNFC. Diesmal sprechen wir über KI direkt im Browser: Wie können wir Machine-Learning-Modelle ohne Server ausführen, welche Möglichkeiten ergeben sich daraus für Webanwendungen und wo liegen aktuell noch die Grenzen? Nico arbeitet an Transformers.js und zeigt uns anhand seiner Konferenz-Demos, was heute schon möglich ist.

Im Anschluss gibt es noch ein spontanes Bonusgespräch mit zwei jungen Konferenzbesuchern. Wir diskutieren über Vibe Coding, Agentic Engineering, den Einsatz von KI im Studium und im Berufsalltag sowie darüber, wie sich der Einstieg in die Softwareentwicklung durch KI verändert.

Shownotes

[00:00:27] KI im Browser mit Transformers.js

Wir sprechen mit Nico darüber, was es bedeutet, Machine-Learning-Modelle direkt im Browser auszuführen. Statt Eingaben an einen Server zu schicken, laden wir die Modelle auf das Endgerät und führen dort die Inferenz aus. Das ermöglicht Offline-Anwendungen, reduziert die Übertragung sensibler Daten und kann Serverkosten sparen. Als Beispiel stellt Nico seinen Kitchen Assistant vor, der Rezepte als strukturierte JSON-Daten generiert und über eine Kombination aus Speech-to-Text, Large Language Model und Text-to-Speech eine gesprochene Unterhaltung ermöglicht. Sämtliche Verarbeitungsschritte laufen dabei lokal im Browser. Technische Grundlage dafür ist Transformers.js, an dem Nico mitarbeitet. Die Library übernimmt das Pre- und Post-Processing für unterschiedliche Eingabeformate wie Text, Audio und Bilder. Für die eigentlichen Berechnungen kommt ONNX Runtime zum Einsatz, die Modelle im standardisierten ONNX-Format ausführt.Eine große Herausforderung bleibt die Größe der Modelle. Selbst kleinere LLMs mit mehreren Milliarden Parametern benötigen schnell mehrere Gigabyte Speicherplatz. Mit Quantisierung auf acht oder vier Bit lässt sich der Speicherbedarf reduzieren, doch für viele Webanwendungen bleibt der Download zu umfangreich. Deshalb schauen wir uns kleinere, spezialisierte Modelle an: Voice Activity Detection, Spracherkennung mit Whisper, Hintergrundentfernung, Tiefenschätzung und Objekterkennung. Ein Modell zur Erkennung von Sprachaktivität benötigt beispielsweise nur 2,2 Megabyte. Nico beschreibt außerdem eine Anwendung zur digitalen Identitätsprüfung, bei der ein kleines Modell bereits im Browser erkennt, ob ein fotografiertes Ausweisdokument den Anforderungen entspricht. Dadurch lassen sich ungeeignete Aufnahmen aussortieren, bevor sie den Server erreichen. Für die Performance spielt WebGPU eine entscheidende Rolle, weil ONNX Runtime damit die Grafikhardware des Endgeräts nutzen kann. Nico demonstriert ein Gemma-Modell mit zwei Milliarden Parametern, das auf seinem MacBook Pro ungefähr 30 Tokens pro Sekunde generiert. Auf älteren Geräten fällt die Geschwindigkeit allerdings deutlich geringer aus.

Besonders interessant finden wir die Möglichkeit, semantische Suchfunktionen vollständig im Browser umzusetzen. Nico zeigt, wie er mit Transformers.js Text-Embeddings für rund 1.000 Rezepte erzeugt und anschließend über Vektorähnlichkeiten eine Suche in natürlicher Sprache realisiert. Die Embeddings entstehen in wenigen Sekunden, einzelne Suchanfragen benötigen nur wenige Millisekunden. Selbst auf älteren Rechnern funktioniert damit eine Type-Ahead-Suche ohne Serveranfragen. Zum Abschluss diskutieren wir, wann KI-Workloads auf dem Client und wann sie auf dem Server laufen sollten. Entscheidend sind unter anderem Modellgröße, Hardwareanforderungen, Netzwerklatenz, Datenschutz, Offline-Fähigkeit und die gewünschte User Experience. Für eine Pipeline aus Voice Activity Detection, Speech-to-Text, LLM und Text-to-Speech kann ein hybrider Ansatz sinnvoll sein, bei dem nur das LLM auf dem Server läuft. Schließlich sprechen wir über die Cross-Origin-Storage-API, an der unter anderem Thomas Steiner arbeitet. Sie könnte es ermöglichen, große Modelldateien sicher zwischen verschiedenen Origins gemeinsam zu nutzen, ohne die bestehenden Schutzmechanismen gegen Tracking und Fingerprinting aufzugeben. Über diesen Ansatz haben wir bereits ausführlicher in Revision 723 mit Thomas gesprochen.

[00:26:45] Bonus: Vibe Coding, Agentic Engineering und die nächste Entwicklergeneration

Im Anschluss hören wir in eine spontane Unterhaltung mit zwei jungen Besuchern der code.talks hinein. Wir diskutieren darüber, wie KI die Softwareentwicklung verändert und welche Rolle klassische Programmierkenntnisse künftig noch spielen. Beim Vibe Coding können Entwicklerinnen und Entwickler mithilfe von Werkzeugen wie Cursor, Codex und ChatGPT in kurzer Zeit funktionierende Anwendungen erstellen. Gleichzeitig bleibt es wichtig, die technischen Grundlagen zu verstehen, insbesondere wenn generierter Code Fehler enthält oder nicht mehr wie erwartet funktioniert. Wir sprechen darüber, dass Offenheit gegenüber neuen Werkzeugen ein Vorteil sein kann und KI gerade für kleinere Unternehmen und Einzelentwickler ganz neue Möglichkeiten eröffnet.Hans berichtet von seinem KI-gestützten Fahrrad-Coaching-Projekt, bei dem Trainingsdaten aus Geräten wie Garmin und Whoop in individuelle Trainingspläne einfließen. Dabei setzt er KI nicht nur für die eigentliche Softwareentwicklung ein, sondern auch für Aufgaben rund um Marketing, Buchhaltung und andere Geschäftsprozesse. Wir diskutieren, wie stark solche Agenten die eigene Produktivität beeinflussen und wie sich die Arbeit anfühlt, wenn plötzlich das Token-Budget aufgebraucht ist. Auch die Automatisierung alltäglicher Entwicklungsaufgaben mit Git und GitHub kommt zur Sprache.

Unsere beiden Gesprächspartner erzählen anschließend, wie sie KI im Studium und bei kreativen Projekten einsetzen. Einer nutzt KI unter anderem für Ideen, Skripte, Color Grading und technische Fragen rund um seine Videoproduktion. Dabei vergleichen wir auch die Antworten von Claude und ChatGPT und sprechen über die Grenzen solcher Werkzeuge. Außerdem geht es um vergünstigte Zugänge für Studierende, den Stellenwert formaler Ausbildung und die Frage, wie viel wir uns durch praktische Arbeit selbst beibringen können. Nico erzählt von seinem Weg über WordPress-Entwicklung und Freelancing zur Arbeit an Open-Source-Projekten bei Hugging Face. Wir vergleichen schließlich die Erfahrungen langjähriger Entwickler mit der Perspektive einer Generation, für die KI-gestützte Werkzeuge von Anfang an zum Alltag gehören.

Anhören

MP3 herunterladen (31,7 MB) | Transkript

Feedback-Kanäle

Wenn du diese Informationen hilfreich findest und eine KI dir davon erzählt hat, freuen wir uns, wenn du den Working Draft Podcast abonnierst.