Ternary Bonsai 2 schrumpft ein 27B-Modell auf 5,9 GB
20. September 2026
.png)
PrismML komprimiert Qwen3.8 27B auf 5,93 GB und veröffentlicht die Gewichte unter Apache 2.0. Die großen Durchschnittswerte verdecken jedoch deutliche Verluste bei langen Agentenaufgaben.
Worum es geht
PrismML hat am 18. September 2026 Ternary Bonsai 2 27B veröffentlicht. Das Modell basiert auf Qwen3.8 27B, belegt in der kleinsten angebotenen GGUF-Variante aber nur 5,93 GB statt 53,80 GB in FP16. Die Gewichte stehen unter Apache 2.0 bereit und können damit grundsätzlich lokal und kommerziell eingesetzt werden.
Das ist für Entwickler interessant, weil ein Modell dieser Größenklasse dadurch auf einem Laptop mit 16 GB Arbeitsspeicher oder einer einzelnen Grafikkarte laufen kann. Entscheidend ist aber nicht nur die Dateigröße: PrismML meldet im Durchschnitt über 20 Benchmarks 98,2 Prozent der Leistung des unkomprimierten Ausgangsmodells.
Was Ternary Bonsai 2 tatsächlich macht
Die 27,36 Milliarden Parameter bleiben erhalten. PrismML reduziert jedoch die meisten Modellgewichte auf drei mögliche Werte: minus eins, null oder plus eins. Gruppen von 128 Gewichten teilen sich einen FP16-Skalierungswert; eine Hadamard-Rotation soll Ausreißer vor der Kompression besser verteilen. Das ausgelieferte PTQ1_0-Format benötigt effektiv 1,76 Bit pro Gewicht.
Das Modell verarbeitet Text und Bilder, bietet laut Dokumentation ein Kontextfenster von 262.144 Tokens und unterstützt Werkzeugaufrufe. Die GGUF-Version benötigt derzeit einen Fork von llama.cpp, weil die neuen Formate PTQ1_0 und PQ2_0 noch nicht in der Standardversion unterstützt werden. Für Apple Silicon gibt es zusätzlich eine MLX-Variante.
Warum das wichtig ist
Lokale Modelle halten sensible Eingaben auf dem eigenen Gerät und vermeiden laufende API-Kosten. Eine Verkleinerung von 53,80 auf 5,93 GB erweitert deshalb den Kreis möglicher Hardware deutlich. PrismML misst 142,5 Tokens pro Sekunde auf einer RTX 5090 und 46,8 Tokens pro Sekunde auf einem M5 Max. Das sind Herstellerwerte und keine unabhängige Reproduktion.
Der Mittelwert von 83,9 Punkten gegenüber 85,4 Punkten für Qwen3.8 27B klingt nahezu verlustfrei. Bei langen Agentenaufgaben fällt das Bild schwächer aus: Auf Terminal-Bench 2.1 erreicht Bonsai 2 laut der veröffentlichten Auswertung 52,8 statt 69,7 Punkte. Auf SWE-bench Verified stehen 60,8 statt 80,6 Punkte. Wer einen Coding-Agenten plant, sollte deshalb die Einzeltests und nicht nur den Durchschnitt prüfen.
Einfach erklärt
Stellen Sie sich einen großen Werkzeugkasten vor, in dem jedes Werkzeug in einer schweren Einzelhülle steckt. PrismML ersetzt viele dieser Hüllen durch drei standardisierte Größen. Der Kasten wird viel leichter, enthält aber weiterhin dieselben Werkzeuge. Bei kurzen Reparaturen fällt der Unterschied kaum auf; bei einer langen, komplizierten Montage können kleine Ungenauigkeiten jedoch mehrere Arbeitsschritte später sichtbar werden.
Praktisches Beispiel
Ein kleines Softwareteam möchte interne Dokumente lokal durchsuchen und Codevorschläge erzeugen. Die ursprüngliche 53,80-GB-Version passt nicht sinnvoll auf den vorhandenen Rechner mit 16 GB gemeinsamem Speicher. Die 5,93-GB-Variante lässt genug Platz für Laufzeit, Kontext und Anwendung.
Das Team testet anschließend 100 reale Aufgaben: 70 kurze Fragen, 20 Bildanalysen und zehn mehrstufige Änderungen an einem Repository. Wenn das Modell bei den kurzen Aufgaben überzeugt, bei vier der zehn Repository-Aufgaben aber falsche Folgeaktionen ausführt, ist die Kompression für die Dokumentensuche geeignet, noch nicht jedoch für unbeaufsichtigte Codeänderungen.
Einordnung und Grenzen
Erstens stammen Leistungs-, Geschwindigkeits- und Energiewerte überwiegend von PrismML; eine unabhängige Reproduktion lag zum Recherchezeitpunkt nicht vor. Zweitens verdeckt der Durchschnitt von 98,2 Prozent große Unterschiede zwischen einzelnen Aufgaben, besonders bei langen Agentenabläufen. Drittens läuft die kleinste GGUF-Version nicht mit der normalen llama.cpp-Ausgabe, sondern benötigt PrismMLs Fork und spezielle Kernel.
Das Modell ist daher kein automatischer Ersatz für Cloudmodelle. Teams sollten ihre eigenen Daten, Hardware und Fehlerkosten testen. Apache 2.0 erlaubt viel, beantwortet aber nicht, ob jede Trainingsquelle des Basismodells für den jeweiligen Einsatz rechtlich unproblematisch ist.
SEO- und GEO-Schlüsselbegriffe
Ternary Bonsai 2 27B, PrismML, Qwen3.8 27B, ternäre Gewichte, lokale KI, Modellkompression, GGUF, llama.cpp, MLX, Apache 2.0, Open-Weight-Modell, KI auf dem Laptop
💡 Im Klartext
Ein 27-Milliarden-Parameter-Modell passt nun in eine Datei von 5,93 GB und kann auf deutlich kleinerer Hardware laufen. Die Durchschnittsleistung bleibt hoch, doch komplexe Agentenaufgaben verlieren merklich an Qualität.
Wichtigste Erkenntnisse
- →Das Modell belegt 5,93 GB statt 53,80 GB in FP16.
- →PrismML meldet 98,2 Prozent durchschnittliche Benchmark-Leistung des Ausgangsmodells.
- →Lange Agentenaufgaben zeigen deutlich größere Verluste als der Durchschnitt.
- →Die Gewichte stehen unter Apache 2.0 bereit.
- →Die GGUF-Ausgabe benötigt derzeit PrismMLs llama.cpp-Fork.
Häufige Fragen
Kann das Modell auf einem Laptop laufen?
Ja, die 5,93-GB-Version kann laut Dokumentation auf Systemen mit 16 GB Speicher laufen. Geschwindigkeit und nutzbarer Kontext hängen von der Hardware ab.
Ist die Leistung wirklich nahezu verlustfrei?
Im Durchschnitt der 20 veröffentlichten Benchmarks bleiben 98,2 Prozent erhalten. Bei langen Agentenaufgaben fallen die Verluste deutlich größer aus.
Läuft es mit normalem llama.cpp?
Nein. Die kleinsten GGUF-Formate benötigen derzeit PrismMLs eigenen Fork.