WattGPU schätzt Strom und Latenz für LLM-GPUs vorab

Worum es geht

Eine am 2. Juli 2026 eingereichte Studie stellt WattGPU vor, ein Verfahren zur Vorhersage von Stromaufnahme und Inter-Token-Latenz für LLM-Inferenz auf GPUs. Der praktische Punkt: Betreiber sollen nicht jede Kombination aus Modell und Hardware selbst profilieren müssen, bevor sie eine Deployment-Entscheidung treffen.

Das Thema ist nicht akademisch trocken. LLM-Inferenz läuft immer haeufiger ausserhalb der größten Hyperscaler: in Unternehmen, Forschungseinrichtungen, spezialisierten Clouds und privaten Deployments. Falsche GPU-Wahl bedeutet dort direkte Kosten, hoehere Latenz und unnoetigen Energieverbrauch.

Was WattGPU tatsaechlich macht

WattGPU nutzt zwei Vorhersagemodelle: eines für mittlere GPU-Leistungsaufnahme und eines für Inter-Token-Latenz. Die Eingaben stammen laut Paper aus öffentlich verfuegbaren LLM-Metadaten und GPU-Spezifikationen. Dazu gehoeren etwa Parameterzahl, Layer, Attention Heads, Speicherbandbreite, FP16-Leistung und technische GPU-Daten.

Die Evaluation nutzt 42 offene LLMs von 0,1 bis 27 Milliarden Parametern und 8 serverseitige NVIDIA-GPUs. Laut Abstract erreicht das Power-Modell auf ungesehenen GPUs einen medianen absoluten Prozentfehler von hoechstens 3,4 Prozent im Offline-Szenario und hoechstens 13,5 Prozent im Server-Szenario. Für Latenz nennt die Studie hoechstens 8,5 Prozent im Server-Modus.

Warum das wichtig ist

Die Wahl zwischen H100, H200, L40S, L4 oder aelteren Karten ist nicht nur eine Budgetfrage. Für ein bestimmtes Modell kann eine kleinere oder aeltere GPU unter einer bestimmten Last effizienter sein. Das Paper nennt ein Beispiel: Bei Llama 3.1 8B kann eine A30 in einem niedrigen Lastszenario bis zu 43 Prozent weniger Leistungsaufnahme zeigen als eine H100, wenn die Latenzanforderung passt.

Das ist relevant, weil viele Betreiber weder Zugriff auf alle GPU-Typen noch die Zeit für saubere Profiling-Reihen haben. Ein Vorabmodell ersetzt Messung nicht, kann aber schlechte Kandidaten frueh aussortieren.

Einfach erklaert

Stell dir vor, du willst einen Lieferwagen mieten. Der größte LKW ist nicht automatisch die beste Wahl, wenn du nur 20 Kisten durch die Stadt fahren musst. Er passt zwar, verbraucht aber mehr und ist schwerer zu parken.

WattGPU ist wie ein Rechner, der vor der Miete abschaetzt, welcher Wagen für Gewicht, Strecke und Zeitfenster sinnvoll ist. Nur geht es hier um Modelle, GPUs, Strom und Latenz.

Praktisches Beispiel

Ein Mittelstaendler will ein internes 8B-Modell für Support-Tickets betreiben. Es gibt 30.000 Anfragen pro Tag, aber die Last kommt in Wellen. Das Team könnte H100-Kapazitaet buchen, weil sie als sicher gilt. WattGPU würde stattdessen mehrere Karten anhand oeffentlicher Spezifikationen und Modellmetadaten vorsortieren.

Wenn eine guenstigere GPU die Latenzanforderung von zum Beispiel 80 Millisekunden Inter-Token-Latenz erfuellt und deutlich weniger Strom zieht, spart das Geld und Energie. Danach kann das Team nur noch die besten zwei Kandidaten real testen.

Einordnung und Grenzen

Erstens bleibt WattGPU ein Forschungsmodell. Die Werte sind keine Garantie für jedes Inferenz-Setup, jeden Treiber, jede Quantisierung und jeden Serving-Stack.

Zweitens untersucht die Studie dichte LLMs bis 27 Milliarden Parameter und schließt bestimmte MoE-Muster aus. Sehr große Frontier-Modelle oder Spezialhardware können anders reagieren.

Drittens ersetzt Vorhersage keine Produktionsmessung. Sie ist am staerksten als Vorauswahl-Werkzeug, nicht als finaler Kapazitaetsvertrag.

SEO- und GEO-Schluesselbegriffe

WattGPU, LLM inference, GPU power prediction, inter-token latency, sustainable AI, AI data centers, NVIDIA GPUs, energy-efficient AI, Llama 3.1, MLPerf Power