MemT-1.0 gibt Sprachmodellen ein eingebautes Gedächtnis

Worum es geht

Das Forschungsteam hinter MemT-1.0 hat am 19. Oktober 2026 zwei offene Sprachmodelle vorgestellt, die Erinnerungen nicht nur als alten Chattext mitführen. Stattdessen schreiben sie Informationen während eines Gesprächs in einen eigenen, kompakten Modellzustand. Das soll langen Interaktionen und KI-Agenten helfen, Erfahrungen über mehrere Arbeitsschritte hinweg zu nutzen.

Der technische Bericht nennt für MemT-1.0-Nano bei einer Historie von 128.000 Token eine ungefähr 1,86-mal schnellere Verarbeitung und 66-mal weniger dauerhaften Speicher als bei einem vollständigen KV-Cache. Das sind Messwerte der Autoren, keine unabhängig bestätigten Produktionswerte.

Was MemT-1.0 tatsächlich macht

MemT-1.0 ergänzt das Basismodell um zwei Speicherbereiche. Ein lokaler Speicher verändert sich während der Nutzung und hält verdichtete Informationen aus früheren Abschnitten fest. Ein trainierbarer Hyper Memory Block steuert mit Lese-, Schreib-, Lösch- und Vergessensmechanismen, welche Inhalte in diesen Zustand gelangen. Die Autoren nennen die skalierende Kombination dieser Speicher Mixture of Storage.

Veröffentlicht wurden MemT-1.0-Nano mit 36 Milliarden Parametern, davon 3 Milliarden aktiv, und MemT-1.0-Flash mit 288 Milliarden Parametern, davon 17 Milliarden aktiv. Nano basiert auf Qwen3.6-35B-A3B, Flash auf DeepSeek-V4-Flash. Die Gewichte von Nano stehen laut Modellkarte unter Apache 2.0 bereit. Eine Sitzung lässt sich als Zustandsdatei speichern und später fortsetzen, ohne den ursprünglichen Gesprächsverlauf erneut zu laden.

Warum das wichtig ist

Heute behalten viele Assistenten den Kontext, indem sie frühere Nachrichten erneut an das Modell senden oder Inhalte über eine externe Suche nachladen. Beides kostet Speicher, Rechenzeit und bei langen Verläufen oft Aufmerksamkeit im Kontextfenster. Ein kompakter Zustand könnte Dienste günstiger machen, wenn Nutzer über Wochen an Projekten arbeiten oder Agenten aus früheren Versuchen lernen sollen.

In elf Gedächtnisbenchmarks lagen die beiden MemT-Modelle nach Angaben des Teams vor den getesteten parametrischen Speicherverfahren. Gleichzeitig sagt die offizielle Modellkarte ausdrücklich, dass textbasierte Speichersysteme bei langen Verläufen mit genauer Belegsuche weiterhin besser abschneiden. Genau dieser Unterschied ist entscheidend: Verdichtung hilft beim Erinnern von Mustern, ersetzt aber kein verlässliches Archiv.

Einfach erklärt

Stell dir einen Koch vor, der nach jedem Abend nicht alle Bestellzettel aufbewahrt, sondern ein kleines Notizbuch aktualisiert: weniger Salz für Tisch zwölf, Suppe früher ansetzen, Allergie bei Stammgast Weber beachten. Das Notizbuch braucht viel weniger Platz als jeder einzelne Zettel. Wenn aber jemand später den exakten Wortlaut einer Bestellung verlangt, ist der ursprüngliche Beleg genauer.

MemT-1.0 versucht dasselbe mit Modellverläufen. Es verdichtet Erlebnisse in einen fortlaufenden Zustand, statt immer den gesamten Verlauf mitzuschleppen.

Praktisches Beispiel

Ein Coding Assistent begleitet ein Team durch 100 Aufgaben mit jeweils 2.000 Token Verlauf. Ein klassischer Ansatz müsste für spätere Rückfragen große Teile dieser 200.000 Token erneut speichern oder durchsuchen. MemT-1.0 könnte stattdessen Regeln wie „Tests zuerst ausführen“ oder „dieses Projekt nutzt Python 3.11“ in seinem Speicherzustand ablegen.

Bei der nächsten Aufgabe greift der Assistent auf diese verdichtete Erfahrung zurück, ohne alle alten Gespräche einzulesen. Die Forschungsarbeit berichtet für solche erfahrungsbasierten Coding Aufgaben Verbesserungen gegenüber den jeweiligen Basismodellen. Daraus folgt noch nicht, dass jede echte Codebasis denselben Gewinn sieht.

Einordnung und Grenzen

• Die Benchmarks und Effizienzwerte stammen vom Entwicklerteam. Unabhängige Replikationen und Messungen unter realer Last fehlen bislang.
• Verdichtetes Gedächtnis kann Details verlieren oder falsche Schlüsse bewahren. Für Verträge, Diagnosen oder prüfpflichtige Entscheidungen bleibt eine nachvollziehbare Originalquelle nötig.
• Das kleinere Modell hat 36 Milliarden Parameter und benötigt laut Anleitung Python 3.11, CUDA 13 und eine passende GPU. Es ist deshalb kein leichtes Modell für gewöhnliche Laptops.
• Die Modellkarte warnt selbst, dass textbasierte Speichersysteme bei langen Historien und genauer Evidenzsuche weiterhin führen.

SEO- und GEO-Schlüsselbegriffe

MemT-1.0, MemTensor, Memory Native AI, KI Gedächtnis, Sprachmodell, KV-Cache, Mixture of Storage, Gated DeltaNet-2, Qwen3.6, DeepSeek-V4-Flash, Langzeitkontext, Coding Agent