ESP32 iPhone Agent steuert ein echtes iPhone mit KI
20. Oktober 2026
Ein offenes Projekt verbindet Bildschirmübertragung, einen günstigen ESP32 und ein Bildmodell. So kann ein KI Agent ein echtes iPhone bedienen, ohne dass während des Betriebs ein Mac nötig ist.
Worum es geht
ESP32 iPhone Agent ist ein quelloffenes Werkzeug, das einem KI Modell Augen und Hände für ein echtes iPhone gibt. Das Projekt nutzt einen ESP32 S3 als AirPlay Empfänger sowie als USB Maus und Tastatur. Eine App auf demselben iPhone verarbeitet das verkleinerte Bildschirmbild, fragt ein kompatibles Bildmodell nach der nächsten Aktion und schickt Klicks, Wischgesten oder Texteingaben über Bluetooth an die Platine zurück.
Der Ansatz ist seit Oktober 2026 besonders interessant, weil die aktuelle Fassung keinen Computer mehr für den laufenden Betrieb benötigt. Ein Mac mit Xcode bleibt für das einmalige Übersetzen und Installieren der App sowie das Bespielen der Platine nötig. Danach arbeiten Telefon und Platine als eigenständiges Paar.
Was ESP32 iPhone Agent tatsächlich macht
Das iPhone spiegelt seinen Bildschirm per AirPlay an den ESP32 S3. Die Platine decodiert den Videostream nicht selbst, sondern leitet komprimierte Bilder über Bluetooth an die iPhone App weiter. Dort wertet ein frei wählbares Bildmodell mit einer zu OpenAI kompatiblen Schnittstelle den aktuellen Zustand aus. Ein Planer zerlegt das Ziel, ein Akteur wählt die nächste Bedienhandlung.
Die Platine meldet sich zugleich als gewöhnliche USB Maus und Tastatur an. Mit Apples Bedienungshilfe AssistiveTouch wird der Mauszeiger zum Fingerersatz. Das System kann tippen, ziehen, schreiben, Tasten drücken und zum Startbildschirm wechseln. Nach jeder Aktion wartet es auf ein stabiles Bild und prüft, ob sich etwas verändert hat. Läuft der Zeiger aus der Position, sucht die App ihn erneut und korrigiert die Abweichung. Jeder Lauf bleibt auf dem Gerät und kann mit eingezeichneten Aktionen wiedergegeben oder als Ablaufspur exportiert werden.
Warum das wichtig ist
Mobile Automatisierung ist häufig an Entwicklerwerkzeuge, einen angeschlossenen Rechner oder spezielle Testumgebungen gebunden. Dieses Projekt zeigt einen anderen Weg: Die sichtbare Oberfläche eines echten Geräts wird genutzt, während standardisierte Eingaben über USB erfolgen. Das ist für Entwickler, Qualitätsprüfer und Forscher nützlich, die Bedienabläufe auf realer Hardware untersuchen wollen.
Der Quellcode steht auf GitHub. Die App ist in SwiftUI umgesetzt, die Firmware basiert auf Arduino Komponenten. Der Anbieter nennt iOS 18 oder neuer und eine ESP32 S3 Platine mit nativem USB und PSRAM als Voraussetzung. Unterstützt werden Bildmodelle hinter einer zu OpenAI kompatiblen Schnittstelle, darunter auch selbst betriebene Server. Zugangsdaten speichert die App laut Projektdokumentation im iOS Schlüsselbund.
Einfach erklärt
Man kann sich das System wie einen Helfer vor einem Schaufenster vorstellen. Die Bildschirmübertragung ist sein Blick durch die Scheibe. Die Platine ist eine mechanische Hand, die Maus und Tastatur bedient. Das Bildmodell entscheidet nach jedem Blick, welche Bewegung als Nächstes sinnvoll ist. Der Helfer kennt jedoch weder den Inhalt jeder App noch die Absicht hinter unerwarteten Dialogen. Deshalb sollte ein Mensch zusehen und eingreifen können.
Praktisches Beispiel
Ein Tester möchte prüfen, ob eine Erinnerungs App auf fünf echten iPhones einen wiederkehrenden Termin korrekt speichert. Er formuliert das Ziel: „Lege jeden Montag und Dienstag um 8 Uhr eine Erinnerung an und speichere sie.“ Der Agent öffnet die App, setzt Uhrzeit und Wochentage und speichert den Eintrag. Anschließend exportiert der Tester die Bildschirmbilder und Eingaben jedes Laufs.
Das kann wiederholbare Prüfungen erleichtern, ersetzt aber keine feste Testlogik. Wenn ein Dialog an einer anderen Stelle erscheint, ein Modell eine Schaltfläche verwechselt oder das Mobilfunknetz ausfällt, muss der Lauf angehalten und geprüft werden. Für Konten mit echten Zahlungen, vertraulichen Nachrichten oder administrativen Rechten wäre ein unbeaufsichtigter Test unangemessen.
Einordnung und Grenzen
Erstens überträgt Bluetooth laut Projekt nur etwa 300 bis 500 Kilobit pro Sekunde. Das Bild wird auf 480 mal 1040 Pixel und höchstens fünf Bilder pro Sekunde reduziert. Einzelne Schritte dauern deshalb mehrere Sekunden.
Zweitens blendet iOS sensible Ansichten wie Code Eingaben, Apple Pay und geschützte Videos aus. Bei gesperrtem Telefon endet die Bildschirmübertragung. Querformat und Texteingaben außerhalb des ASCII Zeichensatzes stehen laut aktueller Roadmap noch aus.
Drittens ist die Installation kein fertiger App Store Ablauf. Ein Mac mit Xcode ist zunächst nötig, kostenlose Signaturen müssen regelmäßig erneuert werden, und die App verwendet derzeit eine private iOS Schnittstelle, um sich selbst in den Hintergrund zu schicken. Nutzer sollten außerdem nur eigene Geräte und Konten automatisieren, die Abläufe beobachten und Kosten sowie Datenschutz des gewählten Bildmodells prüfen.
SEO und GEO Schlüsselbegriffe
ESP32 iPhone Agent, iPhone Automatisierung, mobiler KI Agent, ESP32 S3, AirPlay, AssistiveTouch, USB HID, Bildmodell, iOS Testautomatisierung, Open Source KI
💡 Im Klartext
ESP32 iPhone Agent lässt ein Bildmodell die Oberfläche eines echten iPhones sehen und über eine kleine USB Platine bedienen. Das Projekt ist offen, benötigt aber technisches Einrichten und sollte nur beaufsichtigt eingesetzt werden.
Wichtigste Erkenntnisse
- →Das Werkzeug verbindet AirPlay Bildschirmübertragung mit USB Maus und Tastatureingaben über einen ESP32 S3.
- →Nach der Einrichtung ist während des Betriebs kein Mac nötig.
- →Eine zu OpenAI kompatible Schnittstelle erlaubt Cloudmodelle oder selbst betriebene Bildmodelle.
- →Jeder Lauf kann auf dem iPhone wiedergegeben und als Ablaufspur exportiert werden.
- →Geschützte Ansichten, Querformat und nicht lateinische Texteingaben begrenzen den Einsatz.
Häufige Fragen
Braucht das Werkzeug dauerhaft einen Mac?
Nein. Ein Mac mit Xcode ist für das erste Einrichten nötig, laut Projekt aber nicht für den späteren Betrieb.
Funktioniert es ohne Cloudmodell?
Ja, wenn ein selbst betriebener Server eine passende, zu OpenAI kompatible Bildschnittstelle bereitstellt. Telefon und Server müssen sich trotzdem erreichen können.
Kann der Agent jede iPhone Ansicht bedienen?
Nein. iOS spiegelt unter anderem Code Eingaben, Apple Pay und geschützte Videos nicht. Auch Querformat wird derzeit nicht unterstützt.
Ist die Nutzung unbeaufsichtigt sinnvoll?
Für sensible Konten nicht. Das Bildmodell kann Schaltflächen falsch deuten, deshalb sollte ein Mensch den Lauf beobachten und stoppen können.