Claude Computer Use: So steuerst du Apps direkt aus dem Terminal

Computer Use erledigt alles, wofür du normalerweise das Terminal verlassen und selbst klicken müsstest:

• Native Apps testen: Claude baut deine Swift-App, kompiliert sie, startet sie und klickt sich durch jeden Button — alles in derselben Konversation, in der es den Code geschrieben hat
• UI-Tests ohne Testframework: Sag Claude „teste den Onboarding-Flow". Es öffnet die App, klickt sich durch die Anmeldung und macht Screenshots von jedem Schritt. Kein Playwright-Setup nötig
• Visuelle Bugs finden: „Der Modal wird bei kleinen Fenstern abgeschnitten." Claude verkleinert das Fenster, reproduziert den Bug, macht einen Screenshot, fixt das CSS und verifiziert den Fix
• GUI-only Tools bedienen: Design-Programme, Hardware-Panels, den iOS Simulator oder proprietäre Apps, die keine CLI oder API haben

---

Claude hat mehrere Wege, mit Apps und Services zu interagieren. Es wählt immer das präziseste Tool zuerst:

1. MCP-Server vorhanden? → Claude nutzt die strukturierte API
2. Shell-Befehl möglich? → Claude nutzt Bash
3. Browser-Aufgabe + Chrome-Extension? → Claude nutzt Claude in Chrome
4. Nichts davon passt? → Claude nutzt Computer Use

Computer Use ist der breiteste aber langsamste Weg. Es kommt erst zum Einsatz, wenn nichts anderes funktioniert — native Apps, Simulatoren, Tools ohne API.

---

Schritt 1: MCP-Server aktivieren

In einer interaktiven Claude Code Session tippst du:

/mcp

Suche computer-use in der Server-Liste. Es ist standardmässig deaktiviert. Wähle es aus und klicke auf Enable. Die Einstellung gilt pro Projekt — einmal aktivieren reicht.

Schritt 2: macOS-Berechtigungen erteilen

Beim ersten Mal fragt macOS nach zwei Berechtigungen:

• Bedienungshilfen (Accessibility): Damit Claude klicken, tippen und scrollen kann
• Bildschirmaufnahme (Screen Recording): Damit Claude sehen kann, was auf dem Bildschirm ist

Erteile beide Berechtigungen. macOS verlangt nach der Bildschirmaufnahme-Berechtigung manchmal einen Neustart von Claude Code.

Schritt 3: Loslegen

Gib Claude eine Aufgabe, die eine GUI braucht:

Baue das App-Target, starte die App und klicke dich durch jeden Tab.
Mach Screenshots von allen Fehlerzuständen, die du findest.

---

Das Aktivieren des Servers gibt Claude nicht automatisch Zugriff auf alle Apps. Beim ersten Zugriff auf eine bestimmte App erscheint ein Prompt im Terminal:

• Welche Apps Claude kontrollieren will
• Ob zusätzliche Berechtigungen nötig sind (z.B. Zwischenablage)
• Wie viele andere Apps während der Arbeit ausgeblendet werden

Du wählst „Allow for this session" oder „Deny". Freigaben gelten nur für die aktuelle Session.

Apps mit weitreichendem Zugriff zeigen eine Extra-Warnung:

Warnung	Betrifft
Entspricht Shell-Zugriff	Terminal, iTerm, VS Code, Warp und andere Terminals/IDEs
Kann beliebige Dateien lesen/schreiben	Finder
Kann Systemeinstellungen ändern	Systemeinstellungen

Diese Apps werden nicht blockiert — die Warnung lässt dich entscheiden, ob die Aufgabe diesen Zugriff rechtfertigt.

Claude hat je nach App-Kategorie unterschiedliche Kontrollstufen: Browser und Trading-Plattformen sind nur lesbar, Terminals und IDEs nur klickbar, und alles andere bekommt volle Kontrolle.

---

Eine Session gleichzeitig

Computer Use hält einen systemweiten Lock. Wenn eine andere Claude Code Session bereits deinen Computer nutzt, schlägt ein neuer Versuch fehl. Beende erst die aktive Session.

Apps werden ausgeblendet

Wenn Claude anfängt, deinen Bildschirm zu steuern, werden andere sichtbare Apps ausgeblendet — Claude interagiert nur mit den freigegebenen Apps. Dein Terminal bleibt sichtbar und wird aus Screenshots ausgeschlossen, damit Claude nie seine eigene Ausgabe sieht.

Nach dem Abschluss werden ausgeblendete Apps automatisch wiederhergestellt.

Jederzeit abbrechen

Beim Start erscheint eine macOS-Benachrichtigung: „Claude is using your computer · press Esc to stop."

Drücke Esc von überall oder Ctrl+C im Terminal. Claude gibt den Lock frei, blendet deine Apps wieder ein und gibt dir die Kontrolle zurück.

---

Anders als das gesandboxte Bash-Tool läuft Computer Use auf deinem echten Desktop. Die eingebauten Sicherheitsmechanismen:

• App-Freigabe pro Session: Claude kann nur Apps kontrollieren, die du explizit freigegeben hast
• Warnungen bei kritischen Apps: Apps mit Shell-, Dateisystem- oder System-Zugriff werden markiert, bevor du sie freigibst
• Terminal ausgeschlossen: Claude sieht nie dein Terminal-Fenster — On-Screen-Prompts können nicht ins Modell zurückfliessen
• Globaler Escape: Die Esc-Taste bricht Computer Use von überall ab
• Lock-Datei: Nur eine Session kann gleichzeitig deinen Computer steuern

Wichtig: Computer Use hat eine andere Vertrauensgrenze als die Sandbox. Lies den Computer Use Safety Guide für Best Practices.

---

Aufgaben präzise formulieren

Computer Use arbeitet visuell — es interpretiert Screenshots und entscheidet pixelbasiert. Je präziser deine Anweisung, desto besser das Ergebnis:

• Schlecht: „Kümmere dich um meine E-Mails"
• Gut: „Öffne Mail.app, finde E-Mails von Lieferanten mit Rechnungen im Anhang, lade die Anhänge herunter und speichere sie im Ordner Rechnungen auf dem Desktop"

Nenne immer die konkrete App (z.B. „in Chrome, nicht Safari"), das erwartete Ergebnis und bei Bedarf Zwischenschritte. Claude nimmt manchmal Ergebnisse vorweg, ohne sie explizit zu überprüfen — mit klaren Anweisungen verhinderst du das.

Token-Verbrauch im Blick behalten

Computer Use ist die token-intensivste Art, mit Claude zu arbeiten. Jeder Screenshot wird als Bild an die API gesendet. Bei längeren Tasks entstehen dutzende Screenshots — das verbraucht dein Budget schnell.

• Grosse Aufgaben aufteilen: Statt „teste die ganze App" lieber „teste den Login-Flow" und dann separat „teste die Einstellungsseite"
• Erst verifizieren, dann skalieren: Lass eine Aufgabe einmal supervised durchlaufen, bevor du sie wiederholt nutzt
• Alternativen bevorzugen: Claude nutzt Computer Use nur als letztes Mittel — und das aus gutem Grund. MCP, Bash und Chrome-Extension sind alle schneller und günstiger

Tipp: Dein aktuelles Token-Budget siehst du jederzeit unter claude.ai/settings/usage.

Sensible Daten schützen

Claude sieht alles, was auf deinem Bildschirm sichtbar ist — auch Dinge in anderen Apps, Benachrichtigungen oder Hintergrund-Fenster. Die offizielle Empfehlung:

• Vor dem Start: Schliesse Apps mit sensiblen Daten (Banking, Gesundheits-Apps, Passwort-Manager)
• Nicht verwenden für: Finanztransaktionen, Gesundheitsdaten, Login-Vorgänge mit echten Credentials
• Testumgebungen nutzen: Wenn möglich mit Sandbox-Accounts oder Test-Daten arbeiten
• Keine unbeaufsichtigten Sessions: Lass Computer Use erst ohne Aufsicht laufen, wenn du den Workflow mehrfach beobachtet hast

Prompt-Injection-Risiken verstehen

Claude kann durch On-Screen-Inhalte beeinflusst werden — Text auf Webseiten oder in Bildern kann Anweisungen enthalten, die Claudes Verhalten verändern. Anthropic hat dafür Classifier eingebaut, die verdächtige Screenshots erkennen und Claude auffordern, vor der nächsten Aktion um Bestätigung zu bitten.

Trotzdem: Vertraue nicht blind auf automatische Schutzmechanismen. Kritische Aktionen (E-Mails senden, Dateien löschen, Formulare absenden) immer vorher bestätigen.

Bildschirmauflösung beachten

Retina-Displays mit Skalierung können zu unerwarteten Koordinaten-Problemen führen. Teste neue Workflows immer auf deinen tatsächlichen Display-Einstellungen. Wenn Claude daneben klickt, liegt es oft an der Skalierung.

Dispatch nutzen: Computer Use von unterwegs

Mit Dispatch kannst du Claude Aufgaben vom Handy zuweisen, die es dann auf deinem Mac ausführt — auch wenn du nicht am Schreibtisch sitzt. Beispiele:

• Morgen-Briefing erstellen, während du im Zug sitzt
• Änderungen in der IDE machen, Tests laufen lassen und einen PR erstellen
• Regelmässige Aufgaben delegieren (E-Mails checken, Metriken ziehen)

Dein Mac muss dafür eingeschaltet und Claude Desktop geöffnet sein.

---

Native App testen

Baue das MenuBarStats-Target, starte die App, öffne die Einstellungen
und prüfe, ob der Intervall-Slider das Label aktualisiert.
Mach einen Screenshot der Einstellungen wenn du fertig bist.

Claude führt xcodebuild aus, startet die App, interagiert mit der UI und meldet das Ergebnis.

Layout-Bug reproduzieren

Der Settings-Modal schneidet den Footer bei schmalen Fenstern ab.
Verkleinere das App-Fenster bis du das reproduzieren kannst,
mach einen Screenshot, dann check das CSS für den Modal-Container.

iOS-Simulator bedienen

Öffne den iOS Simulator, starte die App, tippe dich durch die
Onboarding-Screens und sag mir, ob ein Screen länger als eine Sekunde
zum Laden braucht.

---

CLI und Desktop teilen dieselbe Computer Use Engine. Ein paar Desktop-Features sind im CLI noch nicht verfügbar:

Feature	Desktop	CLI
Aktivierung	Toggle in Einstellungen	/mcp → computer-use aktivieren
Blockierte Apps	In Einstellungen konfigurierbar	Noch nicht verfügbar
Auto-Unhide	Optional	Immer aktiv

---

„Computer use is in use by another Claude session"

Eine andere Session hält den Lock. Beende die aktive Session oder warte bis sie fertig ist. Wenn die andere Session abgestürzt ist, wird der Lock automatisch freigegeben.

macOS-Berechtigungsdialog erscheint immer wieder

macOS verlangt manchmal einen Neustart des anfragenden Prozesses nach der Bildschirmaufnahme-Berechtigung. Beende Claude Code komplett und starte eine neue Session. Falls der Dialog bleibt: Öffne Systemeinstellungen → Datenschutz & Sicherheit → Bildschirmaufnahme und prüfe, ob deine Terminal-App aufgelistet und aktiviert ist.

computer-use erscheint nicht in /mcp

Prüfe diese Voraussetzungen:

• macOS: Computer Use ist nicht auf Linux oder Windows verfügbar
• Claude Code v2.1.85 oder neuer: Prüfe mit claude --version
• Pro- oder Max-Plan: Team und Enterprise werden noch nicht unterstützt. Prüfe mit /status
• claude.ai-Authentifizierung: Computer Use funktioniert nicht mit Drittanbietern wie Amazon Bedrock, Google Cloud Vertex AI oder Microsoft Foundry
• Interaktive Session: Computer Use funktioniert nicht im nicht-interaktiven Modus mit -p

---

Anforderung	Details
Betriebssystem	macOS (kein Linux, kein Windows)
Claude Code Version	v2.1.85 oder neuer
Plan	Pro ($20/Monat) oder Max ($100/$200/Monat)
macOS-Berechtigungen	Bedienungshilfen + Bildschirmaufnahme
Authentifizierung	Direkt über claude.ai (keine Drittanbieter)

---

• Computer Use = GUI-Steuerung: Claude öffnet Apps, klickt, tippt und macht Screenshots — direkt aus dem Terminal
• Research Preview: Nur macOS, nur Pro/Max-Plan, nur interaktive Sessions
• Letztes Mittel: Claude nutzt erst MCP, dann Bash, dann Chrome, und nur wenn nichts passt: Computer Use
• Sicherheit: App-Freigabe pro Session, Terminal nie sichtbar, Esc bricht sofort ab
• Token-intensiv: Jeder Screenshot kostet Tokens — Aufgaben aufteilen und Alternativen (MCP, Bash) bevorzugen
• Sensible Daten: Apps mit vertraulichen Infos vorher schliessen, keine Finanztransaktionen oder Login-Vorgänge
• Einrichtung: /mcp → computer-use aktivieren → macOS-Berechtigungen erteilen → loslegen

---

• Offizielle Computer Use Dokumentation (Anthropic, Englisch)
• Computer Use Safety Guide (Best Practices)
• Claude Desktop App: Download-Fehler und Installation lösen
• Claude Desktop: RPC-Fehler und Ordner-Mount-Probleme
• Claude Code für Nicht-Technische

---

• Claude Projekte vs. Cowork: Cloud, lokale Ordner und Files over Tools
• Cowork vergisst alles? So löst du das Kontext-Problem

• MCP erklärt: So verbindest du Claude mit externen Tools und Datenquellen
• Claude Artifacts erklärt: So erstellst du Apps, Tools und Dokumente direkt im Chat
• OpenClaw in Discord und Telegram: Kanalanbindung richtig einrichten