Zum Inhalt springen

Steuern Sie jede Windows-App mit KI — keine API erforderlich

Kurz gesagt: Lassen Sie Claude, Cursor, VS Code oder ChatGPT über UI Automation Schaltflächen anklicken, Formulare ausfüllen und die Oberfläche jeder nativen Windows-App lesen — selbst bei Apps ohne API. Lokal, ohne Administratorrechte.

L
LMCP··5 Min. Lesezeit

Durchschnitt 4,7 von 5 · Bewertungen: 39Alle Bewertungen ansehen →

  • “calander and reminders”

    Shawn E.
  • “Sort, clean up inbox. Text people reminders for payments using imessage”

    Adi H.
  • “Claude Zugriff auf Mails /Kalender gewähren”

    TB

Damit Claude in jeder Windows-App Schaltflächen anklicken und Formulare ausfüllen kann, installieren Sie LMCP — einen lokalen MCP-Server, der das Windows UI Automation-Framework steuert, dieselbe Eingabehilfenebene, die Screenreader nutzen. Weil er die Oberfläche direkt liest und steuert, funktioniert er mit jeder nativen Windows-App, auch mit solchen ohne API oder Automatisierungsunterstützung.

Wenn der ausgewählte KI-Client einen Cloud-KI-Anbieter nutzt, kann dieser Anbieter die für den Ablauf angeforderten Oberflächendaten und Ergebnisse empfangen und verarbeiten; dabei gelten seine eigenen Bedingungen.

Was Sie tun können

  • Den UI-Baum lesen — erhalten Sie eine strukturierte, beschriftete Karte der Schaltflächen, Felder und Menüs einer laufenden App
  • Elemente finden und auf sie warten — suchen Sie ein bestimmtes Steuerelement oder warten Sie, bis es erscheint, bevor Sie handeln
  • Klicken — auf ein Element oder über eine Bildschirmkoordinate
  • Text eingeben — in das fokussierte oder ein bestimmtes Steuerelement
  • Tastenkombinationen senden — etwa ctrl+s oder ctrl+shift+n
  • Auf ein Symbol im Infobereich klicken — anhand seiner Beschriftung, ohne nach Pixelkoordinaten zu suchen

Dies ist ein anderer Mechanismus als die Outlook-, Teams- oder OneDrive-Tools von LMCP: Diese greifen auf die eigenen Daten einer App oder ihre COM-Schnittstelle zu. UI Automation steuert stattdessen die Oberfläche selbst, weshalb sie auch mit Apps funktioniert, die nichts anderes bereitstellen.

Installation

LMCP für Windows herunterladen und installieren:

  1. Führen Sie die heruntergeladene Datei LMCP-Setup aus Ihrem Downloads-Ordner aus
  2. Folgen Sie dem Installationsprogramm — Administratorrechte sind nicht erforderlich, die Installation erfolgt in Ihrem Benutzerordner
  3. LMCP startet automatisch und erscheint im Infobereich
Oder mit winget installieren
winget install LMCP.LocalMCP

Das dauert etwa 30 Sekunden. Ihre KI-Clients werden automatisch konfiguriert.

Starten Sie anschließend Ihren KI-Client neu und probieren Sie es mit einer beliebigen geöffneten App aus.

Beispiel-Prompts

  • „Lies die UI der geöffneten App und sage mir, welche Steuerelemente sichtbar sind“ — erfasst zunächst die Struktur der Oberfläche, bevor etwas ausgeführt wird
  • „Kann Claude für mich in jeder Windows-App Schaltflächen anklicken und Formulare ausfüllen?“ — ja, genau dafür ist UI Automation da
  • „Automatisiere eine alte Desktop-App mit KI ohne API“ — findet die Felder, gibt Werte ein und klickt auf Senden
  • „Warte, bis der Export fertig ist, und klicke dann auf Speichern“ — wartet, bis ein Element erscheint, bevor es handelt

Praxisablauf

Wiederholte Dateneingabe in einer alten App

Diesen Prompt in deine KI kopieren

Lies den UI-Baum dieser alten Inventar-App, finde das Formular „New Entry“ und fülle es mit den Werten aus dieser Tabellenkalkulation aus, Zeile für Zeile.

Ihre KI erfasst zuerst die Struktur des Formulars und steuert es dann — kein Makrorekorder, kein Raten von Bildschirmkoordinaten, das beim Ändern der Fenstergröße sofort bricht.

LMCP verbindet Ihren KI-Assistenten außerdem mit der Fenster- und Monitorverwaltung, Outlook und Microsoft Teams unter Windows. Sehen Sie die vollständige Liste der Anleitungen an oder erfahren Sie mehr auf local-mcp.com.

Einschränkungen

  • Nur Windows — UI Automation ist ein Windows-Eingabehilfenframework; LMCP bietet kein entsprechendes Tool für macOS oder Linux.
  • Liest und steuert, was auf dem Bildschirm ist — ein minimiertes oder verborgenes Fenster stellt möglicherweise nicht alle Elemente so bereit wie ein Fenster im Vordergrund.
  • Abhängig vom Layout — wenn eine App ihre Oberfläche zwischen Versionen ändert, können sich auch die Elemente ändern, die LMCP findet; nach einem Update den UI-Baum erneut zu lesen, behebt das Problem.
  • Kein Ersatz für eine native Integration — für Apps, für die LMCP bereits ein eigenes Tool bereitstellt (Outlook, Teams, OneDrive), sind diese schneller und zuverlässiger als das Steuern der Oberfläche.

Häufig gestellte Fragen

Kann Claude für mich in jeder Windows-App Schaltflächen anklicken und Formulare ausfüllen?

Ja — LMCP steuert das Windows UI Automation-Framework, das mit jeder nativen Windows-App funktioniert, auch mit Apps ohne API.

Kann ich eine alte Windows-Desktop-App mit KI ohne API automatisieren?

Ja. Da UI Automation die Oberfläche direkt liest und steuert, muss die App keine eigene Automatisierungsschnittstelle bereitstellen.

Sind Administratorrechte erforderlich?

Nein — LMCP wird pro Benutzer installiert und ausgeführt. Einige Apps, die mit erhöhten Rechten laufen, können dennoch verlangen, dass LMCP ebenfalls erhöht ausgeführt wird, um sie zu steuern; das ist ein Detail des Windows-Berechtigungsmodells, keine Anforderung von LMCP.

Verwandte Anleitungen

Kommentare

Kommentare werden vor der Veröffentlichung geprüft.