Yapay zekâyla Windows UI Automation — her masaüstü uygulamasını kontrol edin

Claude'un herhangi bir Windows uygulamasında düğmeleri tıklamasına ve formları doldurmasına izin vermek için LMCP'yi yükleyin — ekran okuyucuların kullandığı erişilebilirlik katmanı olan Windows UI Automation çerçevesini kullanan yerel bir MCP sunucusu. Arayüzü doğrudan okuyup kontrol ettiği için API'si veya otomasyon desteği hiç olmayanlar da dahil olmak üzere her yerel Windows uygulamasıyla çalışır.

Seçilen yapay zekâ istemcisi bir bulut yapay zekâ sağlayıcısı kullanıyorsa bu sağlayıcı, iş akışı için istenen arayüz verilerini ve görev sonuçlarını alıp işleyebilir; kendi koşulları geçerlidir.

Neler yapabilirsiniz

UI ağacını okuma — çalışan bir uygulamanın düğmeleri, alanları ve menülerinin yapılandırılmış, etiketli haritasını alın
Öğeleri bulma ve bekleme — belirli bir denetimi bulun ya da harekete geçmeden önce görünmesini bekleyin
Tıklama — öğeye veya ekran koordinatına göre
Metin yazma — odaktaki denetime veya belirli bir denetime
Tuş kombinasyonları gönderme — ctrl+s veya ctrl+shift+n gibi
Sistem tepsisi simgesini tıklama — piksel koordinatlarını aramadan etiketiyle

Bu, LMCP'nin Outlook, Teams veya OneDrive araçlarından farklı bir mekanizmadır: onlar bir uygulamanın kendi verileriyle veya COM arayüzüyle iletişim kurar. UI Automation ise arayüzün kendisini kontrol eder; onu başka hiçbir şey sunmayan uygulamalarda çalıştıran da budur.

Nasıl yüklenir

Windows için LMCP'yi indirin ve yükleyin:

İndirilen LMCP-Setup dosyasını İndirilenler klasörünüzden çalıştırın
Yükleyiciyi izleyin — yönetici hakkı gerekmez, kullanıcı klasörünüze yüklenir
LMCP otomatik olarak başlar ve sistem tepsinizde görünür

Ya da winget ile kurun

winget install LMCP.LocalMCP

Yaklaşık 30 saniye sürer. Yapay zekâ istemcileriniz otomatik olarak yapılandırılır.

Ardından yapay zekâ istemcinizi yeniden başlatın ve açık olan herhangi bir uygulamada deneyin.

Örnek istekler

“Açık uygulamanın arayüzünü oku ve hangi denetimlerin görünür olduğunu söyle” — harekete geçmeden önce arayüzün haritasını çıkarır
“Claude benim için herhangi bir Windows uygulamasında düğmeleri tıklayıp formları doldurabilir mi?” — evet, UI Automation tam olarak bunun içindir
“API olmadan yapay zekâyla eski bir masaüstü uygulamasını otomatikleştir” — alanları bulur, içine yazar ve gönder düğmesine tıklar
“Dışa aktarma bitene kadar bekle, ardından Kaydet'e tıkla” — harekete geçmeden önce bir öğenin görünmesini bekler

Gerçek dünyadan iş akışı

Eski bir uygulamada tekrarlayan veri girişi

Bu istemi yapay zekânıza kopyalayın

Bu eski envanter uygulamasının UI ağacını oku, “New Entry” formunu bul ve bu hesap tablosundaki değerlerle her seferinde bir satır olacak şekilde doldur.

Yapay zekânız önce formun haritasını çıkarır, sonra onu kontrol eder — pencere yeniden boyutlandırılır boyutlandırılmaz bozulan makro kaydedici veya ekran koordinatı tahminleri yoktur.

LMCP yapay zekâ asistanınızı Windows'ta pencere ve monitör yönetimine, Outlook'a ve Microsoft Teams'e de bağlar. tam rehber listesine bakın veya local-mcp.com adresinden daha fazla bilgi alın.

Sınırlamalar

Yalnızca Windows — UI Automation bir Windows erişilebilirlik çerçevesidir; LMCP'de macOS veya Linux için eşdeğer bir araç yoktur.
Ekranda olanı okur ve kontrol eder — simge durumuna küçültülmüş ya da gizli bir pencere, ön plandaki pencerenin yaptığı gibi tüm öğeleri göstermeyebilir.
Düzene bağlıdır — sürümler arasında arayüzünü değiştiren bir uygulama LMCP'nin bulduğu öğeleri değiştirebilir; güncellemeden sonra UI ağacını yeniden okumak çözümdür.
Yerel entegrasyonun yerine geçmez — LMCP'nin zaten özel aracı bulunan uygulamalar (Outlook, Teams, OneDrive) için bu araçlar arayüzü kontrol etmekten daha hızlı ve güvenilirdir.

Sık sorulan sorular

Claude benim için herhangi bir Windows uygulamasında düğmeleri tıklayıp formları doldurabilir mi?

Evet — LMCP, API'si hiç olmayanlar da dahil olmak üzere her yerel Windows uygulamasıyla çalışan Windows UI Automation çerçevesini kontrol eder.

API olmadan yapay zekâyla eski bir Windows masaüstü uygulamasını otomatikleştirebilir miyim?

Evet. UI Automation arayüzü doğrudan okuyup kontrol ettiğinden, uygulamanın kendi otomasyon yüzeyini sunmasına gerek yoktur.

Yönetici hakkı gerekiyor mu?

Hayır — LMCP kullanıcı bazında yüklenir ve çalışır. Yükseltilmiş yetkilerle çalışan bazı uygulamaları kontrol etmek için LMCP'nin de yükseltilmiş yetkilerle çalışması gerekebilir; bu bir Windows izin modeli ayrıntısıdır, LMCP gereksinimi değildir.