ui_read_tree

Bildschirm, Fenster und Oberfläche · macOS · Windows

Wirkung: Lesen. Status: bedingt verfügbar.

„Bedingte Verfügbarkeit“ bedeutet, dass das Werkzeug von Version, Plattform, Berechtigungen, Konto oder Konfiguration abhängen kann. Es ist nicht in jeder Installation aktiv.

macOS

Zweck

Gibt einen COMPACT-Barrierefreiheitsbaum der beschrifteten und interaktiven Elemente einer laufenden nativen App (Schaltflächen, Links, Textfelder, Kontrollkästchen, Menüs usw.) zurück – das native Äquivalent des a11y-Modus von web_read. Verwenden Sie es, um DISCOVER zu bestimmen, worauf in einer unbekannten App zu reagieren ist, wenn Sie die Rolle/Bezeichnung eines Elements noch nicht kennen (ui_find_element benötigt eines im Voraus). Jeder interaktive Knoten trägt ein „ref“, das Sie direkt an ui_click übergeben können. Übergeben Sie app_bundle_id einer laufenden App (z. B. com.apple.finder – siehe list_windows); Der Baum wird auf signaltragende Knoten beschnitten und durch max_depth (Standard 12) und ein Knotenbudget begrenzt, sodass sehr große Fenster teilweise zurückgegeben werden. Die macOS-Menüleiste der App wird standardmäßig übersprungen (sie besteht aus Hunderten von Menüelementknoten) – übergeben Sie include_menu_bar=true, wenn Sie speziell auf Menüleistenelemente reagieren müssen.

Erforderliche Eingaben

Das Schema dieser Plattform deklariert keine erforderlichen Eingaben. Optionale Selektoren oder Laufzeitanforderungen können dennoch gelten.

Berechtigungen und Bestätigung

Das Schema deklariert keinen ausdrücklichen Bestätigungsparameter. Das erlaubt keine Handlung ohne Zustimmung; prüfen Sie die Wirkung und holen Sie eine Autorisierung ein.

Verwenden Sie auf dieser Plattform nur die vom Benutzer autorisierten Apps, Konten und Ressourcen. Informationen zu den Verbindungs- und Berechtigungsanforderungen finden Sie in der plattformspezifischen Beschreibung dieses Tools. Dieser Katalog beansprucht keine zusätzlichen OAuth-Bereiche oder Betriebssystemberechtigungen.

Kanonisches technisches Schema auf Englisch — macOS

{
  "properties": {
    "app_bundle_id": {
      "description": "Bundle id of a RUNNING app (e.g. com.apple.finder)",
      "type": "string"
    },
    "include_menu_bar": {
      "description": "Include the app's macOS menu bar (hundreds of menu-item nodes). Default false.",
      "type": "boolean"
    },
    "max_depth": {
      "description": "Max tree depth to descend (default 12, max 20)",
      "type": "integer"
    },
    "window_id": {
      "description": "Alternative to app_bundle_id: a window id from list_windows (targets that window's app)",
      "type": "string"
    }
  },
  "required": [],
  "type": "object"
}

Dokumentationsbeispiel

Dokumentationsbeispiel für ui_read_tree. Führen Sie dieses Beispiel nicht aus. Die gezeigten Argumente gehören zu einem fiktiven Datensatz; ermitteln Sie reale Kennungen und holen Sie vor einem echten Aufruf die Genehmigung ein.

{}

Windows

Zweck

Gibt einen COMPACT UI-Automatisierungsbaum der beschrifteten und interaktiven Elemente eines laufenden Windows zurück. app (Schaltflächen, Links, Bearbeitungen, Kontrollkästchen, Menüs …) – das native Äquivalent des a11y-Modus von web_read. Verwenden Sie es, um DISCOVER zu bestimmen, worauf in einem unbekannten app zu reagieren ist, wenn Sie die Rolle/Bezeichnung eines Elements noch nicht kennen (ui_find_element benötigt eines im Voraus). Jeder interaktive Knoten trägt ein „ref“, das Sie direkt an ui_click übergeben können. Übergeben Sie „app“ (den Prozessnamen eines laufenden app, z. B. Notepad). Der Baum wird auf signaltragende Knoten beschnitten und durch max_depth (Standard 12) und ein Knotenbudget begrenzt, sodass sehr große Fenster teilweise zurückgegeben werden.

Erforderliche Eingaben

Das Schema dieser Plattform deklariert keine erforderlichen Eingaben. Optionale Selektoren oder Laufzeitanforderungen können dennoch gelten.

Berechtigungen und Bestätigung

Das Schema deklariert keinen ausdrücklichen Bestätigungsparameter. Das erlaubt keine Handlung ohne Zustimmung; prüfen Sie die Wirkung und holen Sie eine Autorisierung ein.

Verwenden Sie auf dieser Plattform nur die vom Benutzer autorisierten Apps, Konten und Ressourcen. Informationen zu den Verbindungs- und Berechtigungsanforderungen finden Sie in der plattformspezifischen Beschreibung dieses Tools. Dieser Katalog beansprucht keine zusätzlichen OAuth-Bereiche oder Betriebssystemberechtigungen.

Kanonisches technisches Schema auf Englisch — Windows

{
  "properties": {
    "app": {
      "description": "Process name of a RUNNING app (e.g. notepad).",
      "type": "string"
    },
    "max_depth": {
      "description": "Max tree depth to descend (default 12, max 20).",
      "type": "integer"
    }
  },
  "required": [],
  "type": "object"
}

Dokumentationsbeispiel

{}