Desde el 1 de octubre, GitHub Copilot tiene acceso en preview pública a "computer use": la capacidad de leer el contenido accesible y visual de una aplicación de escritorio y actuar sobre ella —hacer clic, escribir, pulsar teclas, arrastrar o navegar entre ventanas— en macOS y Windows, tanto desde la app de Copilot como desde Copilot CLI.
El objetivo declarado es cubrir el hueco de las herramientas sin API, CLI ni servidor MCP: software heredado o solo-GUI que hasta ahora un agente no podía tocar. GitHub pone como ejemplos automatizar gastos, reservar un viaje o acelerar pruebas end-to-end; según la propia documentación, ya se ha usado para abrir un simulador de iPhone y verificar cambios de una app, o para redactar un boletín en Edge.
La función viene desactivada por defecto y exige permisos explícitos —en macOS, Accesibilidad y Grabación de pantalla— además de aprobación por sesión o persistente, que una política de empresa puede sobrescribir.
Lo más llamativo es que el propio GitHub avisa de sus límites: "computer use" interpreta interfaces que cambian entre versiones de la app, sistema operativo y estado de la ventana, así que puede pulsar el control equivocado, escribir en el sitio que no toca o atascarse con controles no estándar. El consejo oficial es usar una herramienta directa (API, CLI, servidor MCP) siempre que exista, y reservar "computer use" para cuando no hay otra opción.
Qué implica para un homelab: quien administra herramientas internas sin API —paneles de administración antiguos, software de gestión que solo tiene interfaz gráfica— tiene aquí una vía real de automatización que antes exigía macros frágiles tipo AutoHotkey. Pero dejar que un agente controle la pantalla con las mismas sesiones abiertas de siempre (correo, paneles de administración, gestor de contraseñas) multiplica la superficie de lo que puede salir mal si la instrucción es ambigua o la pantalla se interpreta mal.
Fuentes: github.blog · docs.github.com · smartscope.blog
