agent-desktop de Vercel : l'agent IA qui lit l'écran sans le voir

Vercel Labs, le laboratoire de l’éditeur connu pour son hébergement de sites et pour Next.js, a publié agent-desktop : un outil libre qui permet à un agent IA de lire et d’utiliser les logiciels d’un ordinateur, sur Mac, Windows et Linux. L’idée paraît modeste. Elle touche pourtant à l’un des freins les plus concrets de l’IA en entreprise : la plupart des logiciels du quotidien n’ont jamais été pensés pour être pilotés par une machine.

Ce que fait l’outil

Jusqu’ici, la plupart des agents qui « utilisent un ordinateur » travaillent comme un stagiaire derrière une vitre : ils prennent une capture d’écran, devinent où se trouve le bouton, déplacent la souris, cliquent, puis reprennent une capture pour vérifier. C’est lent, coûteux en calcul, et fragile au moindre changement de thème ou de résolution. Pendant ce temps, la machine est bloquée pour son utilisateur.

agent-desktop prend un autre chemin. Chaque système d’exploitation décrit déjà ses fenêtres pour les technologies d’assistance : l’API AX sur Mac, UI Automation sur Windows, AT-SPI sur Linux. Cette description, l’arbre d’accessibilité, dit qu’il y a ici une fenêtre « Téléchargements », là une liste, là un bouton « Envoyer ». L’outil la lit, la rend sous forme de données structurées et donne à chaque élément utilisable une référence. L’agent ne devine plus un pixel : il demande de cliquer sur la référence du bouton, relit l’écran pour vérifier, et recommence. C’est la boucle de tout agent, que nous décrivons dans notre article sur la boucle agentique, appliquée aux logiciels du poste de travail.

L’outil compte une soixantaine de commandes : lire une fenêtre, cliquer, taper, cocher, faire défiler, ouvrir et fermer des applications, lire le presse-papiers, traiter les notifications. Les actions se font par défaut en arrière-plan, sans mouvement de pointeur ; certaines demandent tout de même le vrai clavier et la vraie souris, et la documentation liste, système par système, ce qui marche en fond et ce qui ne marche pas. Il se branche aussi comme serveur MCP, le protocole qui permet à un assistant d’appeler des outils, ce qui le rend utilisable par la plupart des agents du marché, quel que soit le modèle derrière. Il est publié sous licence Apache 2.0, donc utilisable dans un projet commercial.

À qui c’est utile

Aux équipes qui jonglent entre des logiciels qui ne se parlent pas. Un ancien outil de gestion d’un côté, un CRM de l’autre, et quelqu’un qui recopie les commandes de l’un à l’autre chaque matin. Quand ces logiciels n’ont pas d’API, l’automatisation classique s’arrête là. Un agent qui lit l’écran peut faire ces allers-retours, et la personne qui recopiait garde ce qui demande du jugement.

Aux métiers qui vivent dans des applications de bureau. Comptabilité, logistique, administration, bureau d’études : beaucoup d’outils métier sont des logiciels installés, pas des sites web. Les agents de navigateur, qui se multiplient, ne les atteignent pas. agent-desktop comble ce vide.

Aux équipes qui testent leurs propres logiciels. Vérifier qu’une application de bureau se comporte bien après une mise à jour est une tâche répétitive. Un agent qui parcourt l’interface par sa structure le fait sans dépendre de la couleur d’un bouton ou de la taille de l’écran.

Aux éditeurs qui ont soigné l’accessibilité. C’est l’effet le plus inattendu : l’outil ne voit que ce que le logiciel décrit. Un logiciel bien accessible à une personne malvoyante devient du même coup facile à automatiser. L’accessibilité cesse d’être une obligation à part pour devenir un atout commercial.

Ce qu’on peut en faire, concrètement

Quelques usages réalistes, à la portée d’une équipe de quelques dizaines de personnes :

• exporter chaque matin un rapport depuis une application qui n’a pas d’API, et le déposer là où l’équipe le lit ;
• reporter les commandes d’un ancien logiciel de gestion vers le CRM, avec une relecture humaine des cas douteux ;
• remplir un formulaire administratif à partir d’un tableur, ligne par ligne, pendant que l’équipe fait autre chose ;
• trier les notifications d’un poste partagé et n’en remonter que celles qui comptent.

Dans tous ces cas, la question à se poser d’abord reste la même : le logiciel a-t-il une API ? Si oui, passer par l’écran est un détour, et comme nous l’écrivions à propos des automatisations qui n’ont pas besoin d’IA, le bon outil est souvent le plus simple. agent-desktop sert surtout là où il n’y a pas d’autre porte d’entrée, le cas que nous détaillons dans notre guide pour automatiser un logiciel qui n’a pas d’API.

Les limites à connaître

La force de l’outil est aussi sa limite : il ne voit pas une interface qui ne publie pas d’arbre d’accessibilité. Les logiciels anciens, certains outils dessinés entièrement à la main, les zones graphiques comme un plan ou un tableau dessiné restent hors de portée. Pour le contenu web des applications construites sur Chromium ou Electron, comme beaucoup de messageries modernes, il passe la main à son cousin agent-browser.

L’installation tient en une commande, mais il faut ensuite accorder au programme le droit d’accessibilité sur Mac, ou le faire tourner dans la session ouverte de l’utilisateur sous Windows et Linux. C’est rassurant : un programme capable de cliquer partout ne devrait pas s’installer à l’insu de quiconque. La documentation rappelle aussi que les lectures d’écran et du presse-papiers peuvent contenir des données privées. Un agent qui peut tout cliquer doit tourner sur un compte aux droits limités, avec une trace de ce qu’il fait.

Enfin, l’outil est jeune (première version publiée en février 2026) et évolue vite. Il mérite un essai sur un cas précis avant d’entrer en production.

Une porte vers l’avenir de l’agentique ?

Oui, et pour une raison simple. Les agents IA se sont d’abord installés là où la machine avait déjà une prise : les API, puis les navigateurs. Le poste de travail restait le dernier territoire, celui où vivent encore une bonne partie des logiciels métier. En s’appuyant sur une couche que tous les systèmes fournissent déjà, agent-desktop donne aux agents un accès propre à ce territoire, sans demander aux éditeurs de rien changer.

Ce qui se dessine, c’est un agent qui travaille sur le même poste que vous, en arrière-plan, sans vous prendre la souris. Pas un remplaçant, plutôt un collègue à qui l’on confie la saisie et les vérifications pendant qu’on garde ce qui demande du jugement. Plusieurs agents pourraient un jour se partager une même machine ; l’outil gère déjà des sessions, mais sa documentation ne dit pas encore comment deux agents qui touchent la même application se coordonnent. C’est l’un des chantiers à suivre.

Pour une entreprise, la question n’est donc pas « faut-il un agent sur chaque poste ? », mais « quels allers-retours entre logiciels coûtent le plus de temps à l’équipe, et lesquels n’ont pas d’autre porte d’entrée que l’écran ? ». C’est précisément ce que nous regardons lors d’un audit : quels outils ont une API, lesquels ne s’automatisent que par l’écran, et si l’agent vaut son coût.