Laptop e storyboard per registrazione video di agenti AI tramite Playwright

Shot-scraper 1.10: registrare video di agenti AI con Playwright e YAML

Rilasciato oggi da Simon Willison, shot-scraper 1.10 introduce il comando shot-scraper video: accetta un file storyboard.yml e usa Playwright per registrare filmati di interazioni con applicazioni web. La novità serve a rendere automatica la documentazione visiva del lavoro dei coding agent, colmando la distanza tra ciò che un agente produce e ciò che un umano può verificare senza dover eseguire il codice in prima persona.

Come funziona: uno storyboard YAML per descrivere ogni scena

Il file YAML definisce l’ambiente (server locale, URL, viewport, eventuali cookie di autenticazione) e una sequenza di scene. Ogni scena contiene azioni come click, riempimento di campi, attese su selettori CSS e pause temporizzate. Playwright esegue la routine passo dopo passo e produce un video in formato WebM o MP4. Un esempio concreto, costruito interamente da un agente AI, mostra la creazione di una tabella in Datasette a partire da dati CSV incollati: il filmato cattura ogni click e ogni conferma, inclusi i messaggi di anteprima e inserimento.

Dal prototipo bloccato al rilascio in due giorni grazie a Playwright 1.61.0

L’idea di registrare demo con Playwright risale a un’issue aperta a febbraio 2024, ma per oltre due anni è rimasta bloccata da limitazioni tecniche. I video prodotti da Playwright includevano cornici di debug e qualche frame bianco iniziale, difetti accettabili per un test ma non per una demo. Il meccanismo di screencast introdotto in Playwright 1.59 ha offerto un controllo più fine, ma fissava la larghezza a 800px. La svolta è arrivata ieri, 29 giugno 2026, quando il team Playwright ha rilasciato la versione 1.61.0 con la correzione che permette di registrare a qualsiasi risoluzione. Willison ha impiegato meno di quarantott’ore per completare l’implementazione.

Laptop e storyboard per registrazione video di agenti AI tramite Playwright
Ogni scena dello storyboard YAML corrisponde a un fotogramma del video registrato da shot-scraper nel browser.

Il meta-utilizzo: un agente AI ha scritto codice e documentazione

Il codice di shot-scraper video e la sua documentazione sono stati scritti da GPT-5.5 xhigh eseguito in Codex Desktop. Willison ha usato la documentazione generata dall’agente come struttura per rivedere il design, eliminando ridondanze e incongruenze. Il formato YAML stesso è stato in gran parte definito dall’agente, convalidato tramite Pydantic per rendere il design più facile da ispezionare. Il risultato è uno strumento costruito da un agente per essere usato da altri agenti: l’output del comando --help è progettato per contenere informazioni sufficienti a guidare un coding agent, un pattern che Willison paragona a un file SKILL.md incorporato direttamente nello strumento.

Questo cortocircuito tra chi scrive e chi usa il software segna un salto rispetto alla documentazione tradizionale. Non si tratta più di istruzioni pensate solo per sviluppatori umani, ma di un’interfaccia macchina-leggibile che accelera l’automazione della trasparenza: un agente può scrivere il proprio storyboard e registrare la demo del lavoro appena completato, senza intervento manuale.

Per chi sviluppa con coding agent, shot-scraper video riduce l’attrito nel generare prove visive: basta un file YAML — eventualmente scritto dall’agente stesso — per ottenere un filmato condivisibile. Una leva di trasparenza che finora mancava nell’ecosistema degli agenti AI.

Fonti

Francesco Leone
Francesco Leone

Francesco Leone è un esperto in Intelligenza Artificiale con una profonda conoscenza in Machine Learning e Deep Learning. Attraverso la sua esperienza, ha contribuito allo sviluppo di soluzioni innovative in ambito di elaborazione del linguaggio naturale e visione artificiale, mirando a trasformare il modo in cui interagiamo con la tecnologia. Attivo nel settore con pubblicazioni e progetti su https://ital-ia.it/, Francesco si dedica alla ricerca e all'applicazione di algoritmi avanzati per rendere i sistemi più intelligenti e accessibili.

Articoli: 567

Lascia una risposta

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *