Estudios / PWARB 2026-II / Metodología del crawler

Public Web Agent Readiness Benchmark 2026-II: metodología del crawler

Si llegaste acá desde los logs de tu servidor, tu sitio forma parte de la segunda edición del Public Web Agent Readiness Benchmark, un estudio de Exista.io que mide qué tan preparadas están las empresas B2B de América Latina para ser descubiertas y evaluadas por agentes de IA. El crawler se identifica como:

ExistaPWARB/2.0 (+https://exista.io/estudios/pwarb-metodologia; [email protected])

Qué consulta

Solo archivos públicos que cualquier agente de IA podría leer. No inicia sesión, no completa formularios y no ejecuta acciones en ningún sistema.

Ruta	Para qué
`/robots.txt`	Reglas de acceso; el crawler las respeta
`/`	Página principal, en HTML y pidiendo Markdown (`Accept: text/markdown`)
`/sitemap.xml`, `/llms.txt`	Mapa del sitio y guía para modelos de lenguaje
`/.well-known/agent-card.json`, `/.well-known/agent.json`	Agent Card del protocolo A2A (ruta actual y heredada)
`/.well-known/api-catalog`, `/.well-known/mcp-server-card`, `/.well-known/ucp`	Catálogo de APIs, servidor MCP y comercio agéntico

Si el sitio publica un Agent Card, el crawler también lee la clave pública de su firma y envía una única llamada JSON-RPC a un método inexistente (pwarb/probe) para comprobar que el endpoint declarado responde. Esa llamada no ejecuta nada.

Reglas

Respeta robots.txt: lo bloqueado para ExistaPWARB o para todos los bots no se consulta y se registra como "no accesible".
Hace como máximo unos 15 pedidos por sitio, uno por segundo.
Corre dos veces durante octubre de 2026, con una semana de diferencia.
Los resultados se publican agregados por país y sector. Solo se nombran los diez proveedores de IA del panel y las diez empresas mejor puntuadas.

Excluir tu sitio del estudio. Agregá a tu robots.txt User-agent: ExistaPWARB seguido de Disallow: /, o escribinos a [email protected] y lo sacamos de la muestra y del dataset.

Protocolo y publicación

El protocolo de medición (PARS v2), la muestra y el plan de análisis se pre-registran en Zenodo antes de la primera corrida. El paper, firmado por Gabriela Marco, se publica con los datos y el código abiertos.

In English

ExistaPWARB/2.0 is the research crawler of the Public Web Agent Readiness Benchmark 2026-II by Exista.io. It only reads public files (robots.txt, the home page, sitemap, llms.txt and /.well-known agent-discovery documents), honours robots.txt, makes at most about 15 requests per site at one per second, and never performs actions. To opt out, disallow ExistaPWARB in robots.txt or email [email protected].

← Volver a Estudios