El HTML es el código de marcado guardado de la página. Una biblioteca es código que el lector instala por separado para usarlo. Un hash es una huella digital del archivo que permite identificar la copia guardada exacta. Una salida None o vacía indica que la extracción no está disponible. Mantenga separados los estados de la entrada obtenida, del cuerpo de la página y de la extracción; una página de inicio de sesión, un desafío de verificación o una estructura HTML sin contenido no equivalen a haber obtenido el cuerpo de la página, y no se probaron la renderización ni el acceso a contenido oculto.
Verifique el texto principal extraído de una página web
- Defina qué necesita el agente de la página y qué áreas de la página quedan fuera de esa necesidad. Este método se ocupa de la calidad de la extracción.
- Use la compilación pública 1.0.15 del Actor Google Search Scraper con una Task para descubrir URL candidatas si necesita encontrarlas. Reemplace toda la muestra guardada de 3 consultas por una única frase de búsqueda prevista con `queries` ["one intended phrase"], `engines` ["bing"], `maxResultsPerExecutedQuery` 2, `country` "US", `language` "en", `safeSearch` true e `includeSponsoredResults` false. Los campos nativos de los resultados candidatos de búsqueda incluyen `engine`, `executedQuery`, `canonicalUrl`, `resultDomain`, `snippet`, `rank`, `page` y `observedAt`. Los registros agregados de salida incluyen `queriesRequested`, `searchesCompiled`, `executionsPlanned`, `enginesRequested`, `enginesSuccessful`, `enginesFailed`, `pagesAttempted`, `pagesParsed`, `candidatesSeen`, `resultsSaved`, `engineStatusCounts`, `queryResultCounts` y `stopReason`. La prueba de control actual de Bing, con 2 filas, devolvió URL candidatas directas de docs.python.org con la consulta, las posiciones 1 y 2, la página 1 y la hora de observación, además de 1 página analizada y stopReason `result_caps_reached`. Esto solo verifica ese conjunto limitado de candidatos, no la obtención de las páginas de destino, la extracción de texto ni otros motores o mercados. Aquí solo Bing cuenta con evidencia aceptada sobre el motor.
- Obtenga por separado una página de destino cuyo acceso esté permitido y conserve su URL final, la hora de obtención, el tipo de contenido y el HTML de origen. El Actor de búsqueda no obtiene esa página. Verifique que la entrada guardada realmente contenga el texto del artículo previsto. Mantenga separados `fetch_failure`, `body_not_in_saved_html` y `extraction_unavailable`.
- Ejecute una biblioteca de extracción de texto por separado sobre ese HTML guardado y registre su versión y sus opciones. El caso de prueba original con HTML local se probó con la versión instalada 2.0.0 mediante `trafilatura.extract(html, include_comments=False)`. Tenga en cuenta que la documentación actual describe la versión 2.3.1, por lo que estos datos sobre las versiones deben mantenerse separados.
- Defina varias verificaciones del contenido de origen antes de aceptar la salida: un encabezado o pasaje obligatorio, una negación o condición, un número con su unidad y la exclusión de navegación, pie de página o comentarios. Compare el HTML guardado con el texto devuelto. La pérdida de una unidad o la ausencia de una negación pueden invertir el significado.
- Registre cada verificación como retained, changed, missing, unwanted_noise_present o cannot_resolve, junto con la ubicación exacta en la fuente y el pasaje extraído. Cuente los datos verificados solo si resulta útil.
- Si falla una verificación crítica, revise el HTML guardado y la configuración de extracción en lugar de pasarle texto alterado al agente.
- Guarde un registro compacto de la extracción: URL de origen y contexto de obtención, referencia al HTML o su hash, versión y opciones del extractor, referencia a la salida, tabla de verificaciones y decisión.
Caso de prueba original, ficticio y completo, con HTML guardado: el HTML guardado de "Guía ficticia para una bandeja" contiene bloques de navegación, inicio de sesión y pie de página, un artículo y una sección de comentarios. El artículo dice "No agregue agua hasta que la bandeja esté nivelada" y "Use 12 mililitros de agua para esta demostración ficticia". El comentario y el menú contienen palabras sin relación con el artículo. Para este caso de prueba no se obtuvo ninguna página de destino en vivo.
| Elemento que se verifica | Contenido del HTML guardado | Texto extraído | Estado |
|---|---|---|---|
| Encabezado obligatorio | Guía ficticia para una bandeja | Guía ficticia para una bandeja | Conservado |
| Negación / condición | No agregue agua hasta que la bandeja esté nivelada | No agregue agua hasta que la bandeja esté nivelada | Conservadas |
| Número y unidad | 12 mililitros | 12 mililitros | Conservados |
| Marcador de navegación | NavigationMarker | Ausente | Verificación creada por el lector: sin contenido irrelevante no deseado |
| Marcador de pie de página | FooterMarker | Ausente | Verificación creada por el lector: sin contenido irrelevante no deseado |
| Marcador de comentarios | CommentsMarker | Ausente | Verificación creada por el lector: sin contenido irrelevante no deseado |
La llamada al extractor de la versión instalada 2.0.0 produjo texto principal no vacío. Una salida hipotética como "Agregue agua. Use 12" no pasaría 2 verificaciones porque cambiaron la negación y la condición obligatorias y falta la unidad del número. Una salida hipotética vacía se marcaría como `extraction_unavailable`, no como un artículo con 0 datos.
Fuentes y lecturas adicionales
Por Chronometrica · Actualizado
Volver arriba ↑
