ウェブページから抽出した本文を確認する方法

ウェブページから抽出した本文を確認する

1. エージェントがページから必要とする情報と、その対象外となるページ内の領域を定義します。この方法で確認するのは、抽出の品質です。
2. 候補URLを探す必要がある場合は、公開されているGoogle Search Scraperのビルド1.0.15のActorをTaskとともに使います。保存済みの3クエリのサンプル全体を、目的の検索フレーズ1つに置き換えます。設定は、`queries` ["one intended phrase"]、`engines` ["bing"]、`maxResultsPerExecutedQuery` 2、`country` "US"、`language` "en"、`safeSearch` true、`includeSponsoredResults` falseです。検索候補として標準出力されるフィールドには、`engine`、`executedQuery`、`canonicalUrl`、`resultDomain`、`snippet`、`rank`、`page`、`observedAt`があります。出力の集計レコードには、`queriesRequested`、`searchesCompiled`、`executionsPlanned`、`enginesRequested`、`enginesSuccessful`、`enginesFailed`、`pagesAttempted`、`pagesParsed`、`candidatesSeen`、`resultsSaved`、`engineStatusCounts`、`queryResultCounts`、`stopReason`があります。今回のBingによる2行の対照検証では、docs.python.orgへの直接の候補URLとともに、クエリ、順位1と2、ページ1、観測時刻が返されました。また、解析済みページ数は1、stopReasonは`result_caps_reached`でした。この検証で確認できるのは、範囲を限定した候補の取得だけです。リンク先の取得、テキスト抽出、ほかの検索エンジンや市場は確認していません。ここで検索エンジンの検証結果が確認済みなのはBingだけです。
3. 取得が許可されているリンク先ページを別途取得し、最終URL、取得時刻、コンテンツタイプ、元HTMLを保存します。検索用Actorは、この取得を行いません。保存した入力に、目的の記事本文が実際に含まれていることを確認します。`fetch_failure`、`body_not_in_saved_html`、`extraction_unavailable`は区別して扱ってください。
4. バージョンとオプションを記録したうえで、保存済みHTMLに対して別のテキスト抽出ライブラリを実行します。当初のローカルHTMLテストケースは、インストール済みのバージョン2.0.0で`trafilatura.extract(html, include_comments=False)`を使って検証しました。現在のドキュメントが説明しているのはバージョン2.3.1なので、これらのバージョンに関する事実は分けて扱う必要があります。
5. 出力を採用する前に、元HTMLとの照合項目をいくつか定義します。必要な見出しや文章、否定や条件、単位付きの数値、除外すべきナビゲーション、フッター、コメントなどです。保存済みHTMLと返されたテキストを比較します。単位や否定表現が欠けると、意味が逆転することがあります。
6. 各確認結果をretained、changed、missing、unwanted_noise_present、cannot_resolveのいずれかとして記録し、元HTML内の正確な位置と抽出された該当箇所を添えます。役に立つ場合に限り、確認した事実の数を集計します。
7. 重要な確認項目が不合格になった場合は、内容が損なわれたテキストをエージェントに渡さず、保存済みHTMLと抽出設定を見直します。
8. 抽出について簡潔に記録して保存します。記録には、元URLと取得時の状況、HTMLの参照先またはハッシュ、抽出ツールのバージョンとオプション、出力の参照先、確認表、採否の判断を含めます。

当初の架空テストケース（保存済みHTMLの完全版）：「架空のトレーガイド」の保存済みHTMLには、ナビゲーション、ログイン、フッターの各ブロックと、記事、コメント欄があります。記事には「トレーが水平になるまで水を加えないでください」と「この架空の実演では、水を12ミリリットル使ってください」と書かれています。コメントとメニューには、記事に関係のない語句が含まれています。このテストケースでは、実際のリンク先をオンラインで取得していません。

インストール済みのバージョン2.0.0の抽出ツールを呼び出すと、空ではない本文が得られました。仮に「水を加えてください。12使ってください」のような出力だった場合は、必要な否定と条件が変わり、数値の単位も欠けているため、2つの確認項目が不合格になります。仮に出力が空だった場合は、事実が0件の記事としてではなく、`extraction_unavailable`として記録します。