ChronometricaとCheapAPIを比較：返信の取得要件に合うYouTubeコメントスクレイパーは？

確認作業に必要な根拠を選ぶ

トップレベルコメントは、スレッドの起点となるコメントです。返信は、そのスレッド内で返されたコメントです。親コメントは、返信の属する先のコメントを指します。

チュートリアルを評価する際は、この2種類の行がそれぞれ異なる問いへの答えになります。トップレベルコメントの本文からは、視聴者が最初に抱いた疑問が分かる場合があります。返信本文からは、他の視聴者がその疑問にどう答えたかが分かる場合があります。親コメントへのリンクは、この両者のつながりを保ちます。

確認したいことを1文で書きましょう。例えば、「このレッスンに関する質問に対し、視聴者が書いた回答を読みたい」という目的には、返信本文が必要です。「最初の質問を返信数で順位付けしたい」という目的には返信数が必要ですが、返信そのものは不要な場合があります。

ツールで取得できるという理由だけで、余分な本文を集めないでください。行が増えるほど、読む作業も増えます。また、各返信を理解するには、十分なスレッドの文脈が必要です。「それでうまくいきました」のような短い返信は、親コメントがなければ意味をつかみにくいことがあります。

こうした文脈が必要な確認作業に向けて、Chronometricaは返信を別々の行として出力すると記載しています。関連するフィールドには、`parentCommentId`、`isReply`、`replyDepth`、`replyCount`があります。これらのフィールドによって、返信の行と、その返信が属するコメントを区別できます。Chronometricaの公開仕様

Actorは、ホスト環境で動くデータ収集プログラムです。ここでの選択基準は、その出力に何が必要かです。まず必要な根拠を決め、その根拠を出力すると仕様に記載されたActorを選びましょう。

仕様に記載された出力形式を比較する

次の表は、推奨するツールを左右する判断基準に絞って比較しています。

出典：Chronometricaの公開仕様、Chronometricaの入力スキーマ、CheapAPIの公開仕様、CheapAPIの入力スキーマ。

スキーマは、使用できる入力フィールドと、その規則をまとめたものです。製品の設定項目は変わることがあるため、入力を用意する際に確認してください。

上限が異なるだけでは、料金や速度の優劣は分かりません。上限は、各入力の設定でActorが収集できる量を示します。実際の結果は、取得可能な公開コメントや選択した設定にも左右されます。

出力する行の種類が少ないツールが、適切な選択になる場合もあります。最初の質問だけを確認するなら、返信本文を加えても判断の質は上がらず、読む作業だけが増えるかもしれません。スレッド内の回答を評価する必要があるなら、返信数だけでは必要な文言が得られません。

この違いは、製品に関する他の評価項目と分けて考えてください。この比較では、収集速度、費用、収集の網羅性の違いは確認していません。

収集前に上限を個別に設定する

Chronometricaでは、トップレベルコメントの上限を`maxCommentsPerVideo`で設定します。指定できる値は1から1,000です。`includeReplies`がtrueの場合、`maxRepliesPerComment`には1から100の値を指定できます。トップレベルコメントと返信の上限は別々です。Chronometricaの入力スキーマ

この違いは、エクスポートの計画に影響します。返信の取得を有効にしても、トップレベルコメントの上限が総行数の上限になるわけではありません。選択された親コメントごとに、設定した返信上限まで返信の行が加わる可能性があります。

1本の動画で設定上可能な最大行数は、次の式で計算します。

`top-level cap + (top-level cap × reply cap)`

この計算で、2つの設定が許容する最大の出力量を見積もれます。これは上界、つまり指定した条件下での最大値です。実際に返される行数の予測ではありません。

上限は、自分が確認できる量に合わせて設定しましょう。最初の質問をいくつ確認できるか決め、次に各質問の下にある返信をいくつ読む必要があるかを決めます。収集前に両方の数値を記録してください。後で報告する際に説明しやすくなります。

作業を拡大する場合は、各収集時の設定も保存してください。そうしないと、収集上限を増やしただけなのに、出力の増加が議論の増加を示しているように見える可能性があります。設定は、行数を解釈するために必要な根拠の一部です。

関連する公開動画1本から始める

次の入力では、現在の仕様に記載されたフィールドを使っています。返信の取得を有効にし、上限を小さく個別に設定しています。

{
  "startUrls": [
    "https://www.youtube.com/watch?v=dQw4w9WgXcQ"
  ],
  "maxCommentsPerVideo": 2,
  "includeReplies": true,
  "maxRepliesPerComment": 2
}

このURLは入力形式を示すためのものです。目的に合う公開動画のURLに置き換えてください。この例にURLがあることは、その動画のコメントを現在取得できる証拠にはなりません。Chronometricaの入力スキーマ

Chronometricaは、コメントと返信を取得する公開Taskも提供しています。Taskは、保存済みの入力設定です。入力を作る出発点として使い、確認したいことに設定が合うかを確かめてください。コメントと返信をエクスポートするTask

最初の収集の目的は、返されたフィールドで予定した確認作業ができるかを確かめることに絞ります。返信の行を識別できるか、各返信を親コメントと結び付けられるかを確認してください。結び付いた本文を一緒に読み、文脈を十分に把握できるかを確かめましょう。

入力が有効なだけでは、必要な根拠が出力に含まれるとは限りません。動画を追加する前に出力を確認してください。最初の収集を小規模にすると、各レコードを手作業で追えるため、確認が容易になります。

架空の5行の結果を使って確認する

この例は架空のものです。Actorの実行結果、ベンチマーク、顧客の結果ではありません。

確認対象として、トップレベルコメントを2件選びます。1件目からは返信が2件、2件目からは返信が1件収集されています。そのため、エクスポートには次の行が含まれます。

• トップレベルコメントの行が2行。
• 返信の行が3行。
• 合計5行。

読む際は、親コメントにAとBのラベルを付けます。最初の2件の返信をAの下に置き、残りの返信をBの下に置きます。このラベルは例を説明するためだけのもので、出力フィールドとして提案するものではありません。

この架空の結果では、返信が全行数の`3 / 5 × 100 = 60%`を占めます。この割合が表すのは、収集した行だけです。重複を除いた投稿者、動画上の全コメント、全視聴者の割合ではありません。1人が複数の行に当たる投稿を書いている可能性もあります。

トップレベルコメントの上限が2件、親コメントごとの返信上限が2件なら、計算上の最大値は`2 + (2 × 2) = 6`行です。架空の結果は5行です。この上限では6行まで取得できますが、6行の取得が保証されるわけではありません。

ここで、架空の返信の1件がチュートリアル内の回答を訂正しているとします。その返信を読むと、評価が変わる可能性があります。返信数しか含まない親コメントの行では、訂正の文言は分かりません。これが、返信本文を必要とする実務上の理由です。

返信が付いた最初の質問を特定するだけなら、返信数で十分かもしれません。同じ架空のスレッドでも、調査で答えたい問いが異なれば、適切な収集方法も変わります。

この例は、収集件数に明確な説明が必要な理由も示しています。「収集した5行のうち3行が返信」と書けば、この結果を正しく説明できます。「視聴者5人」や「全5件のコメント」と書くと、この例では確認できない事実を主張してしまいます。

小規模に収集して確認する手順

次の手順を使うと、製品の選択から、内容を検証できる結果の取得まで進められます。

1. 読む必要がある内容を定義します。返信を読む必要があるのか、トップレベルの質問だけを評価するのかを書いてください。その本文を使って何を判断するのかも明記します。返信の文言で判断が変わる可能性があるなら、返信本文を要件に含めます。
2. 上限を明示します。トップレベルコメントの上限と、必要に応じて返信の上限を設定します。収集前に、設定上可能な最大値を計算してください。確認作業のメモでは、動画URLの横に上限を記録します。他の人も結果を解釈できるようにするためです。
3. レコード間のリンクを残します。エクスポートには、コメントIDと親コメントへのリンクを保持してください。IDはレコードを識別する値です。親コメントへのリンクは、返信をその返信が属するコメントに結び付けます。これらのフィールドを削除すると、本文は読めても、後でグループにまとめる作業が難しくなることがあります。
4. 行の種類を分けます。トップレベルコメントと返信を、異なる種類のレコードとして読みます。Chronometricaは、関連するフィールドとして`isReply`と`parentCommentId`を記載しています。件数を集計したりグループにまとめたりする前に、返された結果のこれらのフィールドを確認してください。Chronometricaの公開仕様
5. 読みやすいように返信をまとめます。保持したリンクを使い、各返信を親コメントの下に置きます。リンク先を特定できないものも、見える状態で残してください。必要な親コメントがエクスポートにない場合は、どのコメントが文脈を補うのかを推測しないでください。確認が必要なケースとして印を付けます。
6. 収集した各行を1回だけ数えます。トップレベルコメントの行数、返信の行数、その合計を報告します。`replyCount`は、この計算から分けてください。これは件数を表すフィールドであり、収集した本文の行が別途あることを意味しません。
7. 得られた根拠で問いに答えられるかを確認します。収集を拡大する前に、小規模な結果を読んでください。必要な本文とリンクが含まれることを確かめます。トップレベルコメントの本文しか必要ないなら、返信の収集が役立つ根拠を加えるかを再検討します。

この手順で、他の人が内容を確認できる結果が得られます。また、収集方法の選択と、議論に関する結論を分けて扱えます。親コメントの欠落は、文脈の問題として報告すべき事項です。行数が少ないことは、説明すべき収集結果です。どちらも、その動画について根拠のない答えを作る理由にはなりません。

返信数と収集した返信を分けて扱う

よくある集計ミスは、エクスポートにすでに含まれる返信の行数に、親コメントの`replyCount`を加えることです。同じやり取りを2回数えてしまう可能性があります。

2つの指標を分けて扱ってください。1つ目は、実際に収集した返信の行数です。2つ目は、コメントのレコードに保存された返信数です。それぞれの指標に明確な名前を付けます。保存された返信数と、エクスポート内の返信の行数が等しいと決め付けないでください。

収集上限によって、スレッド内の返信数より少ない行しか取得できない場合があります。そのため、結果では、実際に読める本文と、報告できる件数を区別する必要があります。特定の返信に何が書かれているかを述べる根拠になるのは、収集した本文だけです。

不明な値は、そのまま残してください。フィールドが欠けている場合、0に置き換えないでください。0は、数量について特定の事実を示します。値の欠落は、そのフィールドから数量が分からないことを示します。

親コメントへのリンクも同じように慎重に扱ってください。親コメントを特定できない返信は、確認用のグループに入れ、見える状態で残します。本文自体は役立つ場合があります。ただし、そのエクスポートには、文脈を踏まえてスレッドを正しく読み取るために必要な、親コメントとのつながりがすべて示されているわけではありません。