TikTokの字幕欠損が研究サンプルに与える影響を確認する

ツールの制限と標準の出力フィールド

TikTok Transcriptの現在の公開ビルド0.1.36では、startUrlsに、既知の公開動画のURL、短縮リンク、または数値の動画IDを1〜100件指定できます。プロフィール、キーワード、音源ページの検索は行いません。preferredLanguagesは、既存の公開字幕トラックを優先順位に従って選択します。空のリストを指定すると、最初の公開字幕トラックを使用します。翻訳、取得されていない音声の文字起こし、コメントの収集、コンテンツコードの推定は行いません。

送信した入力ごとに、課金対象外のステータス結果も含めて、データセットに1行が作成されます。フィールドの正確な名称は、inputIndex、inputUrl、videoId、videoUrl、authorHandle、durationSeconds、languageCode、text、startSeconds・endSeconds・textを含むsegments、status、statusReason、isBillable、scrapedAtです。動画IDは文字列として保持してください。字幕の言語には、eng-USのように地域を含む値が使われることがあります。失敗ステータスで文字起こしがnullまたは空になっていても、発話がなかったことを意味しません。

ステータスには、succeeded、no_public_captions、language_unavailable、duplicate_input、not_tiktok、invalid_input、unsupported_url、video_unavailable、not_public、blocked_or_challengedのほか、抽出や字幕に関する失敗があります。成功と判定するには、空でないテキストが必要です。isBillableがtrueの場合、標準の文字起こし結果の取得に成功し、結果イベントとして課金対象になったことを示します。ただし、それ以外の行も証拠として残ります。プラットフォームの利用料は結果イベントとは別なので、実行全体を無料と表現しないでください。OUTPUTのフィールドであるinputsReceived、resultRows、billableTranscriptRows、nonBillableResultRows、duplicateVideosSkipped、statusCountsは、実行内容を集計したものであり、サンプルの代表性を示すものではありません。

今回の英語動画1本を使った対照確認では、要求した動画IDと完全に一致する結果、空でないテキスト、確認対象の時刻情報の構造を備えた12個のセグメントが得られ、取得に成功しました。これは、そのソースで公開字幕を取得する経路が機能したことを示します。すべての動画で取得できること、発話を完全に正確に再現できること、分類が妥当であることを示すものではありません。サンプル一覧全体を、確認対象となる既知の動画1本に置き換えてください。英語を対象とする研究の場合に限り、preferredLanguagesを`["en"]`に設定してください。最初の公開字幕トラックを使う場合は、空のままにします。

欠損データによる結果の上下限を求める8つの手順

1. 対象とする既知の動画をすべて含む選定動画の台帳から始めてください。入力ごとの処理結果の証拠を残したまま、既知の動画IDの重複を除きます。計算を始める前に、対象母集団と、各動画に割り当てる1つの二値コンテンツコードを定義してください。
2. 結果は、条件を満たす字幕を検証済み、字幕なし、指定言語なし、一時的な障害またはソースへのアクセス失敗、非対応の入力、重複、検証未完了に分けて管理してください。ソースへのアクセス失敗は、動画に字幕がない証拠にはなりません。実際に無効な入力や対象範囲外の入力は、明示したルールに従って除外してください。対象範囲内の結果の欠損と混在させないでください。
3. Nを選定した動画のうち対象条件を満たす重複のない動画数、Kをコードの判定結果を検証できた動画数、Pを検証済みの該当コードの数、Mを対象条件を満たすものの結果が不明な動画数と定義します。MはNからKを引いた値です。これらの数値が整合することを確認してください。字幕の取得に失敗した場合や字幕が空の場合は、コードを非該当とせず、不明として扱います。検証の誤りによって結果が不明になることもあります。
4. Kがゼロより大きい場合に限り、PをKで割った観測割合を報告してください。これは、取得に成功した部分集合での割合であると明記します。Nがゼロより大きい場合に限り、MをNで割った欠損割合を報告してください。これらは分母が異なります。検証済みの結果がない場合は、ゼロで割ったり、コンテンツについて主張したりしないでください。
5. 選定した対象条件を満たすサンプルについて、不明な結果への仮定に依存しない二値結果の上下限を計算してください。下限P/Nは、不明な結果をすべてコード0とした場合です。上限(P+M)/Nは、不明な結果をすべてコード1とした場合です。これは、この選定サンプルについて論理的に取り得る範囲であり、信頼区間、真である確率、TikTok全体の推定値ではないと明示してください。信頼区間は、モデルのもとでの標本抽出の不確実性を表します。ここでの区間は、不明な結果による範囲を表します。
6. グループ比較を予定している場合は、各グループについて同じ台帳を作り、上下限を計算してください。範囲が重なる場合、不明な結果によって、見かけの大小関係が逆転したり、差がなくなったりする可能性があります。範囲の重なりだけで統計的有意性を検定することはできません。不明な結果に許容されるどの値を割り当てても成立する主張と、仮定に依存する主張を区別して記録してください。
7. ソースの属性が分かっている場合は、明示された言語、クリエイター、期間ごとに字幕の取得可否を調べてください。差は記述的な手がかりであり、欠損が生じる仕組みの証明ではありません。無効な入力を修正し、範囲を定めた手順でソースへのアクセス失敗を調べてください。測定方法を変更し、その変更を記録しない限り、取得できない動画コンテンツを翻訳文や生成テキストで置き換えないでください。
8. 証拠が裏付ける範囲で研究の結論を述べてください。結果の上下限が広すぎて研究上の判断ができない場合は、検証済みの結果を増やすか、問いの範囲を狭めてください。字幕を簡単に取得できる動画だけを選び、そのことを明示せずにデータセットを拡大しないでください。

独自に作成した架空データによる計算例

以下の例はすべて、独自に作成した架空のデータを使用しています。実際のTikTokソースに基づくものではありません。

架空の研究で、対象条件を満たす重複のない動画を20本選定します。12本はコードの判定結果を検証済みで、そのうち7本が該当しています。残る8本の結果は、字幕、アクセス、検証に関するそれぞれ異なる理由で不明です。

観測された割合は7/12=58.3%です。欠損割合は8/20=40%です。選定サンプルの下限は7/20=35%、上限は(7+8)/20=75%です。したがって、35%〜75%は、不明な結果にどのような値を割り当てるかによってコードの該当割合が論理的に取り得る範囲です。精度を推定した区間ではありません。58.3%を、選定サンプル全体について検証された割合として報告しないでください。

架空の台帳とグループ別の上下限

判明分だけではグループAの割合がグループBより高くなりますが、この大小関係は不明な結果の割り当てによって変わります。グループAの不明分を非該当、グループBの不明分を該当とすると、50%対80%になります。逆に割り当てると、70%対20%になります。グループAとグループBの合計が、選定数20本、判明数12本、該当数7本、不明数8本と整合することを確認してください。

欠損理由の台帳

無効な入力、対象範囲外の入力、重複した観測は、対象条件を満たす重複のない動画数Nには含まれません。不明な動画として追加で数えるものではありません。