研究前如何核对 TikTok 字幕用词

原生文稿设置与对照

Actor 是收集网页数据的托管程序，Task 是已保存的输入配置。当前 Task 示例输入包含一个 startUrls 数组，其中有 1 条 Hank Green 视频 URL `https://www.tiktok.com/@hankgreen1/video/7047596209028074758` ，以及一个空的 preferredLanguages 列表 `[]`。请把这整个示例列表替换为你打算使用的那 1 个已知公开视频地址，并写入 startUrls。仅当你的研究有已声明的英语语言规则时，才使用 preferredLanguages `["en"]`。使用空列表 `[]`，以选择任意语言中的第一条公开字幕轨。先运行这一次单视频试点，以验证你的目标来源上存在公开字幕。语义错误是指会影响你的研究编码的意义变化。

TikTok Transcript 当前公开版本 0.1.36 接受的 startUrls 可包含 1 到 100 个已知公开视频 URL、短链接或数字视频 ID。它不搜索个人主页、关键词或声音页面。preferredLanguages 字段按优先顺序选择已有的公开字幕轨。空列表使用第一条公开字幕轨。它不翻译，不转写尚未采集的音频，不收集评论，也不推断内容编码。

每一条已提交的输入对应一行数据集，包括不计费的状态结果。确切字段为 inputIndex、inputUrl、videoId、videoUrl、authorHandle、durationSeconds、languageCode、text，以及包含 startSeconds、endSeconds 和 text 的 segments，另加 status、statusReason、isBillable 和 scrapedAt。请直接使用返回的 startSeconds 和 endSeconds。把视频 ID 保留为字符串。字幕语言可以使用地区值，例如 eng-US。带有失败状态的 null 或空文稿并不等于口播中的静音。

状态包括 succeeded、no_public_captions、language_unavailable、duplicate_input、not_tiktok、invalid_input、unsupported_url、video_unavailable、not_public、blocked_or_challenged，以及提取失败或字幕失败。成功要求 text 非空。isBillable 为 True 表示一次成功的原生文稿结果事件。其余行仍然是证据。平台用量与结果事件是分开的，因此不要把整次运行称为免费。运行核算字段包括 inputsReceived、resultRows、billableTranscriptRows、nonBillableResultRows、duplicateVideosSkipped 和 statusCounts。

这一条英语单视频对照已成功，并返回了所请求的精确视频 ID、非空 text，以及 12 个符合已核对时间结构的 segments。这证明的是该来源上的一条公开字幕路径，而不是所有视频、完美的口播用词准确度或编码有效性。请开始你自己的单视频试点；只有英语是你已声明的研究语言时，才将 preferredLanguages 设为 en。

完整核对方法

1. 先说明你的研究需要从这些词语中得到什么，例如某一条特定指示、某一项主张或某一处否定。在已声明的抽样规则、语言和时间窗口下选择已知视频。缺失的字幕不能得到零错误分。
2. 保持原生字幕文本、时间标记、来源身份和时间不变。从一条成功且非空的字幕轨开始。记录 languageCode 和 status。只比较一段已经说明、且其音频可以清楚复查的区间。这是对语音用词的核对，不是对完整视频内容准确度的核对。
3. 收听所选区间的视频音频，并在不查看字幕的情况下写下人工参照文稿。重新检查任何不确定的词语，或请第二位复查者一同收听。如果音频不清楚或无法听清，请按你已声明的规则标出这些词语并移除它们，不要猜测。人工参照文稿是一份已经核对的比较记录，但人工复查者仍然可能出错。
4. 把文本规范化声明为评分前对工作文本所做的明确且标准化的改动。将全部文本转为小写，去除标准标点，并按空格拆成普通词语单元。在工作文本中保留数字、not 这类否定词、词语的原样形式，以及 um 或 ah 这类填充词。不要去除词尾，也不要把词语转换成词典中的词根形式。将原始文本与工作文本并排保留，以便追踪每一处改动。
5. 按顺序将参照词语与字幕词语对齐。替换是指对齐位置上的词语不同。删除是指参照中有而字幕中没有的词语。插入是指字幕中有而参照中没有的词语。记录确切的对齐行。
6. 将 N 定义为参照词语数，将 S、D 和 I 定义为替换、删除和插入的对齐错误数。词语错误比等于（S 加 D 加 I）除以 N。乘以 100 得到百分比。N 必须为正数。插入可以使该比值超过 100%。
7. 对于合并样本，用总错误数除以总参照词语数，得到汇总词语比。同时保留每个视频的结果。把缺失或未评分的样本分开显示。方便样本不能确立所有视频的准确度。
8. 为否定、数字、名称、单位、说话人归属，或影响研究编码的遗漏添加语义错误笔记。一个词语的错误就可能颠倒意义。决定是修正一份单独的分析副本、排除或复查一段文字，还是使用人工编码。保留修正、时间、来源和出处。不要覆盖原始字幕。

演算示例与对齐

全部评分都是人工虚构的，并不是一次已经执行的 NIST 运行。

在虚构对齐 A 中，5 个词的参照文本是 "i water the red plant"，字幕文本是 "i water a red plan"。

虚构对齐 A 中，S 等于 2，D 等于 0，I 等于 0。词语错误比是 2 除以 5，等于 40%。

在虚构对齐 B 中，10 个词的参照文本是 "we do not add water until the tray is level"，字幕文本是 "we do add water until the tray is level"。

虚构对齐 B 中，S 等于 0，D 等于 1，I 等于 0，错误位于词语 not。每一个其他参照词语都各自对齐一次。词语错误比是 1 除以 10，等于 10%。

尽管词语错误比较低，这一次删除仍然颠倒了该指示。请记录一处关键否定错误，并继续将该段标为待复查。

这些视频错误百分比的未加权平均数是 (40+10)/2=25%。跨两段视频的汇总词语错误比是 (2+1)/(5+10)=3/15=20%。未加权平均数得到 25%，因为它不论长短，对每个视频给予相等权重。汇总计算得到 20%，因为它按整个样本的参照词语总数对每一处错误加权。

示例 C 的参照是 "water"（N 等于 1），字幕是 "please add clean water now"，有 0 次替换、0 次删除和 4 次插入，即 4 除以 1，词语错误比为 400%。一条失败的字幕行具有未知的错误计数，并保持未评分，这与 0% 错误不同。