
采集设置
打开 Reddit Search Scraper Actor 和 Reddit Brand Mention Snapshot Task。工具输入为 query、可选的 subreddits、maxResults、sort 和 time。当前预设查询使用 `"Brand Name"`、maxResults 100、sort new 和 time month。把该查询换成你自己的相关短语,并从 maxResults 3 开始。MaxResults 是共用上限,不是每个 subreddit 的配额。
数据集的每一行保留这些确切字段:inputQuery、requestedSubreddit、matchedSubreddit、sort、time、rank、postId、canonicalPostUrl、title、body、createdAt、status、statusReason、unavailableFields 和 observedAt。来源 rank 表示顺序,不表示相关性。缺失的正文或上下文保持不确定。
已检查的三行 learnpython 对照达到了其上限。这并不能预测每位读者的运行都会达到上限,也不能验证读者查询的相关性。全局 isComplete 等于 true 表示一种处理结果,而不是完整的来源总体。某一行的 requestedSubreddit 或 matchedSubreddit 可以与摘要中的 subreddit 不同。
输出的 searchResults 条目包含 query、subreddit、status、reason、candidatesFound、rowsSaved、duplicatesSkipped、endReason、source 和 sourceUrl。运行摘要包含 status、statusReason、isComplete、query、searchesPlanned、searchesSucceeded、candidatesFound、usefulRows、rowsSaved、billableRows、freeRows、duplicatesSkipped、stopReason 和 observedAt。该对照的 searchResults[0] 具有 subreddit learnpython、status ok、rowsSaved 3、endReason max_results_reached 以及 source reddit_rss。
完整研究方法
- 在搜索之前定义确切的研究问题和纳入规则。写出你预定的产品或主题以及上下文。表示体育运动或动物的词语需要明确的上下文。
- 保存一条初始的普通或带引号查询,以及 sort、时间窗口和上限。使用一小批,以便检查每一条来源帖子。保持未改动的行以及输入和输出完整。
- 在必要时阅读标题、正文和来源讨论。用明确理由把每条结果标为相关、不相关或不确定。不要假定正文提及你的品牌就是在询问其产品。不要把不可用的文本归类为不相关。
- 列出错误匹配发生的原因。检查含糊的名称、供应商促销、招聘信息、无关用途、错误问题或不可用的上下文。这些原因用来指导更好的查询。
- 一次只修改一个因素。增加一个问题用语,使用更清楚的短语,或把搜索限制在有依据的社区。保留旧范围和新范围以便比较。
- 用同一审阅规则重复一次小测试。分别报告相关计数和不确定计数。在你使用的比率旁边显示全部已采集计数和不确定计数。小样本不是精确的基准。
- 只有在更清楚的查询仍能覆盖你预定的问题类型时,才选择它。收得过窄会藏起其他有用的说法。在需要时测试一条互补短语。
- 保存一份查询测试表,包含输入、范围、来源 ID、标签、理由以及你选定的下一条查询。常规采集和排程以后再做。让改动保持可见。
虚构测试示例
所有查询结果和产品名称都是虚构的。产品 Orbit 是一个项目工具。针对 Orbit 的宽泛查询返回 6 条帖子。两条关于项目设置,两条关于天文学,一条是没有用户问题的供应商促销,一条正文不可用。标签为 2 条相关、3 条不相关、1 条不确定。在全部已采集帖子中,6 条里有 2 条相关,即 33.3%。在 5 条相关性已明确判定为相关或不相关的帖子中,相关占比是 5 条里有 2 条,即 40%。这两个数字都不是对真实工具准确性的主张。
一条针对项目设置的修改后短语得到 4 条帖子。其中有 3 条相关的设置讨论,以及 1 条不确定的无法访问正文。全部已采集帖子中的相关占比是 4 条里有 3 条,即 75%。在相关性已明确判定为相关或不相关的帖子中,相关占比是 3 条里有 3 条,即 100%,并显示 1 条相关性不确定的帖子。建议用一批互补的迁移查询,来检查设置短语漏掉的迁移问题。
下面的查询测试表列出 10 次虚构的查询结果中的帖子出现及其标签。一个来源 ID 出现在两批中;仅就这个重复的来源 ID 而言,它有 2 次帖子出现,但在合并的研究集合里只算作 1 条唯一的来源帖子。
| 批次 | 来源 ID | 所用查询 | 标签 | 理由 |
|---|---|---|---|---|
| 宽泛 | src_01 | Orbit | 相关 | 项目设置讨论 |
| 宽泛 | src_02 | Orbit | 相关 | 项目设置讨论 |
| 宽泛 | src_03 | Orbit | 不相关 | 天文学讨论 |
| 宽泛 | src_04 | Orbit | 不相关 | 天文学讨论 |
| 宽泛 | src_05 | Orbit | 不相关 | 供应商促销 |
| 宽泛 | src_06 | Orbit | 不确定 | 正文不可用 |
| 已修改 | src_02 | "Orbit" project setup | 相关 | 设置问题已解决 |
| 已修改 | src_07 | "Orbit" project setup | 相关 | 设置缺陷修复 |
| 已修改 | src_08 | "Orbit" project setup | 相关 | 设置配置 |
| 已修改 | src_09 | "Orbit" project setup | 不确定 | 正文不可用 |
这些判定为设置问题选择设置短语,把迁移保留为一项需要的范围测试,并让不可用正文保持不确定。随后没有回复或情感输出。
来源和延伸阅读
作者 Chronometrica · 更新日期
返回顶部 ↑

