如何移除重複職位刊登並將可能的重新刊登歸組

核心區分與定義

刊登是在特定招聘網站上發布的一則職位帖文。職缺是僱主在現實世界中的一個底層空缺。觀察是在收集時擷取的一次數據讀取。完全複本是同一項觀察被匯入你的檔案兩次。

來源鍵結合平台來源和刊登 ID，例如 `linkedin:L101`。職位 ID 必須嚴格以文字保存。僱主參考是僱主提供的職位代碼；在有提供時，它會在職位描述或僱主頁面公開顯示。僱主可以重用這些公開代碼。覆核組收納附有已記錄理由的可能相符項目。組別是可能相符，不是已確認的空缺。

Actor 是託管的數據收集程式。

招聘網站以不同方式處理帖文。LinkedIn 把重新刊登的已關閉、已過期或已更改職位視為新的刊登實例，見 LinkedIn 重新刊登指南。此政策不能證明 ID 會普遍更改，也不能證明僱主的招聘意向。Indeed 把重複帖文與重新開放的職位分開，見 Indeed 帖文完整性規則。這些規則不能證明所收集的重複刊登屬不當。Google 結構化數據規則界定僱主職位識別碼，並允許多個地點，詳見 Google 職位刊登文件。已核對的 Actor 合約（而非 Google 規則）界定 `jobId` 如何識別招聘網站上的職位帖文。

職位分析員在合併匯出時使用這些規則。讀者詢問 LinkedIn 上反覆重新刊登的職位是否真實空缺，見 LinkedIn 職位重新刊登查詢。外部研究追蹤原始、不重複和重複的帖文，見 Indeed 數據集分析。這些總數是未經核實的外部背景。公開抓取工具把原始記錄擷取到數據集，見 Apify 數據集指南。分析員使用這些工具收集行、移除完全重複項，並將可能的重新刊登歸組。

Task 設定與收集設定

Task 是為 Actor 儲存的起始組態。Task 收集數據。它不分類重新刊登，也不排程執行。將 LinkedIn 職位匯出為 CSV 或 Excel 的 Task 使用 LinkedIn Actor。預設組態要求 25 個職位。Indeed 重新刊登職位證據數據集 Task 使用 Indeed Actor。其預設要求 15 頁共 500 個職位。兩項工具收集公開數據，不使用使用者登入 cookie。

收集測試樣本前先調整設定。設定你的搜尋查詢。將 `maxItems` 設為 3。將 `maxPagesPerSearch` 設為 1。將 `saveOnlyUniqueItems` 保持為 true。在 LinkedIn 上將 `fetchJobDetails` 設為 true，以收集完整描述。檢查傳回記錄上的 `descriptionStatus`。摘要片段不能確立全文相符。

`saveOnlyUniqueItems` 設定會移除單次執行內的重複刊登。它不會跨執行歸組刊登，也不會配對職缺。`maxItems` 設定作為共用的已儲存行上限。執行後覆核 OUTPUT 摘要。檢查 `jobsSaved`、`duplicatesSkipped`、`candidateItemsSeen` 和 `stopReason`。從候選項目減去已儲存職位，不會自動等於重複計數。

抓取工具以 `scrapedAt` 傳回收集時間戳。它以 `postedAtRaw` 傳回原始來源日期文字或相對時間標籤。它透過解析精確的來源日期，或從「6 days ago」這類相對文字推導時間戳，傳回 `postedAt`。保留來源精度，並同時保留兩個欄位。推導值不是精確的發布時間。覆核者從成功保留的觀察推導 `firstSeen` 和 `lastSeen` 值，而不是從內建的已復原歷史推導。收集空隙不能證明職位關閉、重新開放或職缺已填補。

分析員的 10 步方法

1. 保留原始匯出。編輯數據前先儲存未經更改的來源匯出。在工作副本中加入匯入檔名和行號，以便找回原始來源記錄。
2. 組成刊登鍵。結合來源名稱和文字職位 ID，例如 `linkedin:L101`。ID 以文字保存。不要跨招聘網站接合裸 ID，也不要合併空白 ID。
3. 找出複製的觀察。比較來源鍵、`scrapedAt` 和所有保留的來源值，找出完全複本。相等檢查排除匯入檔名、行號和覆核筆記。不同的來源值必須保持為獨立行以供覆核。
4. 保留較後的讀取。保留同一刊登的較後觀察。跨執行保留已更改的職責、職銜、地點和狀態欄位。不要把不同收集時間的欄位合併成一行。
5. 把缺少 ID 的記錄另置。把沒有職位 ID 的記錄移到獨立覆核表。已核對的來源 URL 或可提供身分線索。職銜、公司名稱、城市和空白欄位不能確立自動相符。
6. 建立覆核配對。只在同一已核對僱主內比較刊登。比較職銜、地點、完整職責和收集時間。修剪比較欄中的空格，但保留原始來源文字。保留團隊名稱、職級、地點和僱主參考。共用的標準僱傭文字不能證明刊登身分。不要作出自動配對的聲稱。
7. 比較刊登細節。比較完整職責、僱主參考、團隊、職級、工作類型和地點。同一僱主、職銜和城市可以屬於不同空缺。不同的僱主參考或不同職責支持它們是不同空缺。相符的僱主參考有助覆核，但僱主可以重用代碼。
8. 記錄覆核選擇。把配對標為 `same_listing`、`possible_same_vacancy`、`separate_listing` 或 `unresolved`。記錄證據、理由、覆核者姓名和覆核日期。`possible_repost` 分類需要較後的刊登 ID 和相符的職責。在不同招聘網站上同時發布的帖文是跨來源候選，不是自動的重新刊登。
9. 直接比較組成員。把每個新增成員與主要組參考比較。如果刊登 A 與刊登 B 相符，而刊登 B 與刊登 C 相符，刊登 A 不會自動與刊登 C 相符。把有衝突的刊登分開保留。
10. 分開點算記錄。把原始行、不同觀察、來源刊登鍵和可能覆核組計為各自的數字。沒有固定的時間窗或相似度分數能證明相符。

虛構逐步演算示例：Northshore Tools

所有示例行屬於僱主 Northshore Tools、職銜 Data Engineer、地點 Toronto。所有 ID 都是虛構標籤。僱主參考是覆核者筆記，不是 Actor 的原生欄位。表格顯示來自匯入檔的六項原始觀察。

行 R2 中所有底層保留的來源值與行 R1 相符，包括完整收集時間戳 `2026-10-01T09:00:00Z`。匯入行標籤不在來源值相等範圍內。行 R2 是完全複本。

行 R3 共用來源鍵 `linkedin:L101`，並包含在較後時間 `2026-10-03T09:00:00Z` 收集的相同來源值。它是同一刊登的較後讀取。將行 R3 與行 R1 一併保留。

歸組與計數步驟

• 原始匯入行：6 行。
• 移除完全複本：移除行 R2，因為所有來源值與行 R1 相符。
• 不同觀察：6 - 1 = 5 項有效觀察（R1、R3、R4、R5、R6）。
• 來源刊登鍵：4 個不重複刊登鍵（`linkedin:L101`、`linkedin:L202`、`linkedin:L303`、`indeed:I90`）。
• 可能覆核組：建立了 2 組。G1 組包含 `linkedin:L101`、`linkedin:L202` 和 `indeed:I90`，依據是相符的職責和覆核者筆記參考 NT-20。G2 組包含 `linkedin:L303`，依據是產品團隊職責和覆核者筆記參考 NT-21。

暫定覆核組決定表

已確認的職缺計數仍然未知。可能覆核組不能確認底層空缺的身分或目前是否仍有空缺。兩個暫定覆核組不是兩個已證明的空缺。

可執行的限制與分析界限

全文缺失的刊登保持標為 unresolved，直至人手覆核。當同一 ID 顯示已更改的職責時，在記錄中保留新的觀察。職銜相符但團隊或參考不同時，將刊登分開保留。地點不同時，覆核這些刊登是代表不同空缺，還是一則多地點帖文。

如果來源 URL 在核對期間失敗，記錄一次失敗的檢查。不要假設該職位已關閉或已填補。在筆記中保持有衝突的僱主參考可見。相對時間文字保持原有格式。小型測試執行中的重複計數為零，不能證明較大型執行沒有重複。