Comment vérifier qu’un export d’emplois a des descriptions complètes

Configuration de la collecte

Pour collecter des données d’offres, utilisez l’Actor Indeed Jobs Scraper avec une entrée enregistrée issue du Indeed Jobs Scraper Task Preset. Définissez une requête pertinente et un pays, `maxItems=2`, `maxPagesPerSearch=1` et `saveOnlyUniqueItems=true`. Indeed tente automatiquement d’obtenir les détails complets ; les lecteurs n’ont pas besoin d’un réglage fetchJobDetails. L’enrichissement de l’entreprise via `scrapeCompanyDetails` reste distinct.

Le schéma de sortie comprend `jobId`, `jobUrl`, `title`, `companyName`, `locationRaw`, `scrapedAt`, `descriptionStatus`, `descriptionText`, `descriptionSnippet` et `descriptionHtml`. Ici, `descriptionText` fournit le contenu en texte brut complet lorsqu’il est disponible, `descriptionSnippet` contient le texte d’aperçu, et `descriptionHtml` sert de preuve conservée du format source. Le HTML seul ne prouve ni l’identité de la source ni l’exhaustivité. Vous devez faire correspondre l’identité de la source et inspecter le texte complet réel.

Les valeurs de statut de l’Actor sont strictement `full` et `missing`, en minuscules. Les catégories extrait seul et indisponible fonctionnent comme des groupes de revue pour le lecteur, et non comme des statuts Actor promis. Le statut ou la longueur seuls ne peuvent pas prouver que le texte est complet.

Méthode de collecte

1. Définissez le but de votre collecte. Décidez quelles parties de la source vous sont nécessaires, par exemple les missions et les conditions exigées. Cela détermine si le texte disponible suffit. Un simple comptage de mots ne peut pas le faire.
2. Collectez un petit échantillon de recherche. Conservez l’identité de la source, les champs de texte, le statut, l’heure d’observation et la sortie. Inspectez les lignes enregistrées, les plafonds et les échecs.
3. Constituez trois groupes de travail : candidat au détail complet, extrait seul et indisponible. Si le statut indique full mais que le texte est vide, envoyez la ligne en revue. Si un statut est inconnu, conservez-le et vérifiez au lieu de deviner.
4. Ouvrez le lien exact de l’offre et faites correspondre l’identifiant d’offre de la source, le titre, l’entreprise et le lieu. Confirmez que les missions et les qualifications extraites correspondent à ce poste. Les offres recommandées et les aperçus de recherche peuvent contenir un texte erroné.
5. Comparez les sections source exigées avec le texte collecté. L’absence de sections importantes pour l’analyse définie maintient votre analyse en attente. Conservez `descriptionHtml` comme preuve du format source lorsque c’est utile, mais rappelez-vous que le HTML seul ne prouve ni l’identité ni l’exhaustivité. Enregistrez l’heure de votre contrôle, car la source peut changer après la collecte.
6. Pour les cas d’extrait ou d’indisponibilité, un nouvel essai limité plus tard peut aider si la source devient accessible, mais ne bouclez pas sans fin et ne dépassez pas les limites d’accès. Utilisez la source officielle manuellement si vous le pouvez. Gardez les anciens contrôles et les nouveaux contrôles séparés. Si le texte complet reste absent, excluez cette ligne de votre analyse.
7. Enregistrez un registre de préparation avec la clé d’offre, le statut, les sections exigées, le résultat de correspondance avec la source, la date de contrôle et la décision. L’analyse en aval doit utiliser ce contrôle préalable, et non une colonne fusionnée qui masque les extraits.

Exemple fictif et résultats

Tout le texte source et tous les contrôles de cette section sont inventés. Quatre offres collectées montrent le fonctionnement :

• Le statut de J1 est full. Le texte comprend les missions, le lieu de travail et les règles. L’identifiant d’offre et l’entreprise correspondent à la source. Acceptez cette ligne pour l’analyse définie.
• Le statut de J2 est missing ; la ligne est placée dans le groupe lecteur extrait seul. L’aperçu donne une courte introduction, mais les qualifications complètes manquent. Excluez cette ligne de l’analyse des exigences jusqu’à ce que vous contrôliez le texte complet.
• Le statut de J3 est missing ; la ligne est placée dans le groupe lecteur indisponible. Le texte est null. La source exige un accès qui est indisponible. Laissez-la inconnue.
• Le statut de J4 est full, mais le long texte nomme un titre et une entreprise différents de l’offre demandée. Examinez l’écart. N’acceptez pas la longueur ou le statut comme preuve.

Les lignes que l’Actor a marquées full sont 2 sur 4, soit 50 pour cent. Les lignes prêtes après contrôle de la source sont 1 sur 4, soit 25 pour cent. Ces nombres mesurent des étapes différentes dans ce cas de test source inventé. Aucune de ces deux affirmations n’est un score d’exactitude pour l’ensemble de l’Actor.

Si un contrôle ultérieur obtient le détail correct pour J2, ajoutez ce nouveau contrôle. La part des offres prêtes pour l’analyse devient 2 sur 4, soit 50 pour cent, pour ce même exemple de quatre offres. Les anciens états historiques restent intacts. Ne réécrivez pas le fichier initial et ne présentez pas la valeur ultérieure comme la couverture initiale. L’artefact final est un registre de quatre lignes pour le statut et la correspondance source, où seule J1 est initialement validée pour l’analyse des exigences.