Pourquoi un export de commentaires Reddit a moins de lignes que le nombre de commentaires affiché sur la publication

Comprendre les limites

Les nombres affichés par la source et les lignes enregistrées peuvent avoir des unités et une portée différentes. La composition et la cause d’un écart ne sont pas prouvées.

L’entrée exacte `postUrls` prend de 1 à 50 fils publics connus. `maxCommentsPerPost` prend de 1 à 500 par publication, avec une valeur par défaut de 100 et un préréglage de Task actuel de 250. Une exécution pilote utilise un fil prévu avec un petit plafond de 3. Vous pouvez consulter l’Actor principal sur Reddit Comments Scraper et l’exemple de Task sur Reddit Thread and Replies Export.

Chaque ligne utilise les champs exacts : `commentId`, `parentId`, `postId`, `body`, `status`, `unavailableFields` et `observedAt`. L’état d’une ligne est strictement `ok`, `deleted` ou `removed`, et ne représente pas les états d’entrée partiels ou en échec. Le texte indisponible et les textes de remplacement sont conservés tels quels et ne sont pas des mots analysables.

Le résumé OUTPUT exact inclut `commentsSaved`, `duplicatesSkipped`, `hiddenBranchesRemaining`, `completionReason`, `status`, `isComplete` et `inputResults`. Chaque élément de `inputResults` contient `commentsFound`, `commentsSaved`, `status` et `reason`. L’indicateur `isComplete` est un indicateur booléen de traitement, et non un état ni une preuve de fil complet.

Dans notre pilote actuel, trois identifiants avec un corps présent ont été plafonnés. Les champs `parentId`, `depth` et `hiddenBranchesRemaining` sont inconnus ou null. L’état global et l’état par entrée restent partiels, bien que `isComplete` soit vrai. Cela ne fournit ni arbre parent en direct ni preuve de couverture complète. Les branches manquantes sont inconnues, et non égales à zéro. Vous devez compter vous-même les identifiants de commentaires connus qui ont été contrôlés, car il n’existe pas de compteur natif de commentaires uniques.

Les huit actions d’audit

1. Enregistrez chaque URL cible, le plafond d’entrée, l’heure de collecte, le dataset et la sortie. Faites le diagnostic par fil, plutôt que d’utiliser seulement le nombre de lignes de toute l’exécution.
2. Vérifiez si la cible a été résolue comme un fil public valide. Les entrées en échec ou à accès limité ont un résultat de collecte inconnu. Ce n’est pas une collecte réussie qui a renvoyé zéro commentaire. Confirmez qu’une identité de publication renvoyée correspond à l’URL demandée.
3. Contrôlez le plafond numérique et son utilisation signalée ou son état d’arrêt. Atteindre le plafond explique une limite de collecte. Une nouvelle collecte avec un plafond de commentaires plus élevé peut exposer davantage de lignes, mais elle ne garantit pas la portée complète et ne supprime pas toutes les limites de la source.
4. Inspectez les branches cachées restantes et les états partiels ou de résultat. Les branches non développées sont un écart explicite. Zéro branche cachée n’est qu’un seul contrôle ; cela ne prouve pas que tout le texte historique ou retiré était disponible.
5. Comptez les identités de commentaires connues séparément des observations de lignes et des lignes dont l’identifiant manque. Examinez les clés en double et les conflits. Conservez les identités non résolues pour la comptabilité ; n’inventez pas d’identifiants sources.
6. Inspectez les états de texte supprimé, retiré ou indisponible sans compter les textes de remplacement comme des commentaires écrits normaux. Une position de commentaire connue avec un corps absent diffère d’une branche inconnue non collectée. N’ajoutez pas le nombre de branches cachées au nombre de commentaires visibles comme si les unités correspondaient.
7. Comparez un nombre affiché par la source seulement avec son unité indiquée et son heure d’observation. Un ratio enregistré ou affiché n’est pas un rappel vérifié, sauf si la population complète et l’unité sont connues. Laissez le nombre source inconnu lorsqu’il n’est pas disponible.
8. Décidez si l’échantillon observé est accepté, si une répétition bornée est justifiée, ou si la portée complète n’est pas étayée. Si la portée requise dépasse le contrat public actuel, signalez l’écart et choisissez une source autorisée appropriée. Ne continuez pas à réessayer une source bloquée et ne prétendez pas que le texte supprimé peut être récupéré.

Exemple résolu fictif et registre

Tous les fils, nombres et résultats de cette section sont des exemples fictifs. Ils testent des règles de classification.

Pour le fil T1, le nombre affiché est 40, mais les lignes enregistrées sont 3 parce que le plafond de 3 a été atteint. Il reste 2 branches cachées, et l’entrée est partielle. Il est faux de dire que 5 commentaires ont été collectés en additionnant 3 lignes et 2 branches.

Pour le fil T2, le nombre affiché est 8 et 8 lignes d’identité de commentaire sont enregistrées avec 0 branche cachée. Le fil s’est terminé dans la portée observée. Parmi ces 8 lignes, 6 ont un texte de corps, 1 est retirée et 1 est supprimée. Il s’agit de 8 positions observées avec 6 lignes de texte disponibles, et non de 8 commentaires de texte utilisables. Ces corps inconnus sont des positions présentes, et non des échecs de collecte.

Pour le fil T3, le fil a échoué, donc le nombre et les lignes sont inconnus dans le registre de collecte accepté. Il s’agit d’une collecte inconnue, et non d’un constat de zéro commentaire.

Les lignes acceptées pour T1 et T2 sont égales à 11. Le résultat inconnu du fil T3 ne doit pas entrer dans le total comme un zéro supposé. Le nombre de textes disponibles pour T1 n’est pas fourni ; ne calculez donc pas un pourcentage combiné de couverture de texte.

Une répétition fictive ultérieure de T1 avec un plafond de 10 enregistre 7 identifiants connus et 1 branche cachée. Conservez les deux instantanés. Si 3 anciens identifiants figurent parmi les 7 nouveaux identifiants, utilisez l’union de 7, et non 3 plus 7 égale 10 commentaires uniques. Le résultat reste partiel avec 1 branche. Le registre final indique, pour chaque fil, l’état du plafond, l’état des branches, la disponibilité du texte, l’état des identités et la décision suivante. Aucune reconstruction, récupération ou analyse de cause de modération n’est nécessaire.