Por que uma exportação de comentários do Reddit tem menos linhas que a contagem da publicação

Entendendo os limites

As contagens de origem exibidas e as linhas salvas podem ter unidades e escopo diferentes. A composição e a causa de qualquer lacuna não estão provadas.

A entrada exata `postUrls` recebe de 1 a 50 discussões públicas conhecidas. O `maxCommentsPerPost` recebe de 1 a 500 por publicação, com padrão de 100 e um preset atual de Task de 250. Uma execução piloto usa uma discussão pretendida, com um limite pequeno de 3. Você pode revisar o actor principal em Reddit Comments Scraper e o exemplo de task em Reddit Thread and Replies Export.

Cada linha usa campos exatos: `commentId`, `parentId`, `postId`, `body`, `status`, `unavailableFields` e `observedAt`. O status da linha é estritamente `ok`, `deleted` ou `removed`, e não representa estados parciais nem estados de falha da entrada. Texto indisponível e marcadores de posição são preservados como estão e não são palavras analisáveis.

O resumo exato de OUTPUT inclui `commentsSaved`, `duplicatesSkipped`, `hiddenBranchesRemaining`, `completionReason`, `status`, `isComplete` e `inputResults`. Cada item de `inputResults` contém `commentsFound`, `commentsSaved`, `status` e `reason`. A flag `isComplete` é um indicador booleano de processamento, não um status nem uma prova de discussão completa.

No piloto atual, três IDs com body presente foram limitados pelo teto. Os campos `parentId`, `depth` e `hiddenBranchesRemaining` são desconhecidos ou nulos. O status geral e o status por entrada continuam parciais, apesar de `isComplete` ser verdadeiro. Isso não fornece uma árvore de comentários pai ao vivo nem uma prova de cobertura completa. Ramos ausentes são desconhecidos, não zero. Você mesmo precisa contar os IDs de comentário conhecidos que foram verificados, porque não existe um contador nativo de comentários únicos.

As oito ações de auditoria

1. Salve cada URL de destino, o limite de entrada, o horário da coleta, o dataset e a saída. Faça o diagnóstico por discussão, em vez de usar somente a contagem de linhas de toda a execução.
2. Verifique se o destino foi resolvido como uma discussão pública válida. Entradas com falha ou com acesso limitado são coletas desconhecidas, não contagens zero bem-sucedidas. Confirme que uma identidade de publicação retornada corresponde à URL que você solicitou.
3. Verifique o limite numérico e o uso informado ou o estado de parada. Atingir o limite explica uma fronteira da coleta. Uma repetição com teto maior pode expor mais linhas, mas não garante o escopo completo nem remove todos os limites da origem.
4. Inspecione os ramos ocultos restantes e os estados parciais ou de resultado. Ramos não expandidos são uma lacuna explícita. Zero ramos ocultos é apenas uma verificação; isso não prova que todo o texto histórico ou removido estava disponível.
5. Conte as identidades de comentário conhecidas separadamente das observações de linha e das linhas com ID ausente. Revise chaves duplicadas e conflitos. Mantenha as identidades não resolvidas para a contabilidade; não invente IDs de origem.
6. Inspecione estados de texto excluído, removido ou indisponível sem contar marcadores de posição como comentários escritos normais. Uma posição de comentário conhecida com body ausente difere de um ramo desconhecido não coletado. Não some a contagem de ramos ocultos à contagem de comentários visíveis como se as unidades coincidissem.
7. Compare qualquer contagem de origem exibida apenas com a unidade declarada e o momento da observação. Uma razão salva ou de exibição não é recall verificado, a menos que a população completa e a unidade sejam conhecidas. Mantenha a contagem de origem como desconhecida quando ela não estiver disponível.
8. Decida se a amostra observada é aceita, se uma repetição delimitada se justifica ou se o escopo completo não é sustentado. Se o escopo exigido exceder o contrato público atual, informe a lacuna e escolha uma origem autorizada adequada. Não continue a tentar de novo uma origem bloqueada nem afirme que texto excluído pode ser recuperado.

Exemplo resolvido fictício e registro

Todas as discussões, contagens e resultados nesta seção são exemplos fictícios. Eles testam regras de classificação.

Na discussão T1, a contagem exibida é 40, mas as linhas salvas são 3 porque o limite de 3 foi atingido. Restam 2 ramos ocultos, e a entrada está parcial. É incorreto dizer que 5 comentários foram coletados ao somar 3 linhas e 2 ramos.

Na discussão T2, a contagem exibida é 8 e 8 linhas de identidade de comentário são salvas, com 0 ramos ocultos. A discussão terminou dentro do escopo observado. Dessas 8 linhas, 6 têm texto de body, 1 está removida e 1 está excluída. São 8 posições observadas com 6 linhas de texto disponíveis, não 8 comentários de texto utilizáveis. Esses valores de body desconhecidos são posições presentes, não falhas de coleta.

Na discussão T3, a discussão falhou; por isso, a contagem e as linhas são desconhecidas no registro de coleta aceito. Esta é uma coleta desconhecida, não um achado de zero comentários.

As linhas aceitas de T1 e T2 são iguais a 11. A discussão T3 não contribui com um zero estimado. A contagem de texto disponível para T1 não é fornecida; portanto, não derive uma porcentagem combinada de cobertura de texto.

Uma repetição fictícia posterior de T1, com limite de 10, salva 7 IDs conhecidos e 1 ramo oculto. Preserve os dois instantâneos. Se 3 IDs antigos estão entre os 7 IDs novos, use a união de 7, e não 3 mais 7 igual a 10 comentários únicos. Ela permanece parcial, com 1 ramo. O registro final lista, por discussão, o estado do limite, o estado dos ramos, a disponibilidade do texto, o estado da identidade e a próxima decisão. Não é necessária reconstrução, recuperação nem análise da causa de moderação.