Uma exportação pública de comentários do LinkedIn representa a discussão completa?

Como entender os limites da coleta

Para avaliar uma exportação com precisão, você precisa entender quatro termos centrais:

• Comentário de nível superior: um comentário direto publicado em um artigo principal ou no feed de atualizações.
• Cadeia de respostas: uma resposta aninhada publicada sob um comentário de nível superior já existente.
• Actor: um programa hospedado de coleta de dados que lê e extrai páginas da web.
• Task: um conjunto salvo de entradas de execução configurado para um Actor de coleta.

Um Actor coleta dados públicos expostos em uma página da web. Se uma plataforma oculta respostas atrás de menus interativos ou exige login em uma conta para mostrar a profundidade completa do tópico, esses itens ocultos ficam fora do escopo de uma exportação pública de nível superior.

As chaves do conjunto de dados incluem postUrl, postUrn, commentId, commentUrl, text, authorUrl e observedAt. Essas chaves servem como evidência das suas linhas. O objeto de saída OUTPUT.inputResults contém campos de resumo para cada item de entrada. Esses campos de resumo são status, statusReason, pageCommentCount, publicRowsOnPage, savedRows, isPublicPageComplete, isComplete e stopReason.

O campo de completude isComplete descreve este resultado específico de exportação, não se todos os limites da Task foram atingidos. O campo isPublicPageComplete descreve a extração das linhas expostas da página, não uma discussão completa da conversa. Valores ausentes permanecem desconhecidos. Se uma linha não tiver commentId, mantenha-a como uma observação separada não resolvida. Nunca faça uma mesclagem com ID em branco.

Método passo a passo para verificar a cobertura da exportação

Siga estes sete passos para avaliar se uma exportação pública de comentários atende às necessidades da sua pesquisa.

1. Nomeie a métrica alvo. Decida se você precisa de linhas de nível superior coletadas, de linhas expostas da página pública, de um tópico completo com respostas ou de uma contagem de pessoas diferentes que comentaram, com cada pessoa contada uma vez.
2. Mantenha os dados de saída agrupados por publicação. Armazene as chaves de resumo de cada publicação junto com as linhas coletadas do conjunto de dados. Não misture métricas de publicações diferentes na mesma execução.
3. Verifique primeiro o status da entrada. Se um estado de entrada mostrar uma falha ou um bloqueio, não o registre como uma publicação com zero comentários. Marque a contagem como desconhecida.
4. Compare as linhas salvas com as regras de parada. Verifique se stopReason é igual a max_comments_reached. Um limite numérico interrompe a coleta mais cedo, mesmo se a página tiver mais comentários visíveis.
5. Compare publicRowsOnPage e isPublicPageComplete com pageCommentCount usando as definições exatas. A completude da página pública descreve a extração das linhas expostas da página de origem. A completude da exportação descreve a coleta resultante. Nenhum dos dois campos converte uma amostra de nível superior em uma árvore completa de respostas.
6. Monte um registro de cobertura. Crie uma tabela com uma linha por publicação. Atribua uma decisão em texto simples a cada item com base no status e nos limites.
7. Selecione uma origem autorizada para tópicos completos. Se o projeto exigir cadeias completas de respostas, use uma integração de conta autorizada ou uma ferramenta oficial de API.

A entrada padrão atual da Task usa collectAllAvailable definido como true, sem limite numérico. Para uma primeira verificação limitada, mude collectAllAvailable para false e defina maxComments como 3. Mantenha includeAuthorDetails definido como false.

Este é um exemplo válido de configuração JSON simples que usa a entrada atual salva da Task a partir de https://www.linkedin.com/posts/timferriss_how-to-become-dramatically-more-productive-activity-7386884213343428608-wrF3. Substitua a string inteira do URL pelo link público conhecido da sua publicação:

{
  "startUrls": [
    "https://www.linkedin.com/posts/timferriss_how-to-become-dramatically-more-productive-activity-7386884213343428608-wrF3"
  ],
  "collectAllAvailable": false,
  "maxComments": 3,
  "includeAuthorDetails": false
}

Uma execução de controle verificada que mostra 3 linhas salvas, 4 linhas públicas expostas, 4 comentários exibidos, isPublicPageComplete igual a true, isComplete igual a false e stopReason igual a max_comments_reached prova apenas uma coleta limitada, não tópicos completos de discussão.

Três valores de origem são inventados para demonstração. Três publicações compartilham o mesmo horário fictício de observação:

• P1: pageCommentCount 12, publicRowsOnPage 6, savedRows 3, isPublicPageComplete true, isComplete false, stopReason max_comments_reached. O status é partial. statusReason diz que o limite numérico interrompeu esta exportação. A decisão é amostra pública de nível superior com limite; um limite maior pode salvar mais linhas expostas, mas não garante nenhuma contagem do que resta. A razão numérica de 3 dividido por 12, de 25 por cento, é apenas uma razão numérica entre unidades diferentes, não 25 por cento de todas as pessoas diferentes, com cada pessoa contada uma vez, nem uma recuperação comprovada da conversa.
• P2: pageCommentCount 20, publicRowsOnPage 5, savedRows 5, isPublicPageComplete true, isComplete true, stopReason é página pública esgotada, em descrição comum para o leitor. O status é ok. statusReason descreve que a extração da página pública se esgotou. A decisão é amostra aceita da página exposta, não uma conversa completa de 20 comentários. A lacuna de 15 itens tem causa não comprovada e não é afirmada como respostas ocultas.
• P3: todas as contagens desconhecidas, resultado da origem failed, status é failed, statusReason é erro de rede. A decisão é coleta desconhecida; nenhum relatório de zero comentários e nenhum denominador.

Registro fictício

O registro separa a lacuna de limite numérico de P1, a lacuna de escopo da origem de P2 e a verificação com falha de P3. O total de linhas salvas aceitas é igual a 3 mais 5, o que dá 8 observações. P3 permanece desconhecido e não é somado como zero. O leitor pode usar 8 linhas observadas em um estudo declarado de amostra pública. Não pode afirmar 8 de 32 pessoas nem 8 de todos os comentários. Se P1 depois salvar 6 linhas com um limite maior, mantenha um segundo instantâneo e deduplique apenas com identidades de comentário verificadas antes de combinar as observações.