Como medir a coocorrência de palavras-chave em uma amostra fornecida de publicações do X

1. Defina o recorte

Anote o termo-alvo e cada termo associado antes de coletar as publicações. Anote as datas de publicação que você pretende incluir. Anote as URLs conhecidas exatas que formam o recorte.

Essa contagem informa quais termos associados aparecem com o termo-alvo nessa amostra fornecida. Ela não constrói um histórico de uso ao longo do tempo. Ela não é um serviço de busca de todas as publicações do X.

Registre essas escolhas primeiro. Se você escolher os termos associados depois de ver as palavras, poderá favorecer um padrão que já percebeu.

2. Colete publicações públicas conhecidas

Um Actor é um programa hospedado que coleta registros da fonte. Uma Task é uma configuração de entrada salva para um Actor. Uma execução corresponde a uma vez em que o Actor é executado.

Use o Actor X Post Metrics, versão pública 1.0.4. A Task atual é X Post Analytics Snapshot. A Task armazena uma configuração de entrada inicial. Ela não conta os termos por você. Uma Task salva não comprova que a contagem é automática.

Essa versão lê `startUrls`. Cada valor deve ser uma URL conhecida de publicação pública que contenha `/status/`. A lista salva tem 3 URLs de exemplo:

• https://x.com/OpenAI/status/2074907025537224840
• https://x.com/OpenAI/status/2074907027378511884
• https://x.com/OpenAI/status/2074907031862190406

Substitua toda a lista por 1 URL pública com `/status/` que você já conheça. Use essa única URL na primeira execução. Não adicione uma busca. Não solicite um histórico de publicações. Não defina `maxItems`. Esse Actor não retorna um arquivo completo. Adicione mais URLs conhecidas somente depois de inspecionar o primeiro registro.

Cada registro salvo pode conter estes campos:

`text` pode ser null. Outros dados do registro também podem ser null. Null significa que o valor está ausente. Não significa que a contagem é 0.

`postMetricStatus` é separado de `text`. Ele tem uma entrada para cada uma de 6 métricas. As métricas são visualizações, curtidas, respostas, republicações, citações e itens salvos. Cada entrada tem seu próprio estado e sua própria precisão. Precisão significa o grau de exatidão do valor dessa métrica. Não interprete as 6 entradas como 6 níveis de uma única escala. Elas não comprovam que o texto está completo.

OUTPUT fornece evidências sobre a execução. Não é a tabela de termos. Ele apresenta `inputCount`, `datasetRows`, `usefulRows`, `billableRows`, `failedRows`, `statusCounts` e `stopReason`. `inputCount` é a quantidade de URLs que a execução recebeu. `datasetRows` é a quantidade de registros salvos. `usefulRows` é o total de registros úteis da execução. `billableRows` é o total de registros faturáveis da execução. `failedRows` é o total de registros com falha da execução. `statusCounts` agrupa os registros por estado. `stopReason` informa por que a execução parou. Esses totais não são os campos de cada registro.

Uma leitura verificada de 1 publicação pública conhecida da OpenAI retornou o ID correto da publicação e o ID correto do perfil. Ela retornou a data e a hora de publicação e os contadores atuais. O texto estava presente e não estava em branco. O texto tinha 200 caracteres. Este artigo não reproduz esse texto. O OUTPUT dessa verificação foi `inputCount` 1, `datasetRows` 1, `usefulRows` 1, `billableRows` 1 e `failedRows` 0. `statusCounts` foi ok 1. `stopReason` foi `inputs_exhausted`.

Esse resultado mostra suporte à obtenção de texto para 1 publicação pública conhecida. Ele não comprova o mesmo resultado para todas as URLs. Não comprova que o texto de imagens foi lido. Não comprova que o corpo de uma publicação citada, uma página vinculada ou a fala de um vídeo foram lidos. Trechos ocultos ou restritos precisam de uma verificação separada. Um estado ok não comprova que o texto é suficiente para sua contagem. Um texto de 200 caracteres não comprova que o registro contém a publicação inteira.

Identifique os registros da mesma publicação por `postId` para que cada publicação seja uma unidade. Mantenha `publishedAt` e `observedAt`. Se o ID da publicação estiver ausente, atribua um estado próprio a essa tentativa. Se a fonte falhar, atribua um estado próprio a essa tentativa. Se seu recorte usar datas, um `publishedAt` desconhecido não é uma data conhecida dentro do intervalo. Mantenha essa tentativa fora da contagem limitada por datas até que a data seja conhecida. Não transforme um dado ausente em uma contagem de palavras igual a 0.

3. Decida se o texto está completo

Esta análise usa apenas o texto da publicação. Para cada registro, anote se o texto está completo o suficiente para a contagem. Salve essa anotação.

Não trate um estado ok como prova de texto completo. Não trate `postMetricStatus` como essa prova. Se `text` estiver ausente ou parcial, mantenha a publicação fora do denominador de publicações com texto completo. Adicione uma cópia separada somente depois de verificar essa cópia por conta própria.

Não extraia palavras de uma imagem. Não extraia palavras de uma página vinculada. Não extraia palavras de um vídeo. Mesmo com um estado de sucesso no registro, essa questão sobre o texto pode continuar sem resposta.

O campo `text` contém a redação observada em `observedAt`. Essa redação pode ser diferente de uma redação anterior se a publicação tiver sido editada. Ela também pode omitir um trecho. Se essa diferença alterar sua contagem, mantenha o texto atual separado de qualquer cópia anterior. Não os combine sem registrar essa decisão por escrito.

4. Escreva a regra dos termos antes de contar

Use uma única regra de correspondência literal e registre-a antes do primeiro indicador. Para o exemplo em inglês deste artigo, a regra é fixa.

Ignore a diferença entre maiúsculas e minúsculas. Considere apenas correspondências de palavras inteiras. Uma palavra inteira tem um limite de cada lado ou está no início ou no fim do texto. Um limite é a extremidade de uma palavra. Espaços são limites. Um ponto, uma vírgula ou aspas também são limites. O sinal não faz parte da palavra. Segundo essa regra, os caracteres timer. correspondem ao termo timer.

Não reduza as palavras a radicais. Um radical é uma raiz abreviada. Não conte um sinônimo como o mesmo termo. Mantenha o texto original sem alterações. Uma expressão com 2 ou mais palavras precisa de sua própria regra escrita. Outro sistema de escrita precisa de sua própria regra. Um link ou um nome alternativo precisa de sua própria regra. Teste essa regra no texto original antes de usá-la.

Uma correspondência de palavra inteira não significa que o autor apoia o termo. Ela não comprova qual coisa real a palavra designa.

5. Atribua um indicador a cada publicação elegível

Um indicador binário vale 1 ou 0. Use 1 quando o texto elegível contiver o termo segundo sua regra. Use 0 quando esse texto completo não contiver o termo. Crie 1 indicador por termo para cada publicação elegível distinta.

A publicação é a unidade. Se o termo aparecer 5 vezes em 1 publicação, o indicador continuará sendo 1. Essas repetições descrevem a redação dentro da publicação. Elas não acrescentam publicações. Uma repetição exata da mesma exportação também não acrescenta uma publicação.

Se 2 versões de uma publicação divergirem, escolha a fonte antes de contar. Registre a escolha. Registre qualquer denominador que mudar. Não mantenha as 2 versões como se fossem 2 publicações.

6. Monte a tabela 2 por 2

Escolha 1 termo associado e distribua todas as publicações elegíveis em 4 células. Uma célula é uma das 4 contagens. As células são: ambos os termos, apenas o termo-alvo, apenas o termo associado e nenhum dos termos.

Informe n, a contagem de publicações com o termo-alvo, a contagem de publicações com o termo associado e a contagem conjunta. n é o número de publicações elegíveis.

Use estas fórmulas simples:

proporção condicional = contagem conjunta / contagem de publicações com o termo-alvo

proporção de referência = publicações com o termo associado sem o termo-alvo / publicações sem o termo-alvo

A proporção condicional é a proporção do termo associado entre as publicações com o termo-alvo. A proporção de referência é a proporção do termo associado entre as publicações que não contêm o termo-alvo.

Se a contagem de publicações com o termo-alvo for 0, a proporção condicional será indefinida. Se a quantidade de publicações sem o termo-alvo for 0, a proporção de referência será indefinida. Deixe a proporção em branco. Não preencha com 0. Escrever 0 seria afirmar uma medição de um grupo vazio.

7. Compare as proporções considerando os denominadores

Mostre as 2 frações. Uma proporção condicional alta pode corresponder a uma palavra comum. A proporção de referência mostra essa possibilidade. Muitas correspondências conjuntas não comprovam uma conexão específica.

Esta amostra é pequena, e você escolheu as URLs. Ela não pode representar todo o X. Não pode mostrar causalidade. Não pode mostrar quantas publicações usam o termo no X. Não pode mostrar a velocidade com que um padrão muda. Não pode mostrar significância estatística. Esse nome se refere a um teste formal para avaliar o papel do acaso. Esta tabela não é esse teste.

O autor pode citar um termo sem apoiá-lo. Uma análise de significado é uma tarefa separada. Use as proporções para descrever estas publicações elegíveis.

8. Salve a contagem e declare o limite

Salve os indicadores dos termos, a tabela de pares, a regra escrita e o registro de exclusões. Um leitor só poderá reconstruir cada denominador se esses elementos estiverem salvos.

Se você precisar de todas as publicações correspondentes ao longo do tempo, declare o que esta amostra não permite fazer. Uma lista de URLs conhecidas não é esse conjunto completo. Use a amostra para examinar uma ideia declarada. Depois, melhore o recorte escrito. Não apresente a tabela como uma tendência de todo o X.

Aplique as mesmas regras a uma ficção original

A ficção original começa aqui. As publicações, os IDs e as contagens abaixo são um exemplo didático. Não são um resultado do Actor. Não são OUTPUT. Não estimam a linguagem usada no X. Não mostram causalidade.

Cada publicação tem um ID fictício distinto e texto completo segundo a regra acima. Esses IDs não são IDs reais de publicações do X. A diferença entre maiúsculas e minúsculas não importa, portanto Job corresponde a job. Um ponto final é um limite. Job está no início, portanto o início do texto é um limite. Nenhuma palavra aqui apenas contém retry, timer ou job dentro de uma palavra maior.

As primeiras quatro publicações contêm retry, timer e job. As duas seguintes contêm retry e job, mas não timer. A sétima contém timer e job, mas não retry. As últimas três contêm apenas job.

Some os indicadores. Retry soma 6. Timer soma 5. Job soma 10. Tanto retry quanto timer têm valor 1 em F1, F2, F3 e F4. A contagem conjunta é 4.

A tabela de retry e timer é:

n é 10. A contagem de publicações com o termo-alvo é 6. A contagem de publicações com o termo associado é 5. A contagem conjunta é 4. As 4 células são 4, 2, 1 e 3.

A proporção condicional é 4/6. Essa fração, arredondada, equivale a 66,7 por cento. O denominador é formado pelas 6 publicações da linha retry 1. Não divida 4 pelo total de 10 publicações.

A proporção de referência é 1/4, ou 25 por cento. O denominador é formado pelas 4 publicações da linha retry 0. Nessa linha, apenas F7 contém timer. O total da coluna timer 0 é 5. Esse é um total diferente. Não use 5 como denominador dessa proporção.

A tabela de retry e job usa as mesmas 10 publicações:

A contagem conjunta de retry e job é 6. A proporção condicional é 6/6, ou 100 por cento. A proporção de referência é 4/4, ou 100 por cento. Job tem mais correspondências conjuntas do que timer. Timer tem 4. Job tem 6. As 2 proporções de job são iguais, portanto job não mostra contraste neste exemplo. As células com 0 representam ausências reais em texto completo. Não representam texto ausente.

Outras 2 tentativas de obter dados da fonte não têm texto. Mantenha-as em um registro para o leitor. Não as chame de F11 e F12. Não as coloque na célula de nenhum dos termos. Não copie esse registro para OUTPUT. Não o trate como `failedRows`. Quando o texto está ausente, seu conteúdo é desconhecido. Isso não equivale a um indicador falso. Não é uma falha informada pela própria fonte que você possa deduzir da ausência de uma palavra.

A coleta tem 12 tentativas de obter dados da fonte. Dessas, 10 são publicações elegíveis distintas com texto completo. Em 2 tentativas, o texto está indisponível. O denominador de publicações com texto completo permanece 10.

Se um grupo com o termo-alvo tivesse 0 publicações elegíveis, sua proporção condicional seria indefinida. Se o grupo de referência tivesse 0 publicações, essa proporção também seria indefinida. Escreva indefinida. Não invente 0 por cento.

Compare 4/6 com 1/4 apenas para este exemplo. A diferença descreve essas 10 frases. Ela não descreve todo o X. Não mostra causalidade, significância ou tendência. Job mostra por que a segunda proporção importa. Sua contagem conjunta é maior, mas suas 2 proporções são de 100 por cento.