Como medir tendências de contratação com instantâneos repetidos de vagas

Configuração da coleta

Abra o Indeed Jobs Scraper Actor e a Indeed Job Market Data Task. O preset atual usa 5 consultas, fonte US, últimos 7 dias, máximo de itens 500, máximo de páginas 15, ordenação por data e salvar somente itens únicos true. Comece um piloto com 1 consulta e limites pequenos. O máximo de itens é compartilhado. País, consulta e lote são evidência de entrada, não campos de linha prometidos. Conserve jobId, jobUrl, title, companyName, locationRaw, postedAt, postedAtRaw e scrapedAt. IDs ausentes continuam sem resolução fora das contagens de IDs distintos. A unicidade dentro da execução não remove duplicatas das observações entre dias. Inspecione as linhas salvas da saída, as duplicatas, os filtros e a evidência de parada. O controle atual verificou o formato da fonte, não uma referência de tendência de vários dias. Preserve os estados de dia com falha desconhecido e de dia com teto limitado.

A task usa os valores de entrada salvos `country` definido como `us`, `searchTerm` com 5 consultas, `postedWithinDays` definido como `7`, `maxItems` definido como `500`, `maxPagesPerSearch` definido como `15`, `sortBy` definido como `date` e `saveOnlyUniqueItems` definido como `true`. Um piloto substitui `searchTerm` por 1 consulta e define limites pequenos de linhas e de páginas. O limite `maxItems` é compartilhado entre as palavras-chave. O controle atual de 2 linhas e 1 lote verifica o formato da fonte, não uma tendência ao vivo de vários dias.

O método do painel de coleta

1. Defina um painel de coleta. Use as mesmas consultas de cargo, o mesmo país de fonte, o mesmo site, os mesmos locais, os mesmos filtros, a mesma política de ordenação, os mesmos tetos de linhas ou de páginas e os mesmos horários previstos de verificação. Se você mudar a pergunta, comece um novo painel de comparação ou rotule a mudança de escopo. Não estenda em silêncio a série antiga.
2. Salve um manifesto da execução. Registre o ID do lote, o horário previsto, o horário real, os valores de entrada, o resultado da execução, as linhas salvas, o estado de parada e os avisos. Dias de coleta ausentes ou com falha permanecem ausentes, não zero.
3. Mantenha as observações identificadas por lote, fonte e ID da vaga. Em cada lote aceito, conte cada anúncio da fonte 1 vez. Entre lotes, preserve cada observação e atualize uma tabela de anúncios vistos pela primeira vez. Não conte automaticamente como idênticas as vagas com o mesmo título.
4. Informe as linhas brutas retornadas, os anúncios distintos observados naquele lote, os IDs vistos pela primeira vez no painel, os IDs vistos antes e os limites da fonte ou da coleta. Visto pela primeira vez hoje significa coletado pela primeira vez pelo seu processo, não necessariamente publicado pela primeira vez pelo empregador.
5. Compare somente escopos e estados de coleta que sustentam a sua pergunta. Uma amostra com teto pode mostrar IDs novos para revisão, mas não pode estabelecer crescimento ou queda do inventário geral. Dias com falha não podem ser usados como dias de mercado baixo.
6. Mostre a série com sinalizadores de ausente ou limitado ao lado dos números. Mantenha uma tabela explicativa que deixe claros o denominador e a unidade. Não ligue uma linha através de um dia desconhecido como se você o tivesse medido.
7. Declare o resultado restrito. Explique o que este painel observado fixo encontrou e quais comparações permanecem desconhecidas. Se você precisar de uma afirmação mais ampla sobre contratação, colete uma amostra mais ampla ou use uma fonte oficial de informação sobre o mercado de trabalho.
8. Entregue a tabela diária do painel, o registro de primeira observação e as notas de cobertura. Este resultado apoia verificações adicionais da fonte e amostragem consistente. Ele não mede contratações concluídas nem a intenção do empregador.

Exemplo fictício e contagens verificadas

Todas as vagas, os horários e os resultados nesta seção são inventados. Um painel fixo usa 1 consulta para o cargo de analista, 1 país de fonte, a mesma política de filtro e verificações diárias previstas às 12:00 UTC.

• O conjunto aceito do caso de teste do Dia 1 tem 4 anúncios distintos: J1, J2, J3 e J4. O número de anúncios vistos pela primeira vez é 4. O número de anúncios vistos antes é 0.
• O conjunto aceito do Dia 2 tem 4 anúncios distintos: J2, J3, J4 e J5. O número de anúncios vistos pela primeira vez é 1, e esse anúncio é J5. O número de anúncios vistos antes é 3. Um total diário idêntico não significa que não há ID novo da fonte.
• A coleta do Dia 3 falhou. Não há conjunto aceito. A contagem observada e a contagem de primeira observação são desconhecidas, não zero. Conserve o último registro aceito do Dia 2.
• O conjunto aceito do Dia 4 tem 4 anúncios distintos: J3, J4, J5 e J6. O número de anúncios vistos pela primeira vez é 1, e esse anúncio é J6. O número de anúncios vistos antes é 3. J6 é observado pela primeira vez no Dia 4, mas pode ter aparecido durante o Dia 3 ausente. Não atribua a criação dele ao Dia 4.
• O conjunto do Dia 5 limitado por teto tem 2 itens salvos distintos: J4 e J7, porque um teto de 2 foi atingido. O número de anúncios vistos pela primeira vez é 1, e esse anúncio é J7. O número de anúncios vistos antes é 1. A contagem menor é causada por um teto ativo alterado, então exclua esse dia de uma afirmação de queda sem ressalva. Registre a mudança de escopo ou use limitado ao lado dele.

A união das observações aceitas contém 7 IDs distintos da fonte, que são J1 a J7. O total de aparições observadas de anúncios é igual a 4 mais 4 mais 4 mais 2, que é 14. As aparições repetidas além da primeira observação de cada chave são iguais a 14 menos 7, que é 7. Essas são observações, não 7 vagas republicadas. As contagens de novos no registro são iguais a 4 mais 1 mais 1 mais 1, que é 7. O Dia 3 fica fora da aritmética porque é desconhecido, não uma medição zero. Não some as contagens diárias distintas de 4, 4, 4 e 2 e chame isso de 14 oportunidades únicas.

A verificação atual em tempo de execução é de 1 lote, não uma referência ao vivo de tendência de vários dias. Os conjuntos aceitos ilustrativos do Dia 1, do Dia 2 e do Dia 4 são completos somente para este painel fictício, não uma garantia real da plataforma.