Chronometrica vs Pinto Studio para transcrições do YouTube em lote

Escolha o tamanho da tarefa adequado ao seu fluxo de trabalho

Um Actor da Apify é um programa que realiza uma tarefa de coleta de dados. Uma execução corresponde a uma vez em que esse programa é executado. Um conjunto de dados é a coleção salva de linhas de resultados.

Para uma lista grande, o número de execuções afeta o trabalho de gestão da coleta. Seu fluxo de trabalho precisa iniciar tarefas, salvar seus identificadores, verificar seus estados e coletar seus resultados. Uma entrada em lote permite gerenciar vários vídeos em uma única execução.

As unidades documentadas são:

Fontes: documentação da Chronometrica e documentação do Pinto Studio.

O Pinto Studio usa `videoUrl` e `targetLanguage`. Seus segmentos contêm `start`, `dur` e `text`. Ele oferece suporte a vídeos públicos com legendas, incluindo legendas automáticas. Vídeos privados, restritos ou sem legendas ficam fora do suporte documentado. Documentação do Pinto Studio

Se seu fluxo de trabalho já acompanha uma tarefa separada para cada vídeo, mudar essa unidade pode gerar trabalho com pouco benefício. Se você está criando um fluxo de trabalho para uma lista já definida, a entrada em lote da Chronometrica oferece uma forma direta de agrupar o trabalho.

Faça essa escolha antes de criar o agendador. O agendador é a parte do fluxo de trabalho que inicia e acompanha as execuções. Desenvolva-o com base na unidade de entrada que você usará. Depois, verifique como salvará os resultados e as falhas.

Defina a regra de legendas antes de coletar o texto

Um vídeo público nem sempre tem legendas públicas utilizáveis. A Chronometrica lê as legendas disponíveis. Ela não cria uma transcrição de fala para texto quando faltam legendas públicas. Esse limite muda a escolha se seu projeto exige texto para todos os vídeos: a extração de legendas, por si só, não atende a esse requisito. Documentação da Chronometrica

O idioma é uma decisão separada. Quando você define `preferredLanguages`, a Chronometrica exige legendas em um dos idiomas solicitados. Se nenhum estiver disponível, ela registra uma falha `LANGUAGE_UNAVAILABLE` sem cobrança em `OUTPUT`. Ela não retorna outro idioma sem avisar. `OUTPUT` é o resumo da execução que informa as contagens e as falhas. Esquema de entrada da Chronometrica

Use essa regra estrita quando o conjunto de dados precisar conter um idioma definido. É mais fácil identificar e explicar um resultado ausente do que um texto em um idioma indesejado que entra no conjunto de dados sem ser percebido.

Antes da coleta, registre os idiomas permitidos e se você aceitará legendas manuais e automáticas. Mantenha essas decisões separadas. Uma faixa de legendas pode atender à sua regra de idioma e ainda conter erros nas palavras.

Os resultados documentados da Chronometrica incluem o idioma selecionado, os idiomas de legendas disponíveis e um indicador que identifica legendas manuais ou automáticas. Esses detalhes ajudam você a aplicar suas regras após a coleta. Eles não comprovam que as palavras estão corretas. Documentação da Chronometrica

Se a falta de legendas inviabilizar seu estudo, decida com antecedência se um processo separado de transcrição de fala para texto será permitido. Identifique claramente todas as transcrições geradas. Assim, quem usar os dados depois poderá distingui-las das legendas extraídas.

Faça uma pequena verificação antes de programar a lista completa

Você pode preparar a maior parte do fluxo de trabalho antes de gastar com a coleta. O objetivo é comprovar que você consegue conferir o resultado de cada entrada e usar o texto retornado.

1. Defina os vídeos e os idiomas permitidos. Especifique quais vídeos públicos fazem parte da coleta. Registre suas regras de idioma e de legendas. Mantenha os vídeos excluídos em um registro separado, com o motivo da exclusão. Isso evita que uma diferença posterior nas contagens pareça uma falha na coleta.
2. Identifique vídeos duplicados antes de dividir a lista. Use o ID do vídeo para identificá-lo. Dois formatos de URL podem apontar para o mesmo vídeo. A Chronometrica aceita vários formatos, incluindo links padrão de vídeos, links de Shorts, links curtos e IDs de vídeo sem URL. Ela processa vídeos duplicados apenas uma vez. Remover as duplicatas antes facilita a conferência das contagens planejadas. Documentação da Chronometrica
3. Escolha alguns vídeos públicos para a primeira verificação. Inclua exemplos relevantes para seu projeto, como canais ou tipos de legenda diferentes. Aplique a regra de idioma que pretende usar na lista completa. Uma verificação com configurações permissivas não mostrará se uma regra final mais estrita atende às suas necessidades.
4. Crie lotes com no máximo 1.000 entradas. Conte as entradas depois de remover os IDs de vídeo duplicados. Não altere a lista do lote após o início de uma execução. Se você a alterar depois, salve a mudança como um novo registro de lote. O exemplo público de extração de transcrições do YouTube em lote documenta o limite de entradas por lote.
5. Salve um registro das entradas e das execuções. Use uma tabela de controle para acompanhar cada entrada. Salve o ID do vídeo, o ID do lote, o ID da execução, o resultado, o indicador de nova tentativa, o idioma selecionado e o horário da coleta. Essas são colunas de acompanhamento do seu fluxo de trabalho, e não campos adicionais de entrada do Actor. Deixe os valores desconhecidos em branco ou marque-os como desconhecidos.
6. Leia os resultados nos dois locais. Colete no conjunto de dados as linhas de transcrição obtidas com sucesso. Leia `OUTPUT` para obter as contagens da execução e os detalhes das entradas com falha. Ative `includeFailedInputDetails` quando precisar associar resultados ausentes às entradas individuais. Uma exportação do conjunto de dados, por si só, não permite conferir o resultado de cada vídeo enviado. Documentação da Chronometrica
7. Confira o resultado de cada entrada única antes de carregar o texto. Associe as linhas obtidas com sucesso aos IDs dos vídeos. Associe as falhas às entradas restantes. Investigue qualquer entrada sem resultado conhecido. Mantenha as entradas duplicadas separadas dos vídeos únicos para não contar uma duplicata ignorada como uma transcrição ausente.
8. Confira um pequeno conjunto de trechos nos vídeos. Ouça o áudio original e compare as palavras e as marcações de tempo. Inclua nomes, números, termos especializados e trechos que pretende citar. Registre os problemas encontrados. Isso verifica se as legendas são adequadas ao seu trabalho; não produz uma pontuação geral de precisão.
9. Mantenha visíveis as lacunas ainda não resolvidas. Só repita o processamento de entradas cujas falhas estejam marcadas como aptas a nova tentativa. Respeite seu orçamento e as regras de uso da fonte. A falta de legendas exige outra decisão, em vez de tentativas repetidas. Use um processo separado e claramente identificado de transcrição de fala para texto somente quando seu projeto permitir transcrições geradas.

A primeira verificação deve responder a 2 perguntas: você consegue usar o texto retornado e consegue explicar cada resultado ausente? Se alguma resposta não estiver clara, corrija essa parte do fluxo de trabalho antes de aumentar o tamanho do lote.

Comece pela estrutura de entrada verificada

O exemplo a seguir corresponde ao esquema público de entrada que foi verificado. Ele foi conferido como entrada, mas não foi executado como uma tarefa paga do Actor. Substitua as URLs do exemplo pelas URLs dos seus vídeos. A disponibilidade das legendas pode mudar.

{
  "startUrls": [
    "https://www.youtube.com/watch?v=dQw4w9WgXcQ",
    "https://www.youtube.com/watch?v=M7lc1UVf-VE",
    "https://www.youtube.com/watch?v=jNQXAC9IVRw"
  ],
  "preferredLanguages": ["en"],
  "outputFormats": ["json", "text"],
  "includeFailedInputDetails": true
}

`startUrls` contém 3 strings, ou cadeias de texto, abaixo do limite de 1.000 entradas. `preferredLanguages` solicita inglês. `outputFormats` solicita os formatos JSON e texto, que são compatíveis. `includeFailedInputDetails` ativa os detalhes das entradas que não retornam transcrições. Esquema de entrada da Chronometrica

Com essa configuração de idioma, um vídeo sem legendas no idioma solicitado se torna uma falha registrada em `OUTPUT`. Ele não se torna uma linha de transcrição vazia. Preserve essa distinção ao carregar os resultados: texto ausente é um dado ausente, e não uma transcrição com 0 palavras. Documentação da Chronometrica

Após a pequena execução, examine a exportação real antes de criar um processo de importação com base nela. Verifique se seu processo consegue ler a identificação do vídeo, o idioma, os segmentos com marcações de tempo, o texto completo com os segmentos unidos e o horário da coleta. Esses detalhes de saída estão documentados, mas seu processo de carregamento precisa preservar aqueles de que seu projeto necessita. Documentação da Chronometrica

Para uma explicação mais ampla sobre a coleta de legendas, consulte extração de legendas do YouTube. Mantenha o foco desta comparação na escolha do tamanho da tarefa e no tratamento dos resultados.

Exemplo fictício: programe e confira 1.100 vídeos únicos

Este exemplo é inteiramente fictício. As contagens de entradas e os resultados das legendas foram inventados para mostrar o método de decisão. Eles não são resultados de testes nem de clientes.

Uma equipe de pesquisa começa com 1.200 entradas. Ela identifica 100 IDs de vídeo repetidos e remove essas entradas repetidas. A lista sem duplicatas contém 1.100 vídeos únicos.

Para a Chronometrica, a equipe cria 2 lotes: um com 1.000 entradas e outro com 100. O número de execuções programadas é:

`ceil(1,100 / 1,000) = 2 runs`

Aqui, `ceil` significa arredondar para cima até o próximo número inteiro. O cálculo segue o limite de lote documentado. Exemplo de lote da Chronometrica

Com a unidade documentada de um vídeo do Pinto Studio, a mesma lista exige 1.100 execuções programadas. Documentação do Pinto Studio

Essa diferença se refere ao número de tarefas do Actor que o fluxo de trabalho inicia. Ela não compara requisições de rede, tempo de processamento, custo total ou taxa de sucesso. Os dois fluxos de trabalho ainda precisam obter um resultado para cada vídeo.

Agora, suponha que 900 vídeos disponibilizem legendas no idioma solicitado e 200 não. Neste caso fictício, a conferência esperada das contagens da Chronometrica nas 2 execuções é:

`1,100 unique inputs = 900 successful transcript rows + 200 failed inputs`

A equipe lê as linhas obtidas com sucesso nos conjuntos de dados e os detalhes das entradas com falha nos 2 resumos `OUTPUT`. Depois, atualiza sua tabela de controle para que cada vídeo único tenha um resultado conhecido. Isso usa os registros documentados de resultados e falhas da Chronometrica. Documentação da Chronometrica

A proporção fictícia de vídeos com legendas disponíveis é:

`900 / 1,100 × 100 = 81.82%`

Essa porcentagem descreve a coleta inventada. Ela não é uma taxa de sucesso observada do produto nem uma pontuação de precisão.

A equipe mantém todas as 200 lacunas no registro da coleta. Ela não as substitui por texto vazio nem as trata como vídeos sem palavras faladas. Também mantém as 100 entradas duplicadas removidas. Assim, consegue explicar a passagem de 1.200 entradas originais para 1.100 vídeos únicos e 900 linhas de transcrição.

Confira o conjunto de dados antes de aumentar o volume de trabalho

Um conjunto de dados grande pode ocultar resultados ausentes. Comece cada revisão pelas contagens e depois confira o conteúdo.

O resumo `OUTPUT` da Chronometrica informa as entradas recebidas, os vídeos únicos processados, as linhas obtidas com sucesso, as duplicatas ignoradas, as entradas indisponíveis ou não compatíveis e as contagens por código de erro. Os detalhes opcionais ajudam a rastrear as entradas que não produziram transcrição. Use esses registros para explicar a contagem de resultados. Documentação da Chronometrica

Não presuma que cada contagem do resumo representa um grupo separado. Use a tabela de controle das entradas para atribuir um único resultado atual a cada vídeo único. Mantenha os códigos de erro como motivos desses resultados, em vez de contá-los como vídeos adicionais.

Depois, revise a qualidade do texto. Uma transcrição longa pode conter palavras erradas. Uma marcação de tempo pode estar presente, mas mal alinhada. Confira os trechos originais antes de citar o texto, comparar termos ou fazer afirmações sobre o que alguém disse. Quando um valor for desconhecido, preserve essa incerteza.

Uma solicitação pública no DataHoarder sobre grandes quantidades de transcrições do YouTube descreve a necessidade de cerca de 500.000 transcrições e preocupações com limites de lote, custo e bloqueios na fonte. Isso mostra por que a programação das execuções é importante. Não comprova que qualquer um dos Actors consiga concluir com confiabilidade uma coleta desse tamanho.

Aumente o volume somente depois de conseguir conferir uma coleta menor e entender suas lacunas. Defina um limite de gastos para a próxima etapa. Esta comparação não comprova uma vantagem de preço nem um prazo de conclusão.

Se você ainda precisa encontrar vídeos, use o guia separado para criar um corpus de transcrições do YouTube a partir de resultados de busca. Quando tiver a lista de URLs, volte às verificações de lotes e resultados apresentadas aqui.