Como verificar as palavras da legenda do TikTok antes da pesquisa

Configuração e controle da transcrição nativa

Um Actor é um programa hospedado que coleta dados da web, e uma Task é uma configuração de entrada salva. A entrada de amostra da Task atual contém um array startUrls com um URL de vídeo de Hank Green `https://www.tiktok.com/@hankgreen1/video/7047596209028074758` e uma lista preferredLanguages vazia `[]`. Substitua essa lista de amostra inteira pelo único endereço público conhecido de vídeo que você pretende usar em startUrls. Use preferredLanguages `["en"]` somente se o seu estudo tiver uma regra de idioma inglês declarada. Use uma lista vazia `[]` para selecionar a primeira faixa pública de legenda em qualquer idioma. Execute primeiro este piloto de um vídeo para verificar se existem legendas públicas na sua fonte alvo. Um erro semântico significa uma mudança de sentido que afeta a codificação do seu estudo.

A compilação pública atual 0.1.36 do TikTok Transcript aceita startUrls com 1 a 100 URLs de vídeos públicos conhecidos, links curtos ou IDs numéricos de vídeo. Ela não pesquisa perfis, palavras-chave nem páginas de som. O campo preferredLanguages seleciona faixas públicas existentes na ordem de preferência. Uma lista vazia usa a primeira faixa pública. Ela não traduz, não transcreve áudio não capturado, não coleta comentários e não infere códigos de conteúdo.

Uma linha do conjunto de dados representa cada entrada enviada, inclusive desfechos de status não faturáveis. Os campos exatos são inputIndex, inputUrl, videoId, videoUrl, authorHandle, durationSeconds, languageCode, text e segments com startSeconds, endSeconds e text, além de status, statusReason, isBillable e scrapedAt. Use os startSeconds e endSeconds retornados diretamente. Preserve os IDs de vídeo como strings. O idioma da legenda pode usar um valor regional como eng-US. Uma transcrição null ou vazia com status de falha não estabelece que o áudio não contém fala.

Os status incluem succeeded, no_public_captions, language_unavailable, duplicate_input, not_tiktok, invalid_input, unsupported_url, video_unavailable, not_public, blocked_or_challenged e falhas de extração ou de legenda. O sucesso exige text não vazio. O valor verdadeiro de isBillable significa um evento de resultado de transcrição nativa bem-sucedido. As outras linhas continuam sendo evidência. O uso da plataforma é separado de um evento de resultado, então não chame a execução inteira de gratuita. Os campos de contabilidade da execução incluem inputsReceived, resultRows, billableTranscriptRows, nonBillableResultRows, duplicateVideosSkipped e statusCounts.

O controle em inglês de um vídeo teve sucesso com o ID de vídeo exato solicitado, text não vazio e doze segmentos no formato temporal conferido. Isso prova um caminho de legenda pública nessa fonte, não em todos os vídeos, nem precisão perfeita das palavras faladas, nem validade da codificação. Comece o seu próprio piloto de um vídeo com preferredLanguages definido como en somente se o inglês for o idioma declarado do seu estudo.

Método completo de auditoria

1. Declare o que o seu estudo precisa das palavras, como uma instrução específica, uma afirmação ou uma negação. Escolha vídeos conhecidos sob uma regra de amostra, um idioma e uma janela de tempo declarados. Legendas ausentes não podem receber uma pontuação de zero erros.
2. Preserve sem alteração o texto nativo da legenda, a marcação temporal, a identidade da fonte e o tempo. Comece de uma faixa succeeded não vazia. Registre languageCode e status. Compare somente um intervalo declarado cujo áudio possa ser revisado com clareza. Esta é uma auditoria de palavras da fala, não a precisão de todo o conteúdo do vídeo.
3. Ouça o áudio do vídeo no intervalo selecionado e escreva uma transcrição de referência humana sem olhar as legendas. Confira de novo qualquer palavra incerta ou peça a um segundo revisor para ouvir também. Se o áudio estiver pouco claro ou inaudível, marque essas palavras e remova-as segundo a sua regra declarada, em vez de adivinhar. Uma transcrição de referência humana é um registro de comparação conferido, mas revisores humanos ainda podem cometer erros.
4. Declare a normalização de texto como mudanças explícitas e padronizadas feitas no seu texto de trabalho antes da pontuação. Converta todo o texto para minúsculas, remova a pontuação padrão e separe as palavras por espaços em tokens de palavras simples. Mantenha números, palavras de negação como not, formas exatas das palavras e palavras de preenchimento como um ou ah no seu texto de trabalho. Não remova terminações de palavras e não reduza as palavras à forma de base do dicionário. Mantenha o texto bruto e o texto de trabalho lado a lado para acompanhar cada mudança.
5. Alinhe as palavras de referência com as palavras da legenda em ordem. Uma substituição é uma palavra alinhada diferente. Uma exclusão é uma palavra de referência ausente nas legendas. Uma inserção é uma palavra da legenda ausente na referência. Registre as linhas alinhadas exatas.
6. Defina N como a contagem de palavras de referência, e S, D e I como as contagens de erros alinhados de substituições, exclusões e inserções. A razão de erro de palavras é igual a abre parêntese S mais D mais I fecha parêntese dividido por N. Multiplique por 100 para obter a porcentagem. N precisa ser positivo. Inserções podem fazer a razão passar de 100 por cento.
7. Para uma amostra combinada, use o total de erros dividido pelo total de palavras de referência para a razão de palavras agrupada. Mantenha também os resultados por vídeo. Mostre separadamente as amostras ausentes ou sem pontuação. Uma amostra de conveniência não pode estabelecer a precisão para todos os vídeos.
8. Acrescente notas de erro semântico para negação, números, nomes, unidades, atribuição de falante ou omissões que afetem o código do estudo. Um erro de uma palavra pode inverter o sentido. Decida se corrige uma cópia separada da análise, exclui ou revisa uma passagem, ou usa codificação manual. Guarde as correções, o tempo, a fonte e a proveniência. Não substitua as legendas brutas.

Exemplos resolvidos e alinhamentos

Toda a pontuação é ficção manual, não uma execução NIST realizada.

Para o alinhamento fictício A, o texto de referência de 5 palavras é "i water the red plant" e o texto da legenda é "i water a red plan".

O alinhamento fictício A contém S igual a 2, D igual a 0 e I igual a 0. A razão de erro de palavras é 2 dividido por 5, o que é igual a 40 por cento.

Para o alinhamento fictício B, o texto de referência de 10 palavras é "we do not add water until the tray is level" e o texto da legenda é "we do add water until the tray is level".

O alinhamento fictício B contém S igual a 0, D igual a 1 e I igual a 0 na palavra not. Cada outra palavra de referência se alinha uma vez. A razão de erro de palavras é 1 dividido por 10, o que é igual a 10 por cento.

Apesar de uma razão de palavras menor, a exclusão inverte a instrução. Registre um erro crítico de negação e mantenha essa passagem marcada para revisão.

A média não ponderada das porcentagens de erro dos vídeos é (40+10)/2=25%. A razão de erro de palavras agrupada nos dois vídeos é (2+1)/(5+10)=3/15=20%. Uma média não ponderada dá 25% porque aplica peso igual a cada vídeo, seja qual for o comprimento. O cálculo agrupado dá 20% porque pondera cada erro pelo total de palavras de referência em toda a amostra.

O exemplo C tem a referência "water" (N igual a 1) e a legenda "please add clean water now", com 0 substituições, 0 exclusões e 4 inserções, o que dá 4 dividido por 1, ou 400 por cento de razão de erro de palavras. Uma linha de legenda com falha tem contagens de erro desconhecidas e permanece sem pontuação, o que é distinto de 0 por cento de erro.