Chronometrica ou Pinto Studio pour les transcriptions YouTube par lots

Choisissez la taille de tâche adaptée à votre processus

Un Actor Apify est un programme qui effectue une tâche de collecte de données. Une exécution correspond à un lancement de ce programme. Un jeu de données est l’ensemble enregistré des lignes de résultats.

Pour une longue liste, le nombre d’exécutions influe sur le travail qui entoure la collecte. Votre processus doit lancer les tâches, enregistrer leurs identifiants, vérifier leur état et recueillir leurs résultats. Une entrée par lots permet de gérer plusieurs vidéos dans une seule exécution.

Les unités documentées sont les suivantes :

Sources : documentation de Chronometrica et documentation de Pinto Studio.

Pinto Studio utilise `videoUrl` et `targetLanguage`. Ses segments contiennent `start`, `dur` et `text`. Il prend en charge les vidéos publiques avec sous-titres, y compris les sous-titres automatiques. Les vidéos privées, les vidéos soumises à des restrictions et les vidéos sans sous-titres sortent du périmètre de prise en charge documenté. Documentation de Pinto Studio

Si votre processus suit déjà une tâche distincte pour chaque vidéo, changer cette unité peut ajouter du travail pour peu de bénéfice. Si vous créez un processus autour d’une liste connue, l’entrée par lots de Chronometrica vous offre un moyen direct de regrouper le travail.

Faites ce choix avant de créer le planificateur. Le planificateur est la partie de votre processus qui lance et suit les exécutions. Concevez-le en fonction de l’unité d’entrée retenue. Vérifiez ensuite comment vous enregistrerez les résultats et les échecs.

Définissez la règle sur les sous-titres avant de recueillir le texte

Une vidéo publique ne dispose pas toujours de sous-titres publics utilisables. Chronometrica lit les sous-titres disponibles. Il ne crée pas de transcription par reconnaissance vocale lorsque les sous-titres publics sont absents. Cette limite change le choix si votre projet exige du texte pour chaque vidéo : la seule extraction des sous-titres ne peut pas répondre à cette exigence. Documentation de Chronometrica

La langue constitue un choix distinct. Lorsque vous définissez `preferredLanguages`, Chronometrica exige des sous-titres dans une langue demandée. Si aucune n’est disponible, il enregistre un échec non facturable `LANGUAGE_UNAVAILABLE` dans `OUTPUT`. Il ne renvoie pas une autre langue sans vous en informer. `OUTPUT` est le récapitulatif de l’exécution qui indique les décomptes et les échecs. Schéma d’entrée de Chronometrica

Utilisez cette règle stricte lorsque le jeu de données doit contenir une langue définie. Il est plus facile de rendre compte d’un résultat manquant que d’un texte dans une langue non souhaitée ajouté au jeu de données sans être remarqué.

Avant la collecte, notez les langues autorisées et précisez si vous acceptez à la fois les sous-titres manuels et automatiques. Gardez ces décisions distinctes. Une piste de sous-titres peut respecter votre règle de langue tout en contenant des mots erronés.

Les résultats documentés de Chronometrica comprennent la langue choisie, les langues de sous-titres disponibles et un indicateur qui distingue les sous-titres manuels des sous-titres automatiques. Ces détails vous aident à appliquer vos règles après la collecte. Ils ne prouvent pas que les mots sont corrects. Documentation de Chronometrica

Si l’absence de sous-titres compromet votre étude, décidez à l’avance si un processus distinct de reconnaissance vocale est autorisé. Identifiez clairement toute transcription générée. Les utilisateurs suivants pourront ainsi la distinguer des sous-titres extraits.

Effectuez une petite vérification avant de planifier le traitement de la liste complète

Vous pouvez préparer la majeure partie du processus avant de dépenser de l’argent pour la collecte. Le but est de prouver que vous pouvez établir le résultat de chaque entrée et utiliser le texte renvoyé.

1. Définissez les vidéos et les langues autorisées. Précisez quelles vidéos publiques doivent faire partie de la collecte. Notez vos règles de langue et de sous-titres. Conservez les vidéos exclues dans un registre distinct avec le motif de leur exclusion. Cela évite qu’un écart de décompte ultérieur soit pris pour un échec de collecte.
2. Repérez les vidéos en double avant de diviser la liste. Utilisez l’identifiant vidéo pour identifier chaque vidéo. 2 formes d’URL peuvent désigner la même vidéo. Chronometrica accepte plusieurs formes, notamment les liens vidéo standard, les liens Shorts, les liens courts et les identifiants vidéo bruts. Il traite les vidéos en double 1 seule fois. Nettoyer la liste au préalable facilite la vérification des décomptes prévus. Documentation de Chronometrica
3. Choisissez quelques vidéos publiques pour la première vérification. Incluez des exemples pertinents pour votre projet, comme différentes chaînes ou différents types de sous-titres. Appliquez la règle de langue prévue pour la liste complète. Une vérification avec des paramètres peu stricts ne montrera pas si une règle finale plus stricte répond à vos besoins.
4. Créez des lots de 1 000 entrées au maximum. Comptez les entrées après avoir supprimé les identifiants vidéo en double. Ne modifiez pas la liste d’un lot après le début de son exécution. Si vous la modifiez ensuite, enregistrez la modification comme un nouveau lot. L’exemple public d’extraction de transcriptions YouTube par lots documente la limite des entrées par lots.
5. Conservez un registre des entrées et des exécutions. Utilisez un registre de suivi : un tableau qui suit chaque entrée. Enregistrez l’identifiant vidéo, l’identifiant du lot, l’identifiant de l’exécution, le résultat, l’indicateur de nouvelle tentative, la langue choisie et l’heure d’extraction. Ce sont des colonnes de suivi pour votre processus, et non des champs d’entrée supplémentaires de l’Actor. Laissez les valeurs inconnues vides ou indiquez qu’elles sont inconnues.
6. Consultez les 2 emplacements de résultats. Récupérez les lignes de transcriptions réussies dans le jeu de données. Consultez `OUTPUT` pour les décomptes de l’exécution et les détails des entrées en échec. Activez `includeFailedInputDetails` lorsque vous devez relier les résultats manquants à chaque entrée. Un export du jeu de données ne suffit pas à établir le résultat de chaque vidéo soumise. Documentation de Chronometrica
7. Établissez le résultat de chaque entrée unique avant de charger le texte. Associez les lignes correspondant aux vidéos traitées avec succès aux identifiants vidéo. Associez les échecs aux entrées restantes. Examinez toute entrée dont le résultat est inconnu. Gardez les entrées en double distinctes des vidéos uniques pour ne pas compter un doublon ignoré comme une transcription manquante.
8. Comparez quelques passages aux vidéos. Écoutez l’audio source et comparez les mots et les horodatages. Incluez des noms, des nombres, des termes spécialisés et des passages que vous prévoyez de citer. Enregistrez les problèmes trouvés. Cette vérification indique si les sous-titres conviennent à votre travail. Elle ne produit pas de score général d’exactitude.
9. Gardez les lacunes non résolues visibles. Ne relancez que les entrées dont l’échec est indiqué comme pouvant faire l’objet d’une nouvelle tentative, dans les limites de votre budget et de vos règles sur les sources. L’absence de sous-titres exige une autre décision plutôt que des tentatives répétées. Utilisez un processus distinct de reconnaissance vocale, clairement identifié, uniquement si votre projet autorise les transcriptions générées.

La première vérification doit répondre à 2 questions : pouvez-vous utiliser le texte renvoyé et pouvez-vous expliquer chaque résultat manquant ? Si l’une des réponses reste incertaine, corrigez cette partie du processus avant d’augmenter la taille des lots.

Partez de la structure d’entrée vérifiée

L’exemple suivant correspond au schéma d’entrée public vérifié. La vérification a porté sur les données d’entrée de cet exemple. Il n’a pas été exécuté dans une tâche Actor payante. Remplacez les URL d’exemple par les URL de vos vidéos. La disponibilité des sous-titres peut changer.

{
  "startUrls": [
    "https://www.youtube.com/watch?v=dQw4w9WgXcQ",
    "https://www.youtube.com/watch?v=M7lc1UVf-VE",
    "https://www.youtube.com/watch?v=jNQXAC9IVRw"
  ],
  "preferredLanguages": ["en"],
  "outputFormats": ["json", "text"],
  "includeFailedInputDetails": true
}

`startUrls` contient 3 chaînes de caractères, ce qui reste sous la limite de 1 000 entrées. `preferredLanguages` demande l’anglais. `outputFormats` demande les formats JSON et texte pris en charge. `includeFailedInputDetails` active les détails pour les entrées qui ne renvoient pas de transcription. Schéma d’entrée de Chronometrica

Avec ce réglage de langue, une vidéo sans sous-titres dans la langue demandée entraîne un échec enregistré dans `OUTPUT`. Elle ne produit pas une ligne de transcription vide. Conservez cette distinction lorsque vous chargez les résultats : un texte manquant est une donnée manquante, pas une transcription de 0 mot. Documentation de Chronometrica

Après le traitement du petit échantillon, examinez l’export réel avant de créer un processus d’importation fondé sur sa structure. Vérifiez que votre processus peut lire l’identité de la vidéo, la langue, les segments horodatés, le texte assemblé et l’heure d’extraction. Ces détails de sortie sont documentés, mais votre propre processus de chargement doit conserver ceux dont votre projet a besoin. Documentation de Chronometrica

Pour une explication plus générale de la collecte des sous-titres, consultez le guide sur l’extraction des sous-titres YouTube. Cette comparaison reste centrée sur le choix de la taille des tâches et le traitement des résultats.

Exemple fictif : planifier et vérifier le traitement de 1 100 vidéos uniques

Cet exemple est entièrement fictif. Les nombres d’entrées et les résultats concernant les sous-titres sont inventés pour illustrer la méthode de décision. Ce ne sont ni des résultats de test ni des résultats obtenus par un client.

Une équipe de recherche commence avec 1 200 entrées. Elle repère 100 identifiants vidéo répétés et supprime ces entrées en double. La liste nettoyée contient 1 100 vidéos uniques.

Pour Chronometrica, l’équipe crée 2 lots : 1 de 1 000 entrées et 1 de 100. Le nombre d’exécutions planifiées est :

`ceil(1,100 / 1,000) = 2 runs`

Ici, `ceil` signifie arrondir à l’entier supérieur. Le calcul suit la limite documentée des lots. Exemple de traitement par lots de Chronometrica

Avec l’unité documentée de 1 vidéo par exécution de Pinto Studio, la même liste exige 1 100 exécutions planifiées. Documentation de Pinto Studio

Cette différence concerne le nombre de tâches Actor lancées par le processus. Elle ne compare ni les requêtes réseau, ni le temps de calcul, ni le coût total, ni le taux de réussite. Les 2 processus doivent toujours traiter chaque vidéo.

Supposons maintenant que 900 vidéos disposent de sous-titres dans la langue demandée et que 200 n’en disposent pas. Dans ce cas fictif, voici la répartition attendue des entrées de Chronometrica sur l’ensemble des 2 exécutions :

`1,100 unique inputs = 900 successful transcript rows + 200 failed inputs`

L’équipe lit les lignes correspondant aux vidéos traitées avec succès dans les jeux de données et les détails des entrées en échec dans les 2 récapitulatifs `OUTPUT`. Elle met ensuite à jour son registre de suivi pour que chaque vidéo unique ait un résultat connu. Cette méthode utilise les enregistrements de résultats et d’échecs documentés de Chronometrica. Documentation de Chronometrica

La proportion fictive de vidéos avec les sous-titres demandés est :

`900 / 1,100 × 100 = 81.82%`

Ce pourcentage décrit la collecte inventée. Ce n’est ni un taux de réussite observé du produit ni un score d’exactitude.

L’équipe conserve les 200 lacunes dans son registre de collecte. Elle ne les remplace pas par du texte vide et ne les traite pas comme des vidéos sans paroles. Elle conserve aussi les 100 entrées en double supprimées. Elle peut ainsi expliquer le passage de 1 200 entrées initiales à 1 100 vidéos uniques et à 900 lignes de transcriptions.

Vérifiez le jeu de données avant d’augmenter la charge de travail

Un grand jeu de données peut masquer des résultats manquants. Commencez chaque examen par les décomptes, puis vérifiez le contenu.

Le récapitulatif `OUTPUT` de Chronometrica indique les entrées reçues, les vidéos uniques traitées, les lignes correspondant aux vidéos traitées avec succès, les doublons ignorés, les entrées indisponibles ou non prises en charge et les décomptes par code d’erreur. Des détails facultatifs aident à retrouver les entrées qui n’ont produit aucune transcription. Utilisez ces enregistrements pour expliquer le nombre de résultats. Documentation de Chronometrica

Ne supposez pas que chaque décompte du récapitulatif représente un groupe distinct. Utilisez le registre de suivi des entrées pour attribuer à chaque vidéo unique 1 seul résultat actuel. Conservez les codes d’erreur comme motifs de ces résultats, sans les compter comme des vidéos supplémentaires.

Examinez ensuite la qualité du texte. Une longue transcription peut contenir des mots erronés. Un horodatage peut être présent mais mal aligné. Vérifiez les passages dans la source avant de citer le texte, de comparer des termes ou d’affirmer ce qu’une personne a dit. Lorsqu’une valeur est inconnue, conservez cette incertitude.

Une demande publique sur DataHoarder concernant de grandes quantités de transcriptions YouTube décrit un besoin d’environ 500 000 transcriptions. Elle exprime des préoccupations sur les limites des lots, le coût et les blocages par la source. Cela montre pourquoi la planification compte. Cela ne prouve pas que l’un ou l’autre Actor peut mener à bien une collecte de cette taille de manière fiable.

N’augmentez le volume qu’après avoir établi le résultat de chaque entrée d’une petite collecte et compris ses lacunes. Fixez une limite de dépenses pour l’étape suivante. Cette comparaison ne prouve aucun avantage tarifaire et n’établit aucun délai de réalisation.

Si vous devez encore trouver des vidéos, utilisez le guide distinct pour constituer un corpus de transcriptions YouTube à partir de résultats de recherche. Une fois la liste d’URL établie, revenez aux vérifications des lots et des résultats présentées ici.