Comment dimensionner une collecte de recherche Instagram avant de la lancer

Mettre en place un cadre fini de publications

Un Actor est un programme hébergé de collecte de données. Une Task est un préréglage d'entrées enregistré. La version publique 1.0.35 d'Instagram Metrics prend en charge le mode contentUrls, avec des startUrls qui contiennent des URL publiques connues de publications ou de Reels, et un plafond total optionnel maxItems. Pour le premier contrôle, remplacez l'échantillon de la Task par une seule URL de contenu connue et visée, le mode contentUrls et maxItems 1, à la place du préréglage enregistré maxItems 100. N'ajoutez pas un paramètre maxItemsPerProfile inventé. La découverte de profils est un mode distinct ; son pilote source actuel a été bloqué et n'est pas accepté.

Les champs natifs pertinents sont inputUrl, postUrl, postId, shortCode, mediaType, publishedAt, profileId, profileUrl, likes, comments, views, plays, postMetricStatus, status, statusReason et scrapedAt. La nouvelle tentative directe actuellement acceptée, sur un Reel connu, a renvoyé une identité et une date concordantes, ainsi que les likes, comments et views publics avec le statut de métrique ; plays valait null. Le champ natif postMetricStatus sépare la disponibilité des métriques et leur précision.

Les éléments OUTPUT providedInputs, contentUrls, profileUrls, inputUrls, maxItems, resolvedUrls, metricRows, noPublicMetricRows, blockedRows, failedRows, invalidRows, unsupportedRows, statusCounts et stopReason relèvent de la comptabilité de collecte. Ils ne constituent pas un registre de projet prévu, utilisable ou facturé.

Calculer le volume prévu

1. Définissez l'unité et les champs publics nécessaires. Un modèle au niveau de l'entreprise, une description au niveau de la publication et une étude des changements répétés exigent des cadres différents. Ne transformez pas des nombres supposés de profils ou de publications en disponibilité observée, et ne promettez pas un contournement gratuit à grande échelle.
2. Écrivez la règle de cadre et d'inclusion, ainsi que la façon dont les URL publiques connues de profils ou de publications ont été obtenues. La voie acceptée part d'URL de publications préconfirmées. Elle ne peut pas découvrir des millions de profils d'entreprises seulement supposés. Si aucun cadre valide n'existe, obtenir un jeu de données existant approprié et autorisé, ou changer la question de recherche, est un préalable.
3. Calculez le volume prévu à partir d'hypothèses explicites : profils sélectionnés multipliés par les publications distinctes fournies par profil, multipliés par les bornes d'observation enregistrées. Les observations répétées d'une même publication ne sont pas de nouvelles publications. Tenez compte des publications en double ou partagées au moyen de contrôles d'identité stables. Les contrôles de profils sont des enregistrements d'acquisition distincts.
4. Comparez un périmètre fini déclaré au recensement proposé. Sélectionnez les comptes et les publications selon un plan écrit adapté à la question ; s'il est raisonné ou de commodité, indiquez cette limite. Les lacunes des sources et une visibilité inégale modifient l'éligibilité. Aucune estimation de population ne découle du seul fait de réduire le nombre de lignes.
5. Choisissez une seule borne ou un calendrier prospectif répété. L'Actor actuel fournit des observations publiques actuelles, et non des comptages passés. Trois bornes futures triplent les observations de métriques prévues pour le même cadre de publications sélectionné. Les résultats sources manquants restent manquants, et non égaux à zéro. Une étude qui exige des historiques mensuels passés a besoin d'un historique enregistré ou d'une source existante appropriée, et non d'un complément rétrospectif fabriqué.
6. Vérifiez les règles actuelles de prix et de facturation, et fixez une limite finie de frais par exécution dans les réglages d'exécution, lorsque ces réglages le permettent. Un plafond de lignes et un plafond de frais sont des contrôles différents. Incluez dans le budget les événements de démarrage et de résultat qui sont documentés, ainsi que tout usage ou stockage facturé séparément. Aucun tarif général ni aucun prix de détail réel n'est supposé ici.
7. Utilisez le pilote sur une seule publication connue pour vérifier les champs requis, l'identité et le statut de la source, ainsi que la précision des comptages, avant toute extension. Séparez le temps de traitement des délais qui viennent de la source. Un résultat rapide n'établit pas un débit linéaire sur des millions d'entrées, ni la disponibilité future de la source.
8. Tenez un tableau qui compare le plan et le reçu. Les observations prévues décrivent le travail voulu ; les entrées tentées décrivent l'exécution ; les enregistrements sauvegardés comprennent ce qui a atteint le stockage ; les enregistrements utilisables satisfont la règle des champs ; les événements facturables viennent de la définition réelle des événements sur le reçu de facturation. Ne supposez pas que sauvegardé égale utilisable égale facturé. Si le périmètre nécessaire dépasse le financement, cherchez un jeu de données approprié ou resserrez la question.

Construire le registre et le budget du projet

Cette section utilise une fiction originale comme exemple pédagogique.

Pour l'illustration historique d'hypothèses sur la source, prenez 1 000 000 entreprises multipliées par 60 % disposant de profils, puis multipliées par 60 publications, ce qui donne 36 000 000 publications. À 10 secondes par publication, cela égale 360 000 000 secondes, soit 4 166,6667 jours à 86 400 secondes par jour. Il s'agit d'une illustration, pour le lecteur, d'hypothèses sur la source, et non d'une disponibilité mesurée, d'un délai de l'Actor ou d'une prévision de durée d'exécution. Une autre hypothèse de 80 % change l'estimation et ne doit pas être combinée avec la première.

Pour l'étude fictive finie originale, prenez 40 profils préconfirmés et 5 identifiants de publication connus et distincts pour chacun, soit 200 publications distinctes au total. Trois bornes prospectives prévues produisent 600 observations de métriques prévues. Quarante contrôles de profils sont des enregistrements distincts. Des identités stables vérifient le caractère distinct. Un cadre raisonné ou de commodité n'est pas une inférence sur une population d'un million d'entreprises.

Ci-dessous figurent le registre de projet en 5 catégories et le tableau de budget en 2 lignes, sous un tarif inventé de 0,002 USD par observation facturable et des frais de démarrage de 0,001 USD par exécution, sur trois exécutions.

Tableau : registre de projet en fiction originale

Trente tentatives n'ont pas produit d'enregistrement sauvegardé, et trente enregistrements sauvegardés n'ont pas satisfait la règle des champs utilisables. Un compteur public de vues manquant reste inconnu, même lorsque likes et comments sont utilisables.

Tableau : lignes de budget en fiction originale

La facturation réelle suit les définitions d'événements et les reçus réels, et non l'hypothèse selon laquelle sauvegardé égale utilisable égale facturé. Un contrôle des frais par exécution n'est pas un plafond de coût pour l'ensemble du projet.