Même si la collecte s'interrompt en cours de route, elle ne repart jamais du début | VROF

Contexte

Les données à récupérer s’étaient accumulées sur plus de cinq ans : des archives hebdomadaires, de la première semaine de 2019 jusqu’à juillet 2024. C’est trop pour une seule passe, et si la collecte s’arrête une fois en cours de route, il faut d’abord retrouver où l’on en était. Un délai était en jeu, le moment comptait.

Ce que nous avons observé sur le terrain

Le problème n’était pas l’outil de collecte, mais la façon d’envoyer les requêtes. Quand on envoie les requêtes en rafale, sans lien avec la vitesse à laquelle un humain lit, les réponses s’interrompent en cours de route et la collecte du jour reste incomplète.

Le problème que nous avons défini

Nous avons remplacé « obtenir vite » par « obtenir jusqu’au bout ». Plutôt que de s’arrêter avec seulement la moitié, mieux vaut prendre plus de temps et recevoir toute la plage : des données avec des manques finiraient de toute façon par devoir être récupérées à nouveau.

La vérification des conditions d’utilisation du site ciblé et des standards d’exclusion des robots est le préalable de ce choix. Tant qu’on n’a pas décidé d’abord si ces données peuvent être récupérées, la conception qui suit n’a aucun sens.

Ce que nous avons construit

Contrôle de l’intervalle des requêtes et des nouvelles tentatives — les requêtes partent espacées, pas en rafale. Ainsi, les cinq années arrivent jusqu’au bout, sans trou au milieu
Collecte découpée par semaine — au lieu de traiter une plage de plus de cinq ans comme un seul bloc, on la divise par semaine. En cas d’échec, seule cette semaine-là doit être récupérée à nouveau
Reprise au point d’interruption — l’endroit où la collecte s’est arrêtée est mémorisé. Une longue collecte ne peut arriver au bout que si elle ne recommence jamais depuis le début
Affichage du temps restant — la progression et le temps restant estimé sont affichés à l’écran. Si une tâche de plusieurs heures tourne sans aucune indication, une personne finit par l’arrêter en cours de route

Résultats

Toute la plage a été collectée, sans aucune lacune, de la semaine 1 de 2019 à la semaine 30 de 2024. Depuis, la même structure sert à d’autres collectes.