Un outil qui parcourt 19 forums, rassemble les annonces et les publie au bon endroit
Rassemble automatiquement les offres d'emploi dispersées sur plusieurs forums et les publie sur le site de l'entreprise dans des catégories définies. L'écran garde la trace du nombre d'annonces récupérées sur chaque forum.
Agrégation des annonces
Avant
Vérification manuelle de 19 forums
Après
Collecte des 318 annonces découvertes
Contexte
Les annonces de même nature sont publiées séparément sur plusieurs forums. Pour savoir quoi est paru où, il faut ouvrir chaque forum un par un — avec dix-neuf forums, cela signifie recommencer dix-neuf fois. De nouvelles annonces ne cessent d’apparaître, ce travail ne s’arrête donc jamais.
Ce que nous avons vu sur place
Le problème n’était pas la répétition en soi, mais le fait que l’on ne saurait pas si quelque chose a été manqué. Pendant qu’une personne vérifie les dix-neuf forums l’un après l’autre, sauter un forum ne laisse aucune trace nulle part. Les annonces de ce forum, ce jour-là, n’ont simplement jamais existé.
Le problème défini
Collecter n’est que la moitié du travail. Si où publier n’est pas également décidé, il faut tout re-trier à la main — le travail répétitif n’a pas disparu, il a simplement changé de place. Le périmètre du problème allait de la connexion de la collecte et de l’envoi dans un seul écran jusqu’à rendre visible ce qui a été manqué.
Ce qui a été réalisé
- Collecte par forum — parcourt l’ensemble, ou seulement une catégorie choisie. Les pages de début et de fin peuvent être précisées pour ne récupérer que la plage nécessaire
- Quatre compteurs distincts — le total des forums, les forums terminés, les publications découvertes et la collecte terminée sont comptés séparément. Une seule barre de progression d’ensemble ne peut pas montrer où quelque chose a été manqué
- Nombre par forum — indique combien de publications ont été récupérées sur chaque forum. Si un nombre diffère de l’habitude, on ne revérifie que ce forum
- Envoi dans une catégorie définie — les publications collectées sont déposées dans la catégorie désignée, tout d’un coup ou réparties par catégorie
- Nettoyage des anciennes données — supprime les données de collecte vieilles de plus de dix jours. Les conserver ralentit le système, et garder indéfiniment des données inutilisées est aussi une charge
Résultats
Réalisé et livré en environ deux semaines. En une seule exécution, il parcourt les 19 forums et récupère la totalité des 318 publications découvertes pour les déposer dans les catégories définies.
D’autres travaux réalisés de la même manière sont rassemblés sous collecte de données web.
Sources des faits
Écran d'exécution du système livré