Outil de collecte et de publication d'offres d'emploi
Les offres d'emploi publiées sur de nombreux sites sont collectées automatiquement, puis mises en ligne sur votre site dans les catégories choisies. Le nombre d'annonces récupérées sur chaque forum reste affiché à l'écran.
Centralisation des annonces
Avant
Consultation manuelle de 19 forums
Après
318 annonces trouvées, toutes collectées
Les écrans sont reconstitués avec des données fictives pour protéger les informations clients.
Contexte
Des annonces de même nature paraissent séparément sur plusieurs forums. Pour savoir ce qui a été publié et où, il faut ouvrir chaque forum un par un, soit dix-neuf fois pour dix-neuf forums. Et comme de nouvelles annonces arrivent sans cesse, la tâche ne s’arrête jamais.
Ce que nous avons constaté
Plus que la répétition, le problème était qu’un oubli passe inaperçu. Si un forum est sauté pendant la consultation des dix-neuf, rien n’en garde la trace. Les annonces publiées ce jour-là sur ce forum sont tout simplement perdues.
Le problème
Collecter ne représente que la moitié du travail. Si la destination de publication n’est pas définie, il faut tout reclasser à la main : la tâche répétitive n’a pas disparu, elle s’est simplement déplacée. Il fallait relier collecte et publication dans un même écran, et rendre visibles les éventuels oublis.
Ce que nous avons réalisé
- Collecte par forum — sur l’ensemble des forums ou sur une catégorie choisie. Des pages de début et de fin permettent de ne récupérer que la plage utile
- Quatre compteurs distincts — forums au total, forums traités, annonces trouvées et annonces collectées sont comptés séparément. Une progression globale ne permet pas de voir où se situe un manque
- Volume par forum — le nombre d’annonces récupérées est indiqué pour chaque forum. Si un chiffre s’écarte de l’habitude, il suffit de revérifier ce forum
- Publication dans les catégories choisies — les annonces collectées sont publiées dans la catégorie indiquée, en une seule fois ou catégorie par catégorie
- Purge des anciennes données — les collectes de plus de dix jours sont supprimées. Leur accumulation ralentit le système, et conserver des données inutilisées représente aussi une charge
Résultats
L’outil a été développé et livré en deux semaines environ. Une seule exécution parcourt les 19 forums, récupère sans exception les 318 annonces trouvées et les publie dans les catégories définies.
Nos autres réalisations fondées sur la même approche sont réunies dans Collecte de données web.