Les 19 889 projets du portail d'investissement du gouvernement indien, organisés en 41 champs

Contexte

Les informations sur les projets d’investissement en Inde sont publiées sur India Investment Grid, géré par le gouvernement. Le problème : elles sont éparpillées sur une page par projet. Pour savoir quels montants circulaient dans quel secteur, dans quel État, il fallait ouvrir les pages une par une.

Ce que nous avons vu sur place

Ce dont la recherche avait besoin, ce n’était pas chaque projet pris isolément, mais la distribution d’ensemble. Le portail étant conçu pour une consultation individuelle, il aurait fallu qu’une personne recopie d’abord tout à la main pour voir les choses par secteur ou par étape. Au vu du nombre de projets, cette tâche était tout simplement impossible à lancer.

Le problème défini

La difficulté tenait moins à la collecte qu’à l’alignement des champs. Les champs renseignés variaient d’un projet à l’autre, les montants de projet mélangeaient devises et unités, et des valeurs de même sens apparaissaient sous des libellés différents. Avant de faire un tableau unique, il fallait d’abord mettre de l’ordre dans ces écarts.

Ce que nous avons construit

• Collecte de l’ensemble des projets — nous avons rassemblé sans omission les projets des 41 secteurs
• Normalisation en 41 champs — secteur, sous-secteur, étape du projet, coût total, État, modalité de mise en œuvre, type de promotion, date d’achèvement prévue, etc. : les valeurs éparpillées ont été alignées dans les mêmes colonnes
• Livraison en fichier exécutable — la personne responsable peut l’exécuter sans environnement Python

Ce que nous avons évité

Avec un tel volume, une partie de la collecte échoue forcément. Le problème n’est pas l’échec en lui-même, c’est de pouvoir retrouver plus tard ce qui a échoué.

• Les adresses en échec sont conservées à part — si une requête est interrompue ou sans réponse, l’adresse est notée dans un fichier séparé. La collecte continue
• Un script permet de ne récupérer que cette liste — pas besoin de tout relancer depuis le début. La deuxième collecte ne vise que les éléments en échec
• Les résultats de la nouvelle collecte sont aussi archivés avec une date — on sait ce qui a été comblé, et quand
• 12 requêtes simultanées, chacune avec un délai maximal — un élément sans réponse n’arrête pas l’ensemble

Résultats

19 889 projets organisés en 41 champs. Parmi eux, 19 087 projets ont une valeur de coût total confirmée.

Par secteur, les routes et autoroutes arrivent en tête avec 4 180 projets, suivies de l’eau, l’assainissement et les déchets (2 264), de l’immobilier (1 480), de la santé (1 271), de l’éducation (954) et du ferroviaire (920). Les étapes de projet se répartissent en 5 catégories, dont en développement, en cours d’exécution et achevé.

Les autres travaux réalisés de la même manière sont rassemblés sous collecte de données web.