Explain, gérer des milliers de données par seconde avec une infra sécurisée
Explain souhaite développer une solution permettant de mesurer la mobilité, et plus largement l’usage des transports grâce à un système de capteurs GPS, wifi et LIDAR. Leur objectif est d’identifier les informations et signaux clés des réseaux de transports en temps réel. Les clients pourront disposer d’une interface ergonomique de visualisation et d’analyse des données récoltées.
Challenges
Collecter des données de capteurs
Explain est un cabinet de conseil fondé en 2014, spécialisé dans le domaine de la planification des transports. Leurs équipes d’experts accompagnent les clients publics et privés dans l’évaluation et l’élaboration de leurs projets.
Log’in Line intervient sur la mise en place du périmètre technique visant à industrialiser le pipeline de collecte et de stockage des données. Les critères de réussite du projet sont clairement définis. La collecte des données des capteurs doit être fiable et sécurisée . Leur stockage doit être absolument prémuni contre la perte des données.
La conception d’une infra performante
Une architecture Cloud réfléchie
Afin de permettre facilement la mise à l’échelle de l’architecture en fonction de la croissance de la flotte de capteurs en service, et de respecter les contraintes de stockage des données en France, l’approvisionnement des ressources matérielles et applicatives de l’infrastructure a été réalisé chez un provider Cloud.
Mise en place d’un datalake et d’un datawarehouse
MongoDB était la solution parfaitement adaptée à la mise en place d’un datalake pour ce secteur d’activité afin d’absorber le haut volume de données et d’insertions. Configuré en sharding, MongoDB permet une ingestion rapide et en masse.
L’ensemble des données structurées sont stockées dans le Data Warehouse MongoDB avec un ReplicaSet pour tenir la charge de données et assurer une haute disponbilité.
Traitement en temps réel
Le proxy, collecteurs et traitement CRON sont scalés pour répartir la charge de traitement. Le traitement en temps réel est effectué avec un StatefulSet pour que chaque groupe de données soit traité par une instance dédiée pouvant conserver des états en RAM.
Solution
Une pipeline de collecte et stockage
Collecte fiable et sécurisée
L’architecture mise en place permet le traitement de 5000 entrées par seconde, et le suivi de plus de 2000 bus en temps réel par les opérateurs. L’infrastructure mise en place est 100% scalable grâce à une architecture serverless, et des backups ont été configurés afin de prémunir la perte de données.
Hébergement et maintenance supervisés
Les équipes d’Explain se sont émancipées de leur infrastructure pour pouvoir se concentrer sur leur cœur de métier. Log’in Line prend en charge les mises à jour périodiques du cluster Kubernetes et des composants, du VPS Rancher et ses dépendances systèmes. L’offre de maintenance comprend également une veille cybersécurité, l’application de patchs en cas de risques imminents et des snapshots mensuel du serveur Rancher depuis Scaleway.
Résultat
La suite
Et après ?
L’intégralité du système est sous maintenance, géré et monitoré par nos architectes Cloud. Des évolutions sont déjà prévues pour répondre à de nouveaux besoins.
Nous serions ravis de travailler avec vous
Complétez ce formulaire, nous vous recontacterons pour décider ensemble de la manière dont nous pouvons vous accompagner.
