Explain, gérer des milliers de données par seconde avec une infra sécurisée

Explain souhaite développer une solution permettant de mesurer la mobilité, et plus largement l’usage des transports grâce à un système de capteurs GPS, wifi et LIDAR. Leur objectif est d’identifier les informations et signaux clés des réseaux de transports en temps réel. Les clients pourront disposer d’une interface ergonomique de visualisation et d’analyse des données récoltées.

Challenges

Log'in Line - 37 Rue Colonel Grandier-Vazeille, 33000 Bordeaux - 09 72 12 43 30

Collecter des données de capteurs

Explain est un cabinet de conseil fondé en 2014, spécialisé dans le domaine de la planification des transports. Leurs équipes d’experts accompagnent les clients publics et privés dans l’évaluation et l’élaboration de leurs projets.

Log’in Line intervient sur la mise en place du périmètre technique visant à industrialiser le pipeline de collecte et de stockage des données. Les critères de réussite du projet sont clairement définis. La collecte des données des capteurs doit être fiable et sécurisée . Leur stockage doit être absolument prémuni contre la perte des données.

La conception d’une infra performante

Une architecture Cloud réfléchie

Afin de permettre facilement la mise à l’échelle de l’architecture en fonction de la croissance de la flotte de capteurs en service, et de respecter les contraintes de stockage des données en France, l’approvisionnement des ressources matérielles et applicatives de l’infrastructure a été réalisé chez un provider Cloud.

Mise en place d’un datalake et d’un datawarehouse

MongoDB était la solution parfaitement adaptée à la mise en place d’un datalake pour ce secteur d’activité afin d’absorber le haut volume de données et d’insertions. Configuré en sharding, MongoDB permet une ingestion rapide et en masse.
L’ensemble des données structurées sont stockées dans le Data Warehouse MongoDB avec un ReplicaSet pour tenir la charge de données et assurer une haute disponbilité.

Traitement en temps réel

Le proxy, collecteurs et traitement CRON sont scalés pour répartir la charge de traitement. Le traitement en temps réel est effectué avec un StatefulSet pour que chaque groupe de données soit traité par une instance dédiée pouvant conserver des états en RAM.

Infrasructure Cloud sur-mesure

Solution

Infrasructure Cloud sur-mesure

Une pipeline de collecte et stockage

Collecte fiable et sécurisée

L’architecture mise en place permet le traitement de 5000 entrées par seconde, et le suivi de plus de 2000 bus en temps réel par les opérateurs. L’infrastructure mise en place est 100% scalable grâce à une architecture serverless, et des backups ont été configurés afin de prémunir la perte de données.

Hébergement et maintenance supervisés

Les équipes d’Explain se sont émancipées de leur infrastructure pour pouvoir se concentrer sur leur cœur de métier. Log’in Line prend en charge les mises à jour périodiques du cluster Kubernetes et des composants, du VPS Rancher et ses dépendances systèmes. L’offre de maintenance comprend également une veille cybersécurité, l’application de patchs en cas de risques imminents et des snapshots mensuel du serveur Rancher depuis Scaleway.

Résultat

La suite

Log'in Line - 37 Rue Colonel Grandier-Vazeille, 33000 Bordeaux - 09 72 12 43 30

Et après ?

L’intégralité du système est sous maintenance, géré et monitoré par nos architectes Cloud. Des évolutions sont déjà prévues pour répondre à de nouveaux besoins.

Nous serions ravis de travailler avec vous

Complétez ce formulaire, nous vous recontacterons pour décider ensemble de la manière dont nous pouvons vous accompagner.

Log'in Line - 37 Rue Colonel Grandier-Vazeille, 33000 Bordeaux - 09 72 12 43 30
Conception

Conception, refonte d'infrastructure

Log'in Line - 37 Rue Colonel Grandier-Vazeille, 33000 Bordeaux - 09 72 12 43 30
Migration

Migration vers le Cloud

Log'in Line - 37 Rue Colonel Grandier-Vazeille, 33000 Bordeaux - 09 72 12 43 30
Mentoring

Accompagnement DevOps et Cloud

Log'in Line - 37 Rue Colonel Grandier-Vazeille, 33000 Bordeaux - 09 72 12 43 30
Run

Gestion et évolution des ressources

Log'in Line - 37 Rue Colonel Grandier-Vazeille, 33000 Bordeaux - 09 72 12 43 30
Log'in Line - 37 Rue Colonel Grandier-Vazeille, 33000 Bordeaux - 09 72 12 43 30
Log'in Line - 37 Rue Colonel Grandier-Vazeille, 33000 Bordeaux - 09 72 12 43 30
Log'in Line - 37 Rue Colonel Grandier-Vazeille, 33000 Bordeaux - 09 72 12 43 30
Log'in Line - 37 Rue Colonel Grandier-Vazeille, 33000 Bordeaux - 09 72 12 43 30
Log'in Line - 37 Rue Colonel Grandier-Vazeille, 33000 Bordeaux - 09 72 12 43 30
Log'in Line - 37 Rue Colonel Grandier-Vazeille, 33000 Bordeaux - 09 72 12 43 30
Log'in Line - 37 Rue Colonel Grandier-Vazeille, 33000 Bordeaux - 09 72 12 43 30

Toutes nos formations