CAS D’ETUDE
Big Data, Exploration & Analyse de Données
OBJECTIFS
L'objectif de notre projet est de proposer une application de visualisation du contenu du Data Lake de notre client.
Nous avons pour but de cartographier le contenu de ce Data Lake afin d’obtenir des informations sur la qualité et la traçabilité des données qui y sont stockées. Pour cela, nous utilisons Spring et Elasticsearch pour traiter des données provenant de Hadoop HDFS, HBase, Hive et Oracle.
Ces données sont restituées par l’intermédiaire d’une application Angular qui intègre un moteur de recherche Elasticsearch.
MISSION
ESENS intervient dans le développement de l'application d'exploration et d'analyse Big Data.
-
Recensement de la Donnée
Nous développons des batchs qui parcourent le Data Lake au travers de ses diverses technologies pour cartographier l’intégralité des données stockées et les identifier techniquement et fonctionnellement.
-
Qualification de la Donnée
Nous réalisons des programmes d’étude statistique des données afin d’évaluer leur qualité et leur fraîcheur. L’évolution des données est historisée et analysée. Les informations collectées sont stockées dans une base Elasticsearch pour permettre diverses exploitations.
-
Développement Back-End Spring et Elasticsearch
Le back-end de l’application pilote les batchs et traitements d’analyse et propose des API à l’application. Il utilise Spring couplé à Elasticsearch.
-
Développement Front-End Angular 4
L’application en elle-même est développée en Angular 4 et permet un parcours simple et modélisé des données. L’expérience utilisateur est adaptée aux besoins des différents profils de consultation et permet aux utilisateurs “sachants” d’enrichir la qualification des données.
STRATEGIE
Par cette application, nous centralisons l’information sur le contenu du Data Lake en évitant ainsi les duplications. Nous facilitons la recherche de données à des utilisateurs aux profils variés : Urbanistes, Concepteurs, Développeurs, BI, Prévisionnistes, etc.
