CAS D’ETUDE
Big Data : Architecture Hadoop & API d'Indexation
OBJECTIFS
Notre client est une chaîne de télévision française présente sur nos écrans depuis plus de 30 ans.
Toujours soucieux de satisfaire sa clientèle, notre client met l'analyse de la donnée au cœur de sa stratégie. Comment traiter toutes les données des clients afin de leur offrir encore plus de produits et de satisfaction ? Le projet Eureka, à travers l'utilisation du Big Data, vient répondre à cette question.
Suite au lancement du premier système de télévision intelligente en 2011, notre client nous a sollicité afin de refondre son moteur de recommandation TV personnalisé et d'y intégrer les technologies Big Data.
MISSION
ESENS est intervenu sur la mise en place de l’écosystème Hadoop et Cloudera et a développé une nouvelle API d’indexation.
-
Etude de l'existant
Reprenant un projet existant, notre rôle a été d'auditer les fonctionnalités du programme intelligent et d'en déduire la faisabilité des évolutions souhaitées par notre client.
-
POC et choix des technologies
Nous avons réalisé un POC des solutions techniques adéquates aux fonctionnalités que notre client a retenu. POC sur Cloudera versus HortonWorks. POC sur Spark. Force de proposition sur le développement d'un API d'indexation.
-
Mise en place de l'architecture
Solution adoptée et mise en place en intégralité : Hadoop, Cloudera, Spark, Scala, Elasticsearch et Hbase.
-
Développement de l’API
Force de proposition sur le développement d'une API d'indexation. Stack de l'API : Akka, Spray.io, Scala, LevelDB et Redis en base de données.
STRATEGIE
Face aux problématiques de ce moteur de recommandation, comme la mise à jour en temps réel des données, l'étude/crawling de milliers de chaînes, le traitement de volumétrie importante et la restitution via un push de programmes ciblés, nous avons dû mettre en œuvre notre savoir-faire fonctionnel et technique pour relever ce challenge.
