Twitter /BigData : Lumière sur ce que l’Afrique peut apprendre du passage de Twitter à l’Open Source en fin août 2012

Le grand défi que l’on fait quant on traite un volume énorme de données comme Twitter, c’est sans conteste la gestion efficace et sécurisée de cette masse de données .Pour résoudre l’équation, Twitter a opter de  rejoindre la fondation Linux à l’occasion de l’évènement CloudOpen, qui s’est tenu  fin août 2012 aux Etats-Unis.

Au delà donc de  l’investissement du service dans Linux (des serveurs sous Linux 2.6.39) et la base de données relationnelle MySQL.

Twitter a développé son propre fork de MySQL, exploite Cassandra, basé sur NoSQL, mais aussi Hadoop, un framework Java géré par la Fondation Apache. En matière de gestion des gros volumes de données, en plus d’Hadoop, Twitter a déployé Pig.

Pour gérer le cache, le service fait une nouvelle fois appel à du logiciel libre avec Memcached, tout comme pour la recherche grâce à la technologie Lucene. Mais Twitter ne s’appuie pas uniquement sur des projets Open Source existants.

Le service en ligne a aussi réalisé ses propres développements, ensuite partagés sous licence libre (Apache v2). C’est le cas de Iago pour les tests de trafic, de Zipkin et de Scalding. La leçon que l’Afrique peut en tirer est donc la suivante : L’efficacité, la compétitivité, l’innovation résident sur la démocratisation des connaissances d’où l’Open Source. Car si l’Afrique semble très en retard dans de nombreux domaines en 2012, s’est surtout que la transmission des connaissances n’a pas été réussie .Le célèbre adage qui dit :’’Quand un vieux meurt en Afrique s’est une bibliothèque qui brule’’. En fait il n’existe de connaissances que lorsque partagées.