Android

Yahoo cherche Hadoop Boost avec la sortie de la version interne

What is Hadoop Distributed File System (HDFS)?

What is Hadoop Distributed File System (HDFS)?
Anonim

Afin de promouvoir l'adoption de la technologie Hadoop pour le traitement de jeux de données volumineux, Yahoo publiera une version du logiciel qu'il a perfectionné pour alimenter plusieurs de ses principaux sites et services.

L'annonce a été faite mercredi à la deuxième édition annuelle de Hadoop Summit, organisé par Yahoo et sponsorisé par plusieurs grands fournisseurs qui soutiennent cette technologie, y compris IBM, Sun et Amazon.com.

Les moteurs de recherche, les systèmes publicitaires et les services de messagerie Web de Yahoo utilisent Hadoop, une implémentation open-source du modèle de programmation MapReduce pour le traitement de grands ensembles de données dans les clusters de processeurs

[Plus d'informations: Les meilleurs services de diffusion TV]

Chez Yahoo, Hadoop utilise plus de 25 000 serveurs pour traiter des dizaines de milliards de pages Web En libérant le code source de sa distribution Hadoop, Yahoo espère stimuler le développement de ce projet d'Apache Software Foundation.

Yahoo, qui emploie le fondateur de Hadoop, Doug Cutting, contribue à son développement. Hadoop apporte des améliorations au projet Apache, mais publie maintenant sa version intégrale de Hadoop, la plus importante du monde. Elle a été largement testée et perfectionnée pour être utilisée dans des systèmes de production en direct. Le code Yahoo est livré sans restrictions sur son utilisation commerciale.

"Nous avons exprimé beaucoup d'intérêt que si nous le rendions disponible, il serait utile à d'autres utilisateurs", a déclaré Shelton Shugar, vice-président senior de l'informatique en nuage à Yahoo.

Yahoo consolide de plus en plus les plates-formes de traitement sur les clusters Hadoop car ils peuvent mieux évoluer et fournir le traitement de données à grande échelle dont ont besoin les sites et services de l'entreprise.

"Nous sommes très satisfaits Amazon.com a récemment lancé un service hébergé destiné à simplifier l'utilisation de Hadoop par Amazon Elastic MapReduce, alors que des sociétés comme Cloudera commercialisent des distributions commerciales Hadoop conçues pour les déploiements d'entreprise.