Sites Internet

Yahoo aide IIT Bombay mis en place Hadoop Cluster Lab

MORAL STORY FOR KIDS - MUMMY ON STRIKE | #Fun #RolePlay Good habits

MORAL STORY FOR KIDS - MUMMY ON STRIKE | #Fun #RolePlay Good habits
Anonim

Yahoo a aidé l'Institut indien de technologie de Bombay à mettre en place un laboratoire de cluster Hadoop à Mumbai en faisant don d'une grappe de serveurs exécutant le logiciel open source Hadoop.

Apache Hadoop est un projet informatique distribué de la Apache Software Foundation que Yahoo supporte.

Yahoo exécute un grand nombre de ses opérations critiques en utilisant Hadoop, et il ne peut pas faire toutes les recherches nécessaires autour de Hadoop au sein de l'entreprise, a déclaré Prabhakar Raghavan, vice-président et directeur de Yahoo Labs. Un entretien téléphonique jeudi.

Yahoo a annoncé en juin dernier sa propre distribution de Hadoop, citant l'intérêt de la communauté Apache Hadoop de publier la version de Hadoop qu'il teste et déploie sur ses propres clusters.

Le cluster laboratoire à M umbai aidera les chercheurs de l'institut à étudier des domaines tels que les techniques de recherche et de classement, l'extraction de l'information et le traitement du langage naturel.

Les chercheurs universitaires désireux de faire des recherches sur le Web n'ont pas accès aux ressources informatiques et aux téraoctets de

En commençant par fournir aux chercheurs Hadoop de l'Université Carnegie Mellon un superordinateur de 4 000 processeurs en 2007, Yahoo a aidé d'autres universités américaines à mettre en place Hadoop.

Raghavan n'a pas donné plus de détails sur le cluster installé à l'IIT, disant simplement que des serveurs avec des centaines de processeurs et la capacité de gérer des téraoctets de données y ont été déployés.

Outre IIT Bombay, Yahoo participe à la mise en place de clusters similaires dans des établissements universitaires en Allemagne et à Singapour, a indiqué M. Raghavan. Ce sont les trois premières institutions académiques à l'extérieur des États-Unis où Yahoo aide à mettre en place de telles grappes, ajoute-t-il.

Yahoo envisage de mettre en réseau plus tard certains pôles autour du monde pour créer une «plus grande utilité». Avant cela, les capacités d'administration système de Hadoop doivent être renforcées pour éviter qu'un étudiant d'un établissement ne plante le travail dans une autre institution, a dit Raghavan.

Yahoo a fait équipe en 2008 avec Computational Research Laboratories (CRL), un laboratoire dirigé par l'Inde. Tata Group, pour offrir gratuitement des superordinateurs aux établissements universitaires en Inde qui font des recherches sur l'informatique à grande échelle, en particulier autour de Hadoop.

Le partenariat avec des établissements universitaires sur Hadoop permet à Yahoo de constituer un pool d'ingénieurs familiers avec la plate-forme Hadoop, selon M. Raghavan. Certains d'entre eux ont même été embauchés par Yahoo, a-t-il ajouté.

Yahoo a également bénéficié des idées qui ont été avancées par des établissements universitaires effectuant des recherches sur Hadoop, a précisé M. Raghavan. Il n'a toutefois pas donné d'exemples concrets d'idées tirées de cette collaboration avec les institutions académiques.