Hotmail obtient un nouveau système de stockage - le rendant encore plus rapide!

Hotmail reçoit chaque jour des milliards d`e-mails qui doivent être stockés en toute sécurité. être rendu facilement disponible efficacement. Le système de stockage en nuage de Hotmail prend en charge plus d`un milliard de boîtes aux lettres et des centaines de pétaoctets de données (un pétaoctet représente un million de gigaoctets). Et gérer efficacement des centaines de milliers de transactions simultanées à cette échelle est un défi d`ingénierie. Le système de stockage est construit en utilisant la technologie Microsoft, y compris Windows Server et Microsoft SQL Server.

Microsoft a travaillé sur une mise à niveau majeure de ce système de stockage. Depuis le début de l`année, un nouveau système basé sur les technologies développées chez Hotmail a été lancé sur un cluster pilote utilisant des comptes personnels d`employés de Microsoft. Et après des tests rigoureux, le nouveau système a été certifié et offre une meilleure fiabilité à un prix nettement inférieur.

Voyons quelques-unes de ces nouvelles technologies utilisées par Hotmail

Implémentation de JBOD remplaçant RAID:

"RAID (redondant Array of Inexpensive Disks) est une technologie qui permet à plusieurs disques durs d`être attachés à une seule carte contrôleur, ce qui les fait ressembler à un seul disque dur plus grand et beaucoup plus fiable (parfois appelé «unité logique»). système de stockage. "

Hotmail utilise RAID depuis longtemps. Les e-mails ont été conservés sur plusieurs groupes RAID, de sorte que même en cas de défaillance totale du RAID, les messages peuvent être restaurés. Hotmail a étudié la perspective de fiabilité des lecteurs de capacité supérieure à 1 téraoctet et a constaté que cela ne valait pas l`argent du point de vue de la fiabilité. Comme les systèmes RAID traitent facilement les problèmes affectant un seul système, mais pas lorsque la machine entière ou le contrôleur RAID rencontre des problèmes. Hotmail a trouvé que le fait d`avoir des copies sur une autre machine ne partageant pas le contrôleur était non seulement plus fiable mais aussi moins coûteux que la configuration RAID.

Ils ont donc développé JBOD (juste un tas de disques) lecteurs, contrôleurs et machines. Ce qui rend le contrôleur de disque dur presque complètement hors de portée et le transmet au logiciel pour le contrôler. Ce logiciel système JBOD a été développé par Hotmail.

Ce logiciel JBOD surveille en permanence les défaillances et déclenche une alerte lorsqu`il est détecté, déclenchant ainsi un processus de réparation. Ce processus de réparation peut être le redémarrage d`une machine ou le redémarrage d`un processus, la réparation de la corruption de données ou même l`intervention humaine si nécessaire. Le principal avantage de l`utilisation du logiciel est qu`il peut conserver les bonnes copies des e-mails en donnant la priorité à l`action de réparation s`il trouve moins de copies. En utilisant ce logiciel, la réplication elle-même a été simplifiée

"Le système de stockage consiste en un ensemble de machines, chacune ayant sa copie d`un message électronique et un journal enregistrant les messages arrivés, organisés par date d`arrivée. Les machines communiquent entre elles de temps à autre, comparent leurs journaux et copient tous les messages qu`elles réalisent qui n`ont pas été copiés sur toutes les machines. "

Implémentation de disques SSD au lieu de disques durs.

Nous savons que les SSD sont beaucoup plus rapides que les disques durs.

"Un disque dur normal peut effectuer un peu plus d`une centaine d`opérations de lecture / écriture par seconde, alors que certains des SSD les plus rapides peuvent le faire. cent mille opérations par seconde. "

Bien que cette vitesse vienne à un prix car ils sont beaucoup plus chers / gigaoctets par rapport aux disques durs.

SSD gère la charge en constante évolution de manière efficace. Cela peut s`expliquer par le fait que Hotmail stocke non seulement les e-mails, mais aussi les métadonnées changeantes telles que la liste des messages dans la boîte de réception, les messages lus / non lus, le fil de conversation, etc. met la charge maximale sur les disques durs en raison de la nature en constante évolution. l`utilisation de disques durs SSD pour stocker des métadonnées et des disques durs pour les messages permet une combinaison plus efficace.

En dehors de ces améliorations, Hotmail en révélera beaucoup plus dans les prochains posts. Le déploiement du nouveau système de stockage a déjà commencé et les nouveaux clusters seront basés sur JBOD. Déjà 30 millions d`utilisateurs sont sur JBOD tandis que 100 millions d`autres vont bouger dans le temps.

Si vous avez remarqué, Hotmail est devenu très rapide. Si ce n`est pas le cas, essayez-le maintenant.