Windows

Les grands plans de données de Facebook incluent des entrepôts, des analyses plus rapides

Shopify Reunite - May 20th, 2020

Shopify Reunite - May 20th, 2020
Anonim

Facebook peut chérir les données qu'il a sur son milliard d'utilisateurs pour ses retours publicitaires, mais L'analyse que le site effectue sur ces données devrait continuer à poser de nombreux défis au cours de la prochaine année, a déclaré un ingénieur.

Les problèmes, auxquels Facebook a été confronté «beaucoup plus tôt que l'industrie en général», comprennent des moyens plus efficaces pour traiter le comportement des utilisateurs sur le site, comment mieux accéder et consolider différents types de données dans les multiples centres de données de Facebook, et concevoir de nouveaux systèmes logiciels open source pour traiter ces données, Ra "Murdy, qui gère l'infrastructure d'analyse de Facebook, a déclaré mardi."

"Facebook est une société de données, et la chose la plus évidente à ce niveau est le ciblage des annonces", at-il déclaré lors d'une conférence à San Francisco. parler de l'infrastructure back-end de Facebook, de l'analyse des données et des projets open source

[Plus d'informations: Les meilleurs services de streaming TV]

"Mais cela va plus loin que cela", at-il dit. Le travail en coulisses concerne l'infrastructure analytique de Facebook, conçue pour accélérer le développement de produits et améliorer l'expérience utilisateur grâce à une analyse approfondie de toutes les données disponibles, qu'il s'agisse des actions que les utilisateurs effectuent sur le site applications qu'ils utilisent dans Facebook sur différents appareils.

Facebook utilise actuellement différents systèmes logiciels open source connus sous le nom Hadoop, Corona et Prism pour traiter et analyser ses données, que la société se concentrera sur la fabrication "Beaucoup de défis de l'entreprise sont liés à ce que Facebook appelle son entrepôt de données, qui combine des données provenant de sources multiples dans une base de données où l'activité de l'utilisateur peut être analysée plus rapidement et plus efficace dans les six à douze prochains mois. dans l'ensemble, comme en donnant un rapport quotidien sur le nombre de photos qui ont été marquées dans un pays spécifique, ou en regardant combien d'utilisateurs dans une certaine zone se sont engagés avec les pages qui leur ont été recommandées.

L'analyse est conçu pour optimiser les expériences des utilisateurs et savoir ce que les utilisateurs aiment et n'aiment pas, mais il devient de plus en plus taxant car Facebook est en mesure d'accéder à de plus en plus de données sur ses utilisateurs, a déclaré Murthy. Actuellement, l'entrepôt de Facebook reçoit 500 téraoctets de nouvelles données chaque jour, soit 500 000 gigaoctets. L'entrepôt a connu une croissance de près de 4000 fois au cours des quatre dernières années, "bien avant la croissance des utilisateurs de Facebook", a déclaré Murthy.

Pour résoudre ces problèmes, Facebook a développé son logiciel Prism L'analyse des clés fonctionne à travers les centres de données de l'entreprise dans le monde entier, et divise les analyses en «morceaux», a déclaré Murthy. Ainsi, effectuer une analyse sur, disons, une mesure liée aux flux de nouvelles des utilisateurs n'obstruera pas l'entrepôt plus généralement.

"Nous réfléchissons de plus en plus à la façon de capturer ces données", at-il dit. L'entreprise travaille également sur un système qui adopte une approche complètement différente pour interroger l'entrepôt afin de donner un temps de réponse en l'espace de quelques secondes, dit Murthy.

Un autre domaine que Facebook cherche continuellement à améliorer est son infrastructure transactionnelle. "Qui gère le traitement de données quotidien de base, par exemple, les likes, les commentaires et les mises à jour de statut pour maintenir le bon fonctionnement du réseau social. Les ingénieurs et les analystes de la société se posent notamment la question de savoir comment prévoir la croissance réelle de ce type de données, et combien l'informatique Facebook devrait vraiment y consacrer, dit Murthy.

"Pouvons-nous prédire ce que cela va être dans six mois à partir de maintenant?", At-il dit.

Pendant ce temps, Facebook est également impliqué dans un effort à long terme pour rendre ses serveurs physiques plus efficaces. La société a lancé son projet Open Compute en 2011 dans le but de concevoir des serveurs modulaires qui permettent aux clients de mieux contrôler les réseaux, la mémoire, les alimentations et les autres composants de leurs serveurs. Il a été étendu pour intégrer les processeurs ARM en janvier.