Benn Stancil, fondateur de Mode, explique comment la science des données peut nous aider à prendre de meilleures décisions

L'analyse des données ne consiste pas à cracher des tableaux de bord fantaisistes - c'est un long processus itératif et collaboratif qui vous aide à mieux comprendre ce que veut le client et comment y parvenir.

Ou plutôt, ça devrait l'être. Cette image stéréotypée d'une pièce regorgeant d'écrans et de tableaux de bord élaborés où toutes les décisions sont prises n'est pas réelle, et il est grand temps de s'en éloigner. Selon Benn Stancil, co-fondateur et directeur de l'analyse de Mode, une plate-forme conçue pour aider les analystes de données et les scientifiques de données à analyser, visualiser et partager des données, une grande partie de leur travail quotidien consiste à s'asseoir avec des chefs de produit et chefs d'entreprise, bricolant diverses choses, essayant de résoudre ensemble un problème commercial.

Le fait est que la science des données, en tant que domaine, est encore relativement nouvelle. Ainsi, de nombreux chefs d'entreprise ne savent pas trop comment démarrer, comment en tirer parti ou quoi faire lorsque tous les tableaux de bord et outils semblent pointer vers des solutions différentes. Mais comme le souligne Benn, l'avenir de l'analyse des données n'est pas un diagramme d'architecture ou des chefs d'entreprise qui examinent des tableaux de bord - c'est la construction d'une expérience, et une expérience très excitante.

Cette semaine, nous avons eu le plaisir de discuter avec Benn de la pile de données moderne et de la façon dont les données peuvent – ​​et plus important encore, devraient – ​​être utilisées pour stimuler la croissance.

Si vous manquez de temps, voici quelques conseils rapides :

• Bien que la science des données ne puisse pas prédire l'avenir, elle peut certainement vous aider à concentrer les ressources, à résoudre les problèmes et même à débloquer de nouveaux marchés.
• Tout aperçu de l'analyse des données ne sera jamais aussi bon que les données elles-mêmes. Assurez-vous que vos données sont exactes avant de tirer des conclusions à leur sujet.
• À moins que vous ne regardiez les données pour comprendre pourquoi vos clients utilisent vos produits, évitez de prendre des décisions en fonction de vos attentes quant à leurs motivations.
• À mesure que nous assistons à une plus grande standardisation des meilleures pratiques de traitement des données, il ne sera plus nécessaire de concevoir le processus à partir de zéro, mais plutôt de s'appuyer sur le dessus et de les adapter à chaque cas d'utilisation.
• Regarder des lignes et des colonnes sans fin peut être intimidant, même pour un analyste de données chevronné. En cas de doute, commencez à fouiller avec quelques hypothèses de base sur les produits et partez de là.

Si vous aimez notre discussion, consultez d'autres épisodes de notre podcast. Vous pouvez suivre sur iTunes, Spotify ou récupérer le flux RSS dans le lecteur de votre choix. Ce qui suit est une transcription légèrement modifiée de l'épisode.

Se lancer dans l'analytique

Liam Geraghty : Benn, merci beaucoup de vous joindre à nous aujourd'hui.

Benn Stancil : C'est super d'être ici.

Liam : Tout d'abord, pourriez-vous nous parler un peu de votre parcours, de ce que vous faites et comment vous en êtes arrivé là ?

Benn : J'ai commencé ma carrière dans un monde totalement différent. J'ai commencé dans le monde politique en tant que chercheur en économie dans un groupe de réflexion. J'y ai passé quelques années, j'ai vraiment aimé le travail et j'ai aimé l'idée d'essayer essentiellement de résoudre des problèmes avec des données. Mon travail consistait à examiner ce qui se passait dans l'économie mondiale - c'était comme en 2010 à l'époque, et donc tout s'effondrait - puis à examiner les données à ce sujet et à essayer de formuler des recommandations sur ce que les décideurs politiques devraient faire .

C'était vraiment intéressant d'un point de vue conceptuel, mais si vous faites des recommandations sur ce que la Fed devrait faire en tant que junior dans un groupe de réflexion, personne ne vous prête vraiment attention. J'aime l'idée de faire ce genre de travail, mais je voulais le faire d'une manière plus directement liée aux problèmes que les gens essayaient de résoudre, où vous pouviez réellement voir si vos idées ou recommandations fonctionnaient. C'est ainsi que j'ai fini par passer de ce travail à un travail d'analyse dans une entreprise de technologie à San Francisco. C'était mon premier emploi dans la technologie. J'y ai travaillé pendant quelques années en tant qu'analyste ou data scientist. J'étais le genre de personne dont le travail consiste à travailler avec des spécialistes du marketing, des chefs de produit ou des responsables des opérations pour les aider à prendre des décisions sur les produits à expédier, les publics à cibler ou si l'entreprise fonctionne bien dans certains domaines et pas bien dans autres. C'était similaire à ce que je faisais à DC mais appliqué à un domaine très différent.

"Le parcours d'une entreprise de trois personnes travaillant depuis le salon de quelqu'un vers quelque chose qui compte des centaines de personnes est celui où vous rencontrez constamment de nouvelles choses"

À partir de là, j'ai rencontré des gens, j'ai commencé à comprendre les besoins de gens comme moi et le type d'outils que nous voulions, le type d'outils qui n'existait pas encore, et j'ai fini par créer Mode basé sur cette vision.

Liam : Était-ce difficile d'en arriver là avec Mode dans le parcours de démarrage ?

Ben : Bien sûr. Chaque startup va être un défi, et Mode n'est pas différent. Le mode a eu beaucoup de hauts et de bas. D'une part, cela a été très difficile. Chaque jour, vous travaillez sur des problèmes différents, des choses que vous n'aviez jamais vraiment anticipées auparavant. Comme je suis sûr que vous le savez bien, le parcours d'une entreprise de trois personnes travaillant dans le salon de quelqu'un vers quelque chose qui compte des centaines de personnes est celui où vous rencontrez constamment de nouvelles choses, où les problèmes que vous rencontrez le premier mois sont différent des problèmes que vous avez le deuxième mois.

Chaque jour, vous devez apprendre quelque chose de nouveau que vous n'aviez jamais pensé à résoudre auparavant. Ce n'est pas comme "Je vais devenir vraiment bon dans ce domaine particulier." Au fur et à mesure que vous devenez bon, vous passez au suivant. En ce sens, cela a été très difficile. Cependant, nous avons eu une grande équipe. Il y a des gens formidables qui ont soutenu l'entreprise, qu'ils soient ou non des employés, qu'ils soient ou non des clients de la première heure, qu'ils ne soient ou non que des amis et de la famille, et le type de personnes qui supportent vous pendant que vous l'accompagnez. Cela a été un travail difficile, mais ce fut une très bonne expérience, d'avoir le soutien de tant de gens pour le faire. Je pense que les gens de la Silicon Valley sont particulièrement privilégiés d'avoir tout un écosystème dédié à les aider, eux et leur entreprise, à réussir. Si vous deviez faire cela dans d'autres endroits, je pense que ce serait beaucoup plus difficile.

Ce que les données peuvent et ne peuvent pas faire

Liam : La science des données est ce dont il s'agit pour les entreprises qui cherchent à améliorer leur prise de décision en utilisant les informations qu'elles collectent déjà dans leurs applications et autres systèmes. C'est là qu'intervient Mode, votre entreprise. Pouvez-vous nous en dire un peu plus sur la plate-forme que vous avez construite et comment elle aide les data scientists ?

Ben : Bien sûr. Les entreprises utilisent les données de différentes manières. La façon la plus simple d'y penser est de penser à ce que vous voyez dans les caricatures de films et autres, comme des salles pleines de tableaux de bord et de graphiques où les gens prennent des décisions. Cela n'arrive évidemment pas. Les gens ont des tableaux de bord et nous vérifions tous les performances des entreprises et ce genre de choses. Mais une grande partie du travail quotidien d'utilisation efficace des données provient d'un expert en données assis avec un expert métier essayant de résoudre un problème ensemble et de répondre aux questions qu'ils se posent pour les aider à prendre des décisions.

"Le chef de produit ne va pas regarder un écran et se dire : 'Aha, c'est exactement ce dont nous avons besoin'"

Imaginez que vous êtes un chef de produit souhaitant décider quel produit créer. Vous voudrez peut-être comprendre comment les gens utilisent les fonctionnalités actuelles que vous envisagez de modifier. Est-ce que différents types de personnes l'utilisent de différentes manières ? Y a-t-il des choses qu'ils essaient de faire mais avec lesquelles ils ont du mal? Peuvent-ils atteindre les objectifs qu'ils se sont fixés ? Toutes ces choses nécessitent ces questions très particulières, et ce n'est pas un processus auquel vous répondriez en regardant un tableau de bord. Le chef de produit ne va pas regarder un écran et se dire : "Aha, c'est exactement ce dont nous avons besoin." C'est ce long processus itératif qui consiste à comprendre de plus en plus ce que veulent leurs clients, puis à prendre une décision et à dire : « Hé, je pense que nous devrions construire cela. Faisons une analyse pour déterminer si nous pensons que c'est la bonne fonctionnalité à développer. »

Le mode consiste vraiment à permettre aux gens de le faire. Il s'agit de permettre à cet analyste de faire ce genre de travail afin qu'il puisse très rapidement et facilement aider à répondre aux questions d'autres personnes. Et puis, comment ils distribuent cela et s'assurent que c'est aussi une collaboration avec ces personnes - un analyste ne peut pas simplement aller dans un trou et répondre à ces questions, il doit travailler aux côtés du chef de produit pour le faire. C'est ce que nous voulons vraiment permettre. Et une fois que vous avez ce genre de réponses, pouvez-vous les transformer en quelque chose de réutilisable ? Pouvez-vous les rendre faciles à consulter et auditables et tout ce genre de choses ? Au cœur de cela, il s'agit d'aider les personnes qui ont besoin de comprendre quelque chose sur leur entreprise et de répondre aux questions en leur permettant de travailler de manière plus fluide avec des analystes qui sont souvent ceux qui conduisent ces réponses.

Liam : Qu'est-ce qu'une histoire de données ou un exemple qui a eu un résultat heureux et un autre qui n'en a pas tellement ? Juste pour les gens comme moi qui plongent leurs orteils dans le pool de données, par exemple.

Benn : Quelques résultats heureux. Il y avait cette entreprise qui servait essentiellement des vidéos à un groupe de ses clients – leur produit est une plate-forme vidéo mondiale. Ils essayaient de comprendre comment l'améliorer pour les gens du monde entier, et ils ont réalisé que certains pays avaient tendance à très bien performer et d'autres non, et ils ne savaient pas exactement pourquoi. Ils disaient : « Oh, nous nous débrouillons très bien dans ce pays et nous nous débrouillons très bien dans ce pays, mais nous ne nous débrouillons pas si bien dans les autres.

"[Notre recherche] a ouvert de nouveaux marchés pour ce produit sans qu'ils aient à passer par les autres types d'expérimentation qu'ils prévoyaient à l'origine"

Après avoir fait un tas d'analyses et creusé dedans, ils ont réalisé que les vidéos étaient trop lentes dans certains pays en raison de l'emplacement de leurs centres de données ou de leurs environnements AWS. Ils pensaient que c'était peut-être quelque chose de culturel, quelque chose à propos de l'internationalisation, qu'ils avaient peut-être fait quelque chose de mal là-bas. Peut-être était-ce quelque chose à propos du produit qui n'a tout simplement pas résonné auprès d'un public particulier ou qui a été adopté par différents types de personnes avec différents cas d'utilisation dans différents pays. Ils avaient un tas de choses différentes qu'ils auraient pu essayer de résoudre, où c'est comme, "Peut-être que nous devons investir tout un tas d'internationalisation, peut-être que nous devons investir dans différentes fonctionnalités si nous voulons vendre à ces types d'audience parce qu'ils penser les problèmes différemment. Encore une fois, c'était une plateforme vidéo, alors peut-être qu'ils ont dû investir dans un contenu différent.

Mais cela a fini par être quelque chose de plus simple. L'application était trop lente dans ces pays, les gens étaient frustrés parce que les vidéos mettaient trop de tampon, et ce n'était tout simplement pas une bonne expérience. Ils pourraient résoudre ce problème en disant : « Hé, mettons notre produit dans plus de centres de données dans AWS », ou dans n'importe quel produit d'hébergement qu'ils utilisaient. Ce n'est pas une solution triviale, mais ce n'est pas une solution difficile par rapport à devoir trouver comment créer un contenu entièrement nouveau pour différents publics internationaux. Cela a ouvert de nouveaux marchés pour ce produit sans qu'ils aient à passer par les autres types d'expérimentation qu'ils envisageaient à l'origine lorsqu'ils ont réalisé qu'ils réussissaient dans certains pays et pas dans d'autres.

Liam : Absolument. C'est un excellent exemple.

Benn : En ce qui concerne les histoires de données négatives, je pense qu'il y a quelques exemples. Il y a certainement des cas où les gens essaieront de prendre des décisions fondées sur des données et finiront par faire quelque chose qui ne fonctionne pas. Cela tient en partie à la nature de ce que sont les données - elles vous disent quelque chose de manière plus ou moins probabiliste. Si vous demandez : « Dois-je parier que je lancerai un dé et que j'obtiendrai entre un et cinq ou un six ? Je pourrais vous dire : "La bonne chose à faire est de parier sur un à cinq, vos chances sont beaucoup plus élevées pour cela." C'est la bonne analyse basée sur les données, mais parfois vous pouvez perdre. Si vous construisez un produit ou prenez une décision pour une entreprise que vous ne pouvez prendre qu'une seule fois, vous ne pouvez pas revenir en arrière et dire : « En fait, reprenons et continuons jusqu'à ce que vous obteniez un à cinq ». Peut-être que nous avons parié sur un à cinq et nous avons obtenu un six. C'est comme ça que ça se passe.

"Cela fait partie du jeu d'essayer d'être plus axé sur les données en tant que produit et entreprise - vous n'allez pas toujours faire les choses exactement comme il faut"

Il y a beaucoup d'exemples de ce genre de choses où les données ne sont pas parfaites. Les données ne vous diront pas l'avenir. Cela peut vous donner une idée de ce qui pourrait arriver, mais il y a beaucoup d'histoires de personnes qui prennent des décisions, qui font probablement très bien l'analyse, qui prennent une décision judicieuse avant qu'elle ne soit prise, et le résultat n'est tout simplement pas tourner. L'une des choses dont nous parlons à beaucoup de gens est d'être d'accord avec cela. Cela fait partie du jeu d'essayer d'être plus axé sur les données en tant que produit et entreprise - vous n'allez pas toujours faire les choses exactement comme il faut. Vous ne pouvez tout simplement pas perdre confiance en ce que sont les données en vous attendant à ce qu'elles vous disent toujours exactement ce que sera l'avenir.

Déchets à l'intérieur, déchets à l'extérieur

Liam : Eh bien, à la fin, dans quelle mesure est-il important de prendre en compte le parcours suivi par les données pour atteindre le tableau de bord à la fin ?

Benn : Il y a définitivement un processus de type « ordures entrantes, ordures sortantes » dans tout cela, et je pense que c'est assez bien compris. La plupart des gens comprennent que la qualité des données est importante. Supposons que nous essayons de prendre des décisions concernant notre pipeline de ventes et dans quelle mesure différents clients évoluent dans un pipeline de ventes et quelles étapes de l'entonnoir de vente fonctionnent bien et lesquelles ne fonctionnent pas, vous pouvez en conclure que les offres sont toujours bloquées. dans l'examen de la sécurité lorsque nous parlons aux gens de l'informatique et de la sécurité pour savoir si notre produit répond ou non à leurs normes, et donc, nous devons nous concentrer beaucoup plus là-dessus. Si notre conclusion est basée sur des données saisies manuellement par une équipe commerciale, il se peut que ce soit simplement la partie du processus où l'équipe commerciale est la plus négligente dans la saisie de ces données dans Salesforce, et par conséquent, cette conclusion n'est pas un reflet. de réalité. Vous devez faire tout le travail en amont pour vous assurer que vos données sont réellement exactes avant de pouvoir en tirer de véritables conclusions.

"Ce n'est pas nécessairement qu'ils truquent les chiffres ou qu'ils utilisent de mauvaises données - c'est juste que lorsque vous cherchez quelque chose d'intéressant, vous êtes beaucoup plus enclin à le trouver"

Il y a une autre façon dont je pense qu'il y a une dynamique similaire autour de ce "garbage in, garbage out". Vous pouvez faire un tas d'analyses différentes et dire que vous regardez un problème sous 10 perspectives différentes, la façon dont vous regardez cela comptera. Il y aura une certaine perspective qui apparaît d'une manière particulière, et cette analyse, en elle-même, peut être valable. Mais à moins que vous ne disiez aux gens : « Hé, nous avons essayé 10 choses, neuf d'entre elles ont suggéré une chose, mais cette 10e a suggéré autre chose », et puis la 10e chose qui a suggéré la chose la plus aberrante semble être très positive…

Vous entendez beaucoup parler de cela dans les études de type p-hacking académique où les gens écrivent essentiellement des articles académiques, et il y a cette question: "Est-ce qu'ils recherchent des résultats?" La réponse est, bien sûr, ils le sont. Les universitaires sont payés pour cela. Ils veulent trouver quelque chose d'intéressant. Ce n'est pas nécessairement qu'ils truquent les chiffres ou qu'ils utilisent de mauvaises données - c'est juste que lorsque vous cherchez quelque chose d'intéressant, vous êtes beaucoup plus enclin à le trouver, même si cette chose intéressante n'est pas nécessairement réelle .

Les analystes peuvent souffrir de la même tendance. Notre travail consiste à trouver quelque chose d'intéressant. Nous voulons être celui qui se lève lors de la grande réunion et dit : « Regardez ce tableau qui révèle cette chose vraiment dramatique. Si vous cherchez toujours ces choses, encore une fois, neuf fois sur 10, vous ne les trouvez pas. Mais cette 10e fois, quand vous le faites, il est important de dire : « Hé, nous avons d'abord essayé un tas d'autres choses. Cela aide à comprendre si cette chose que vous pensez trouver est réelle ou non.

Liam : Pour les startups, comment les données peuvent-elles être utilisées pour stimuler la croissance ?

Benn : Un tas de façons. La plupart des gens l'utilisent comme du piratage de croissance, que les gens appellent péjorativement une nouvelle façon d'appeler le marketing, mais vous pouvez l'utiliser de cette manière. Vous pouvez l'utiliser pour mieux comprendre vos clients, pour savoir à qui parler. Une grande partie de la croissance consiste simplement à trouver les bonnes personnes et à leur transmettre le bon message au bon moment, du moins du haut de l'entonnoir marketing. Les données peuvent être très importantes à cet égard. Comment pouvez-vous comprendre, de qui vient dans votre entonnoir, ce qu'ils disent et jusqu'où ils vont ? Qui sont ces personnes et comment en atteindre d'autres qui ressemblent à cela ?

"Une grande partie de la croissance consiste simplement à trouver les bonnes personnes et à leur transmettre le bon message au bon moment, du moins du haut de l'entonnoir marketing. Les données peuvent être très importantes à cet égard.

Les leviers les plus importants, cependant, consistent souvent à comprendre ce que vos clients essaient de faire. Les gens conçoivent souvent des produits et s'attendent à ce qu'ils soient utilisés d'une manière particulière ou s'attendent à ce que les gens les aiment pour une raison ou une autre, et les gens ne l'aiment pas toujours pour ces raisons. Il y a beaucoup de fonctionnalités que nous avons développées chez Mode ou que nous avons entendues de la part de nos clients où ils se disent : "Oh ouais, ça va être une bonne chose pour X." Et il s'avère que ce n'est pas vraiment la raison pour laquelle les gens l'aiment, mais ils pourraient l'aimer pour Y. À moins que vous ne regardiez les données pour comprendre les comportements de ce que font les gens et que vous essayiez de comprendre ce qui les motive à faire ces choses, vous penserez souvent : « Oh, super, nous avons lancé une fonctionnalité qui était vraiment bonne pour cela, et c'est pourquoi les gens l'utilisent. Donc, nous allons vraiment nous pencher là-dessus. Mais il se peut que vous jouiez réellement contre la façon dont les gens essaient d'utiliser le produit, et vous devriez plutôt dire : « Hé, ils l'utilisent pour Y. Créons vraiment des moyens pour leur permettre de faire Y chose dessus.

"Il s'agit de trouver l'adéquation réelle du produit au marché plutôt que celle que vous supposez avoir"

À titre d'exemple, il y avait cette entreprise qui était une sorte de produit de chat essentiellement pour le travail. C'était un produit collaboratif, une sorte de produit de type Slack, axé sur le mobile. Ils pensaient à l'origine que ce serait un excellent moyen de communication pour les travailleurs de première ligne. Ce serait un excellent moyen pour les personnes qui n'ont pas d'adresse e-mail de communiquer. Si vous êtes caissier au 7-11, vous n'avez peut-être pas d'adresse e-mail 7-11, mais nous avons besoin d'un moyen de pouvoir parler à ces personnes. C'était une application pour ça. Ils ont été adoptés, et ils pensaient que c'était à cause de ces personnes qui n'avaient pas d'adresse e-mail, mais après avoir examiné un tas de données, ils ont réalisé qu'il s'agissait en fait de gens qui devaient aller et venir au bureau un tas . La chose la plus utile n'était pas qu'ils n'avaient pas d'adresse e-mail – c'était qu'ils étaient souvent loin de leur ordinateur. Ils l'utilisaient essentiellement comme un remplacement de type WhatsApp pour le chat d'entreprise.

Donc, s'ils avaient pensé qu'il s'agissait de personnes sans adresse e-mail, ils auraient peut-être créé un tas de fonctionnalités où vous vous inscrivez avec votre numéro de téléphone, où vous faites un tas de choses qui permettent d'en faire une chose où vous ne Je n'ai pas d'ordinateur de bureau. Mais ce que les gens voulaient vraiment, c'était cette expérience où ils pouvaient parfois utiliser un ordinateur, puis s'en éloigner et vivre une expérience mobile vraiment géniale pendant qu'ils étaient sur la route, ou qu'ils faisaient une livraison ou quoi que ce soit d'autre. Cela crée une voie très différente pour ce produit et cette entreprise, mais ils ne comprendraient jamais cela à moins d'examiner les données pour comprendre les personnes qui les utilisaient réellement et ce qu'ils essayaient d'en faire. Il s'agit de trouver l'adéquation réelle du produit au marché plutôt que celle que vous supposez avoir.

Nouveaux outils, mêmes problèmes

Liam : À quoi ressemble la pile de données moderne en ce moment ?

Benn : La pile de données moderne est le terme fourre-tout pour le nouvel ensemble d'outils de données qui sont développés sur le dos des produits de données qui migrent vers le cloud. Le cœur de celui-ci est l'entrepôt de données. Avant 2010, toute entreprise qui voulait un entrepôt de données, où vous stockez toutes vos données, devait généralement acheter quelque chose, une machine physique ou un logiciel physique, comme sur un CD, qu'elle exécuterait ensuite sur une machine qu'elle propres. Nous aurions une salle de serveurs à l'arrière qui est notre base de données, et nous exécuterions une base de données Oracle dessus, et tout ça. Fondamentalement, avec Redshift, qui était l'un des premiers entrepôts de données cloud, les gens ont commencé à déplacer tout cela vers le cloud. Au lieu d'avoir à acheter une machine ou un logiciel, je peux simplement aller sur AWS, dire « Faites tourner une base de données Redshift pour moi », je peux le faire depuis mon navigateur en 15 minutes, et je n'ai pas besoin d'en avoir matériel pour le faire. Un tas d'outils ont été construits sur cette idée de dire : "Et si nous faisions tout notre travail de données dans le cloud et n'avions pas besoin de tous ces logiciels que nous exécutons nous-mêmes ?" La pile de données moderne est en quelque sorte autour de cette idée de ce à quoi ressemble le déplacement des données vers le cloud. Il existe de nombreuses façons de le définir. Mais généralement, il a construit ces produits très horizontaux qui ne feront qu'ingérer les données d'applications tierces.

"Nous avons eu ces améliorations spectaculaires dans la qualité de la technologie, mais les problèmes fondamentaux que nous essayons de résoudre sont souvent obstinément persistants"

Supposons que vous disposiez de données dans Salesforce, Zendesk, Marketo ou Stripe, des produits qui ne feront qu'ingérer ces données dans votre entrepôt. Vous avez des produits qui vont le transformer et le modéliser dans votre entrepôt - disons que vous avez un tas de données désordonnées que vous voulez transformer en données propres, vous avez donc des produits qui vont gérer cela. L'entrepôt lui-même fera le stockage. Il existe des outils d'analyse, comme Mode, qui s'y superposent pour les tableaux de bord, pour l'analyse, pour pouvoir partager et distribuer ce travail. Et puis, il y a un tas d'autres outils qui sont construits pour les prendre en charge. Maintenant que vous disposez de cinq ou six outils exécutant vos outils de données, vous souhaitez pouvoir les surveiller tous. Est-ce que tout fonctionne correctement ? Les pipelines du point A au point B sont-ils opérationnels et fonctionnent-ils comme prévu ? Si je veux apporter un changement à l'un d'entre eux, comment puis-je orchestrer ce changement dans le système ?

Cela devient cet écosystème beaucoup plus complexe, mais tout est construit sur ce flux de base d'une manière d'ingérer des données dans un entrepôt, d'une manière de les transformer dans un entrepôt, d'une manière de créer un actif de données au-dessus des données dans l'entrepôt , puis un moyen de l'expédier à quiconque a réellement besoin de le voir.

Liam : Il peut être si difficile de mettre tout le monde d'accord sur les chiffres lorsque vous avez différents tableaux de bord et outils qui vous disent différentes choses. Est-ce un défi ?

Ben : Ouais. C'est l'un des paradoxes de l'état actuel de la pile de données moderne. Nous avons passé près de 10 ans à construire ces produits, et ils sont révolutionnaires, à bien des égards. Ils font les choses beaucoup mieux et beaucoup plus vite qu'il y a 10 ans. Il y a environ 10 ans, pour les bases de données haut de gamme, il fallait dépenser, disons, un million de dollars par an pour les faire fonctionner. Vous auriez à payer pour les machines qui le font fonctionner. Vous auriez généralement besoin d'une ou deux personnes dont le travail à temps plein était de le gérer. Aujourd'hui, vous pouvez obtenir des entrepôts plus rapidement que celui qui vous coûtera 20 000 $ par an, et vous n'avez pas besoin que quelqu'un le gère entièrement. Je peux aller sur AWS, appuyer sur un bouton et payer des dizaines de milliers de dollars pour quelque chose qui me coûtait probablement quelques millions de dollars par an. Et c'est un meilleur produit.

Vous pourriez faire la même réclamation sur l'ensemble de la pile. Les outils d'analyse se sont améliorés dans ce sens. Les outils d'ingestion de données et les outils de pipeline se sont améliorés de cette façon. Nous avons eu ces améliorations spectaculaires dans la qualité de la technologie, mais les problèmes fondamentaux que nous essayons de résoudre sont souvent obstinément persistants. L'un de ces problèmes fondamentaux que nous avions il y a 10 ans était que deux personnes entrait dans une pièce et se disaient : « Mon tableau de bord dit ceci », et quelqu'un d'autre disait : « Mon tableau de bord dit ceci ». Ils passent toute la réunion, plutôt que d'essayer de comprendre quoi faire, en se disputant pour savoir qui est le bon numéro. Et nous le faisons encore, il y en a encore beaucoup.

« Le marketing et les ventes existent depuis des centaines d'années. Nous n'en sommes encore qu'aux premiers stades de la définition de ce à quoi cela ressemble pour la profession des données »

J'ai entendu un discours du PDG de Databricks, l'un de ces entrepôts vraiment modernes à l'origine d'une grande partie de ce changement. Il disait que l'une des plaintes les plus courantes des clients est que les gens passent tout leur temps à se chamailler sur les chiffres et lequel est le bon. Je pense qu'une partie de la résolution de ce problème consistera à continuer à créer des outils qui peuvent se parler et mieux fonctionner ensemble, et des systèmes qui nous permettent de définir les choses une fois pour que, si nous regardons un tableau de bord, nous sachions qu'il tire du même endroit . Mais une partie de cela, également, consistera simplement à ce que les organisations découvrent comment travailler avec les données. Les données sont encore une chose relativement nouvelle. La plupart des entreprises ont commencé à l'utiliser de manière réelle au cours des 10, 15 dernières années. Nous cherchons encore comment faire fonctionner cela. Il y a encore beaucoup de conversations dans la communauté sur les différents rôles dont nous avons besoin, à quoi ils servent et qui est responsable de quoi.

L'ingénierie n'était pas une pratique qui s'est développée du jour au lendemain. Ce n'était pas une pratique qui s'est développée du jour au lendemain. Le marketing et les ventes existent depuis des centaines d'années. Nous en sommes encore aux premiers stades de la définition de ce à quoi cela ressemble pour la profession des données. Je pense que ce sera une combinaison des outils que nous construisons et que tout le monde commence à réaliser : "C'est comme ça que ça marche, et c'est comme ça que ça ne marche pas", avant que nous puissions vraiment dépasser ce qui semble être des problèmes fondamentaux. .

Liam : Absolument. Je pense que tout le monde de toutes sortes d'industries aura ses propres histoires. Je pense que les métriques de podcast sont probablement un bon exemple des complications liées aux données. Un téléchargement n'est généralement pas égal au nombre total d'auditeurs, car un auditeur individuel peut avoir téléchargé le même épisode sur plusieurs appareils, ou il peut l'avoir téléchargé avec l'intention de l'écouter mais ne l'a jamais fait. Je sais qu'ils essaient d'introduire une façon normalisée de mesurer ces choses, ce qui se produira probablement à tous les niveaux, je suppose, pour beaucoup d'industries.

Benn : Si vous pensez aux mesures de base du marketing Web et à la façon dont les gens diffusent des publicités et d'autres choses, nous avons commencé à normaliser certains de ces éléments. Si vous accédez à votre tableau de bord publicitaire Facebook ou à votre tableau de bord publicitaire Google, ces choses vont se ressembler. Ils vont vous raconter plus ou moins la même histoire parce qu'il y a eu une certaine standardisation sur la façon dont nous parlons et déterminons quelles publicités fonctionnent bien ou non. Vous voyez cela avec d'autres choses. Vous voyez cela avec les entreprises SaaS, par exemple. Les entreprises SaaS disposent désormais d'un livre standard de métriques dont elles s'inspirent toutes. Il y a quelques endroits où nous commençons à voir cela fusionner, mais il y en aura beaucoup plus dans les années à venir, où c'est comme, comment pensons-nous aux podcasts ? Comment pensons-nous à certains types de produits ? Comment envisageons-nous de mesurer la performance d'une équipe de support ? Comment pensons-nous à toutes ces différentes choses qui sont les données sur lesquelles nous avons maintenant des informations tellement plus riches, mais que chaque entreprise essaie toujours de comprendre individuellement ?

"Nous allons nous adapter à partir des meilleures pratiques au lieu que tout le monde essaie de le faire à partir de zéro"

Je pense qu'il y aura une certaine normalisation autour, "C'est probablement la meilleure pratique pour réfléchir à ce genre de problèmes." Les entreprises auront toujours évidemment des rapports sur mesure qu'elles devront faire. Ce podcast peut vouloir mesurer les choses différemment de cet autre podcast, car vous pouvez avoir des publics différents ou des objectifs différents. Tout le monde aura ses propres ajustements, mais je pense qu'il y aura une bien meilleure idée de "D'accord, c'est comme ça que nous convenons tous que ça marche." Nous allons nous adapter à partir des meilleures pratiques au lieu que tout le monde essaie de le faire à partir de zéro. De nombreuses entreprises qui démarrent leurs pratiques en matière de données essaient souvent de créer des choses à partir de zéro. Je pense que nous avons encore du chemin à faire avant d'en arriver au point où vous avez l'échafaudage sur lequel nous pouvons tous construire.

Les frameworks Web, à certains égards, en sont un exemple. Si vous souhaitez créer un produit ou un logiciel Web, vous pouvez dessiner des contours assez bien définis à partir desquels vous ajoutez ensuite votre propre logique pour que votre application corresponde exactement à ce que vous vouliez. Analytics n'a tout simplement pas cela. Tout le monde part de zéro plutôt que d'avoir ce type de cadre de base sur lequel il peut s'appuyer.

Liam : Que diriez-vous aux startups découragées par les données qui regardent tout cela et se sentent un peu anxieuses à ce sujet ?

Benn : Cela peut arriver dans les startups, mais cela peut aussi arriver dans les entreprises matures en matière de données avec des analystes individuels. Il est facile de regarder une page blanche ou une feuille de calcul Excel surchargée et de penser : « Qu'est-ce que je fais ? » C'est facile à faire si vous êtes un analyste expérimenté qui commence tout juste à comprendre un problème, c'est facile à faire si vous êtes une entreprise qui ne sait pas encore quoi faire avec les données, et c'est facile à faire si vous êtes un analyste junior qui vient de rejoindre quelque part et ne sait pas quoi faire.

« Il n'y a rien de mal à commencer avec des choses vraiment simples. C'est remarquable la quantité d'informations de base que les gens trouveront précieuses »

Je pense que la solution pour cela est la même - c'est bien de commencer avec des choses vraiment simples. Il est remarquable de voir combien d'informations de base les gens trouveront précieuses. Je connais un gars qui, une fois par semaine, rencontrait son équipe de données afin qu'ils partagent essentiellement les choses qu'ils ont apprises au cours de la semaine. Certaines de ces choses étaient stupidement simples. La société était un produit conçu pour les entreprises, elle était donc utilisée du lundi au vendredi. Ils ont fait un tableau du nombre de personnes qui l'utilisent par jour de la semaine, et bon, la plupart des gens ne l'utilisent pas le week-end et beaucoup de gens l'utilisent en semaine. Vous n'êtes pas exactement en train de découvrir des idées incroyables là-bas. Tout le monde savait déjà que c'était comme ça que ça fonctionnait, mais voir ces chiffres et exactement combien il a chuté le week-end – il y a eu des week-ends où il n'a pas beaucoup baissé, et certains week-ends où il a chuté d'une tonne – a généré un tas de questions et de curiosité sur ce qui motive ce comportement. Pourquoi est-ce un week-end où les gens semblent l'utiliser beaucoup ? Que s'est-il passé là-bas? C'était la semence pour beaucoup plus de « Très bien, continuons à apprendre. Continuons à nous poser des questions. Continuons à creuser.

C'est ainsi que j'encourage les gens à commencer. Commencez simplement par les éléments de base, même s'il s'agit d'hypothèses que vous faites. Dès que vous commencerez à regarder les chiffres, vous verrez des choses qui vous feront réfléchir et vous gratter la tête et vous feront réaliser qu'il y a tellement plus ici que vous ne comprenez pas que vous êtes curieux. Il s'agit en grande partie de se laisser prendre par cette curiosité et de ne pas dire: «Je dois aller découvrir quelque chose d'étonnant. Je dois trouver cette aiguille dans la botte de foin qui changera la trajectoire de l'entreprise dès le premier jour. You're not going to find that right away. The way you're going to find it is by just poking around, seeing things that are interesting, and letting yourself explore those interesting things when you find them.

Always tinkering

Liam: You're clearly so passionate about data. I was just wondering where that came from.

Benn: Part of it is working in it for a long time and just getting to know it. Part of it, though, is that I think it's fun to figure stuff out like this. I was talking to someone about flying from New York to San Francisco a couple days ago, and it's a flight that I've made a good bit, and they had made it a good bit, too. They were saying that when they were flying back on a Delta flight, it felt way faster than when they were flying on a United flight. Why is Delta faster on this? And it made me think: are there some airlines that are just able to fly faster? It doesn't seem like that would be true, but does that actually hold up? The Department of Transportation releases raw data on every flight in the US. Where it started, where it ended, what time it took off, when it landed – all of that stuff.

“I'm just naturally prone to want to play around with that and understand it. I don't really have an explanation as to why that is other than I find it fun”

I just started playing around with it, trying to figure this out. I looked at different routes and was like, “Are there changes in the speed of different airlines? Are planes flying faster at different times of day, at different times of the year?” As you get into it, it just became interesting to see… I don't know any of this stuff. I don't know how fast planes fly or why they fly at different speeds on the same routes or whatever, but it was interesting. There were actually some airlines that were consistently a couple minutes faster. I don't know why that would be. It was never by much, but it was basically like 90 seconds of difference fairly consistently between a couple airlines. I don't know, maybe they just have different guidelines or something. That sort of thing, I think, is what makes me interested in it. I'm just naturally prone to want to play around with that and understand it. I don't really have an explanation as to why that is other than I find it fun. That really drew me to the job in the first place. Then, once you get into it, you start to see all these other things that you could be doing that are fascinating and fun.

Liam: That's great. Et après? Have you any particular plans or projects for 2022?

Benn: I mean, continuing to do the Mode thing. I think there's a lot of stuff on that front that we're excited about, a lot of new things we're building. The direction of the space is one we're very excited about. Personally, last year I basically started writing a lot more on Substack, and that's been fun. It's been good to get some of the thoughts out about these ideas, have conversations with the people in the community and see where things go. We're planning on being much more involved in that. I don't know exactly where that goes, and part of this is, again, letting myself be curious about it, do the things I enjoy, and if I find stuff that's fun and other people seem to enjoy, then giving myself the permission to continue to do it.

Liam: I was going to ask where our listeners can go to keep up with you and your work, definitely the Substack. I think it's Benn.substack.com. Is that right?

Benn: That's correct. The two places would be mainly there and Twitter. I'm not the most active Twitter person in the world, so Substack is better for some of the more interesting things. But my Twitter handle is @BennStancil, and there's also LinkedIn if you want to connect professionally.

Liam: I've been reading lots of your posts and they're great, so I would definitely recommend everyone go and subscribe to Benn's Substack. Thank you so much for chatting with us, Benn.

Benn: For sure. Thanks again for having me. This was fun.