Este artigo explica o conceito de repositório de métricas e como essa abordagem de centralizar com governança os principais indicadores da sua empresa vai agilizar a análise de dados e garantir tomadas de decisões mais seguras.
Metrics Store é um local centralizado e governado para as organizações armazenarem os principais indicadores, ou seja, um ambiente onde todas as métricas da sua empresa ficam disponíveis para você possa usá-las quando e onde quiser.

Por que sua equipe de dados deve definir métricas de negócios em código?

Um repositório de métricas é um local centralizado e governado para as organizações armazenarem as principais métricas. É uma forma de agrupar o conhecimento organizacional, criando um repositório para que as partes interessadas acessem os principais indicadores de maneira repetível, independentemente de como planejam consumi-las. 

Até pouco tempo, os armazenamentos de métricas eram construídos internamente. Empresas com grandes equipes de dados (como o Airbnb) construíram repositórios de métricas internos para padronizar as definições de KPI´s em conjuntos e ferramentas de dados. Isso ajudou a agilizar a experimentação e, em maior escala, ajudou a colocar todos na mesma página quando se trata de definir indicadores importantes como “receita”, “novos usuários” ou “crescimento de clientes”. Hoje, as equipes de dados podem adquirir essa funcionalidade em ferramentas SaaS, prontas para uso. 

Neste artigo, abordaremos: 

  • Benefícios de um repositório de métricas e por que você precisa de um; 
  • Como um repositório de métricas se encaixa na Modern Data Stack; 
  • Como as equipes de dados usam armazenamentos de métricas; 
  • Casos de uso para equipes de dados e de negócios. 

Benefícios de um repositório de métricas: consistência, acesso e produtividade?

Os repositórios de métricas estão começando a ganhar força como parte da Modern Data Stack porque ter um repositório de métricas pode trazer alguns benefícios importantes.  Com um repositório de métricas, você pode:

  • Ter um local centralizado para consumir dados do Data Warehouse;
  • Garantir que os dados que alimentam suas métricas sejam precisos e consistentes;
  • Fornecer acesso a dados precisos para que as pessoas obtenham os mesmos resultados quando os analisam, independentemente da ferramenta que estão usando.
Metrics Store - triggo.ai
Reprodução: Metrics Store | Diagrama de um modelo de repositório de métricas

Para entender o valor de um repositório de métricas, é preciso entender o contexto.  

A maioria das organizações têm indicadores para acompanhar o sucesso e o progresso em direção às metas. Algumas organizações os chamam de indicadores-chave de desempenho (KPIs) ou indicadores principais, enquanto outros os chamam de métricas. A premissa é a mesma — as organizações precisam compreender se suas decisões (ou ações) estão ajudando a alcançar seus objetivos. Normalmente, as equipes de dados são responsáveis por criar conjuntos de dados precisos para a empresa rastrear essas métricas em ferramentas de business intelligence (BI) downstream, como Tableau, Looker ou Mode. Mas nem toda equipe usa a mesma ferramenta e os dados subjacentes usados para definir uma métrica como receita podem estar em tabelas diferentes no warehouse. Isso significa que relatar “receita” pode se tornar uma batalha de perguntas como: 

“Qual definição está certa?” Por que existem várias definições?” “Posso confiar nesses dados?”. Mesmo perguntas simples como “Quantas vendas fizemos na semana passada?” pode levar à confusão. 

Reprodução: Metrics Store | Diagrama com resultados divergentes na análise com ferramentas diferentes

Ao criar métricas em código (em um Metrics Store), as equipes de dados têm um local centralizado para criar, medir e identificar métricas de negócios. Isso também torna essas equipes mais eficientes e estratégicas porque elas não precisam criar conjuntos de dados repetidamente. Em vez disso, elas se tornam facilitadoras, ajudando os líderes de negócios a definir, compartilhar e defender suas métricas em toda a organização. 

Como um repositório de métricas se encaixa na Modern Data Stack?

As empresas projetam sua infraestrutura de dados com base em como esperam conduzir a tomada de decisões por meio de sistemas analíticos.

Normalmente, essas empresas gerenciam grandes quantidades de dados provenientes de vários aplicativos diferentes ou sistemas de origem de terceiros. Os dados são capturados e armazenados em um data warehouse ou data lake, dependendo dos tipos de fluxos de trabalho, analíticos ou operacionais, aos quais os dados se destinam.

Alguma transformação pode ocorrer antes que os dados fluam para o warehouse (pense no ETL), mas na maioria das vezes, as empresas estão optando por uma abordagem ELT , na qual os conjuntos de dados são carregados no warehouse e, em seguida, preparados para o consumo de aplicativos analíticos downstream.

Outra abordagem é quando a desnormalização é realizada na própria camada de aplicação, sequestrando a lógica da métrica dentro dessas ferramentas sob medida (veja o diagrama abaixo).

Metrics Store - MDS - triggo.ai
Reprodução: Metrics Store | Diagrama de um modelo de repositório de métricas com Modern Data Stack

Um repositório de métricas fica, convenientemente, entre o data warehouse de uma organização e outras ferramentas downstream. Essencialmente, ele atua como um proxy para o warehouse, traduzindo solicitações de métricas em consultas SQL para o warehouse. Dessa forma, a transformação ocorre no ‘nível métrico’ — consistentemente definido em código, acessível a todas as ferramentas downstream e governado centralmente para maximizar os insights. 

Como uma equipe de dados e análises usa um repositório de métricas?

Embora a consistência dos indicadores seja uma parte crítica do sucesso de uma organização, as equipes de dados também usam um repositório de métricas para várias outras tarefas importantes.  

Como Nick Handel explicou no Data Engineering Podcast, as equipes usam um repositório de métricas para: 

  1. Interface com conhecimento de métricas: explore, crie definições e veja a linhagem de métricas. Coloque todos na mesma página quando se tratar de definir métricas importantes como “usuários ativos”, “churn líquido” ou “receita recorrente mensal”. Isso também inclui a linhagem de como cada métrica é construída, buscando, inclusive, informações no nível da fonte de dados; 
  2. Conheça os consumidores nas interfaces que eles já usam: exponha métricas para todos os diferentes lugares onde são consumidos, como CRMs, ferramentas de experimentação, ferramentas de BI e ferramentas de qualidade de dados. Isso significa que um vendedor olhando para uma métrica de “oportunidades criadas” em uma ferramenta de BI veria os mesmos números que um profissional de marketing enxerga; 
  3. Gerencie os ciclos de vida das métricas: acompanhe as alterações nos indicadores ao longo do tempo e alerte os seus proprietários quando as coisas mudarem. Se a linhagem ou definição de uma métrica for alterada, o proprietário será notificado imediatamente e poderá ver por que e como essa alteração ocorreu. Se houver um pico ou uma queda nos dados, o proprietário já sabe que isso aconteceu e tem respostas para as partes interessadas. Chega de rastrear anomalias no data warehouse. 

Para quem é feita uma metrics store? Casos de uso para equipes de dados e de negócios

Um repositório de métricas traz benefícios diretos para as equipes de dados e análises, porém, mais importante: tem um impacto direto na organização como um todo. Quando todos estão falando a mesma linguagem de dados, existe menos tensão sobre o que uma métrica significa ou qual número é realmente preciso. Todo mundo tem uma única fonte de verdade.

As principais pessoas que usam um repositório de métricas são:

  • Produtores de dados (engenheiros de dados, engenheiros de análise, analistas de dados) – Pessoas que constroem conjuntos de dados normalizados no warehouse e que criam e testam hipóteses. Esses produtores são responsáveis por fornecer conjuntos de dados limpos para usuários de negócios.


    Como eles usam um repositório de métricas
    : os produtores de dados normalmente exercem funções dentro da equipe de dados/análise e usam um Metrics Store para centralizar definições e cálculos de métricas e, em seguida, exibir esses indicadores para consumidores de dados onde quer que eles desejem consumir essas informações. Isso alivia muito o trabalho repetitivo.

  • Consumidores de dados (proprietários de linha de negócios) – Pessoas que precisam consumir e explorar dados. Eles querem que todos usem as mesmas definições de métricas e querem ver os indicadores divididos por diferentes dimensões.


    Como eles usam um repositório de métricas
    : os consumidores de dados podem estar em funções mais técnicas, como um gerente de produto, ou podem ser uma parte interessada nos negócios, como um chefe de vendas. Esses consumidores podem usar um repositório de métricas para ter uma visão geral do desempenho dos indicadores ou podem acessar essas métricas calculadas em outras ferramentas, como uma aplicação de business intelligence, por exemplo.

Toda equipe de dados precisa de um repositório de métricas!

Os dados só são úteis quando estão acessíveis e são realmente precisos. Até pouco tempo, não havia uma ferramenta centralizada para esse fim. Os analistas usavam uma combinação de ferramentas de BI e de documentação para registrar as definições de métricas e a linhagem.

Adotar um Metrics Store é colocar todas as suas informações de métricas em um só lugar, criando uma base de conhecimento para toda a organização. Isso significa que os usuários finais têm mais contexto e detalhes para obter mais insights de seus dados.

O repositório também expõe as métricas a uma gama mais ampla de aplicativos e a um grupo maior de pessoas, tornando sua equipe de dados mais eficiente e estratégica, pois ela não precisará criar e reconstruir conjuntos de dados para análises. Vemos um futuro em que as Metrics Store estarão disponíveis para todos, independentemente do tamanho ou setor de sua organização.

A triggo.ai é pioneira e especialista em MDS – Modern Data Stack & DataOps no Brasil, desenvolvemos produtos e soluções que permitem nossos clientes atingir o melhor ROI para Data Analytics & AI. Fale com um de nossos especialistas!