Você sabe o que é Reverse ETL?
Esse artigo aborda as diferenças entre ETL e Reverse ETL, apontando os ganhos com o uso de ferramentas flexíveis de pipeline, permitindo a combinação de dados de diversas fontes com o objetivo de aumentar a capacidade de inteligência do negócio.
ETL vs Reverse ETL
O pipeline de dados de extração, transformação e carregamento (ETL) tradicional permaneceu praticamente inalterado desde a década de 1980: extraia os dados da fonte, converta-os em um formato utilizável (ou transforme-os) e carregue-os em seu cloud data warehouse.
O avanço de ferramentas flexíveis de pipeline de dados, como o Fivetran, também tornou possível carregar seus dados no warehouse e, em seguida, usar seu destino de armazenamento para transformá-los (chamado de ELT). Esses ETL/ELT permitiram que as empresas combinassem dados de várias fontes em uma única fonte de verdade para informar as decisões de inteligência de negócios.
Essa versão da Modern Data Stack funciona bem para diversos casos de uso, e agora chegou a hora das equipes fazerem uso de ferramentas mais sofisticadas para realizar o sonho da análise operacional.
A jornada reversa à ETL reverso possibilita a análise operacional no ambiente transacional. As ferramentas de ETL reverso invertem o papel do Fivetran (EL), extraindo dados do warehouse, transformando-os para que funcionem bem com a API do destino de destino (seja Salesforce, SAP, HubSpot, Marketo, Zendesk ou outros) e carregando-os na aplicação de destino desejado.
Motivos para mover dados para fora do warehouse
Por que eu iria mover dados para fora do warehouse/lakehouse? Não acabeide centralizar todos os meus dados em um respositório analítico? Por que eu iria querer mover dados do meu warehouse para qualquer lugar? Isso parece andar para trás…
O ETL reverso é necessário porque seu data warehouse/lakehouse, aplataforma que você usou para eliminar os silos de dados ironicamente se tornou
um silo de dados. Sem ETL reverso, as principais definições de sua empresa ficam apenas no CDW.
Pense no valor da vida útil, Lead Qualificado de Produto (PQL) e Lead Qualificado de Marketing (MQL), pontuação de propensão, saúde do cliente, ARR/MRR, estágios do funil, etc.
Claro, você pode criar facilmente relatórios e visualizações usando esses dados em ferramentas de BI ou SQL, mas esses insights são muito mais
poderosos se direcionarem as operações diárias de suas equipes em vendas, marketing, finanças, etc. com o uso de ferramentas como Hubspot, Salesforce, Netsuite, SAP, Workday, Gainsight, Zendesk, etc.
O ETL reverso, portanto, surgiu como uma parte fundamental da pilha de dados moderna para fechar o ciclo entre análise e ação ou ativação.
Quais são os casos de uso do ETL reverso?
Então, você entendeu, o ETL reverso é o processo de copiar dados do data warehouse/lakehouse para os sistemas transacionais. O que você pode realizar
com o ETL reverso?
Existem 3 casos de uso principais para o ETL reverso:
- Análise operacional: fornecendo insights de ferramentas de análise para equipes de negócios em seu fluxo de trabalho diário (sem passar pelo tradicional DataViz), para que possam tomar decisões mais orientadas por dados;
- Automação de dados: nem todos os problemas de dados são tão critícos. “Posso obter um CSV para emitir algumas faturas?”, pergunta sua equipe financeira. O ETL reverso apresenta uma solução simples;
- Infraestrutura de dados: com um número crescente de sistemas de origem, o Reverse ETL está emergindo como um padrão de uso geral em engenharia de software.
O ETL reverso permite insights mais acionáveis na operação
Toda empresa quer ser mais orientada a dados. No entanto, a pergunta mais assustadora para todo líder é “como”. Extrair insights de dados é a primeira parte, mas a última milha “habilitação analítica” ou traduzir esses insights em ação é um jogo diferente.
A habilitação do Analytics normalmente é vista como um problema de pessoas. E, definitivamente, é em parte, mas a forma como os dados são apresentados pode desempenhar um papel igualmente importante.
Vamos dar um exemplo em empresas B2B, uma pergunta comum é “em quais contas os representantes de vendas devem se concentrar?”. Em resposta, um analista de dados usa SQL para derivar características de leads de alto valor e apresenta os resultados em um relatório de BI.
Para desgosto do analista, o relatório nunca é usado. Na verdade, o relatório de BI raramente é aberto pela equipe de vendas e o analista nem recebe feedback sobre ele.
Uma perspectiva tradicional de capacitação analítica para esse problema seria treinar os representantes de vendas sobre como aproveitar os relatórios de BI como parte de seu fluxo de trabalho diário. Na prática, isso é difícil. A habilitação de dados é o motivo pelo qual a maioria dos projetos de dados falha.
O Operational Analytics é uma nova solução para o problema, habilitada pelo ETL reverso.
Em vez de treinar os representantes para usar os relatórios de BI, o analista de dados pode operacionalizar sua análise alimentando as pontuações de leads do data warehouse em um campo personalizado no Salesforce. Com a análise operacional, seus representantes recebem insights de suas análises quando e onde trabalham para agir.
Uma ferramenta de ETL reverso como o Hightouch permite que as equipes de dados e as equipes de análise implementem análises operacionais com a mesma facilidade com que criam um relatório de Business Intelligence (BI).
O ETL reverso permite a automação de dados
O Operational Analytics é chamativo, mas, na realidade, as empresas estão cheias de problemas muito menos glamorosos quando se trata de dados. Em qualquer organização de tamanho considerável, há toneladas de solicitações manuais de dados e CSVs circulando e, com qualquer processo manual, sempre há a questão de como automatizá-lo.
Aqui estão alguns exemplos comuns de solicitações de dados diárias de várias equipes:
- Sales quer que a lista de participantes do webinar importe como leads para o Salesforce;
- O suporte quer ver no Zendesk os dados sobre contas com suporte premium;
- O produto quer um feed do Slack que ativaram um recurso;
- A contabilidade quer que os atributos do cliente sejam sincronizados com o NetSuite;
- O departamento financeiro quer um CSV de dados de transações acumulados para usar no Excel ou no Planilhas Google.
Eu poderia continuar, mas se qualquer um desses soar um sino, você certamente pode fazer o mesmo. Os dados necessários já estão disponíveis no data warehouse e com o ETL reverso, o SQL é tudo o que você realmente precisa para extrair dados do warehouse e sincronizá-los com ferramentas externas,
tornando-se a solução mais simples.
Conclusão
O ETL reverso é uma categoria totalmente nova na stack de dados e, como qualquer categoria no hype, muitas empresas estão otimizando seus resultados nesta nova onda.
Com o ETL reverso, as equipes de dados modernas transformam os cloud data warehouses no sistema nervoso central de uma organização, alimentando o marketing por e-mail, ferramentas de suporte ao cliente, ferramentas de vendas ou até modelos financeiros. Isso significa equipes de negócios mais bem-sucedidas que podem servir dados ricos e úteis com a esteira de DataOps mais eficientes no geral.
A triggo.ai é pioneira na abordagem Modern Data Stack, estamos ajudando clientes a focar mais tempo na entrega de Analytics e AI, reduzindo seus esforços operacionais de dados, consequentemente maior entrega de valor. Fale com um de nossos especialistas!
