Este artigo aborda a vantagens em migrar para uma MDS (Modern Data Stack) e como fazê-la, reduzindo drasticamente o tempo perdido com engenharia de dados e permitindo que engenheiros e analistas se concentrem em atividades de alto valor.

Antes de falarmos sobre uma visão moderna de solução de dados, um pouco de história …

Uma década depois que o The Economist nos avisou que logo estaríamos nos afogando em dados , a stack de dados moderna está emergindo como o bote salva-vidas proposto pelo Vale do Silício.

Você imaginaria que, com mais de 15 anos de toda a revolução do Big Data, essa necessidade foi resolvida há muito tempo, mas não foi.

Em retrospecto, o sucesso inicial do Hadoop foi um pouco complicado, ele desempenhou um papel muito importante em termos de transmitir a ideia de que o valor real pode ser extraído de grandes quantidades de dados, mas sua complexidade técnica geral acabou limitando sua aplicabilidade a um pequeno conjunto de empresas e nunca alcançou a penetração de mercado que mesmo os data warehouses mais antigos (por exemplo, Vertica) tinham algumas décadas atrás.

Hoje, os data warehouses em nuvem (Snowflake, Amazon Redshift e Google BigQuery) e os lakehouses (Databricks e Snowflake) fornecem a capacidade de armazenar grandes quantidades de dados de uma maneira útil, sem custos proibitivos e não requerem um exército de pessoas muito técnicas para manter (NoOps). Em outras palavras, depois de todos esses anos, agora finalmente é possível armazenar e processar Big Data.

MDS (Modern Data stack) e por que você precisa migrar para ela

A Modern Data Stack (MDS) é uma nova abordagem para integração de dados capaz de reduzir drasticamente o tempo perdido com engenharia de dados , permitindo que engenheiros e analistas se concentrem em atividades de alto valor. Com um conjunto de ferramentas para dar suporte à integração de dados, a data stack moderna liberará suas equipes da rotina operacional, ao mesmo tempo em que as capacitará com insights, automação e tecnologia avançada. Por todos esses motivos, agora é a hora de migrar para uma MDS. Aqui iremos abordar como fazê-la.

Modern-Data-Stack-MDS-triggo.ai
The Modern Data Stack

A ideia geral por trás da stack moderna é a mesma de tecnologias mais antigas: construir um pipeline de dados onde você primeiro extrai dados de um monte de fontes diferentes, armazena-os em um Data Warehouse (ou Lakehouse) e, em seguida, prepara, analisa e visualiza.

Mas a grande mudança foi a enorme escalabilidade e elasticidade, com governança de alto nível e NoOPs, dos cloud data warehouses (Snowflake, Amazon Redshift, Google BigQuery, em particular). Eles se tornaram a base da stack e pipeline de dados modernos que priorizam a nuvem.

Ferramentas incluem, como os dados fluem:

  • um pipeline de ingestão totalmente gerenciado;
  • um CDW colunar baseado em nuvem ou data lake como destino;
  • uma ferramenta de transformação de dados moderna;
  • solução de dataops para governança (CI/CD, Documentação, Orquestração, Observability …);
  • uma plataforma de business intelligence ou visualização de dados.

O objetivo de uma MDS é analisar os dados de sua organização para descobrir proativamente novas áreas de oportunidades e melhorar a eficiência. Como a MDS é um desenvolvimento relativamente novo, apontamos algumas questões comuns sobre seus recursos.

Para simplificar, a data stack moderna (MDS) é um conjunto de ferramentas que potencializam a integração de dados.

Com uma data stack moderna, o modelo foi desenvolvido pensando nos usuários de negócios, removendo as barreiras técnicas que há muito impedem os analistas e outras partes interessadas de acessar e utilizar totalmente os dados que uma empresa possui. A data stack moderna também garante que as ferramentas de integração e análise sejam simples de usar, com pouco conhecimento técnico necessário. Ao reduzir as complicações técnicas por si só, a data stack moderna oferece inúmeros benefícios para as empresas que a adotam.

O que separa uma data stack moderna de uma data stack legada?

A diferença mais importante entre uma data stack moderna e uma data stack legada é que a MDS é Cloud-Native e requer pouca configuração técnica por parte do usuário (NoOps). Essas características promovem a acessibilidade do usuário final, bem como a escalabilidade para atender rapidamente às suas crescentes necessidades de dados sem o tempo de inatividade caro e demorado associado ao dimensionamento de serviços e desenvolvimento de engenharia de dados com fluxos menos automatizados.

Em última análise, a data stack moderna reduz a barreira técnica de entrada para integração de dados. Os componentes da data stack moderna são criados com analistas e usuários de negócios em mente, o que significa que usuários de todas as origens podem não apenas usar essas ferramentas com facilidade, mas também administrá-las sem conhecimento técnico aprofundado.

Estrutura escalável

Inúmeras ferramentas de dados surgiram na última década, principalmente em resposta ao novo impulso das organizações para obter o máximo de valor possível de seus dados. Como resultado, cada ferramenta de dados conquistou um lugar no mercado, com a maioria oferecendo alguma solução altamente especializada para uma parte do ciclo de vida dos dados. Juntas, essas ferramentas formam uma pilha de dados altamente eficaz que é escalável com pouca barreira técnica à entrada. Ao criar um MDS para sua empresa, você pode buscar ferramentas em algumas ou todas as
seguintes categorias:

  • Ingestão de dados comportamentais para transmitir dados de eventos comportamentais originados de dispositivos conectados, como SmartTVs e wearables.
  • Ingestão de dados transacionais para dados transacionais em lote ou streaming originados de ferramentas SaaS, relatórios e bancos de dados internos.
  • Armazenamento na forma de data lakes e repositório na nuvem, proporcionando armazenamento de baixo custo, persistente e escalável que permite acesso de baixa latência aos dados.
  • Processamento para transformação de dados em batch e streaming, ajudando a agregar, filtrar e alterar conjuntos de dados brutos para prepará-los para análise.
  • Operações de ETL reverso para permitir que dados enriquecidos do usuário sejam injetados em inúmeras ferramentas, como CRMs, para posterior uso e análise. Ideal para aplicativos de dados de autoatendimento, como para o departamento de marketing.
  • Processos de análise, geralmente compostos por business intelligence (BI) e ferramentas de análise de produtos que promovem ainda mais uma cultura de autoatendimento para equipes de marketing e desenvolvimento.
  • Ferramentas de inteligência, como inteligência artificial (IA) e aprendizado de máquina (ML) para capacitar os profissionais de ciência de dados a identificar tendências históricas e prever comportamentos futuros.
  • Ferramentas de gerenciamento para construir pipelines de dados, melhorar a observabilidade e resolver problemas organizacionais.

Custos gerais de engenharia de dados

Com uma data stack moderna, sua organização pode reduzir seus custos de engenharia de dados em impressionantes 80% ou mais. Essa redução de custos vem principalmente da eliminação da necessidade de criar pipelines de dados e mantê-los. Com conectores de dados totalmente gerenciados que são lançados em minutos e se integram automaticamente ao destino de sua empresa (ou seja, seu data lake ou CDW baseado em nuvem), a data stack moderna economizará tempo e dinheiro substanciais.

A Ignition Group, empresa de mídia e telecomunicações, é um estudo de caso que mostra em primeira mão a eficiência da implementação de um MDS. Eles disseram: “Inicialmente, planejamos trazer nossas fontes de dados para o DW existente do SQL Server. Isso exigiria os esforços de três pessoas ao longo de dois anos e custaria cerca de $400.000 apenas para nos levar aonde chegamos com [MDS] em dois meses.”

Capacidade de executar rapidamente

Com mais tempo e mais dados disponíveis, uma data stack moderna significa que as equipes da sua empresa podem mudar seu foco total para os projetos de análise e perder menos tempo com a operação dos dados, aqui entra o DataOps que abordamos em outros artigos recentes.

Métricas de desempenho

Uma MDS não apenas desbloqueia fontes de dados adicionais. Ele também oferece à sua empresa uma ferramenta de BI fácil de usar que revelará uma longa lista de novas métricas que você ainda precisa explorar e utilizar. Você começará a ver esses benefícios por pelo menos dois motivos. A primeira é que seus dados com um MDS são mais ricos, permitindo novas análises cruzadas. A segunda é que um MDS melhora seu acesso aos dados entre as equipes, dando a mais colaboradores a chance de encontrar e propor métricas com base em suas competências exclusivas.

Como construir uma data stack moderna ?

Se explorar os muitos benefícios da data stack moderna você se convenceu de que sua empresa está perdendo insights incríveis (por causa da falta de um MDS), o próximo passo lógico é responder à pergunta: como você faz a mudança? As vantagens de migrar para um MDS são claras, mas o caminho para chegar lá pode ser muito mais complexo.

O grande número de ferramentas que compõem uma stack de dados moderna pode ser uma lista assustadora, mas não há nada a temer. Se você seguir as melhores práticas de migração, fazer a troca pode ser surpreendentemente fácil; você só precisa começar com um plano bem pensado para garantir que sua empresa consiga realizá-lo.

Comece Simples

Sua empresa pode acabar incorporando uma infinidade de ferramentas em seu MDS, mas isso não significa que você precise trabalhar desde o início tentando integrar uma dúzia de ferramentas ao mesmo tempo. Em sua forma mais simples, uma data stack moderna requer apenas uma ferramenta de ingestão, uma ferramenta de armazenamento, uma ferramenta de transformação e uma ferramenta de inteligência de negócios.

Escolha os parceiros certos

No final das contas, não existe uma abordagem única para adotar uma data stack moderna. O roadmap, para as seleções de ferramentas e os cronogramas de cada empresa serão diferentes com base em seu tamanho, recursos, flexibilidade e agilidade geral.

A triggo.ai é pioneira na abordagem Modern Data Stack, estamos ajudando clientes a focar mais tempo na entrega de Analytics e AI, reduzindo seus esforços operacionais de dados, consequentemente maior entrega de valor. Fale com um de nossos especialistas!