Este artigo tem como objetivo fazer uma introdução sobre o tema DataOps e explicar os principais benefícios da abordagem.

DataOps é uma metodologia automatizada e orientada a processos usada por equipes de análise e dados para melhorar a qualidade e reduzir o tempo de ciclo de análises avançadas. Essa abordagem emergente pode permitir que as empresas obtenham mais valor com seus dados, agilizando o processo de construção de modelos.

DataOps
Referência McKinsey

Para extrair mais valor dos dados e análises, as empresas devem definir uma ambição clara do topo da organização, construir equipes de engenharia de dados altamente qualificadas e implementar e desenvolver as ferramentas necessárias. Isso exigirá isolar os recursos necessários por um determinado período de tempo. As organizações podem começar seguindo as três etapas a seguir:

  1. Configure uma nova governança para as diferentes etapas do DataOps, determine a automação total e integre-se mais intimamente com o negócio por meio de “tradutores”.
  2. Aprimore as equipes de dados existentes para habilitar a automação.
  3. Crie as ferramentas necessárias para dar suporte às operações e aumentar o desempenho.

As empresas devem buscar implementar essas três etapas em escala. Ao desenvolver uma linguagem comum e padronizar modelos de implantação para análises avançadas, as empresas podem buscar a industrialização de DataOps.

“O foco real e os benefícios do DataOps são uma alavanca para a mudança organizacional, para orientar o comportamento e permitir a agilidade.”
“Innovation Insight for DataOps”, Gartner.

Em uma pesquisa recente do Gartner, pôde-se observar que profissionais de dados gastam em média 55% do seu tempo em temas operacionais, contra 22% do tempo em inovação, o que efetivamente traz valor para o negócio.

Referência Gartner

O Gartner descreve o tempo gasto com “execução” o uso da equipe de dados para atividades operacionais que envolvem desde implantação, governança e tratamento de erros produtivos.

Com uma estratégia de DataOps executada de forma eficaz, é possível inverter essa proporção e trazer valores substanciais para a empresa.

Governança ou agilidade?

Você precisa comprometer um para obter o outro?

Trazendo DevOps para o mundo dos dados

Há muito tempo, em uma galáxia muito distante…

Baby Yoda em The Mandalorian, série da Disney+ (foto: Reprodução Disney/Lucasfilm)

O desenvolvimento de software enfrentou desafios semelhantes, agilidade versus governança. O problema foi resolvido através do surgimento da filosofia DevOps, para melhorar a agilidade no ciclo de entrega de softwares.

O DevOps ganhou maturidade significativa na última década, possibilitando que times de engenharia de software entreguem soluções de forma rápida e consistente, ao mesmo tempo em que há governança, capacidade de auditoria e manutenção. O DevOps atingiu com sucesso um equilíbrio entre agilidade e governança.

Também na última década, grande parte dos esforços das grandes corporações foi ganhar maturidade para trabalhar com dados. Com a consolidação do DevOps como uma filosofia ágil de sucesso para a engenharia, iniciou-se um movimento para trazer a filosofia para a área de dados.

O conceito DataOps começou a ganhar força em 2017, com um crescimento significativo no desenvolvimento de ecossistema, na cobertura de analistas, buscas por palavras-chave, pesquisas, publicações e projetos de código aberto. E sua importância foi reafirmada quando o Gartner o adicionou ao Hype Cycle for Data Management de 2018.

DataOps é um método de desenvolvimento analítico que enfatiza a comunicação, colaboração, integração, automação, medição e cooperação entre cientistas de dados, analistas, engenheiros de dados, tecnologia da informação e QA. O método reconhece a interdependência de todo o processo analítico de ponta a ponta. Seu objetivo é ajudar as organizações a produzir insights rapidamente, transformá-los em ferramentas operacionais e melhorar continuamente o desempenho. Ele permite que toda a equipe envolvida no processo analítico siga os valores estabelecidos no Manifesto DataOps.

Principíos do manifesto DataOps

  1. Satisfaça continuamente o seu cliente: Nossa maior prioridade é satisfazer o cliente por meio da entrega antecipada e contínua de valiosos insights analíticos de alguns minutos a semanas.
  2. Valor do trabalho analítico: Acreditamos que a principal medida de desempenho de análise de dados é o grau em que análises são fornecidas, incorporando dados precisos sobre estruturas e sistemas robustos.
  3. Abrace a mudança: Acolhemos as necessidades dos clientes e, na verdade, as adotamos para gerar vantagem competitiva. Acreditamos que o método mais eficiente, eficaz e ágil de comunicação com os clientes é a conversa face a face.
  4. É um esporte em equipe: As equipes analíticas sempre terão uma variedade de funções, habilidades, ferramentas favoritas e títulos. Uma diversidade de experiências e opiniões aumenta a inovação e a produtividade.
  5. Interações diárias: Clientes, equipes analíticas e operações devem trabalhar juntos diariamente ao longo do projeto.
  6. Auto-organização
  7. Reduza o heroísmo
  8. Reflita
  9. Os códigos
  10. Orquestração
  11. Faça tudo ser reproduzível
  12. Ambientes descartáveis
  13. Simplicidade
  14. Análise de dados é manufatura
  15. A qualidade é primordial
  16. Monitorar a qualidade e o desempenho
  17. Reutilizar
  18. Melhorar os tempos dos ciclos

Práticas de DataOps de sucesso

Para a maioria das empresas, implementar DataOps de forma consistente, criar uma cultura Data Driven, consolidar um processo de governança sólido e ainda assim manter a inovação e o tempo de entrega, trazendo valor tangível para o negócio, ainda é um desafio significativo.

Gartner descreve que se esses líderes adaptarem o DataOps a três propostas de valor principais, eles obterão o valor máximo dos dados.

gartner-value-proposition
Definição das três propostas de valor pelo Gartner
  1. Adapte sua estratégia DataOps a uma proposta de valor, tratando os dados como um utilitário que se concentra na remoção de silos e esforço manual ao acessar e gerenciar dados. Como tal, os dados e análises estão prontamente disponíveis para todas as funções principais. Como existem muitas funções relevantes e não um único proprietário dos dados, atribua um gerente de produto de dados para garantir que as necessidades dos consumidores de dados sejam atendidas.
  2. Use DataOps para suportar o uso de dados como um facilitador de negócios. Para esta proposta de valor, dados e análises oferecem suporte a casos de uso específicos, como detecção de fraude, análise de otimização da cadeia de suprimentos ou compartilhamento de dados entre empresas. O DataOps deve conduzir a colaboração com as partes interessadas, que são os clientes de um produto específico atendendo ao seu caso de uso.
  3. Use análises e dados para guiar sua proposta de valor. Use dados e análises para criar novos produtos e serviços, gerar novos fluxos de receita ou entrar em novos mercados. Por exemplo, uma ideia para um novo produto surge de seu laboratório e deve evoluir para um produto produtivo e escalável. Use DataOps para vincular “Podemos fazer isso?” até “Como fornecemos um produto otimizado e controlado por dados aos nossos consumidores?”
“Os executivos das principais empresas estão entendendo rapidamente uma premissa central que os executivos de empresas orientadas a dados já entenderam bem: A velocidade com que a empresa pode obter valor com seus dados é muito importante. Reduzir esse prazo deve ser o foco principal de qualquer Chief Data Officer.”
Randy Bean, “Time to Value: The Currency of Data Operations,” Forbes.

Futuro do DataOps

DataOps foi trend topics de 2021, segundo o Gartner, as empresas vão começar a ver os ganhos reais de seus esforços através da evolução e extensão do DataOps para suporte confiável a IA. Ele ainda prevê que o número de empresas que direcionará seus esforços para IA crescerá de 8% em 2020 para 70% em 2025 devido ao avanço e maturidade das plataformas de IA, muito em virtude do avanço nos conceitos de MLOps e AutoML (confira nosso artigo sobre o tema).

As empresas ainda lutam para mover seus projetos de IA de uma fase de conceito para algo produtivo e que traz valor para o negócio. Uma pesquisa de 2019 do Gartner descobriu que as empresas enfrentam quatro grandes desafios:

  • 30% – Segurança e preocupações com a privacidade.
  • 30% – Complexidade de integração entre IA e a infraestrutura existente.
  • 22% – Volume de dados ou complexidade deles.
  • 22% – Riscos potenciais ou passivos.

O Gartner observa que melhorar a forma de pensar sobre os diferentes tipos de colaboração pode acelerar essa transição. Isso inclui estender a ideia de DataOps, incluindo MLOps, ModelOps e Platform Ops, criando-se um novo conceito chamado de XOps.

A triggo.ai é especialista em Data Analytics & AI, pioneira em XOps (DataOps|ModelOps|MLOps), e coloca a observabilidade bem como a qualidade dos dados em primeiro plano, fale com um dos nossos especialistas!