DataOps é uma metodologia automatizada e orientada a processos usada por equipes de análise e dados para melhorar a qualidade e reduzir o tempo de ciclo de análises avançadas. Essa abordagem emergente pode permitir que as empresas obtenham mais valor com seus dados, agilizando o processo de construção de modelos.

Referência McKinsey

Para extrair mais valor dos dados e análises, as empresas devem definir uma ambição clara do topo da organização, construir equipes de engenharia de dados altamente qualificadas e implementar e desenvolver as ferramentas necessárias. Isso exigirá isolar os recursos necessários por um determinado período de tempo. As organizações podem começar seguindo as três etapas a seguir:

1. Configure uma nova governança para as diferentes etapas do DataOps, determine a automação total e integre-se mais intimamente com o negócio por meio de "tradutores".
2. Aprimore as equipes de dados existentes para habilitar a automação.
3. Crie as ferramentas necessárias para dar suporte às operações e aumentar o desempenho.

As empresas devem buscar implementar essas três etapas em escala. Ao desenvolver uma linguagem comum e padronizar modelos de implantação para análises avançadas, as empresas podem buscar a industrialização de DataOps.

“O foco real e os benefícios do DataOps são uma alavanca para a mudança organizacional, para orientar o comportamento e permitir a agilidade.”

“Innovation Insight for DataOps”, Gartner

Em uma pesquisa recente do Gartner, pôde-se observar que profissionais de dados gastam em média 55% do seu tempo em temas operacionais, contra 22% do tempo em inovação, o que efetivamente traz valor para o negócio.

Referência Gartner

O Gartner descreve o tempo gasto com “execução” o uso da equipe de dados para atividades operacionais que envolvem desde implantação, governança e tratamento de erros produtivos.

Com uma estratégia de DataOps executada de forma eficaz, é possível inverter essa proporção e trazer valores substanciais para a empresa.

Governança ou agilidade?

Você precisa comprometer um para obter o outro?

Trazendo DevOps para o mundo dos dados

Há muito tempo, em uma galáxia muito distante...

 Baby Yoda em The Mandalorian, série da Disney+ (foto: Reprodução Disney/Lucasfilm)

O desenvolvimento de software enfrentou desafios semelhantes, agilidade versus governança. O problema foi resolvido através do surgimento da filosofia DevOps, para melhorar a agilidade no ciclo de entrega de softwares.

O DevOps ganhou maturidade significativa na última década, possibilitando que times de engenharia de software entreguem soluções de forma rápida e consistente, ao mesmo tempo em que há governança, capacidade de auditoria e manutenção. O DevOps atingiu com sucesso um equilíbrio entre agilidade e governança.

Também na última década, grande parte dos esforços das grandes corporações foi ganhar maturidade para trabalhar com dados. Com a consolidação do DevOps como uma filosofia ágil de sucesso para a engenharia, iniciou-se um movimento para trazer a filosofia para a área de dados.

O conceito DataOps começou a ganhar força em 2017, com um crescimento significativo no desenvolvimento de ecossistema, na cobertura de analistas, buscas por palavras-chave, pesquisas, publicações e projetos de código aberto. E sua importância foi reafirmada quando o Gartner o adicionou ao Hype Cycle for Data Management de 2018.

DataOps é um método de desenvolvimento analítico que enfatiza a comunicação, colaboração, integração, automação, medição e cooperação entre cientistas de dados, analistas, engenheiros de dados, tecnologia da informação e QA. O método reconhece a interdependência de todo o processo analítico de ponta a ponta. Seu objetivo é ajudar as organizações a produzir insights rapidamente, transformá-los em ferramentas operacionais e melhorar continuamente o desempenho. Ele permite que toda a equipe envolvida no processo analítico siga os valores estabelecidos no Manifesto DataOps.

Principíos do manifesto DataOps

1. Satisfaça continuamente o seu cliente: Nossa maior prioridade é satisfazer o cliente por meio da entrega antecipada e contínua de valiosos insights analíticos de alguns minutos a semanas.

2. Valor do trabalho analítico: Acreditamos que a principal medida de desempenho de análise de dados é o grau em que análises são fornecidas, incorporando dados precisos sobre estruturas e sistemas robustos.

3. Abrace a mudança: Acolhemos as necessidades dos clientes e, na verdade, as adotamos para gerar vantagem competitiva. Acreditamos que o método mais eficiente, eficaz e ágil de comunicação com os clientes é a conversa face a face.

4. É um esporte em equipe: As equipes analíticas sempre terão uma variedade de funções, habilidades, ferramentas favoritas e títulos. Uma diversidade de experiências e opiniões aumenta a inovação e a produtividade.

5. Interações diárias: Clientes, equipes analíticas e operações devem trabalhar juntos diariamente ao longo do projeto.

6. Auto-organização

7. Reduza o heroísmo

8. Reflita

9. Os códigos

10. Orquestração

11. Faça tudo ser reproduzível

12. Ambientes descartáveis

13. Simplicidade

14. Análise de dados é manufatura

15. A qualidade é primordial

16. Monitorar a qualidade e o desempenho

17. Reutilizar

18. Melhorar os tempos dos ciclos

 

Práticas de DataOps de sucesso

Para a maioria das empresas, implementar DataOps de forma consistente, criar uma cultura Data Driven, consolidar um processo de governança sólido e ainda assim manter a inovação e o tempo de entrega, trazendo valor tangível para o negócio, ainda é um desafio significativo.

O Gartner descreve que se esses líderes adaptarem o DataOps a três propostas de valor principais, eles obterão o valor máximo dos dados.

Definição das três propostas de valor pelo Gartner ⁴ 

1. Adapte sua estratégia DataOps a uma proposta de valor, tratando os dados como um utilitário que se concentra na remoção de silos e esforço manual ao acessar e gerenciar dados. Como tal, os dados e análises estão prontamente disponíveis para todas as funções principais. Como existem muitas funções relevantes e não um único proprietário dos dados, atribua um gerente de produto de dados para garantir que as necessidades dos consumidores de dados sejam atendidas.
2. Use DataOps para suportar o uso de dados como um facilitador de negócios. Para esta proposta de valor, dados e análises oferecem suporte a casos de uso específicos, como detecção de fraude, análise de otimização da cadeia de suprimentos ou compartilhamento de dados entre empresas. O DataOps deve conduzir a colaboração com as partes interessadas, que são os clientes de um produto específico atendendo ao seu caso de uso.
3. Use análises e dados para guiar sua proposta de valor. Use dados e análises para criar novos produtos e serviços, gerar novos fluxos de receita ou entrar em novos mercados. Por exemplo, uma ideia para um novo produto surge de seu laboratório e deve evoluir para um produto produtivo e escalável. Use DataOps para vincular “Podemos fazer isso?” até “Como fornecemos um produto otimizado e controlado por dados aos nossos consumidores?”

“Os executivos das principais empresas estão entendendo rapidamente uma premissa central que os executivos de empresas orientadas a dados já entenderam bem: A velocidade com que a empresa pode obter valor com seus dados é muito importante. Reduzir esse prazo deve ser o foco principal de qualquer Chief Data Officer.”

Randy Bean, “Time to Value: The Currency of Data Operations,” Forbes

Futuro do DataOps

DataOps foi trend topics de 2021, segundo o Gartner, as empresas vão começar a ver os ganhos reais de seus esforços através da evolução e extensão do DataOps para suporte confiável a IA. Ele ainda prevê que o número de empresas que direcionará seus esforços para IA crescerá de 8% em 2020 para 70% em 2025 devido ao avanço e maturidade das plataformas de IA, muito em virtude do avanço nos conceitos de MLOps e AutoML (confira nosso artigo sobre o tema).

As empresas ainda lutam para mover seus projetos de IA de uma fase de conceito para algo produtivo e que traz valor para o negócio. Uma pesquisa de 2019 do Gartner descobriu que as empresas enfrentam quatro grandes desafios:

• 30% - Segurança e preocupações com a privacidade.
• 30% - Complexidade de integração entre IA e a infraestrutura existente.
• 22% - Volume de dados ou complexidade deles.
• 22% - Riscos potenciais ou passivos.

O Gartner observa que melhorar a forma de pensar sobre os diferentes tipos de colaboração pode acelerar essa transição. Isso inclui estender a ideia de DataOps, incluindo MLOps, ModelOps e Platform Ops, criando-se um novo conceito chamado de XOps.

No próximo artigo abordaremos no detalhe o que é XOps.

Até breve...

Referências:

1. https://dataopsmanifesto.org/
2. https://www.gartner.com/en/newsroom/press-releases/2018-09-11-gartner-hype-cycle-for-data-management-positions-three-technologies-in-the-innovation-trigger-phase-in-2018
3. https://www.mckinsey.com/business-functions/mckinsey-digital/our-insights/tech-forward/how-companies-can-use-dataops-to-jump-start-advanced-analytics
4. https://www.gartner.com/smarterwithgartner/how-dataops-amplifies-data-and-analytics-business-value
5. https://www.gartner.com/smarterwithgartner/gartner-top-10-data-and-analytics-trends-for-2021