Abordar o tema DataOps a partir dos princípios é o melhor caminho para compreender sobre a sua importância.

Apesar das organizações estarem apenas no início desta nova era digital, criando novas funções de data engineer, data scientist, data stewards … entre outras relacionadas a dados, que estendem as possibilidades de negócios em um mundo cada vez mais digitalizado. Soluções de Data Analytics & AI, crescem de maneira exponencial e os desafios das organizações só aumentam, acompanhando a necessidade de investimentos.

O desafio não é a barreira tecnológica e sim acompanhar o ritmo dessa evolução criando produtos e serviços relevantes na era digital. E cada empresa passa a ser um agente de produtização de dados.

Porém o digital (no contexto de Data & Analytics inclusive) é ponta a ponta (end to end), faz parte de toda a cadeia de uma empresa ou mercado, e deve ser otimizado para isso, e não centralizado na TI.

Tente imaginar as dores atuais de uma esteira de data & analytics incluindo ou não data science, quais seriam esta dores ?

  • Falta de agilidade (na perspectiva das áreas de negócios terem os dados corretos para tomada de decisões);
  • Alto custo para evolução;
  • Falta de qualidade dos dados.

Sugiro observarmos um pouco algumas referências históricas que otimizam processos de construção de valor para as organizações, implementadas a décadas antes da digitalização:

Lean manufacturing

A manufatura enxuta é um método de produção que visa principalmente reduzir os tempos dentro do sistema de produção, bem como os tempos de resposta de fornecedores e clientes. É derivado do modelo operacional da Toyota de 1930 “The Toyota Way”

Six Sigma

É um conjunto de técnicas e ferramentas para melhoria de processos. Foi introduzido pelo engenheiro americano Bill Smith enquanto trabalhava na Motorola em 1986. Um processo six sigma é aquele em que 99,99966% de todas as oportunidades para produzir algum recurso de uma peça são estatisticamente esperadas como livres de defeitos.

Na engenharia de software não foi diferente, depois de décadas de evolução surgiu o:

DevOps

É um conjunto de práticas que combina desenvolvimento de software e operações de TI. Tem como objetivo encurtar o ciclo de vida de desenvolvimento de sistemas e fornecer entrega contínua com alta qualidade de software. O DevOps é complementar ao desenvolvimento de software Agile; vários aspectos do DevOps vieram da metodologia Agile.

Com DataOps não será diferente:

Enfim, o que podemos esperar para os nossos desafios de Data & Analytics, é que não devemos reinventar a roda, observando o cenário natural e evolutivo, vamos seguir um pouco nesta linha histórica para aumentar produtividade com processos enxutos e ágeis, simplificar, reduzir desperdícios e aumentar qualidade. Com o objetivo de entregar mais valor para os clientes e produto final. Mais do que nunca, nesta grande explosão de produtização de dados do século 21, é necessário pensarmos em DataOps.

DataOps

É um conjunto de práticas, processos e tecnologias que combina uma perspectiva integrada e orientada a processos sobre dados com automação e métodos de engenharia de software ágil para melhorar a qualidade, velocidade e colaboração e promover uma cultura de melhoria contínua na área de análise de dados .

Princípios de DataOps - triggo.ai
Fonte: Intro to DataOps – Whitepaper – AWS

Abaixo apresentamos os 18 princípios que ajudam a definir DataOps, esta abordagem é mais relevante do que apenas uma ferramenta ou solução específica pois deixa claro a importância dos tópicos chaves a serem considerados:

Obs: Um princípio é uma proposição ou valor que é um guia para o comportamento ou avaliação. Na lei, é uma regra que tem que ser ou geralmente deve ser seguida. Ela pode ser desejavelmente seguida, ou pode ser uma consequência inevitável de algo, como as leis observadas na natureza ou a forma como um sistema é construído.

1. Satisfaça continuamente o seu cliente:

Nossa maior prioridade é satisfazer o cliente por meio da entrega antecipada e contínua de insights analíticos valiosos de alguns minutos a semanas.

2. Foco em criar análises relevantes:

Acreditamos que a principal medida do desempenho da análise de dados é o grau em que a análises relevantes são fornecidas, incorporando dados precisos, sobre estruturas e sistemas robustos.

3. Abrace a mudança:

Acolhemos as necessidades dos clientes em evolução e, de fato, as adotamos para gerar vantagem competitiva. Acreditamos que o método de comunicação mais eficiente, eficaz e ágil com os clientes é a conversa face a face.

4. É um esporte coletivo:

As equipes analíticas sempre terão uma variedade de funções, habilidades, ferramentas favoritas e títulos. Uma diversidade de origens e opiniões aumenta a inovação e a produtividade.

5. Interações diárias:

Clientes, equipes analíticas e operações devem trabalhar juntos diariamente durante todo o projeto.

6. Auto-organização:

Acreditamos que os melhores insights analíticos, algoritmos, arquiteturas, requisitos e designs surgem de equipes auto-organizadas.

7. Reduzir o heroísmo:

À medida que o ritmo e a amplitude da necessidade de insights analíticos aumentam, acreditamos que as equipes analíticas devem se esforçar para reduzir o heroísmo e criar equipes e processos de análise de dados sustentáveis ​​e escaláveis.

8. Refletir:

As equipes analíticas devem ajustar seu desempenho operacional refletindo, em intervalos regulares, sobre o feedback fornecido por seus clientes, por eles mesmos e pelas estatísticas operacionais.

9. Analytics é código:

As equipes analíticas usam uma variedade de ferramentas individuais para acessar, integrar, modelar e visualizar dados. Fundamentalmente, cada uma dessas ferramentas gera código e configuração que descrevem as ações realizadas nos dados para fornecer insights.

10. Orquestrar:

A orquestração do início ao fim de dados, ferramentas, código, ambientes e o trabalho das equipes analíticas é um fator-chave para o sucesso analítico.

11. Torná-lo reproduzível:

Resultados reproduzíveis são necessários e, portanto, nós versionamos tudo: dados, configurações de hardware e software de baixo nível e o código e a configuração específicos para cada solução na stack de ferramentas.

12. Ambientes sandbox disponíveis:

Acreditamos que é importante minimizar o custo de experimentação dos membros da equipe analítica, oferecendo ambientes técnicos fáceis de criar, isolados, seguros e disponíveis ​​que reflitam seu ambiente de produção.

13. Simplicidade:

Acreditamos que a atenção contínua à excelência técnica e ao bom design aumenta a agilidade; da mesma forma, a simplicidade, a arte de maximizar a quantidade de trabalho não feito é essencial.

14. Analytics é manufatura:

Os pipelines analíticos são análogos às linhas de manufatura enxuta. Acreditamos que um conceito fundamental de DataOps é o foco no pensamento de processos visando alcançar eficiências contínuas na fabricação de insights analíticos.

15. A qualidade é primordial:

Os pipelines analíticos devem ser construídos com uma base capaz de detecção automatizada de anormalidades e problemas de segurança no código, configuração e dados, e devem fornecer feedback contínuo aos operadores para evitar erros.

16. Monitore a qualidade e o desempenho:

Nosso objetivo é ter medidas de desempenho, segurança e qualidade monitoradas continuamente para detectar variações inesperadas e gerar estatísticas operacionais.

17. Reuso:

Acreditamos que um aspecto fundamental da eficiência de fabricação de insights analíticos é evitar a repetição de trabalhos anteriores do indivíduo ou da equipe.

18. Melhore os tempos de ciclo:

Devemos nos esforçar para minimizar o tempo e o esforço para transformar uma necessidade do cliente em uma ideia analítica, criá-la em desenvolvimento, lançá-la como um processo de produção repetível e, finalmente, refatorar e reutilizar esse produto.

Conclusão

Empresas que adotarem o DataOps estarão abrindo caminho para se tornarem líderes da economia digital, onde os dados geram valor para toda a organização, principalmente quando as decisões estratégicas são cada vez mais baseadas na análise avançada de dados.

A triggo.ai é especialista em Data Analytics & AI, pioneira em XOps (DataOps|ModelOps|MLOps), e coloca a observabilidade bem como a qualidade dos dados em primeiro plano, fale com um dos nossos especialistas!