Este artigo aborda o conceito de XOps e como a sua aplicação pode ajudar a equalizar a maturidade de Data Analytics & AI, permitindo que as organizações operacionalizem dados e análises para gerar maior valor comercial.

“ A maioria dos projetos de analytics e IA falham porque a operacionalização (Ops) é abordada apenas como uma prioridade tardia. A principal barreira para dimensionar análises e implementações de IA é a complexidade em torno da integração da solução com aplicações e infraestruturas das organizações existentes.” Gartner 

O que é XOps?

“A multiplicação de disciplinas de Ops decorrentes das melhores práticas de DevOps causou uma confusão significativa no mercado. No entanto, sua reconciliação pode trazer vantagens significativas para organizações que são capazes de harmonizar essas disciplinas.” Gartner  

O objetivo do XOps (dados, machine learning, models, platforms) é alcançar mais eficiência e economia de escala usando as melhores práticas de DataOps, garantido a confiabilidade, reutilização e repetibilidade, aumentando a automação e reduzindo a duplicação de processos e tecnologias. 

Por que existem tantos termos *Ops?

XOps triggo.ai
Reprodução: DataKitchen

Como o XOps ajuda a equalizar a maturidade de Data Analytics & AI

O “XOps” está surgindo como uma estratégia de automação chave para operacionalizar o valor comercial de dados e fluxos de trabalho de IA/ML na pilha de tecnologia corporativa mais ampla. O XOps foi nomeado uma das principais tendências de dados e análises de 2021 pelo Gartner, e os exemplos incluem DataOps, MLOps, DevOps, AnalyticsOps, PlatformOps e ModelOps. Como muitas ferramentas e plataformas evoluíram para resolver áreas problemáticas de nicho, elas estão bastante desconectadas, criando mais confusão para os líderes de dados decidirem quais ferramentas e plataformas são necessárias para dar suporte às necessidades de negócios de ponta a ponta.

XOps-Trend-Gartner-triggo.ai
Reprodução: Trend 5.XOps - Gartner.

Em termos simples, os XOps podem ser divididos em “X” relacionados a dados, infraestrutura, business intelligence (BI) e modelos de aprendizado de máquina (ML), e “Ops” é a automação via código. O componente individual existe há anos, mas a diferença agora é que eles estão interconectados para impulsionar a agilidade e a inovação removendo os silos.

Dados, BI e ML Ops são o foco principal deste artigo, pois estão inter-relacionados para criar valor comercial. Eles são considerados verticais funcionais e o DevOps é a cola de interconexão que garante a consistência de ferramentas, segurança e requisitos de governança para impulsionar a integração contínua (CI), o desenvolvimento contínuo (CD) e o treinamento contínuo (CT).

O que há de comum entre DataOps, AnalyticsOps e MLOps? 

As organizações constroem sua estratégia em torno de dados e tecnologia, e a TI é o principal impulsionador dessas iniciativas. Eles colaboram com várias funções de negócios para reunir requisitos para implementar soluções de BI e ML. A adoção e o sucesso dessas soluções, normalmente, são medidos pela precisão e pontualidade dos produtos de dados. O padrão de uso e consumo de produtos de dados, como usuários, consultas, tabelas usadas com frequência e atributos, geralmente, são ignorados. Além disso, uma visualização de linhagem é apenas parcialmente completa sem metadados de aplicativos de BI e ML. A integração de metadados dessas ferramentas deve ser integrada à ferramenta DataOps para fornecer visibilidade total e fornecer requisitos de governança de fontes de dados, regras de negócios, consumo, usuários, níveis de acesso, proprietário da empresa, endpoints do modelo e possíveis vazamentos de dados .

À medida que as organizações continuam adotando as melhores soluções como parte de sua jornada de transformação, a migração de aplicativos e tecnologia são dois componentes necessários a serem considerados. Ter uma solução integrada de metadados e observabilidade unificada permite que eles definam o roteiro de migração e avaliem o impacto nos negócios rapidamente, sem investir recursos significativos para conduzir um processo de descoberta de meses.

O que há de diferente entre DataOps, AnalyticsOps e MLOps?

DataOps: A base do XOps

Quanto mais dados um algoritmo tem para trabalhar, mais precisos serão os resultados. Mas o valor de IA, o valor de ML e o valor de análise são significativos apenas se os dados em que opera forem confiáveis. O ruído interrompe o aprendizado e leva a resultados não confiáveis. Os métodos tradicionais de integração de dados investiram pesadamente em procedimentos de qualidade para garantir que apenas os dados mais limpos fossem incluídos na análise, mas esses procedimentos eram limitados. E a escala e a complexidade das arquiteturas dinâmicas atuais tornam essa abordagem muito arriscada. Assim, à medida que as empresas operacionalizam o ML, elas dependem cada vez mais do DataOps, onde a resiliência e as verificações são incorporadas aos próprios pipelines operacionais.

Adicionar DataOps é o multiplicador de força para a eficácia de seu aprendizado de máquina e MLOps. E é o mesmo com todas as disciplinas de operações porque todas precisam de pipelines de dados. Além de construir esses pipelines, eles devem operar continuamente. Toda disciplina de Ops precisa de dados contínuos e isso requer DataOps. Os três princípios-chave que permitem a entrega contínua de dados são design contínuo, operações contínuas e observabilidade contínua de dados.

O AnalyticsOps se concentra na formatação de dados em uma estrutura lógica compatível com uma ferramenta, construindo relatórios e dashboards por desenvolvedores de BI e usuários de negócios. A maioria das ferramentas DataOps fornece integração nativa com ferramentas de BI e obtém metadados como tabelas, consultas, nome de usuário em tempo de execução, definição de métrica, atributos e regras derivados e contagem de registros.

As ferramentas MLOps são usadas por engenheiros de ML e cientistas de dados. Os dados são formatados em uma estrutura por meio de engenharia de recursos para desenvolvimento de modelos, treinamento e execução de experimentos. Os metadados integrados às ferramentas DataOps incluem nomes de modelos, modelos registrados, versões de modelos, experimentos, métricas, pontuações e endpoints.  

DataOps e DevOps são a mesma coisa? 

Eles são diferentes do ponto de vista de ferramentas, conjunto de habilidades e foco. No entanto, a agilidade do DevOps para criar recursos de produtos, testar e implantar e agregar valor aos usuários rapidamente deve ser aplicada ao ecossistema de dados. Idealmente, as duas equipes precisam fazer parte da mesma organização ou precisam que as partes interessadas de ambas as equipes estejam alinhadas aos objetivos do produto e/ou do projeto. A maioria das organizações têm processos de CI/CD maduros para lidar com provisionamento de infraestrutura, acesso de usuário e configurações de controles de segurança para incluir alterações de aplicativos de negócios, como fluxos de trabalho, artefatos e scripts de metadados.

Quais são as possíveis barreiras à adoção? 

Na maioria das vezes, pessoas e processos são os principais fatores para a falta de adoção. O alinhamento de recursos em todas as organizações e a adesão das partes interessadas não fazem parte da estratégia inicial, levando à falta de compromisso se essas partes interessadas forem trazidas para o compromisso ou programa em um estágio posterior. Idealmente, todo líder de dados deseja possuir o orçamento, construir uma equipe e ser responsável pela entrega de programas e produtos de ponta a ponta, mas, na realidade, as principais partes interessadas podem ser segurança de TI, governança e a equipe de DevOps. O alinhamento das principais partes interessadas e a participação ativa dessas equipes e a clareza das funções são essenciais para o sucesso.

A maturidade da organização em abraçar a mudança em escala, impulsionar a mudança de cultura e contratar pessoas que fazem isso para ganhar a vida são importantes para uma implantação bem-sucedida.

Profissionais do XOps 

À medida que as práticas de XOps continuam a amadurecer, os engenheiros de dados têm a oportunidade de se destacar. De acordo com o Dice 2020 Tech Job Report, a engenharia de dados foi o trabalho que mais cresceu em 2019, aumentando 50% ano a ano. Avançando rapidamente para hoje, as oportunidades de engenharia de dados continuam superando as funções de cientista de dados. A engenharia de dados está na fronteira da revolução dos dados. 

Os engenheiros de dados desempenham um papel crítico no controle de dados no que se refere ao DataOps e ao XOps como um todo. Seu trabalho é permitir a tomada de decisões rápida e confiante para gerar resultados de negócios positivos. Os engenheiros de dados estão em uma posição única para permitir que cientistas de dados e parceiros de negócios tenham dados em tempo real. 

Além disso, o desenvolvimento das disciplinas XOps está mudando fundamentalmente as funções dos engenheiros de dados dentro da organização. Os canais de operações, especificamente relacionados à infraestrutura de dados, são plataformas vivas que continuam a mudar, crescer e evoluir. Por causa desse ambiente automatizado, os engenheiros de dados agora estão mudando seu foco para a criação de ambientes de dados estáveis, enquanto o restante da empresa se torna cada vez mais alfabetizado em dados para dar suporte aos crescentes canais de operações. Em suma, os engenheiros de dados estão liderando a marcha do XOps.

Principais conclusões

Esta abordagem permitirá a escalabilidade de protótipos e entregará maior flexibilidade na orquestração de uma governança de decisões baseadas em dados. Além disso, o conceito de XOps permitirá que as empresas consigam aumentar o valor do Data Analytics para o negócio. 

O XOps se tornou uma tendência crescente de análise de dados em 2022 por um bom motivo. Evoluído a partir do movimento DevOps para melhor oferecer suporte e habilitar fluxos de trabalho de automação de IA e ML, o XOps permite que as organizações operacionalizem dados e análises para gerar maior valor comercial e estabelecer uma base sólida e flexível para o desenvolvimento de tecnologia futura. E as pessoas por trás da revolução? Engenheiros de dados. O ecossistema de dados da empresa está mudando rapidamente e será fundamental manter um dedo no pulso das próximas iterações da transformação digital generalizada.

A triggo.ai é especialista em Data Analytics & AI, pioneira em XOps (DataOps|ModelOps|MLOps), e coloca a observabilidade bem como a qualidade dos dados em primeiro plano, fale com um dos nossos especialistas!