Marcelo Sales

Engenharia de dados: por que a sua empresa precisa dela?

Blog Post created by Marcelo Sales Employee on May 28, 2018

A consolidação de diversas fontes é a primeira fase para a extração de valor dos dados, para que, então, a ciência de dados gere insights para o negócio

 

por Marcelo Sales*
 

No processo de definição de uma estratégia de negócios consistente e orientada a dados, muitas vezes, os conceitos de ciência e de engenharia de dados são considerados, erroneamente, sinônimos. A verdade é que o primeiro atua na ponta, próximo ao usuário final; enquanto o segundo opera mais próximo da base, da infraestrutura e, por isso, é algumas vezes considerado menos glamouroso e acaba sendo, frequentemente, negligenciado.

 

No entanto, enquanto a ciência de dados requer inteligência e capacidade para fazer análises consolidadas, fornecendo prognósticos para o desenvolvimento do negócio, a engenharia de dados é parte fundamental no processo de extração de valor das bases de dados - na maioria das vezes, rústicas e proveniente de diversas fontes. De maneira prática, se não houver um bom processo na área, a ciência de dados não consegue exercer o seu papel.

 

Texto9_engenharia_dados_analise.jpeg

 

É o caso da empresa que investe apenas na parte analítica e deixa a engenharia de dados para um segundo momento: ao iniciar o projeto para verificação e diagnóstico, a equipe interna conclui que a consolidação dos dados, usando os métodos tradicionais, levará anos para ser finalizada, inviabilizando todo o projeto. Um estudo de tecnologia e metodologia - um dos principais ativos da engenharia de dados - encurtaria o ciclo e extrairia valor de maneira muito mais ágil e os transformaria, efetivamente, em uma base refinada e passível de exploração, com foco no desenvolvimento do negócio.

 

Como destaca a analista Michele Goetz, da Forrester, no estudo “Data engineers will be more important than data scientists” (Os engenheiros de dados serão mais importantes do que os cientistas de dados, em tradução livre), “a engenharia de dados aproveita a estratégia e os planos de investimento desenvolvidos pelos arquitetos de dados; adotam e ativam políticas de governança de dados; e garantem que as informações e o investimento analítico obtenham seu retorno completo”.

 

A engenharia de dados deve ser reconhecida pelo seu verdadeiro peso e valor. É hora de sair das discussões etéreas sobre o tema e, com o perdão do clichê, colocar a mão nos dados.

 

*Marcelo Sales é Diretor de Produtos e Soluções da Hitachi Vantara LATAM

Outcomes