Sabemos da necessidade cada vez maior de ingestão de uma grande massa de dados, sejam eles estruturados ou não, vindo das mais diversas fontes e sistemas, para, então, padronizá-los e, por exemplo, elaborar modelos de machine learning que permitam atender necessidades empresariais independentemente da vertical negocial, seja com insights ou recomendações de ações.

Segundo o estatístico estadunidense John W. Tukey, em seu artigo Sunset Salvo (1986), “Os dados podem não conter a resposta. A combinação de alguns dados e o desejo intenso por obtenção de resposta, não garante que seja possível extrair um achado razoável de um determinado conjunto de dados.”

Podemos acrescentar a esse cenário o fato de que os modelos tradicionais de Business Intelligence e Data Analysis centrados na área de Tecnologia da Informação têm se mostrado insustentáveis, seja pelo fato dos requisitos das áreas de negócio mudarem de forma mais rápida que a capacidade de atendimento pela TI, mesmo com a adoção de melhores práticas e as melhores ferramentas, seja pela abordagem comumente adotada de desenvolvimento em cascata, incapaz de implementar as mudanças em tempo hábil.

Esse cenário, no entanto, não implica o ostracismo da TI nessa área de análise de dados, pois ainda é necessária a definição da arquitetura, a configuração da infraestrutura, ferramentas e políticas de governança. Surge aí, então, a necessidade do arquiteto de dados, profissional já abordado em um artigo anterior, e do engenheiro de dados. A função primordial desse engenheiro é a criação de um conjunto de dados organizado, que possa ser acessado pelos analistas e cientistas para, então, serem computados e analisados, a fim de obterem as respostas necessárias à evolução do negócio.

Para que ele possa desempenhar suas funções, ele precisa ter acesso aos dados em sua forma mais bruta, sem nenhum tipo de manipulação, seja ela remoção de algum dado desse conjunto, agregação, higienização ou normalização. Em seguida é necessária a sua conversão em um formato analisável e o enriquecimento desse conjunto com dados complementares de origem diversa dessa primeira coleta. Esse processamento é necessário para basicamente todos os conjuntos aos quais o engenheiro terá acesso. Isso ocorre mesmo quando são dados formatados, organizados. Assim, esse dados, estruturados ou não, precisarão passar por algum tipo de manipulação que venha facilitar as análises ou o seu uso no processo de aprendizagem de máquina.

Todos esse passos precisam ser bem documentados e devem seguir uma padronização definida dentro da organização, de forma a garantir fluxos orquestrados de trabalho confiáveis, governança unificada e garantia da qualidade do ambiente a ser disponibilizado para uso por diversas equipes de analistas. O engenheiro de dados hoje, precisa, associado à abordagem tradicional de criação de um ambiente de análises de dados, estruturar e disponibilizar um ambiente que permita a descentralização do processo de análise, onde os usuários tenham mais autonomia para explorar e interpretar os dados de acordo com suas especificidades.

Chamamos de um ambiente self-service. Nesse ambiente, esses usuários, casuais, especialistas, conhecedores de tecnologia ou executivos, podem explorar dados, criar visualizações e gerar relatórios sem que lhes sejam exigidos conhecimentos profundos em programação ou estatística. Existem diversas ferramentas que permitem a construção de tal ambiente, contemplando as diversas etapas necessárias ao processo, tanto na questão de infraestrutura, quanto na tocante à etapa de processamento, criação e governança, a cargo do engenheiro de dados.

Assim como o arquiteto, o engenheiro precisaria tomar decisões quanto aos componentes que fariam parte desse ambiente, se responsabilizando pela integração, compatibilidade, manutenção, orquestração dos processos etc.

Para permitir um desempenho mais focado no que realmente importa, reduzindo a carga da responsabilidade pela escolha dos componentes da solução, maximizando a velocidade e agilidade na configuração e entrega do ambiente self-service aos usuários, a Tecnisys apresenta sua Plataforma de Dados TDP (Tecnisys Data Platform). Com a nossa solução, você desfrutará da possibilidade de construção de um ambiente equilibrado, com ferramentas intuitivas e integradas, trazendo à organização a possibilidade de funcionamento híbrido dos modelos tradicional e self-service, uma abordagem em voga utilizada por diversas organizações, pois permite combinar o conhecimento especializado da equipe de dados com a capacidade de autoatendimento pelos próprios usuários de negócios.