Engenheiros de dados estão em maior demanda do que os cientistas de dados

Parece que hoje em dia todo mundo quer ser um cientista de dados. Harvard declarou que era um dos trabalhos mais quentes da década por volta de 2012. E desde então, as pessoas têm reivindicado esse papel tendo ou não as habilidades necessárias. Portanto, não há dúvida de que o trabalho é quente.

Mas se um cientista de dados cria um algoritmo inovador, e não há engenheiro de dados para colocá-lo em produção para uso da empresa, ele tem algum valor? Repetirei minha estatística favorita do Gartner de que apenas 15% dos projetos de big data chegam à produção. E enquanto eles nunca se aprofundam nas razões pelas quais 85% dos projetos de big data nunca chegam lá, vou propor que existam várias razões principais pelas quais eles falham:

1. Eles nunca encontram um insight que valha a pena colocar em produção

2. Eles encontram uma visão e constroem um modelo, mas não conseguem construir um pipeline de produção que possa ser executado dentro do contrato de nível de serviço em uma base repetível

3. Eles não precisam de um insight, porque a análise de dados que desejam executar não depende de um modelo complicado, mas ainda não conseguem criar um pipeline de produção que possa ser executado dentro do contrato de nível de serviço em uma base repetível.

É por isso que para cada cientistas de dados as empresas precisam de pelo menos dois engenheiros de dados e de acordo com o blog de Jesse Anderson  em oreilly.com, você pode precisar de até 5 engenheiros de dados para cada 1 cientista de dados. Em um blog recente publicado por Dave Wells do The Eckerson Group, ele menciona que “Michelle Goetz, da Forrester Research, relatou ter encontrado doze vezes mais trabalhos de engenharia de dados não preenchidos do que trabalhos de ciência de dados.” E enquanto Michelle também tem um artigo, intitulado, os engenheiros de dados serão mais importantes que os cientistas de dados , eu diria que o navio já navegou.

Se eu puder citar Buno Pati, o presidente executivo da Infoworks.io, “AI” sem os dados é apenas “A”. É preciso primeiro obter os dados para o cientista de dados e, depois que eles tiverem os dados necessários para realizar a mágica da ciência de dados, e tiverem identificado um insight útil para a empresa, essa percepção deve ser operacionalizada. E, como se vê, operacionalizar um algoritmo de aprendizado de máquina em escala e apenas gerenciar os pipelines de dados em escala é sua própria mágica.

Como observei no meu último blog , o motivo da queda de ações da Cloudera foi a dificuldade de implementar o Hadoop em produção. Esse problema é causado pela complexidade do Hadoop e pela falta de engenheiros de Big Data talentosos o suficiente para criar fluxos de trabalho de produção adequadamente. Coincidentemente, ou talvez não tão coincidentemente, houve dois blogs recentemente, mencionados acima, que falam sobre a importância do engenheiro de dados.

E uma coisa é clara, os engenheiros de dados estão em crescente demanda. Felizmente, os aspectos mais tediosos da função de engenharia de dados podem ser automatizados para permitir que o engenheiro de dados se concentre mais na lógica dos pipelines. Assim, embora os engenheiros de dados possam ser mais importantes que os cientistas de dados, há esperança na forma de automação que pode tornar os engenheiros de dados de hoje mais produtivos.

Da mesma forma que os Integrated Development Environments, IDEs, tornaram os desenvolvedores de software significativamente mais produtivos, a automação de engenharia de dados fará o mesmo no espaço de big data. Assim, embora a engenharia de dados seja difícil, os engenheiros de dados são raros e a demanda é alta, não é coincidência que este post esteja localizado em um site que trata da automação da engenharia de grandes volumes de dados. Então, se você é um engenheiro de big data e deseja se tornar mais eficiente em seu trabalho, ou conhece um engenheiro de big data ou alguém que quer se tornar um, leia o restante deste site para saber mais sobre como ajudar a responder à demanda atual de engenharia de dados e colocar os algoritmos da ciência de dados em produção.

Sobre o artigo

Este artigo é uma tradução livre do original Data Engineers are in Greater Demand than Data Scientists.

Autor: Todd Goldman.

Photo by Charles 🇵🇭 on Unsplash