24
Jul
//
0 Comments
Engenheiros de dados estão em maior demanda do que os cientistas de dados
Parece que hoje em dia todo mundo quer ser um cientista de dados. Harvard declarou que era um dos trabalhos mais quentes da década por volta de 2012. E desde então, as pessoas têm reivindicado esse papel tendo ou não as habilidades necessárias. Portanto, não há dúvida de que o trabalho é quente.
Mas se um cientista de dados cria um algoritmo inovador, e não há engenheiro de dados para colocá-lo em produção para uso da empresa, ele tem algum valor? Repetirei minha estatística favorita do Gartner de que apenas 15% dos projetos de big data chegam à produção. E enquanto eles nunca se aprofundam nas razões pelas quais 85% dos projetos de big data nunca chegam lá, vou propor que existam várias razões principais pelas quais eles falham:
-
Eles nunca encontram um insight que valha a pena colocar em produção
-
Eles encontram uma visão e constroem um modelo, mas não conseguem construir um pipeline de produção que possa ser executado dentro do contrato de nível de serviço em uma base repetível
-
Eles não precisam de um insight, porque a análise de dados que desejam executar não depende de um modelo complicado, mas ainda não conseguem criar um pipeline de produção que possa ser executado dentro do contrato de nível de serviço em uma base repetível.