Big Data Week São Paulo

Um ótimo blog sobre Big Data Analytics com artigos, ebooks e vídeos abordando as aplicações de Big Data Analytics no Brasil e no mundo.
10
Mar

O que eu procuro nos engenheiros de dados?

Quero compartilhar com vocês alguns dos traços que tenho encontrado especialmente em bons engenheiros de dados. Cada um desses traços pode não estar em todos os eles, mas você encontrará vários.

Não posso enfatizar o suficiente sobre quão importante é para um engenheiro de dados ter um embasamento forte em programação. Engenheiros de dados são comumente da metade para frente em suas carreiras. Os recém-saídos da academia usualmente têm o grau de Mestre ou superior em Ciência da Computação com foco em sistemas distribuídos ou dados. Tenho visto alguns engenheiros juniores especialmente brilhantes dando grandes contribuições para a equipe.

Isso vai soar estranho dado o quanto eu falei da importância da programação, mas os melhores engenheiros de dados estão entediados com apenas fazer programação. O que quer dizer que dominam ou quase dominam a programação como disciplina. Escrever outro sistema empresarial ou pequeno projeto de dados não é muito interessante.

Como resultado, eles começaram a fazer corss-training em outros campos. Isso poderia estar ligado à programação, como ciência de dados ou algo não relacionado, como marketing ou análises.

Engenheiros de dados estão cansados de criar pequenos sistemas de dados. Não são complexos. Eles querem criar sistemas maiores e mais complexos. A principal motivação para isso é seu desejo de criar produtos de dados que possam ser usados por todos.

O desejo de criar produtos de dados deriva de um amor comum por dados. Você deve ter visto um engenheiro de software amando codificar ou talvez amando a linguagem. Eles são os codificadores mais felizes. Engenheiros de dados amam códigos e dados. Se não é amor, é ao menos um interesse por dados. Encontrei isso como distinção entre os ótimos engenheiros de dados dos bons engenheiros de dados.

Eles usam seus dados porque estão inerentemente curiosos sobre o que está acontecendo e por quê. Eles estão indo usar seus dados para ou provar ou refutar aquela hipótese.

Não me concentro em que tecnologias os engenheiros de dados conhecem. Meu foco é no seu entendimento de sistemas e sistemas distribuídos. Eles obviamente precisam saber algumas tecnologias de Big Data e APIs. Entretanto, aprender APIs ou outras tecnologias é muito fácil uma vez que você sabe o básico de arquitetura e padrões de design de sistemas de Big Data. Um engenheiro de dados que tenha mostrado que pode aprender algumas tecnologias de big data provavelmente é hábil para aprender outras tecnologias.

Vejo isso a todo momento quando treino uma equipe que já está trabalhando com tecnologias de Big Data. Eles pegam facilmente os conceitos por serem semelhantes a suas outras tecnologias. A equipe aprende mais com o treinamento, pois não estão começando a partir de um esboço.

 

Sobre o autor Jesse Anderson

Jesse Anderson é um Engenheiro de Dados, Engenheiro de Criação e Diretor Administrativo do Big Data Institute.

Ele trabalha com companhias variando de startups a empresas no Fortune 100 em Big Data. Isso inclui treinamento em tecnologias de ponta como Apache Kafka, Apache Hadoop e Apache Spark. Ensinou mais de 30.000 pessoas as habilidades para se tornarem engenheiros de dados.

Ele é largamente reconhecido como expert no campo e por suas novas práticas de ensino. Jesse é publicado no O’Reilly e Pragmatic Programmers. Ele está coberto de publicações prestigiadas como no The Wall Street Journs, CNN, BBC, NPR, Engadget e Wired.

Leave a Reply