Big Data Week São Paulo

Um ótimo blog sobre Big Data Analytics com artigos, ebooks e vídeos abordando as aplicações de Big Data Analytics no Brasil e no mundo.
20
Jul

O que a morte do Hadoop significa para o big data?

Quando negócios, organizações e agências do governo passaram a adotar big data, eles precisavam de infraestruturas robustas e utilitários de software para suportar o processamento e armazenamento do volume massivo de informações que iriam coletar.
A estrutura do software Hadoop, que facilitou e distribuiu o armazenamento e processamento de big data usando o modelo de programação MapReduce, serviu suficientemente a essas ambições de dados.
Os módulos no Hadoop foram desenvolvidos para clusters de computadores de hardware comum e, eventualmente, também encontraram uso em clusters com hardware de ponta.
Mas a adoção mais ampla da tecnologia de armazenamento distribuído de código aberto inventada pelo Google, no entanto, não veio à tona, pois as empresas começaram a optar por migrar para a nuvem e explorar a IA, que incluía machine learning e deep learning como parte de sua iniciativa de big data.
Pior, vários provedores de soluções baseados no Hadoop que não têm sido lucrativos por anos foram forçados a se fundir para minimizar perdas, e podem ter que descontinuar completamente.
Entretanto, as questões permanecem, se o destino desses fornecedores é apenas um indicativo do desaparecimento de soluções baseadas no Hadoop e plataformas de dados de código aberto, ou a morte do big data como um todo? Será que o big data foi meramente uma moda ou interesse passageiro das indústrias?
A resposta curta é: não é bem assim.

IA está transformando o big data

Apenas no mês passado, o Google concordou em adquirir a startup Looker, uma plataforma unificada de business intelligence, aplicações de dados e análises incorporadas. Após a aquisição total, ela será integrada no Google Cloud.
“Um requisito fundamental para organizações querendo se transformar digitalmente é a necessidade de armazenar, gerenciar, e analisar enormes quantias de dados de várias fontes,” disse Thomas Kurian, CEO do Google, em uma publicação no Google Blog.
“A adição da Looker no Google Cloud vai nos ajudar a oferecer aos clientes soluções de análise mais completas, desde a ingestão de dados até a visualização dos resultados e insights nas suas rotinas diárias de trabalho”, ele acrescentou.
Em uma publicação separada, a empresa mãe do Google, Alphabet, disse, “a adição da Looker ao Google Cloud vai fornecer aos clientes uma solução de análise mais compreensível – desde a ingestão e integração de dados até o ganho de insights, análises incorporadas e visualizações – permitindo que empresas alavanquem o poder das análises, machine learning e IA.”
Além disso, a Salesforce também anunciou sua intenção de adquirir a líder de visualização e análises Tableau, a qual de acordo com o popular provedor de CRM, vai ajudá-los a desempenhar um papel mais significativo na direção da transformação digital através da indústria.
“Companhias de todos os tamanhos e ramos estão transformando como eles fazem negócios na era digital – clientes e dados são o coração dessas transformações”, explicou o CEO da Salesforce, Marc Benioff.
Independentemente de que plataforma está sendo usada, um aspecto significativo da transformação digital é descobrir como negócios podem se beneficiar com dados e orientar decisões e ações.
Embora Google e Salesforce tenham feito isso desde que começaram, muitas outras empresas, independentemente do tamanho ou escala, estão embarcando na jornada digital.
E ao fazer isso, elas também estão alavancando ferramentas de data science sofisticadas na nuvem e explorando tecnologias avançadas de IA e machine learning e deep learning.
Em outras palavras, big data não é só uma moda passageira e que vai terminar junto com as outras plataformas Hadoop. A resposta real está longe disso.
Big data evoluiu e agora sobrepõe a IA, em parte graças à tecnologia, e a uma maior necessidade de liberar seu verdadeiro potencial de resolver problemas reais de negócios.

Sobre o artigo

Este artigo é uma tradução livre do original What does the death of Hadoop mean for big data?.
Autor: James Sivalingam 11 July, 2019
Photo by James Hammond on Unsplash

Leave a Reply