Big Data Week Brasil

Um ótimo blog sobre Big Data Analytics com artigos, ebooks e vídeos abordando as aplicações de Big Data Analytics no Brasil e no mundo.
28
Aug

HADOOP EVOLUIU: COMO AS INDÚSTRIAS ESTÃO SENDO TRANSFORMADAS PELO BIG DATA

Um homem de 50 anos corre na esteira e recebe um alerta em seu Apple Watch. A mensagem diz a ele para sair imediatamente porque seu pulso está anormalmente alto, o que o coloca em risco de um ataque cardíaco.

Tal cenário não está muito longe graças ao Pontem, uma plataforma que recebe informações de dispositivos como Apple Watch e Fitbit e usa dados baseados em nuvem, aprendizado de máquina e processamento cognitivo para decidir quando esses alertas são necessários. Para o usuário final, isso poderia ser um salva-vidas. Para o desenvolvedor, este é o exemplo mais recente da evolução do Big Data com implicações no mundo real. Uma grande parte da evolução dessas plataformas pode estar diretamente ligada ao amadurecimento do ecossistema Hadoop.

Antes apenas uma ferramenta para gerenciar grandes volumes de dados, o Hadoop surgiu como a base de soluções específicas do setor. Adaptar o Hadoop para essa finalidade, no entanto, requer uma abordagem específica adequada a cada setor.

TRANSFORMAÇÃO EM AÇÃO: SERVIÇOS FINANCEIROS E MANUFATURA

Além da assistência médica, serviços financeiros e manufatura são áreas nas quais as empresas empregam o Hadoop para gerenciar, armazenar e analisar dados. Por exemplo, nos serviços financeiros, o Big Data é utilizado para modelos avançados de IA e aprendizado de máquina que ajudam os usuários a gerenciar o risco de crédito de forma mais eficaz.

O risco de crédito (ou seja, a probabilidade de o tomador não acompanhar os pagamentos) é uma grande preocupação para as empresas. A gestão do risco de crédito, que tenta dificultar a probabilidade dessa ocorrência, tem sido uma grande dor de cabeça para as empresas de serviços financeiros. Apesar de esta ser a pedra angular em torno da qual todo o setor bancário evoluiu, a complexidade e a natureza evolutiva dos serviços financeiros atuais enfatizaram significativamente os modelos tradicionais de risco de crédito. A disponibilidade de big data em vários formatos por meio de plataformas como o Hadoop ajudou as empresas a criar modelos avançados de risco de crédito, levando em conta variáveis ​​e fatores que nunca fizeram parte das estruturas tradicionais de risco de crédito.

Big data permite que novos modelos sejam construídos. Há uma enorme quantidade de dados de clientes disponíveis – incluindo comportamento de gastos, navegação on-line e pagamento de clientes – que podem ajudar as instituições financeiras a tomar melhores decisões. Aqui, a capacidade do Hadoop de manipular e classificar dados não estruturados pode ser aplicada a uma função específica. A capacidade de criar grandes lagos de dados no Hadoop com proteção significativa e segurança de dados com ferramentas como a Kogni levou esses modelos de mercado a evoluírem para o próximo nível hoje.

O Hadoop, que é a camada base em muitas dessas soluções de big data da indústria de várias camadas, também evoluiu ao longo dos anos para fornecer flexibilidade e escala para gerenciar grandes volumes de dados. A capacidade da plataforma de decompor grandes volumes de dados em partes gerenciáveis ​​e executar tarefas menores em paralelo – usando hardware de baixo custo, tolerância a falhas e auto recuperação – tornou possível a escalabilidade massiva a custos gerenciáveis ​​em centenas ou milhares de servidores em um cluster Hadoop. A gestão de big data através de uma infraestrutura massiva é agora coisa do passado.

Antes do Hadoop, havia meios limitados para gerenciar os processos de computação intensiva para alavancar dados estruturados e não estruturados em modelos sofisticados. Com o uso de AI e aprendizado de máquina, os novos modelos complexos construídos sobre os lagos de dados do Hadoop são de autoaprendizagem e podem se adaptar a padrões de dados variáveis, enquanto o custo geral da solução permanece baixo e escalável.

Outro exemplo é na manufatura. Como outras indústrias, a manufatura está passando por uma transformação digital, já que sensores e conexões de internet fornecem dados em tempo real sobre as operações. Por exemplo, na fabricação preditiva, os sensores podem detectar anomalias precoces em uma produção, evitando, assim, a criação e o subsequente desperdício de milhares de produtos defeituosos. Esses sensores e dispositivos de ponta da IoT (incluindo sensores auditivos) são conectados a um software que é capaz de enviar dados em tempo real para a nuvem a ser ingerida em lagos de dados do Hadoop para análise sob demanda. Geralmente, há um aspecto de deep learning nas camadas de análise construídas sobre esses lagos de dados que fornecem recursos de autoaprendizagem e análise de dados em evolução.

COMO APROVEITAR O HADOOP PARA SUA INDÚSTRIA

O Hadoop não é uma solução mágica. É uma plataforma que você pode aproveitar para ajudar a destacar dados relevantes para ajudar seu setor específico. Essas soluções, no entanto, exigem o domínio da tecnologia Hadoop combinada com conhecimento e expertise personalizados no setor específico. A GE e a American Express estão na vanguarda para criar soluções de big data personalizadas para a indústria – aproveitando os recursos de Big Data e Hadoop, além de trazer o conhecimento do setor de dentro.

A melhor maneira de criar essas soluções é empregar uma abordagem “em camadas”. Na base está a camada de entrada de dados do Hadoop, seguida pela camada de algoritmo que possui modelos criados especificamente para o setor. Além disso, há uma camada ainda mais específica. Cada componente pode ser personalizado para o setor ou caso de uso para fornecer o ROI máximo.

O que é interessante é que os modelos personalizados podem ser usados ​​para organizações de pequeno e médio porte, da mesma forma que para grandes empresas. Esta é verdadeiramente a democratização do big data.

Traduzido de: https://dataconomy.com/2018/05/hadoop-evolved-how-industries-are-being-transformed-by-big-data/

Leave a Reply