Big Data Week Brasil

Um ótimo blog sobre Big Data Analytics com artigos, ebooks e vídeos abordando as aplicações de Big Data Analytics no Brasil e no mundo.
15
Jan

TRÊS PERGUNTAS QUE VOCÊ PRECISA RESPONDER PARA TER SUCESSO EM PROJETOS ORIENTADOS A DADOS

O sucesso dos projetos orientados por dados apresenta alguns desafios e barreiras. Aqui estão algumas observações em como você poderia superá-los simplesmente fazendo a si mesmo três perguntas.

Os dados se tornaram provavelmente o ativo mais valioso que as empresas poderiam ter hoje em dia. Ele pode fornecer informações sobre o comportamento e as operações de seus clientes, impulsionar as vendas e otimizar as cadeias de entrega, prever as necessidades de produtos e serviços. As tecnologias mais excitantes e promissoras, como IA, Internet das Coisas ou blockchain, são possíveis exatamente graças à abundância de dados. Mas isso significa que a disponibilidade de dados é uma garantia para o sucesso de um projeto orientado por dados?

Infelizmente, alguns dos estudos recentes sugerem que, mesmo com todos esses dados flutuando, a maioria dos projetos ainda falha. Em 2017, o Gartner informou que 60% dos grandes projetos de dados falharam, mas em seu recente tweet , o analista da Gartner Nick Heudecker corrigiu esse número, dizendo que o Gartner era “conservador demais” e que a taxa de fechamento é de 85%. Outro estudo da McKinsey revelou que as empresas capturaram apenas cerca de 10% a 40% do valor disponível em seus dados. Por que?

Existem muitas barreiras e desafios para projetos orientados a dados bem-sucedidos. Há necessidade de uma mudança na cultura da organização, metas e expectativas irrealistas, falta de profissionais qualificados. Mas, como estamos falando de dados, vamos nos concentrar nos problemas que envolvem particularmente esse assunto. Há três questões críticas que os cientistas de dados e especialistas em dados precisam responder imediatamente após uma prova de conceito viável para um projeto ter sido identificado.

“EU TENHO OS DADOS CERTOS?”

É fácil supor que sua empresa tenha dados suficientes para embarcar no projeto imediatamente. Afinal de contas, as empresas estão sentadas sobre os dados há anos, e agora é hora de finalmente fazer sentido. O problema que é frequentemente negligenciado, porém, é que esses dados podem fornecer insights específicos sobre operações, falhas e sucessos passados. No entanto, se você treinar seus algoritmos com esses dados históricos, eles simplesmente encontrarão padrões que poderiam ter sido aplicados aos cenários no passado, mas serão tão bons ou até mesmo completamente irrelevantes para o futuro.

Você precisa de dados novos, de preferência, em tempo real ou quase em tempo real. Ou talvez você tenha identificado um problema totalmente novo que deseja resolver com seu projeto, para o qual ainda não há um conjunto de dados consistente disponível. Portanto, antes de iniciar um projeto, você precisa identificar os conjuntos de dados necessários e como obtê-los. O que nos leva à próxima pergunta.

“EU SEI ONDE ESTÃO ESSES DADOS?”

Não existe uma empresa que não tenha banco de dados. Muitas empresas construíram adicionalmente data warehouses ou talvez até começaram a usar um data lake. Certamente, com esses ricos conjuntos de dados, os dados que você precisa estão aí em mãos. É isso mesmo?

Como o recente artigo do Gartner “How to Avoid Data Lake Failures”, data lakes, por exemplo, “raramente são iniciados com um objetivo definido em mente, mas sim com aspirações nebulosas de ‘criar uma única versão da verdade’ ou ‘democratizar’ nossos dados ‘.” Isso dificilmente pode ser chamado de meta estratégica. Como o CEO da Databricks Ali Ghodsi eloquentemente colocou em uma entrevista : “Muitas dessas empresas construíram esses data lakes e armazenaram muitos dados neles. Mas se você perguntar às empresas como você está fazendo previsões bem-sucedidas, vai encontrar muitas e muitas dificuldades.”

Além disso, de acordo com o mesmo documento do Gartner, a suposição de que os data lakes serão “o único destino para todos os dados em sua empresa” pode ser enganosa, porque há simplesmente muitas fontes de dados.

Armazéns de dados e bancos de dados não são melhores nesse sentido. Na maioria das vezes, elas são criadas para resolver um problema bastante concreto, portanto, os dados que eles armazenam podem ou, muito provavelmente, podem não ser aplicáveis ​​a esse projeto específico de IA ou IoT que você está prestes a iniciar.

Portanto, pode ser necessário pensar de maneira mais ampla e procurar dados que residam fora do data warehouse ou considerar a combinação de vários bancos de dados. Talvez seja necessário obter dados de fontes de terceiros ou da rede de parceiros da empresa. Por exemplo, para construir um perfil da renda total de um contribuinte para encontrar irregularidades e estabelecer atividades ilegais, o sistema de software da  HMRC conecta dados de links de várias fontes governamentais e corporativas.

E isso nos leva à próxima pergunta.

“COMO POSSO REUNIR TODOS ESSES DADOS?”

Não importa qual pesquisa ou estudo sobre o motivo do fracasso dos projetos relacionados a dados, quase todos eles estão citando dados isolados como um dos culpados. Isto não é surpreendente, porque o Big Data vem em muitas formas e de várias fontes – aplicativos de software corporativo, telefones celulares dos usuários, sensores de IoT, sistemas de parceiros, fluxos de mídia social …, a lista é praticamente infinita. Agregar todas essas fontes de dados para começar a reconciliar os dados e obter insights significativos a partir dele pode ser incrivelmente difícil.

O problema não está necessariamente na falta de tecnologia. Existem inúmeras ferramentas e sistemas de software disponíveis no mercado que podem simplificar e acelerar a integração de dados entre a nuvem e on-premise, em batches e em tempo real, entre data warehouses, aplicativos de software e plataformas de IoT – você escolhe. Muitas vezes, é a falta de compreensão do papel crítico da integração de dados que representa o maior desafio. Afinal de contas, é muito mais fácil garantir o financiamento de um projeto piloto de IA – porque a IA é chique e bacana -, do que garantir orçamento para abordar adequadamente a questão de como integrar dados e aplicativos de maneira mais eficiente.

Isso está mudando, embora devagar. O recente relatório da Corinium Digital “The State of Data & Analytics in Europe” afirma que, enquanto IA / aprendizado de máquina e a análise preditiva continuam assegurando os maiores investimentos, eles são acompanhados de perto pela integração de dados com 78% dos entrevistados dizendo que são planejando investir £ 1-2 milhões ou mais nos próximos meses.

E, no entanto, por mais promissor que isso pareça, esses resultados dependem de entrevistas com apenas 130 profissionais de dados e análises na Europa. Muitas outras organizações ainda não percebem que, para obter todo o potencial de dados e análises, precisam garantir uma base sólida, o que significa garantir que trabalhem com os dados certos, de todas as fontes relevantes.

Traduzido de: https://dataconomy.com/2018/10/three-questions-you-need-to-answer-to-succeed-in-data-driven-projects/

Leave a Reply