Big Data Week São Paulo

Um ótimo blog sobre Big Data Analytics com artigos, ebooks e vídeos abordando as aplicações de Big Data Analytics no Brasil e no mundo.
28
Feb

Big Data Silos: o que são e como lidar com eles

A era do Big Data nos trouxe um extraordinário número de novas maneiras de apresentar informações e resolver problemas. Nas últimas décadas, temos visto computadores “mainframe” tradicionais emergindo num cenário onde nossos sistemas de TI podem agregar enormes montanhas de informações, e usá-las para prover ideias chave para negócios e governos atingirem metas, assim como outros propósitos.

Entretanto, temos tido desafios e obstáculos ao longo do caminho, e um dos maiores são os Big Data Silos.

Se você está confuso sobre o que é um Big Data Silo, pense em um silo físico: uma torre de metal cheia de recursos que são seguramente protegidos contra adulteração ou acesso não autorizado.

Isso é um tipo de silo do mundo da tecnologia, embora um pouco diferente.

O que é um Big Data Silo?

No mundo digital, o fluxo livre de informações é criticamente importante. A informação é o néctar da vida do sistema – a razão de ser de qualquer arquitetura. A informação é fornecida aos usuários de maneiras infinitamente novas e convincentes – mas tudo repousa sobre a interconectividade.

Quando esse fluxo livre de informações é impedido por alguma razão, os profissionais da área chamam isso de “silo de informação”.

De novo, as informações estão sendo travadas longe do uso geral ou acesso generalizado. Ela existe em algum lugar, mas não pode ir para onde seria aproveitada.

Voltando à analogia anterior do silo físico, a maioria dos silos de fazendas guardam milho ou outros produtos para alimentação humana e animal. Mas ninguém come aquelas coisas a não ser que você possa movê-las para o mundo fora do silo – e esse mesmo princípio é inerente ao problema do Big Data Silo. A solução é ser capaz de mover a informação pra fora de uma área isolada da infraestrutura do software, e só então ela poderá ser usada para os propósitos pretendidos.

O silo estrutural

Apenas poucos anos atrás muitos de nós pensamos na maioria dos Big Data Silos como de natureza estrutural.

A ideia era que apenas programar e desenhar não eram suficientes para permitir o fluxo livre de informações. Sistemas corporativos tiveram fragmentos de informações emperrados nas curvas das melhores arquiteturas, e precisaram de um middleware[1] e soluções específicas para extraí-las e direcioná-las para onde deveriam ir.

Recentemente o mundo da TI tem feito enorme progresso com silos de informação estruturais, porém temos visto que esses silos não são o único problema.

Veja um artigo da Harvard Business Review, de dezembro de 2016, chamado “Breaking Down Data Silos”. O escritor Wilder-James divide os tipos principais tipos de silos de dados em quatro categorias: estrutural, político, de crescimento e de vendor lock-in. Esse é um ótimo jeito de começar a falar sobre como os silos surgem, e o que pode ser feito a respeito deles.

Silos de dados políticos

Como silos de dados podem ser políticos, e o que isso quer dizer para a indústria?

Perguntamos a Hogne Titlestad, co-fundador e arquiteto chefe de tecnologia da Friend, que é um uma empresa com sistema operacional hospedado na internet nascida na Noruega como “uma alternativa muito necessária aos grandes silos tecnológicos”.

“Um dos principais desafios encarados pela computação hoje em dia é o número crescente de silos sendo criados pelas corporações ‘Big Tech’, diz Titlestad. “A partir desses grandes atores, temos visto política entrando em projetos de software, o que significa que muito do caos visto no mundo todo agora começou a influenciar o espaço da tecnologia.

Titlestad sugere que os projetos verão mais dessa atividade em 2019, incluindo o que ele chama de “onda de tecnologias de software emergentes e plataformas colaborativas que desafiarão os oligopólios altamente tecnológicos através da oferta de funcionalidades e experiências de usuário iguais ou melhores que as deles.”

O código aberto, ele diz, desempenha uma função maior em uma aquisição comum de recursos de TI e na solução para os silos de dados políticos – abrindo interfaces de dados.

“Com a maturidade das gerações da internet, os indivíduos devem aproveitar a vantagem das oportunidades de operar em escala global, unindo pessoas habilidosas,” diz Titlestad. “Com um catálogo tão grande de projetos fantásticos de código aberto disponíveis em Github, Gitlab, Sourceforge e outros, novas aplicações disruptivas certamente emergirão em vários locais ao redor do mundo – se apoiando sobre as fundações das décadas passadas… Uma das coisas mais importantes que os indivíduos podem fazer é continuar a expressar seu desprezo à grande tecnologia e à exploração de dados pessoais em busca do lucro ”.

Silo de dados por vendor lock-in

De algumas maneiras, silos de dados de limitação pelo de provedor (vendor lock-in[2]) podem acompanhar a categoria de silos de dados políticos.

Provedores de softwares estão entre os primeiros a saber que o acesso à informação é poder, e suas estratégias podem frustrar o desejo dos usuários de exportar dados [contidos] em aplicativos,” escreve Wilders-James. “Isso é particularmente arriscado em aplicações de software como serviço, onde o fornecedor quer manter você dentro da rede dele. Fornecedores também têm trabalhado duro em criar funções de trabalho e carreiras totalmente centradas em seus softwares. Qualquer indicação de mudança daquele mundo poderia ameaçar a subsistência de um profissional de software treinado e certificado.” (Alguns evitam bloqueio de fornecimento através do emprego de múltiplas nuvens.

Silos de dados de crescimento

Em conjunto com esses tipos de obstáculos, você também tem o que Wilders-James e outros chamam de “silos crescidos”.

“Alinhamento executivo é a chave para consolidar silos de dados,” Anjul Bhambhri, vice-presidente de engenharia de plataforma na Adobe, segundo o Techopedia em 12 de janeiro, expondo algumas questões relacionadas com planejamento de negócios. “A melhor maneira de abordar a consolidação dos silos de dados é primeiro realizar o alinhamento executivo com os resultados dos negócios. Levar adiante os passos da consolidação de dados antes de concordar com os resultados dos negócios é colocar o carro na frente dos bois. Se não há alinhamento entre as metas dos negócios e os resultados, há uma grande chance de se perder na criação de uma visão holística sobre o cliente, não gerando retorno sobre os investimentos tecnológicos.

Lidando com os silos de dados

Olhando através das categorias de silos de dados acima, você pode ver como abordar cada um na prática. Companhias podem se planejar melhor para o crescimento e a escalabilidade, garantindo que os fornecedores não estão segurando suas informações, abrindo interfaces de um ponto de vista tecnologicamente oligárquico, e por último, mas não menos importante, desenhando seus sistemas de maneira que as informações não fiquem presas em curvas ou estagnadas em um sótão ou porão. Essas são as diretrizes que vários engenheiros e equipes de design têm quando trabalham visando o futuro e prevenindo os silos de dados de impedirem o andamento dos negócios.

Escrito por Justin Stoltzfus

Justin Stoltzfus é um escritor freelancer de várias publicações diditais e impressas. Seu trabalho tem aparecido em revistas online incluindo Preservation Online, um projeto do National Historic Trust e muitos outros locais.


[1] Middleware é um software situado em camadas entre aplicações e sistemas operacionais. Middlewares são tipicamente usados em sistemas distributivos, em que simplificam o desenvolvimento dos softwares pelo seguinte:

  • Escondem as complexidades na distribuição das aplicações
  • Escondem a heterogeneidade do hardware, operando sistemas e protocolos
  • Fornece interfaces uniformes e de alto nível usadas para deixar as aplicações interoperáveis, reutilizáveis e portáteis
  • Fornece um conjunto de serviços comuns que minimizam duplicações de esforços e aumentam a colaboração entre aplicativos

[2] Vendor Lock-In é o uso restrito ou proprietário de uma tecnologia, solução ou serviço desenvolvido por um provedor ou parceiro do provedor. Essa técnica pode ser incapacitante e desmoralizante, porque os clientes são efetivamente impedidos de mudar para provedores alternativos. Vendor Lock-In também pode ser chamado de proprietary lock-in ou customer lock-in.

Leave a Reply