Evolução do Data Warehouse para Analytics e Self-Service

Big DataHoje em dia é cada vez mais frequente encontrarmos organizações que já têm uma solução de data warehouse, que se encontram no início do processo de obtenção de um ou simplesmente apostadas na agilização ou consolidação do existente. Em qualquer destes processos, um dos objetivos visa sempre responder às pressões internas e de mercado, tendo em conta o aumento da variedade e do volume de dados, seja através de novas fontes de dados ou em formatos diferentes. Os utilizadores adquiriram capacidades analíticas que fazem com que necessitem de explorar e cruzar toda a informação existente: passaram de um paradigma de consumidores de informação para consumidores de dados, introduzindo o princípio de self-service Business Intelligence.

Estas exigências e novas capacidades obrigaram à evolução das estratégias de implementação de Data warehouse, modernizando as mesmas e tirando ao mesmo tempo proveito das metodologias existentes e das inovações que têm surgido nas várias tecnologias no mercado nos últimos anos (in-memory, real-time, data federation, in-database analytics, data wrangling, visualização, entre outras).

No caso das metodologias tivemos de evoluir para metodologias ágeis e lean, sem deixar de apostar na formação dos utilizadores e equipas, alterando a estrutura dos projetos de modo a acelerar e providenciar a obtenção dos resultados esperados para os utilizadores finais, alterando inclusivé a estrutura funcional das equipas para dar resposta a estas novas necessidades.

Com o surgimento das tecnologias de Big Data e das soluções que democratizam o self-service e o self-preparing para o que antes eram tarefas específicas de equipas de TI, o foco virou-se para a evolução do data warehouse no sentido de um alinhamento com os novos objetivos de negócio, permitindo ao data warehouse processar grande volumes de informação e ao mesmo tempo conter informação estruturada e não estruturada, com acesso fácil a execução de processos de analytics seja in-database ou externos, ao mesmo tempo que novas ferramentas e tipos de dados são utilizados. Isto veio beneficiar as equipas de análise, a gestão e as operações em tempo real.

Os principais desafios nesta modernização prendem-se com a governação dos dados, a formação das equipas, o desenho da solução, as plataformas tecnológicas e os custos envolvidos.

A governação dos dados torna-se essencial para permitir que a análise sobre os dados existentes possa ser realizada de um modo coerente e uniformizado pelas organizações, sendo ao mesmo tempo rastreável. Com a necessidade de cruzar informação de realidades completamente distintas – por exemplo, cruzar dados de redes sociais (com análise sentimental) com informação de campanhas de marketing realizadas ou dados de vendas – e com possibilidade de adicionar mais informação referente a benchmarking, assim como noutros formatos à medida que a mesma surge (por exemplo adicionar informação de Instagram ou da concorrência), se não existir uma política de governação de dados implementada, os modelos e informações ficarão desatualizados e acabamos por ficar com múltiplos silos de informação que não se encontram coordenados entre si. Isto leva-nos a perder flexibilidade e capacidade de entender o impacto de futuras alterações – porque elas vão sempre acontecer – e a incorrer num aumento de recursos e tempo despendidos na coordenação e manutenção de todas as origens e destinos de dados.

É portanto imperativo que neste momento a informação seja guardada numa arquitetura de data warehouse flexível que permita acomodar volumes de dados massivos (sempre em crescimento), novos tipos de dados e processamentos de cargas de Analytics. Isto acaba por refletir-se tipicamente numa arquitetura tecnológica com múltiplas camadas (por exemplo, Hadoop, bases de dados relacionais e/ou in-memory), onde a unificação dos dados é conseguida através de soluções de governação e federação de dados, permitindo dar então a visão unificada aos diversos tipos de utilizadores dentro da organização. Os utilizadores que já anteriormente obtinham valor com base nos relatórios, dashboards e análises passam a obter outras informações através dos novos dados e dos novos meios de análise cada vez mais interativos e infográficos que lhes permitem gerir de um modo mais direcionado e eficaz. Mesmo os analistas e data scientists passam a ter acesso e possibilidade de criarem e executarem os seus modelos (na linguagem que dominam) e explorarem livremente o manancial de informação que passa a estar disponível, permitindo aos utilizadores perceber as tendências e tomar ações.

Apesar de não ser um processo rápido, a conclusão de um data warehouse para uma organização é algo que conseguimos implementar por fases, providenciando um valor quase imediato. É fundamental não esquecer a necessidade de formar os utilizadores de modo a tirarem proveito de todas estas potencialidades e assim permitir à organização tornar-se mais competitiva, ágil e conseguir crescer com sucesso alinhada com os objetivos definidos a curto e longo prazo.

Baptista

Ricardo Baptista
CIO e Technical Director da GSTEP

 

 

 

 

Santos

Álvaro Santos
Business Intelligence Unit Manager da GSTEP

 

 

 

 

 

Deixar uma resposta