Mais dados não significa, necessariamente, melhores decisões

New Picture (6)Dados e mais dados. Hoje já não se fala em mega ou gigabytes. E sim petabytes. Onde antes havia falta de dados para analisar talvez tenhamos, agora, chegado ao cenário inverso. Onde há tanta informação que começa a ser difícil geri-la. Onde a qualidade dos dados começa a ficar comprometida e onde questões como a privacidade dos mesmos começa a ser preocupante.

Sem esquecer que, como relembrou ao Business Analyticis, Olivier Penel, SAS Principal Business Solutions Manager, do SAS, “More data doesn`t necessarily mean better decisions”. É certa que a big data possibilita melhores negócios. Mas só e apenas se as empresas conseguirem trabalhar os dados das inúmeras fontes utilizadas. Agora, mais do que nunca, a qualidade e integridade dos dados é fundamental.

Business Analytics – Acredita que o Big Data está a transformar as organizações? Como vê esta transformação?

Olivier Penel – A “onda” do big data está a criar efeitos significativos na gestão de dados e na estratégia de governação das organizações.

Em poucas palavras, o que o big data faz é trazer novas fontes de dados (internas ou externas) para o “jogo” para serem usadas como parte de cenários de novos negócios, dando, às organizações, novos formas de alavancar os dados como um activo estratégico, de forma a ganhar vantagem competitiva.

Em primeiro lugar, o conceito de big data está a mudar a forma como os negócios e as TI colaboram na gestão dos dados. Na abordagem tradicional os executivos determinam quais as questões a fazer e o departamento de TI prepara a infra-estrutura e os dados de forma a poderem responderem a essas perguntas. Este processo é geralmente interactivo, dado que, por norma, os executivos não conseguem explicar muito bem o que precisam e a primeira tentativa normalmente não resulta numa solução final. Na abordagem big data o departamento de TI disponibiliza uma plataforma que consolida as várias bases de dados necessárias. Depois os executivos usam essa plataforma para explorar os dados, obter ideias e respostas às dúvidas. Esta “descoberta criativa” permite igualmente que os utilizadores verifiquem se os dados que estão a utilizar são adequados às suas necessidades específicas. É interessante notar que ambas as abordagens são úteis e que podem ser usadas em paralelo e durante muito tempo. As plataformas big data não irão substituir as tradicionais EDW (Enterprise Data Warehouses) mas sim complementá-las:

  • Trazendo novas capacidades e oportunidades de negócios
  • Transferindo a pressão do investimento avultado das EDW

Em segundo lugar, o big data está a trazer consigo uma mudança cultural, onde dois mundos têm de coabitar. No mundo de armazenamento de dados e da gestão tradicional dos dados, as soluções são desenhadas e implementadas tendo por base requisitos pré-definidos. Vivemos num mundo de repositórios estruturados, geridos por centros de competência, focados na tomada da melhor decisão, baseada em dados da empresa. No novo mundo do big data, as iniciativas são baseadas em oportunidades tácticas, activadas por especialistas técnicos que experimentam as várias opções oferecidas por esta nova tecnologia. Aqui o foco é o de melhorar o resultado do negócio através do incremento de dados externos.

Hoje os dois mundos estão a olhar um para o outro, com os evangelistas do big data a desafiarem o status quo e os cépticos a esperar para ver se os resultados previstos se concretizam.

O que podemos ver a acontecer é uma convergência destes dois mundos, com o aparecimento de pessoas orientadas para o resultado, pragmáticas e “iluminadas” que quererão incrementar as capacidades existentes e usar a nova tecnologia para explorar cenários inovadores de negócio.

O papel da governação dos dados é reconciliar estes dois mundos para que possam trabalhar juntos e em harmonia.

B. A. – Quais são os melhores planos para assegurar a adaptação e implementação de Big Data?

O. P. – Novas fontes de dados e novos casos de dados estão a levar a novos requisitos para órgãos de governação de dados. Apesar de os princípios gerais de governação de dados ainda se aplicarem, o uso do big data está a levantar novas questões que os órgãos de governação de dados existentes terão de considerar. É o caso de:

  • A ligação de novas fontes de dados, especialmente para fontes externas e dados não estruturados, colocará os dados fora do alcance dos típicos programas de governação de dados, com a incapacidade de fazer cumprir os standards e os controlos de qualidade (de dados) normalmente utilizados na fonte.
  • Trazer grandes quantidades de dados num “mar de dados” levantará questões sobre privacidade e regulamentação. Temos o direito de armazenar estes dados? Durante quanto tempo? Quem deverá ter acesso? E como estaremos autorizados a usá-los?
  • Tentar impor o mesmo nível de qualidade para big data pode aniquilar os benefícios esperados das iniciativas de big data, nomeadamente sobre a velocidade da integração de dados e a capacidade de trabalhar fluxos de dados em tempo real. Há, claramente, que encontrar o equilíbrio entre o imperativo da qualidade dos dados e os benefícios da velocidade de big data.

As minhas recomendações:

  • Consolidar, desde o início, o processo de governação de dados
  • Incluir os executivos e nomear novos administradores de dados
  • Focar na gestão de big metadados
  • Encontrar o equilíbrio entre controlo e velocidade
  • Começar com os dados existentes antes de adicionar novas fontes de dados

B. A. – Quais são os grandes desafios que uma organização enfrenta ao implementar Big Bata?

O. P. – Mais dados não significa, necessariamente, melhores tomadas de decisão! Um dos aspectos mais interessantes do fenómeno “Big Data” é que este está a conferir uma nova urgência para o que é, na sua essência, um velho problema. As organizações quase sempre têm mais dados do que os que conseguem trabalhar. Na maioria das vezes há mais informação que recursos para a consumir. No final de contas uma decisão baseada em petabytes de maus dados não é melhor do que uma tendo por base um conjunto de informações imprecisas.

Com big data os desafios da governação de dados aumentam consideravelmente:

  • A diversidade das fontes de dados significa que há padrões mínimos para o conteúdo, semântica, definição e estrutura dos dados.
  • A falta de controlo sobre a produção de dados significa que não se pode impor a qualidade dos dados na fonte, como se consegue fazer nas aplicações operacionais internas.
  • Porque o problema não reside no acesso e armazenamento dos dados mas sim na sua relevância e significado
  • A privacidade e regulamentação também é um importante desafio com que os órgãos de governação de dados terão de lidar através da criação de políticas de retenção, de forma a cumprirem as directivas sobre privacidade.
  • E por fim, há o risco real de “fast trash” juntamente com a promessa de analíticas em tempo real.

B. A. – O perigo de Big Data. É real? Como é que as organizações o podem evitar?

O. P. – Não há dúvida de que o big data é real e veio para ficar. Todos os estudos mostram que o big data está no topo da agenda dos decisores. A taxa de adopção de tecnologias noSQL é impressionante. Por exemplo, mais de 60% das organizações irão implementar, de alguma forma, a Hadoop, até ao final de 2014. E 81 por cento das grandes empresas acreditam que a tecnologia Hadoop tem um papel a desempenhar na sua companhia. As tendências do Google mostram que o interesse pelo Big Data e pela Hadoop está a crescer. O que é visível no número de ofertas de emprego relacionadas com Hadoop.

Além dos estudos de analistas e das tendências de mercado, todos os dias surgem artigos sobre questões éticas e controvérsias sobre a utilização que as organizações, publicas ou privadas, estão a fazer dos dados pessoais. O Big Data já não é simplesmente uma palavra da moda. É real. Está aqui e é potencialmente perigosa. Quanto mais poderosa uma tecnologia é mais importante deve ser a sua governação/gestão.

olivier-penelOlivier Penel
Principal Business Solutions Manager Data Management
Oliver é tem quase 15 anos de experiência em Gestão de Informação, experiência em consultoria para empresas de várias indústrias e, durante esse período, tornou-se um evangelista da governação de dados e desenvolveu um conjunto de boas práticas da gestão de dados que partilha com clientes e em conferências.

Deixar uma resposta