Um olhar sobre big data em Portugal

25-03-2014 | por Semana Informática

O verdadeiro valor da análise de grandes volumes de dados não reside apenas na quantidade de dados tratados mas na qualidade e na diversidade de informação de negócio gerada e disponibilizada aos decisores.

papeisCom frequência ouvimos falar de big data mas a realidade é que em Portugal ainda são poucas as organizações que estão a dar os primeiros passos nesta área.

As elevadas expectativas dos decisores sobre este género de projectos são muitas vezes um problema para os departamentos de TI, visto que os resultados não se alcançam a curto prazo. A análise de grandes quantidades de dados, transformando-os em informação relevante para o negócio, melhora os resultados e a competitividade de uma organização, mas a capacidade para o fazer muda de empresa para empresa e de sector para sector.

Em conversa com o Semana Informática, Luís Miguel Gomes explica o conceito de big data e as debilidades que ainda existem nesta área. O associate manager da Novabase aborda ainda algumas iniciativas que estão a ser desenvolvidas em Portugal neste campo e fala dos cuidados a ter antes de se avançar para um projecto de big data.

Semana Informática – Continua a existir no mercado uma grande confusão entre o que é o big data e a forma como as aplicações de business intelligence e outras ferramentas analíticas podem ser aplicadas neste novo ecossistema de dados. Que definição dá a Novabase ao big data?

Luís Miguel Gomes – O conceito big data representa o novo paradigma de utilização de informação em larga escala, com grande diversidade de fontes e formatos, para complementar a informação que as organizações têm sobre o seu negócio. O objectivo é complementar a informação existente com dados até hoje não utilizados mas que, quando correlacionados com a informação existente, permitem obter novas perspectivas sobre o negócio.
Um exemplo comummente referido é o da utilização de informação proveniente das redes sociais para trazer contexto sobre o comportamento, a opinião ou as tendências relativamente a determinado produto ou assunto. Outro exemplo típico é o tratamento de informação relativa a eventos, alarmes ou transacções, que permite um conhecimento em real time sobre o estado do negócio.
A definição mais consensual de big data é informação com grande volumetria, variabilidade e velocidade de actualização. A conjunção destes três factores representa um grande desafio tecnológico no que toca a aquisição, tratamento e utilização da informação, de forma a esta ser útil para a tomada de decisão.
Numa utilização real estes três vectores nem sempre têm a mesma expressão, existindo casos em que é a volumetria que tem um impacto predominante, e outros em que é a variabilidade ou a latência da informação que assumem proporções mais desafiantes.

S.I. – Como se define a fronteira entre big data e business analytics?

L.M.G. – O business intelligence é a disciplina que oferece a capacidade analítica de passar de dados a conhecimento, tornando-se um apoio à tomada de decisão. Passa pela recolha de informação nos diversos sistemas informáticos da organização e pela disponibilização de indicadores de negócio num repositório multidimensional de dados, sendo estes de fácil exploração através de ferramentas analíticas. Este processo de desenvolvimento de indicadores passa por cálculos complexos, e o factor volumetria tem sido sempre um dos desafios a vencer.
No contexto de big data, a grande quantidade de informação enriquece os repositórios analíticos e alavanca a possibilidade de se obter mais conhecimento sobre a organização, permitindo novas análises e a produção de novos indicadores de negócio.
As novas tecnologias actualmente ao dispor, assentes na paralelização do processamento e na utilização de larga quantidade de informação em memória, vêm permitir que a informação big data seja utilizada no contexto de business intelligence.
Não se trata apenas de ter mais quantidade de informação disponível, como o nome big data parece indicar, mas sobretudo de diversificar a informação disponível, de forma a permitir correlacionar diversas perspectivas de negócio, proporcionando uma tomada de decisões mais informada e uma melhor capacidade preditiva dos sistemas.
Num contexto de big data, a disciplina business intelligence consegue oferecer análises mais completas. E, quando suportada em técnicas preditivas, constitui uma mais-valia determinante, ao proporcionar grande taxa de acerto nas previsões relativas aos comportamentos do negócio, ao scoring de risco, à propensão para a fraude e à propensão para o abandono [de clientes] ou para a aquisição de novos clientes.
O business analytics surge nesta conjuntura como a evolução natural de business intelligence, facultando às organizações a capacidade de influenciar o comportamento dos seus indicadores de negócio. Tirando partido da convergência entre BI, que alia a informação existente num repositório analítico e as técnicas preditivas, e o tratamento massivo de informação em tempo real que o big data oferece, dando às empresas a capacidade de actuar a tempo de evitar situações prejudicais e de alavancar a concretização de oportunidades de negócio.

S.I. – A partir de que quantidade de dados podemos dizer que estamos a trabalhar com big data?

L.M.G. – O big data é a conjugação de quantidades massivas de dados, em formatos com grande variabilidade e com actualização em tempo real. Caso a caso estes três vectores assumem proporções diferentes, de acordo com as características de cada negócio e geografia. Podemos falar de big data em diferentes situações, mas uma volumetria mínima na ordem dos terabytes será uma resposta consensual.

S.I. – Há um mercado grande em Portugal para este género de soluções?

L.M.G. – Segundo as previsões da Gartner, em 2020 a utilização de big data estará generalizada. Obviamente Portugal, pela sua dimensão, deverá ter sempre necessidades menos exigentes no que respeita a volumetria, quando comparado com a mesma actividade noutras geografias, mas como já vimos podemos falar de big data com diferentes níveis de complexidade e volumetrias, e em Portugal existem as mesmas oportunidades que nas restantes geografias.

S.I. – Que género de organizações está definitivamente num patamar de big data e que sectores estão a caminhar a passos largos para essa realidade?

L.M.G. – As aplicações são transversais a todos os sectores. O desafio actual das organizações é encontrar casos de utilização que lhes permitam alavancar os seus negócios com recurso à utilização de toda a informação a que poderão ter acesso. Existem já diversos casos relacionados com combate à fraude e com sistemas de comércio electrónico. Os sectores de administração pública, telecomunicações, banca e utilities deram já passos decisivos para tirarem partido deste novo paradigma. Também no retalho, onde o número de clientes é elevado, existe muito potencial para utilização de big data.

S.I. – A Gartner referia num relatório do ano passado que 30% das grandes organizações investiram em projectos tendo por base o big data. Deste universo, só 8%, ou seja, um quarto dessas empresas, conseguiu colocar os projectos de big data em produtivo. Podemos fazer uma correlação desses números com a realidade portuguesa?

L.M.G. – Depende um pouco de onde se quer traçar o limite para considerar que determinada volumetria, latência e variabilidade de informação já está no campo do big data. Na visão da Novabase, os 30% referidos pela Gartner a nível mundial não terão sido ainda atingidos em Portugal. Estamos envolvidos em diversas iniciativas nacionais em big data, a maioria em fase exploratória, e uma pequena parte já em produtivo.

S.I. – Qual é a taxa de sucesso dos projectos de big data em Portugal?

L.M.G. – Não é fácil medir o sucesso a curto prazo. Na nossa óptica as organizações líderes de mercado, e com uma visão inovadora, estão a investir para se posicionarem no mercado. O investimento terá um retorno crescente à medida que se descobrirem novos casos de utilização e que se criarem novas oportunidades de negócio e novas formas de diminuir a fraude, de aumentar a eficiência, de conquistar novos clientes, etc.

S.I. – Pode referenciar iniciativas em que a Novabase participou ou está a participar?

L.M.G. – Implementámos projectos relacionados com big data nos sectores de Governo, telecomunicações e utilities e nas áreas de combate à fraude, cálculos de eventos complexos em tempo real e redes inteligentes, utilizando diversas tecnologias. Estamos ainda a experimentar novas plataformas tecnológicas existentes no mercado e participámos em diversas candidaturas nacionais e internacionais na área de smart cities.

S.I. – As ferramentas orientadas para  big data já alcançaram maturidade suficiente para responder às actuais necessidades do mercado?

L.M.G. – Naturalmente irão evoluir. À medida que as solicitações de negócio aumentarem, as ferramentas terão também de se adaptar ao aumento de volumetrias. Mas, na nossa óptica, já existe maturidade tecnológica. Os principais desafios actuais estão do lado do negócio e consistem em encontrar casos de uso para aplicação imediata. Como sempre, o nosso posicionamento é, em parceria com os nossos clientes, encontrar casos de uso que permitam tirar o máximo partido da tecnologia já disponível.

S.I. – Quando vamos poder encontrar soluções no mercado que já incorporem propriedade intelectual e customização vertical suficientes para tornar as ferramentas de big data mais relevantes, disruptivas e massificadas no mercado?

L.M.G. – A Novabase está envolvida na criação duma solução vertical, na área de utilities, que estará disponível no mercado no decorrer de 2014. Temos uma visão ambiciosa e disruptiva, que vai contribuir para o desenvolvimento deste sector. As redes inteligentes trazem um mundo de oportunidades ao sector de utilities e estamos a desenvolver uma solução inovadora para proporcionar aos nossos clientes benefícios ao longo de toda a cadeia de valor.

S.I. – Os decisores nacionais, por falta de conhecimento ou devido à falta de clarificação sobre as ferramentas mais adequadas para iniciar um projecto de big data, continuam a relegar a hipótese de investir nesta área, optando por ferramentas mais tradicionais. Quando poderemos assistir a uma mudança deste paradigma?

L.M.G. – Penso que o contexto económico também não é propício. Mas concordo que, apesar de ser um tema muito falado, não é ainda claro para o mercado como pode tirar já partido deste novo paradigma. Nos próximos dois anos o panorama deverá evoluir muito. À medida que as organizações forem dando os primeiros passos, o tema vai-se tornando mais conhecido, e a pressão para acompanhar as melhores práticas terá um efeito de estímulo.

S.I. – Que tecnologias utiliza a Novabase para trabalhar o big data?

L.M.G. – A Novabase, do ponto de vista da abordagem de business intelligence, tem sido sempre agnóstica. Trabalhamos sempre com diversas tecnologias, quer sejam megavendors, quer sejam de nicho de mercado.
Actualmente, temos em curso iniciativas com a Feedzai,considerada pela Gartner, em 2011, um coolvendor em analytics e business intelligence, e com SAP Hana, Oracle, IBM com Netezza, EMC com Greenplum e Hadoop.

S.I. – Quais são as principais dificuldades das empresas nacionais para aceitarem e desenvolverem esta oferta?

L.M.G. – Por um lado, o investimento, por outro, a clarificação dos casos de negócio que trarão benefícios económicos a curto prazo.

S.I. – Como se cria um plano de gestão para iniciar um projecto de transformação de big data?

L.M.G. – Deve ser iniciado em áreas-chave, deve envolver o negócio e deve faseadamente ser alargado a novas áreas da organização. No contexto big data, os desafios associados a information management são complexos. Quando falamos de fontes não-estruturadas, deixamos de falar de dados validados e passamos a falar da confiança nos dados, tendo em conta o menor escrutínio que é possível efectuar em relação à informação massiva não-estruturada e actualizada a grande velocidade. Neste contexto torna-se essencial auditar periodicamente a informação e atribuir graus de confiança às diversas fontes.

S.I. – Que erros são mais comuns nestes projectos e como podem ser evitados?

L.M.G. – Avançar para uma solução de big data apenas por motivos tecnológicos; sem a sustentação de casos de negócio é uma má prática. Avançar para uma iniciativa de big data que abranja todo o negócio também é considerado arriscado. Deve ser criado um roadmap faseado, e a organização deve ir aprendendo com as iniciativas iniciais e adaptando os seus processos para suportar a nova realidade.

 

Artigo publicado no Semana Informática, a 25 de Março de 2014. Pode ler o original AQUI.

Deixar uma resposta