Sem título

Página 1

Hadoop: plataforma de softwareem Java, de computação distribuída voltada para clusterse para o processamento de grandes volumes de dados, com suporte a tolerância a falhas.

Map Reduce: é um framework desenvolvido pela Google para suportar computações paralelas em grandes coleções de dados em clusters de computadores.

Linguagens de script: linguagens de programação adequadas ao big data, como Python.

Visual analytics: método de

Hadoop: plataforma de softwareem Java, de computação distribuída voltada para clusterse para o processamento de grandes volumes de dados, com suporte a tolerância a falhas.

Map Reduce: é um framework desenvolvido pela Google para suportar computações paralelas em grandes coleções de dados em clusters de computadores.

Linguagens de script: linguagens de programação adequadas ao big data, como Python.

Visual analytics: método de

análises em grandes volumes de dados com saída em formato visual ou gráfico.

Processamento de linguagem natural (PLN): conceito de inteligência artificial que permite a análise de textos.

In-memory analytics:processamento de big data realizado na memória do computador com o objetivo de aumentar a velocidade das análises. O advento da tecnologia in-memory analytics colabora muito com a velocidade de processamento, pois evita que os dados sejam armazenados em disco.

A razão é simples: um...

imenso volume de dados permitirá fazer análises antes inimagináveis sobre dados, examinando fatos e fazendo previsões com muito mais precisão. Essas análises preditivas demandam uma capacitação que envolve estatística, matemática e conhecimento de negócios, que é bem diferente das atividades dos analistas envolvidos com ferramentas de business intelligence (BI) hoje, mais preocupados em criar gráficos e dashboards para mostrar dados passados.

Sobre ciência de dados: é...

utilizada com o intuito de aplicar, nos dados, conceitos multidisciplinares que, na maioria das vezes, estão inseridos no contexto de uma grande quantidade de dados. O termo “ciência” é utilizado quando aplicamos um cunho investigativo sobre algo; aqui, está atrelado aos dados, já que, a partir do uso de métodos científicos de busca, questionamentos e pesquisas, visa explorar os dados e, com isso, formular possíveis hipóteses por meio da aplicação de técnicas e de ferramentas estatísticas.

Inteligência Artificial (IA)

a capacidade de um computador digital ou de um robô controlado por computador executar tarefas comumente associadas a seres inteligentes;

uma máquina completando as tarefas que envolvem certo grau de inteligência, que anteriormente eram consideradas apenas para serem feitas por humanos;

a simulação de processos de inteligência humana por máquinas, especialmente sistemas de computador. Esses processos incluem aprendizado, raciocínio e autocorreção.

a capacidade de uma máquina para imitar o comportamento humano inteligente.

Categorização

A inteligência artificial requer muitos dados relevantes para o problema que está sendo resolvido. O primeiro passo para construir uma solução de inteligência artificial é criar a “métrica de intenção de projeto”, usada para categorizar o problema. Independentemente de os usuários tentarem construir um sistema que possa, por exemplo, ajudar um médico a diagnosticar o câncer ou ajudar um administrador de TI a diagnosticar problemas de redes sem fio, os usuários precisam definir métricas que permitam que o problema seja dividido em partes menores. Em redes sem fio, por exemplo, as principais métricas são tempo de conexão do usuário, taxa de transferência, cobertura e roaming. No diagnóstico de câncer, as principais medidas são contagem de células brancas, etnia e exames de raios X.

Classificação

Depois que os usuários tiverem o problema categorizado em áreas diferentes, o próximo passo é ter classificadores para cada categoria, que apontarão os usuários na direção de uma conclusão significativa. Por exemplo, ao treinar um sistema de inteligência artificial para jogar o Jeopardy, os usuários devem, primeiro, classificar uma questão como sendo de natureza literal ou um jogo de palavras e, então, classificar por tempo, pessoa, coisa ou lugar. Em redes sem fio, uma vez que os usuários saibam a categoria de um problema (por exemplo, um problema pré ou pós-conexão), precisam começar a classificar o que está causando o problema: associação, autenticação, Dynamic Host Configuration Protocol (DHCP) ou outras causas, com fio e fatores de dispositivo.

Aprendizado de máquina

Agora que o problema é dividido em partes de metadados específicas do domínio, os usuários estão prontos para fornecer essas informações ao mundo mágico e poderoso do aprendizado de máquina. Existem muitos algoritmos e técnicas de aprendizado de máquina, com o aprendizado de máquina supervisionado usando redes neurais (ou seja, aprendizado profundo) tornando-se uma das abordagens mais populares. O conceito de redes neurais existe desde 1949, mas com os mais recentes aumentos nos recursos de computação e armazenamento, as redes neurais estão sendo treinadas para resolver uma variedade de problemas do mundo real, desde o reconhecimento de imagens e processamento de linguagem natural até a previsão do desempenho da rede. Outras aplicações incluem descoberta de características de anomalias, detecção de anomalias de séries temporais e correlação de eventos para análise de causa.

Filtragem colaborativa

A maioria das pessoas experimentam filtragem colaborativa quando escolhem um filme na Netflix ou compram algo da Amazon e recebem recomendações para outros filmes ou itens de que possam gostar. Além dos recomendadores, a filtragem colaborativa também é usada para classificar grandes conjuntos de dados e colocar uma face em uma solução de IA. É onde toda a coleta e análise de dados é transformada em insight ou ação significativa. Seja usada em um game show, por um médico ou por um administrador de rede, a filtragem colaborativa é o meio de fornecer respostas com alto grau de confiança. É como um assistente virtual que ajuda a resolver problemas complexos.

Exemplo

Entre diversos exemplos da aplicação da inteligência artificial em nosso cotidiano, podemos citar relógios inteligentes que podem monitorar todos os indicadores vitais do usuário e avisar quando algum deles entra em descompasso com o esperado; nesse caso, pode, ainda, compartilhar, com a permissão do usuário, essas informações com outras pessoas conhecidas.

Um exemplo prático desses tipos de dispositivos é o Apple Watch – um relógio inteligente que, segundo o fabricante, foi feito para inspirar uma vida mais saudável. Entre muitas funcionalidades, esse relógio monitora o coração, avisando se algum descompasso surgir, além disso, dispõe de recursos que ajudam a prevenir quedas de usuários idosos ou um mal súbito.

Não é difícil imaginar, pela proporção dos acontecimentos tecnológicos, que a grande tendência é a aplicação de IA em grande escala − carros mais seguros, jogos e filmes cada vez mais reais, sistemas de segurança com mais eficiência, enfim, tudo o que já existe será aperfeiçoado e, ainda, novos equipamentos surgirão, suplantando a eficiência dos anteriores. Nesse sentido, podemos visualizar uma invasão de startups para suportar as novas tecnologias baseadas em IA.

HSM

Tech Talks: IA, data science e machine learning

Tech Talks: IA, data science e machine learning

Na primeira temporada do podcast da SingularityU Brazil, Tech Talks, batemos um papo com o egresso do ITA e MIT, Caio Ishizaka, diretor de Data da Red Ventures e Gabriela de Queiroz, gerente de Data da IBM e fundadora da AI Inclusive, uma organização cujo objetivo é aumentar a representação e participação de grupos de minorias de gênero na inteligência artificial.

O que diferencia Data Science de Inteligência Artificial e de Machine Learning?

GQ – Essa é uma pergunta que sempre nos fazem porque essas palavras se misturam e têm muito overlap. As vezes você está falando de data Science, mas se refere mais à parte de inteligência artificial ou de machine learning. Tem uma definição que acho muito legal do David Robson, em que ele fala “Data Science é você produzir insights, em machine learning você produz predições e na inteligência artificial você produz ações”. Mas há muita coisa em comum entre os três. Nós, que somos profissionais dessa área, entramos e saímos desses campos a todo instante.

Muito se fala da Inteligência Artificial ter um hype e chamar atenção, aqui no Vale do Silício o pessoal brinca que “quando uma empresa está procurando investidor, diz que está trabalhando com inteligência artificial. Quando está procurando funcionários, diz que está trabalhando com machine learning. Quando está procurando resoluções de problemas, está fazendo regressão linear. E, quando está resolvendo o problema, está só fazendo um print statement”.

CI* *– Usamos muito o machine learning como ferramenta para a inteligência artificial, mas não apenas para isso. Quando você faz um modelo, pode estar apenas traçando uma análise, não necessariamente criando um robô com IA, capaz de tomar decisões. Assim como nem todo modelo de Inteligência Artificial tem um algoritmo de machine learning por trás. Um exemplo que gosto de dar são os videogames. O jogo “Pong” consistia em possuir uma raquete e utilizá-la contra o computador e, ali, a máquina já era capaz de simular o comportamento de um oponente humano. Isso pode ser considerado IA sem machine learning. Uma definição que eu gosto muito para Machine Learning é o de que é: o processo de uma máquina aprender com as suas próprias experiências.

Um dos problemas das tecnologias exponenciais é, justamente, a velocidade com que as coisas mudam. Enquanto muitos de nós ainda estamos tentando entender os mecanismos do machine learning, o deep learning já está na boca da comunidade científica. Quais são suas percepções sobre a pauta?

CI – O deep learning é uma ferramenta que está no repertório do machine learning. Traçando o paralelo, temos a matemática e abaixo dela disciplinas como geometria, aritmética, álgebra. A aritmética está para a matemática assim como o deep learning está para a machine learning. Essa tecnologia vem sendo muito comentada porque ali estão os avanços de reconhecimento de imagem e reconhecimento de texto; muitos dos modelos estão utilizando essa ferramenta.

O IBM Watson, por exemplo, permite que você faça uma pergunta em formato de texto e ele te traga respostas. Há muito uso do deep learning por trás. Então, não se sintam alarmados, o deep learning é apenas uma ferramenta a mais.

GQ – Deep Learning é uma palavra quente, que estão todos falando, mas não quer dizer que estão todos usando. Ainda usamos modelos mais simples para resolver nossos problemas do dia a dia. Mas, realmente, questões relacionadas a imagem, vídeo e texto puderam começar a serem resolvidos com a entrada do deep learning; que é um campo antigo.

Antes, não tínhamos o poder computacional que temos agora. Usamos o deep learning mais amplamente agora por existir essa capacidade de aplicação. Um bom exemplo do quanto ele está disseminado é a alfândega dos aeroportos. Uma câmera escaneia todas as pessoas que estão passando, fazendo o reconhecimento facial e casando com uma infinidade de informações: nome, destino, ficha criminal. Isso já é uma aplicação diária

O reconhecimento facial é uma pauta polêmica carregada de equívocos propagados pelo cinema, em especial nas produções de ficção científica, sobre a possibilidade dos robôs serem auto didatas. Isso faz algum sentido?

GQ – Muitas coisas da ficção científica estão realmente caminhando na direção da realidade futura, os carros autônomos são o grande exemplo disso. Mas os responsáveis por ensinar os robôs somos nós que estamos criando algoritmos, os robôs que são altamente dependentes. Os algoritmos são bem fidedignos às pessoas que os criaram.

CI – A melhor e pior coisa sobre o computador é que ele faz exatamente o que você manda. O papel de quem está treinando o computador é fundamental. O próprio machine learning não aprende sozinho, você direciona o que ele tem que aprender. Muitos estudiosos abordam a “singularidade”, que é o momento em que as máquinas conseguiriam replicar um ser humano perfeitamente, mas essa é ainda uma discussão sem conclusão possível. Hoje não existem máquinas que aprendem por si só, mas máquinas que aprendem a executar o que são instruídas a fazerem.

Vocês acham que algum dia a automação dará cabo aos cientistas de dados?

CI – Essa é uma pergunta bastante difícil de ser respondida. Em programação se diz que “todo programador tem o objetivo máximo de se eliminar do trabalho”. Tudo que ele faz, gostaria de automatizar. Ciência de dados é parecido, ninguém quer ficar fazendo o mesmo modelo todos os dias.

Estamos entrando na era dos carros autônomos, por exemplo, e há toda uma discussão sobre o que será feito com o emprego de milhões de motoristas de caminhão. No campo do direito, você já vê robôs tecendo textos e defesas inteiras a partir do que foi alimentado. Recentemente, foi divulgado o novo release do GPT-3 que é uma inteligência artificial de construção de texto, você dá um prompt para ela com parágrafos de poucas linhas e ela redige um texto inteiro a partir daquilo. Então, será que o trabalho de redator também está sob perigo? Hoje, ainda estamos seguros, mas por quanto tempo? Eu não sei.

GQ – Quanto mais a IA avança, mais riscos traz aos empregos humanos, e precisamos nos questionar: quais são os empregos que gostaríamos que máquinas fizessem? Quais são os empregos que gostaríamos que os humanos fizessem? Ainda vivemos na era romântica, em que a tecnologia traz mais empregos do que tira. Mas, sim, há um futuro mais macabro que isso.

Você pode escutar esse episódio na íntegra neste link. A segunda temporada de podcasts da SingularityU Brazil, Tech Talks, estreia dia 29 de março. Para acompanhar, siga nosso perfil no Spotify.

O HSM Experience

No texto a seguir, especialistas trouxeram luz ao ainda pouco compreendido universo dos modelos de aprendizagem de máquinas, em um bate-papo inspirador com Caio Ishizaka, diretor de data da Red Ventures, e Gabriela de Queiroz, gerente de data da IBM e fundadora da AI Inclusive, uma organização cujo objetivo é aumentar a representação e a participação de grupos de minorias de gênero na inteligência artificial.

HSM

Leia o texto "Big data: como montar o quebra-cabeça":

Big data: Como montar o quebra-cabeça

Não é segredo que o big data oferece um enorme potencial de negócios às empresas. Todo executivo sênior do planeta já sabe disso. Bem menos conhecidas, contudo, são as etapas pelas quais as organizações devem passar para identificar esse potencial. Mesmo com todo o entusiasmo justificável, muitas delas não o aproveitam completamente – ou, pior, deixam-no para a concorrência.

As soluções de big data podem ser mais flexíveis, mais escaláveis e mais econômicas do que nunca, mas requerem muitas mudanças das empresas – mudanças não apenas no modo como os dados são coletados, analisados, armazenados e usados, mas também no acesso e na proteção deles, na interação com consumidores que possuem informações vitais e na maneira como aproveitam novas habilidades e tecnologias.

As empresas terão de adotar novas parcerias, estruturas organizacionais e até ideologias por conta do big data. Para muitas, o desafio do big data parecerá demasiado, mas não precisa ser assim.

Componentes

Consideramos útil dividir o big data em três componentes principais: uso de dados, motor de dados e ecossistema de dados.

Uso de dados: identificando oportunidades e construindo confiança. As empresas devem criar uma cultura que encoraje experiências e apoie um processo de ideação voltado para os dados. Também precisam focar a confiança, não apenas construindo-a com os consumidores, mas exercendo-a como arma competitiva. Companhias que usam dados de maneira transparente e responsável terão mais acesso a mais informações do que aquelas que não fazem esse uso.

Motor de dados: estabelecendo uma base técnica e moldando a organização. Plataformas técnicas rápidas, escaláveis e flexíveis o bastante para atender a diferentes tipos de aplicações são fundamentais, assim como o conjunto de habilidades necessário para construí-las e administrá-las. Essas novas plataformas serão, em geral, notavelmente econômicas, usando hardwares básicos e alavancando tecnologias em nuvem e de código aberto. No entanto, sua natureza de múltiplos fins significa que muitas vezes elas se localizarão fora das unidades de negócios. É fundamental, portanto, ligá-las a essas unidades e seus objetivos, prioridades e competências. As organizações também precisarão colocar em uso os insights que adquirirem no big data, incorporando-os em processos operacionais, em tempo real ou perto disso.

Ecossistema de dados: participando de um ecossistema de big data e criando relações. O big data gera oportunidades que muitas vezes não estão nos negócios ou mercados tradicionais de uma empresa. Parcerias serão cada vez mais necessárias para obter dados, conhecimento, capacidades ou clientes. As empresas devem identificar as relações certas – e mantê-las.

Competências

As organizações podem implantar um quadro sólido para materializar o big data de maneira bem-sucedida pondo para funcionar seis competências, duas para cada componente.

1- Identificar oportunidades

O big data pode agregar valor ao negócio de várias maneiras, mas as oportunidades de inovar mais com dados – potencialmente mais lucrativas – provavelmente não serão muito aparentes. As empresas precisam criar um ambiente no qual novas aplicações de dados possam ser rapidamente identificadas e desenvolvidas; é isso que vai diferenciá-las da concorrência.

O melhor caminho é, portanto, uma cultura em que seja crucial encorajar experimentos e soluções inovadoras, além de ampla gama de talentos, que vão desde habilidades com dados científicos até domínio empresarial.

Apesar de parecer um desafio formidável, criar um processo de ideação voltado para dados não é tão difícil quanto se pensa. Ele envolve três etapas principais:

Encorajar ideias não tradicionais. A exploração de novas aplicações de dados tem de ser encorajada em todos os níveis da organização, dando aos colaboradores tempo e recursos para que desenvolvam suas ideias. Os experimentos precisam de direcionamento, no entanto; eles têm de começar por um problema da empresa. O problema de uma grande fabricante de automóveis, por exemplo, foi desenvolver usos inovadores para os dados coletados e transmitidos por sensores dos carros e, para isso, a organização montou uma equipe especial. Tal iniciativa enviou aos funcionários uma mensagem clara: soluções novas e criativas não são apenas bem-vindas; elas constituem uma prioridade da empresa.

Fomentar a colaboração entre profissionais de dados e outros. A ampla variedade de conhecimentos necessários para identificar e desenvolver aplicações – em ciência de dados e analytics, em novas tecnologias e em novos negócios – raramente será adquirida por um único indivíduo. Tais esforços tendem a exigir habilidades de muitas pessoas, localizadas em toda a organização.

Isso torna vital a criação de fortes ligações entre profissionais que provavelmente têm históricos muito diferentes e pouca experiência de trabalhar juntos. O diálogo frequente e a colaboração contínua ajudarão essas equipes interdisciplinares a priorizar os problemas e oportunidades mais relevantes para a empresa. Processos formais podem estimular a colaboração, bem como um “empurrãozinho de cima para baixo” mais informal.

Adotar uma abordagem “teste e aprenda”. Velocidade e agilidade são essenciais para a criação de aplicações de big data. A regra deve ser ciclos curtos, desenvolvimento iterativo e pilotos frequentes. Correr riscos é uma atitude que precisa ser encorajada, e os erros devem ser aceitos. O big data ainda é um território pouquíssimo explorado e, nele, até o desapontamento pode ensinar muito – ou, pelo menos, um desapontamento cuidadosamente analisado.

2- Construir confiança

O acesso à informação, em grande parte de natureza pessoal, é fundamental para extrair valor de aplicações de big data. No entanto, os consumidores se preocupam cada vez mais com o modo como as empresas usarão as informações que acessam sobre eles. O BCG entrevistou aproximadamente 10 mil consumidores, de países desenvolvidos e em desenvolvimento, para uma edição recente da pesquisa Global Consumer Sentiment e descobriu que apenas 7% se sentem confortáveis com a possibilidade de seus dados serem utilizados fora do propósito para o qual foram coletados.

Ganhar a vantagem da confiança é a chave: só 7% dos consumidores confiam no uso de seus dados

Ou seja, usar os dados de maneira responsável, clara e transparente é preciso. Se o fizerem, as empresas podem diminuir as preocupações e o ceticismo dos consumidores e ganhar uma importante vantagem competitiva.

As organizações que conseguirem construir confiança serão mais bem-sucedidas na aquisição e uso de dados confidenciais. Acessarão os consumidores de um modo que empresas menos abertas e disponíveis não conseguirão. O BCG chama isso de “vantagem da confiança” e a traduz em números: as organizações que administrarem bem a confiança serão recompensadas com cinco a dez vezes mais acesso aos consumidores – na maioria dos países.

O que é administrar bem a confiança? Isso implica ao menos três práticas:

Informar com clareza como os dados serão usados. É fundamental não se prender aos padrões. A linguagem que explica como dados pessoais são usados deve ser concisa e fácil de entender e ter um tom vívido – também precisa ter destaque e não ficar escondida na parte inferior de uma página de web. É importante deixar claro, ainda, o que não será feito com as informações (por exemplo, que as informações não serão compartilhadas em mídias sociais).

Oferecer escolhas e controle. Deve-se evitar uma abordagem única em relação às permissões de uso de dados. Em vez de um amplo opt-in que autorize todos os usos ou de um amplo opt-out que proíba tudo, é preciso permitir que os indivíduos escolham os usos específicos que aprovarão ou proibirão. Isso lhes dá maior controle sobre como seus dados são usados, o que pode influenciar sua decisão sobre se devem ou não compartilhar informações.

Enfatizar os benefícios do uso de dados. O sucesso de sites como Facebook e Google demonstra que os usuários compartilham informações pessoais quando recebem algo valioso em troca. Deixando claro o que eles têm a ganhar – funcionalidades avançadas, produtos melhorados, propagandas úteis e assim por diante –, as empresas conseguem mostrar que essa é uma via de duas mãos. Compartilhar informações tem de valer a pena.

3- Estabelecer a plataforma

O relacionamento com dados é antigo nas empresas, e esse passado muitas vezes pode se voltar contra elas no caso do big data.

A experiência acumulada ensina a elas, por exemplo, que sua infraestrutura de tecnologia da informação (TI) deve ser grande, rígida e cara, formada por sistemas complexos customizados para uma tarefa particular e alimentada por dados minuciosamente refinados.

Ocorre que o big data é uma experiência muito diferente disso, com tecnologias, requisitos e possibilidades diversos. Se desejam explorar completamente as novas oportunidades, de maneira rápida e com boa relação custo-benefício, as empresas precisam entender como a TI mudou e desenvolver as próprias plataformas de dados em conformidade com essa mudança.

A infraestrutura de dados tradicional, que depende de servidores de dados centralizados e altamente estruturados, não é mais a única opção. Muitas das novas ferramentas, como as baseadas no Apache Hadoop (uma estrutura de código aberto que permite às aplicações alavancarem dados distribuídos em máquinas comuns), são mais flexíveis, bem mais baratas e rápidas de implementar do que a infraestrutura tradicional. A TI analítica também pode ser rapidamente implementada. Além do Hadoop, há a Amazon Web Services, a SAP HANA e outras.

Essas novas ferramentas de dados têm um potencial extraordinário, embora também estejam sujeitas a questionamentos: o que acontece com os sistemas existentes? Como as ideias coletadas por meio de uma análise de dados inovadora são colocadas em operação? E talvez a pergunta mais importante: como a base técnica que as empresas estabelecem hoje pode apoiar as aplicações de dados de amanhã?

Flexibilidade é crucial não apenas para garantir velocidade e eficiência, mas também para conquistar vantagem competitiva. Para obter e manter uma vantagem, as empresas precisam implantar rapidamente novos usos de dados sem aumentar os custos na mesma velocidade.

Ferramentas novas como o hadoop podem ser melhores do que as tradicionais tecnologias SQL

Analisamos diversos casos nessa área e chegamos à conclusão de que três orientações são particularmente úteis para construir a plataforma ideal do big data:

Usar uma plataforma de dados escalável e polivalente. Implementar uma plataforma de abrangência corporativa ajuda a evitar o problema da “anarquia de dados”, na qual unidades de negócios diferentes utilizam fontes de dados duplicadas ou conflitantes. Quando todos impulsionam uma única fonte, “de referência”, a consistência dos dados é garantida. Essa plataforma deve ser construída por meio de tecnologias facilmente escaláveis, que viabilizarão a implementação de aplicações futuras. Aqui, ferramentas de dados distribuídos, como o Hadoop, levam vantagem sobre as tecnologias mais tradicionais de SQL (linguagem de consulta estruturada, na sigla em inglês), pois conseguem trabalhar com as informações de maneira natural e não estruturada onde quer que estas estejam.

Não eliminar os sistemas existentes – ainda. Apesar de as tecnologias SQL não oferecerem tanta flexibilidade como as ferramentas mais recentes, elas são maduras e trabalham bem com dados essenciais. Assim, as empresas que já investiram nesses sistemas devem levar em conta uma abordagem complementar: manter os sistemas existentes, por enquanto, mas incorporar ferramentas mais novas onde for apropriado – por exemplo, na alavancagem de dados não estruturados que ficam cada vez mais disponíveis a elas. Essa abordagem também lhes permite que se especializem nas novas ferramentas, facilitando uma transição para as tecnologias de dados distribuídos – transição que muitas empresas devem realizar nos próximos cinco anos.

Ajustar processos operacionais para alavancar ideias rapidamente. O que às vezes se perde na discussão sobre o big data é o fato de que a base técnica é composta de duas partes: a tecnologia que apoia o analytics e a tecnologia que coloca os resultados em uso. A segunda parte é fundamental: embora o big data costume gerar vários insights valiosos, estes não significarão muito se não forem alavancados de maneira oportuna – cada vez mais, em tempo real ou perto disso. Por exemplo, um varejista online pode surgir com a oferta individualizada ideal para um cliente que visita seu site, mas, para aproveitar ao máximo essa ideia, ele precisa comunicar a oferta enquanto o cliente ainda está no site. Para muitas empresas, “operacionalizar” o big data significará implementar tecnologias novas e desconhecidas, e aquelas capazes de criar os processos necessários usarão seus dados analíticos de modo mais rentável.

4- Moldar a organização

As plataformas de big data mais bem-sucedidas alavancam não apenas novas tecnologias, mas também novas estruturas corporativas. Centralizar recursos-chave (cientistas de dados e analistas, por exemplo) em uma unidade isolada ajudará as empresas a atrair e conservar os talentos de que precisam, a desenvolver e administrar aplicações de maneira eficaz e a estimular a inovação sem duplicação de esforços.

As organizações precisam evitar as “torres de marfim”, contudo. Os novos recursos da ciência de dados e do data mining devem estar ligados às empresas existentes. Isso mantém o foco em casos de usos úteis e reais – não em casos fantasiosos.

É claro, as unidades de negócios têm de se sentir confortáveis com essas novas dinâmicas. Uma abordagem que consideramos eficaz para tanto é inicialmente focar desafios específicos. Concentrando-se em um problema central e reunindo todos para resolvê-lo, especialistas de dados e de negócios não só aprendem a trabalhar juntos com efetividade; eles desenvolvem os laços e a confiança necessários para criar as aplicações de dados mais importantes. Isso torna o big data mais “real” para cada unidade de negócios e atrai a atenção e adesão de seu pessoal.

Conforme as empresas desenvolvem sua nova organização focada em dados, elas são guiadas por três princípios fundamentais:

Criar um centro de excelência em big data. As empresas muitas vezes temem que as habilidades necessárias para projetos de big data – da criação de algoritmos de analytics até a gestão da plataforma técnica – estejam acabando. Criar um centro de excelência com talentos na área permite que o conhecimento seja construído de maneira rápida, expondo esses profissionais a uma série de problemas e soluções.

Igualmente importante, o centro de excelência pode promover a sinergia de ideias e espalhar as melhores práticas em dados pela organização. Abordagens de sucesso passam a ser replicadas por outras partes da empresa e o risco de esforços duplicados (que geram uma anarquia de dados) cai substancialmente.

Obter apoio do nível sênior. Iniciativas de big data precisam de um patrocinador na organização – um executivo sênior dinâmico com prestígio suficiente para se certificar de que as coisas estão sendo feitas. Seja um diretor-executivo de dados, seja o CIO, a função é a mesma: ele tem de demonstrar comprometimento claro e visível em fazer o big data funcionar e assegurar que todos os recursos e responsabilidades estejam no lugar.

Esse indivíduo também trabalhará para assegurar a governança e a gestão apropriadas dos dados. A existência de patrocinadores dentro de unidades de negócios é igualmente importante.

Atrair e reter habilidades fundamentais. Provavelmente, novos conjuntos de habilidades serão exigidos, e os profissionais que os possuírem vão querer trabalhar em ambientes não tradicionais. Não é só uma questão de deixá-los vestir calça jeans em vez de terno e gravata. Provavelmente, eles terão as próprias expectativas de como o trabalho deve ser feito, bem distintas das expectativas dominantes em ambientes mais burocráticos, cheios de processos, onde as coisas acontecem de maneira lenta e há muitas camadas de supervisão. O risco é claro: se o ambiente tradicional for imposto ao novo profissional, isso pode rapidamente minar sua moral e sua eficácia.

Sabemos que evitar o choque cultural não é fácil: a empresa não pode ignorá-lo, mas, ao mesmo tempo, não pode dar aos novos colaboradores privilégios que outros não têm – algo que pode gerar ressentimento e prejudicar a colaboração. Um bom ponto de partida é ter um diálogo contínuo com os especialistas trazidos de fora, certificando-se de que recebam problemas desafiadores e trabalhando com eles para oferecer as ferramentas necessárias à solução desses problemas. Isso ajuda a empresa não só a atender às expectativas deles, como também a administrá-las.

5- Participar de um ecossistema

O big data está transformando não apenas a maneira como as empresas fazem negócios, mas também com quem negociam. Ao criarem a necessidade de parcerias, as novas aplicações de dados muitas vezes borrarão as fronteiras do setor de atividade. Algumas companhias deterão informações de grande valor para outras, estimulando novas relações comerciais e novos fluxos de receita. Fornecedores de tecnologia desempenharão um papel cada vez mais visível e influenciador, pois criarão e controlarão os padrões técnicos. Todas essas tendências tornarão as parcerias mais uma obrigação do que uma escolha.

Ainda que agir sozinho signifique perder oportunidades de negócios – e valor –, formar parcerias levanta questionamentos que precisam ser respondidos: a empresa deve ser “doadora” ou “receptora” de dados? Como ela pode adicionar valor às aplicações de dados nascentes de outros setores produtivos? De quais ativos externos e conhecimentos ela precisa para desenvolver essas aplicações? Identificar onde uma empresa se encaixa dentro de um ecossistema de dados raramente é simples.

Fornecedores de tecnologia terão cada vez mais influência sobre as empresas

No BCG, constatamos que por meio de três etapas principais as organizações podem se posicionar para destacar e alavancar as alianças de dados certas:

Entender a oportunidade econômica e onde a empresa pode agir. A empresa deve dar uma olhada nos produtos e serviços existentes: que dados eles geram? Que dados adicionais podem melhorá-los? Como eles podem atrair ofertas novas ou aperfeiçoadas a outros setores?

Seguradoras, por exemplo, descobriram que informações coletadas por fabricantes de automóveis por meio dos sensores dos carros permitem que elas unam bonificações a hábitos de direção. Resultado: um novo modelo para calcular taxas, que muitos motoristas (pelo menos os bons) vão preferir, já que uma direção segura diminuirá custos de seguro. As empresas precisam pensar de maneira ampla e identificar onde devem adicionar valor.

Identificar parceiros estratégicos. Em uma aliança de dados bem-sucedida, os parceiros oferecem recursos complementares e conhecimento: dados, competências e ativos que, combinados, tornam possível explorar novas oportunidades de negócio. Além de compradores e vendedores de dados, há os fornecedores de serviços analíticos, que podem vasculhar os dados da organização atrás de ideias, e os “facilitadores de dados”, que oferecem orientação e soluções para ajudar a empresa a tirar as iniciativas de big data do papel. As companhias precisam examinar os próprios objetivos e requisitos e, então, identificar quem pode contribuir para atender a eles.

Começar de baixo e escalar rapidamente. Não importa se a empresa está trabalhando sozinha ou em parceria; uma abordagem iterativa e exploradora do big data é melhor do que uma estratégia de três anos elaborada nos mínimos detalhes. A organização deve dar passos pequenos e rápidos para avaliar a demanda, aprender com os resultados – e com os erros – e adaptar as ofertas e, quando algo tiver êxito, acelerar sua implantação.

6- Fazer os relacionamentos funcionarem

As parcerias que o big data estimula têm de ser administradas e mantidas. Os termos da empresa precisam ser construídos de maneira que todos possam prosperar e receber um incentivo para trocar informações complementares.

Plataformas técnicas devem permitir que dados de parceiros sejam rapidamente incorporados e alavancados. O objetivo não é apenas o sucesso, mas o sucesso contínuo, constantemente melhorado e expandido sobre efeitos conexos.

Os três passos a seguir podem ajudar a assegurar que os relacionamentos sigam seu curso:

Construir competências para criar parcerias. Ecossistemas de dados mudam a praxe da maioria das empresas, que é a de criar coisas sozinhas; várias organizações têm de trabalhar em conjunto para oferecer novos produtos e serviços aos clientes. Parcerias exigem, contudo, habilidades de gestão muito maiores, além de incentivos entre os aliados.

Criar cláusulas contratuais benéficas para todos. Impor cláusulas contratuais restritivas para parceiros pode afastá-los. Ceder muito, de outro lado, pode encolher desnecessariamente o lucro potencial. Entender as oportunidades econômicas e onde cada parceiro adiciona valor é o que pode manter as cláusulas justas e todos os lados satisfeitos. A implementação de KPIs (indicadores-chave de desempenho, na sigla em inglês) torna possível detectar quais parceiros estão ou não carregando o piano.

Assegurar a integração contínua com a tecnologia. Parceiros de ecossistema precisam compartilhar dados rápida e facilmente. Uma empresa, então, deve permitir o acesso de terceiros a essas plataformas de dados. Para reduzir os desafios técnicos de oferecer esses links e o tempo necessário para resolvê-los, interfaces têm de ser fáceis de mudar e testar. É importante aliviar quaisquer preocupações quanto a segurança e confidencialidade fazendo com que o acesso sempre corresponda a uma necessidade, nem mais, nem menos.

Reaprendendo do zero

Para controlar o big data, as empresas terão de esquecer muito do que sabem sobre trabalhar com dados. Precisarão adotar novas mentalidades, novas tecnologias e, sobretudo, novas competências. E terão de fazer isso rapidamente, porque o big data oferece riscos – organizações tradicionais podem se ver vulneráveis a novos entrantes do mercado que sobressaiam nessas competências.

Nada disso é fácil de fazer, mas quem seguir nossas orientações sobre as seis competências terá o caminho facilitado.

BIG Data: como montar o quebra-cabeça. HSM Experience, 2016.

Os desafios relacionados ao big data ainda são inúmeros e demandam, principalmente, conhecimento em novas tecnologias e mudanças no planejamento das empresas. Quem lida com esse assunto diretamente deve entender, adotar e aceitar o papel de liderar as transformações que a tecnologia está e estará exercendo nos próximos anos.

Para ampliar ainda mais o conhecimento sobre o assunto, ouça, a seguir, um podcast, no Saiba Mais, sobre o que é big data e data science e qual a relação entre os conceitos.

Saiba mais

Big data e data science: pra quê afinal? – Hipsters #73

Episódio de podcast sobre o que é big data e data science e qual a relação entre elas. Acesse: https://hipsters.tech/big-data-e-data-science-pra-que-afinal-hipsters-73/

Nessa unidade começamos por entender melhor as diferenças e os conceitos a respeito de dados, informação e conhecimento. Dado é a base para a informação. Ele não é capaz de descrever uma situação por completo, pode ser quantificado, mas não qualificado. Já a informação tem conteúdo entendível, capaz de expressar uma situação. Ao trilharmos o caminho para saber o que é big data, compreendemos melhor a relação dos dados com a sociedade da informação, com a sociedade do conhecimento e com seu campo de atuação profissional. Saber diferenciar os níveis de estruturação da informação, de oferta e de utilização, no que tange a data science e big data, é essencial para vencer os desafios de mercado para as empresas manterem-se competitivas na economia digital. Estamos, ainda, no início da sua curva de aprendizado, mas é fundamental que as ações comecem de imediato. A velocidade com que as mudanças nas tecnologias e no cenário de negócios acontecem não nos permite o luxo de ficar esperando passivamente pelo que está por vir.

Chegamos ao final desta unidade. Veja a seguir o webstorie com os principais pontos abordados aqui.