Hadoop e suas aplicações.

Quando você pensar em computação distribuída, certamente vai topar com o Hadoop.

Atualmente o Hadoop é o framework de computação distribuída mais usado quando se pensa em Big Data. Muitos desenvolvedores tem a curiosidade de saber em que tipo de problemas o Hadoop pode ser usado. Abaixo algumas aplicações da tecnologia.

Detecção de tendências

Detectar novas tendências rapidamente é necessário para um mundo cada vez mais conectado. Com o twitter e a constante troca de informações o volume de informação cresce a cada segundo.

Sistema de Recomendação

Sistemas de recomendação são parte integrante de muitos dos serviços que usamos. Amazon, Netflix, Last.fm entre outros nos mostram o grande valor que sistemas assim podem gerar.

Detecção de fraudes

É a eterna luta entre gato e rato. Detectar fraudes de maneira rápida é uma tarefa bastante complicada. Com o Hadoop podemos processar quantidades gigantes de dados e perceber tendências imperceptíveis em escala menor.

Customer Churn Analysis (análise de rotatividade de clientes)

Empresas que operam grandes volumes de usuários como as operadoras de telefonia sabem que muitas vezes um único usuário que resolve mudar de operadora acaba levando com ele muitos outros. Analisar os padrões de interações entre seus usuários e detectar quem são os que tem mais chances de mudar de operadora é uma grande ferramenta estratégica.

Análise de LOGS

Quem trabalha com aplicações WEB, sabe que elas podem gerar quantidades absurdas de arquivos de log. O Hadoop é aplicado com grande maestria em aplicações de manipulação de logs. Projetos paralelos como o Pig visam inclusive facilitar este tipo de trabalho.

Análise de transação de ponto de venda

Analisar e cruzar dados de grandes cadeias de lojas visando agregar estes dados historicamente e tentar perceber o que os pontos de venda mais bem sucedidos tem em comum é uma grande oportunidade para geração de negócios.

Análise de dados de rede para prever falhas

Perguntas difíceis de responder tais como: Qual o ponto mais fraco da minha rede ? Quando ela vai se partir ? Muitas empresas de telecom estão tratando analisando o volume e a direção do tráfego em suas redes.

Segmentação de usuários

Conhecer os seus usuários e tentar entender melhor como eles interagem com seus produtos e como eles interagem entre si é sinônimo de geração de negócios.

Modelar Risco

A modelagem de risco na área de seguros e instituições financeiras faz parte da sobrevivência destas instituições. Para conseguir uma modelagem mais próxima do real o uso do Hadoop permite a utilização de um número sem precedentes de fatores.

Ad Targeting

Muitas Ad Network já estão utilizando tecnologias Big Data para otimizar tanto a relevância quanto o posicionamento de suas propagandas. Nada pior que propaganda mal relacionada com o conteúdo de um website.

Hadoop, nova tecnologia para tratamento de Big Data

Neste nosso mundo tecnológico, precisamos ficar ligados a todo momento, pois ficamos obsoletos em uma fração de segundos.

O framework Hadoop, lançado no final de 2011, é uma plataforma para análise de dados de código aberto desenvolvida pela Apache, está se tornando fundamental para ajudar empresas a gerirem grandes volumes de dados.

A plataforma aberta de computação distribuída ganhou impulso como mecanismo para lidar com o conceito de Big Data, segundo o qual as empresas procuram extrair valor dos dados de seus sistemas de informação.  Usuários corporativos estão adotando tanto as tecnologias da plataforma Hadoop existentes como as que complementam sistemas que desenvolvem.

A Nasa adota a Hadoop para lidar com grandes volumes de dados em projetos como o Square Kilometre Array, um radio telescópio para visualização do céu. Estima-se que este sistema produzirá 700 terabytes de dados por hora quando for construído na próxima década. 

Os sistemas vão incluir a Hadoop, assim como tecnologias Apache Object Oriented Data Technology (OODT) para gerenciar grandes volumes de informações.

O Twitter é outro grande usuário de Hadoop. Segundo a empresa, todos os produtos de relevância [a  partir dos quais oferece recomendações personalizadas aos usuários] têm alguma interação com a Hadoop”.

A rede social adota Hadoop há cerca de quatro anos e até desenvolveu o Scalding, um repositório Scala para facilitar tarefas executadas pelo Hadoop através do framework MapReduce. A ferramenta foi desenhada sobre o repositório Cascading Java, criado para reduzir a complexidade da plataforma Hadoop.

Os subprojetos da Hadoop incluem o framework MapReduce, que é uma matriz de software para o processamento de grandes conjuntos de processamento em clusters; a Hadoop Distributed File System (HDFS), que oferece acesso rápido a dados de aplicações e Common, com utilitários para apoiar outros subprojetos Hadoop.

A rede social Tagged utiliza a tecnologia Hadoop para análise de informações e processa cerca de meio terabyte de novos dados diários, segundo engenheiros da empresa, a Hadoop está sendo aplicada em tarefas que superam a capacidade da ferramenta Greenplum, comprada pela EMC. 

Apesar de elogiarem a Hadoop, os usuários apontam deficiências como a fiabilidade e monitoramento de tarefas. Um dos problemas é a latência. “O tempo para obter dados é bastante rápido, mas todos reclamam da grande latência na execução de consultas”. A Tagged utiliza a Apache Hive, outro projeto derivado da Hadoop, para consultas “ad hoc”.

“Isso pode levar vários minutos para obter resultados que, na Greenplum, levaria questões de segundos”. Mas usar a Hadoop é mais barato que Greenplum.

O que promete a Hadoop 2.0
A Hadoop 1.0 foi lançada no final de 2011, com tecnologia de autenticação forte via Kerberos e suporte para bases de dados HBase. A versão também impede os usuários individuais de derrubarem clusters, usando restrições sobre a MapReduce.

Mas uma nova versão está no horizonte. A plataforma entrou em fase alfa no início deste ano “e terá a camada de MapReduce recodificada de extremo a extremo, além de uma reescrita completa de toda a lógica de armazenamento e da camada de HDFS “.

A Hadoop 2.0 estará focada na escala e inovação, baseada na Yarn (próxima geração da MapReduce) e em recursos de federação. A Yarn permitirá aos usuários adicionar os seus próprios modelos de computação para não ficarem presos à MapReduce.

As adoções previstas incluem aplicações de tempo real e algoritmos de aprendizagem artificial, além das operações de armazenamento com capacidade de expansão.

Capacidades de funcionamento o tempo todo da versão 2.0 deverão permitir a constituição de clusters sem tempo de inatividade. A versão prevê também o armazenamento escalável. A Hadoop 2.0 estará disponível dentro de um ano.

Microsoft lança o SURFACE

A Microsoft anunciou nesta segunda-feira um novo tablet com tela sensível ao toque de 10,6 polegadas,  ele vai concorrer diretamente com o iPad da Apple.
Chamado Surface, o tablet será vendido em dois modelos e vai rodar o Windows 8: o primeiro roda o processador ARM e vem com uma versão do sistema chamada Windows RT, o outro modelo é equipado com a terceira geração de chips Core da Intel e roda a versão Windows Pro 8.
O modelo com Windows RT, pesa 676 g, tem espessura de 9,3 mm, conta com memória de 32 Gb e 64 Gb e inclui aplicativos do pacote Office. O aparelho conta com porta USB 2.0, saídas MicroSD e Micro HD Vídeo. O modelo que roda o Windows Pro, pesa 903 g, tem 13,5 mm de espessura e capacidade de armazenamento de 64 Gb e 128 Gb. Esse modelo não vem com os aplicativos do Office, mas inclui uma caneta Stylus como opção ao controle multitoque, conta ainda com USB 3.0 e saídas MicroSDXC e Mini DisplayPort Vídeo.

A Microsoft já tentou entrar no mercado de tablets no início da década de 2000, mas não obteve sucesso e desistiu do projeto pouco antes de Steve Jobs anunciar o iPad.

O lançamento está previsto para Outubro de 2012 (Windows RT) e Janeiro de 2013 (Windows PRO).

Novidades para os Apple Maníacos !!

No dia 11/06, durante o keynote de abertura da Worldwide Developers Conference (WWDC), evento anual para desenvolvedores da Apple, que acontece na cidade de São Francisco, na Califórnia, a Apple trouxe diversas novidades para os mercados de PCs e de mobilidade. Entre as novidades estão o lançamento oficial da atualização para o MAC OSX de nome Mountain Lion, a nova versão do iOS e o novo MacBook Pro com tela retina, o mais poderoso laptop da Apple.

“É simplesmente o melhor computador que já fizemos”, exaltou o vice-presidente de marketing da Apple, Phil Schiller, referindo-se à nova linha do MacBook. O CEO da empresa, Tim Cook, aproveitou para alfinetar os fabricantes que apostam nos ultrabooks como os PCs do futuro – os ultrabooks são uma nova categoria de computadores pessoais desenvolvida pela Intel, que têm características de um híbrido de tablet e notebook, ultrafinos e de altíssimo desempenho. "O Mac é pioneiro e muitos tentam copiá-lo.

Os novos notebooks da Apple trazem tela de alta resolução de 15 polegadas, com 5 milhões de pixels, mais do que o dobro do que tem um televisor full HD.

Com apenas 1,8 cm de espessura e 2,02 quilos o novo MacBook Pro de 15 Polegadas conta outras inovações além da Tela de Retina (2560 x 1600 Pixels). Com os potentes processadores da Linha Intel, ele pode chegar até o Core I7 Quad com 2,7 GHz e 16 GB RAM, com Armazenamento SSD de 256 Gb ou 512 Gb, ele ainda tem uma placa da NVIDIA com 1 GB de memória DDR5. Os novos MacBook contam ainda com USB 3 (que é até 3 x mais rápida que a USB 2). Link para página do MacBook Pro na Apple

O MacBook AIR também mereceu atenção e sofreu atualização nos processadores, Armazenamento e agora vem com 4 GB de memória padrão podendo chegar a 8 GB (a versão anterior era 2 GB e 4 GB). Link para página do MacBook Air na Apple

A atualização do sistema operacional para Macs tem como destaque mapas em 3D e a abertura de páginas no Safari, mesmo em modo offline, desde que sejam carregadas anteriormente. O software ganha conexão sem fio para streaming de conteúdos de Macs para outros dispositivos da Apple, como Apple TV, iPod e iPad. 

Dentre as inúmeras atualizações, o novo sistema operacional iOS para iPad, iPhone e iPods Touch, traz como destaque o assistente de voz Siri em diversos idiomas e também para o novo iPad. Anteriormente, ele estava disponível apenas em inglês para o iPhone 4S. Em português, contudo, continua sem previsão para figurar na lista, ao lado de mandarim, italiano, coreano, entre outras línguas.

Além disso, o iOS 6 ganha integração nativa com o Facebook, o que foi visto por analistas como uma parceria velada das duas empresas contra o avanço do sistema operacional Android, do Google. A comunicação entre o dispositivo e a rede social irá automatizar notificações, facilitar o compartilhamento de fotos, aplicativos, mapas e status. Além disso, ao procurar ou baixar aplicativos da App Store, o sistema operacional mostrará as atividades e avaliações de amigos sobre o produto.

Outras novidades foram anunciadas, mas isto é assunto para outro post.

Programa um Computador por Aluno

O Diário Oficial da União publica nesta segunda-feira, 11, decreto do governo federal que regulamenta o programa Um Computador por Aluno (ProUCA) e o Regime Especial de Incentivo a Computadores para Uso Educacional (Reicomp), que suspende a incidência de alguns tributos, como o Imposto sobre Produtos Industrializados (IPI), PIS/Pasep e a Cofins, para os fabricantes de computadores portáteis, tanto na aquisição de matérias-primas e produtos intermediários quanto na comercialização.

O objetivo da medida, seguno decretro, é promover a inclusão digital nas escolas das redes públicas de ensino federal, estadual, distrital, municipal e nas escolas sem fins lucrativos de atendimento a alunos com deficiência. O decreto substitui a Medida Provisória 563 publicada em abril, que regulamenta a segunda etapa do Plano Brasil Maior. No Reicomp terão prioridade as soluções de software livre e de código aberto, sem custos de licenças, de acordo com as diretrizes das políticas educacionais do Ministério da Educação.

A medida é ato conjunto dos ministérios da Educação e da Fazenda, mas poderá ser alterada pelos ministros do Desenvolvimento, Indústria e Comércio Exterior e da Ciência, Tecnologia e Inovação, por meio de portaria, sempre que fatores técnicos ou econômicos o determinem.

Descomplicando a Área de Infraestrtura

A gestão de infraestrutura de Tecnologia da Informação sempre foi uma coisa complicada. E, parecia que quanto mais complicado, melhor. Isto porque os gestores de TI eram obrigados a entender de tudo, escolher as melhores alternativas, e gastar milhões em equipamentos e softwares.

Com o advento do Cloud Computing os executivos estão cadas vez mais se tornando gestores de contratos e da qualidade dos serviços prestados do que tomando decisões sobre a aquisição dos melhores equipamentos e tecnologias.

Com o Cloud Computing, a atividade de TI está ficando transparente, não importa o equipamento que o provedor está utilizando, o que interessa é o desempenho e a qualidade do serviço contratado. A escolha dos equipamentos e soluções de software que suportam os sistemas dos clientes passou a ser uma escolha dos provedores de Cloud.

Os novos produtos de infraestrutura para suportar o Cloud Computing também tendem a ficarem mais simples. Com os sistemas rodando em ambiente centralizado, é necessário escolher corretamente os produtos que permitem o acesso aos aplicativos e aos dados.
As empresas com diversas filiais tendem a se beneficiar de forma mais rápida pelo uso de um ambiente de Cloud. Conseguem um ambiente centralizado com boa qualidade a um custo bastante atrativo.

Um dos produtos que mais se adequou às demandas do ambiente de Cloud foram os softwares de virtualização. Eles representam o típico produto de Cloud que permite desempenho com qualidade, com baixos custos de infraestrutura.

Obviamente que no nosso Brasil amado, ainda temos questões relativas a qualidade x preço dos produtos oferecidos pelas empresas de TELECOM. Nas principais capitais já temos diversas ofertas a preços competitivos.

Nova aquisição do Google, pode interessar usuários do IOS

O Google anunciou nesta terça-feira, 5, em seu blog, que adquiriu a Quickoffice, empresa conhecida por seu pacote de software de produtividade e aplicativos de edição de documentos para dispositivos movéis equipados com os sistemas operacionais Android e iOS. O valor da transação não foi revelado.

Não está claro como o Google irá integrar o Quickoffice em seu portfólio de produtos, porém o gigante das buscas afirmou que trabalhará para trazer a tecnologia do editor de documentos para sua suíte de produtos apps. "O Quickoffice tem uma forte base de usuários, e estamos ansiosos para apoiá-los enquanto trabalhamos em uma ainda mais perfeita experiência intuitiva e integrada", declarou por meio de um post no blog o diretor de engenharia do Google, Alan Warren.


Será que teremos um Quickoffice FREE ou a um preço mais interessante para o IOS ?

Surge a Associação Brasileira CIO Saúde

Durante a Feira Hospitalar 2012, foi oficializada a Associação Brasileira CIO Saúde – ABCIS, com a assinatura do estatuto e posse dos diretores. A nova entidade tem a finalidade de reunir os profissionais do setor de tecnologia da informação responsáveis pela inovação e suporte tecnológico aos hospitais.
Como primeira iniciativa, a ABCIS realizará, em outubro, o I Forum Anual Setorial de TI, trazendo como keynote speaker Renata Bushko, do MIT e presidente da FHTI Future Health Technology Institute, dedicada a definição da agenda de tecnologias em saúde para o século 21.

"A tecnologia da informação é hoje a ferramenta mais estratégica para a inovação e a melhoria da qualidade do atendimento da saúde. Neste contexto, a ABCIS nasce fortalecida, dando continuidade ao trabalho que há quatro anos o Grupo CIOS Saúde já vinha realizando, agregando dirigentes de TI dos hospitais, discutindo necessidades e soluções eficazes para auxiliar o profissional da saúde na tarefa de salvar vidas”, afirma David Oliveira, escolhido como o primeiro presidente da ABCIS. “A TI na saúde é estratégica, unifica áreas e aumenta a segurança para os cuidados com o paciente. A ABCIS vai aprofundar a discussão sobre a convergência de conhecimentos de um grupo diferenciado de profissionais da saúde”, explica o executivo.
Além de promover o intercâmbio de conhecimento, melhores práticas e tecnologias para o segmento da saúde, a ABCIS promoverá a educação e o desenvolvimento profissional, discussões sobre temas relevantes e realizará estudos, entre outros conteúdos, visando a evolução das aplicações de TI e Engenharia Clínica.
Além do presidente David Oliveira, compõem a direção da entidade o Vice-Presidente Aécio Rocha e os Diretores Adilson Simplício (Administrativo e Financeiro), Marcio do Lago (Operacional), Heitor F. Garcia (Planejamento Estratégico), Klayton Luis Ferreti Simão (Conhecimento e Inovação) e Walmir Batista de Morais (Regionais).

Telit e Cardionet lançam dispositivo para problemas cardíacos

A Telit Wireless Solutions anunciou que o seu módulo celular CC864-DUAL conectará a próxima geração de Mobile Cardiac Outpatient Telemetry (MCOT – Telemetria Cardíaca Móvel) da CardioNet, empresa da área de tecnologia médica sem fio, focada atualmente no diagnóstico e monitoramento de arritmia cardíaca.

Através das capacidades celulares possibilitadas pelo módulo da Telit, o MCOT da CardioNet captura e transmite dados cardíacos do paciente. O aparelho permite o monitoramento por eletrocardiograma (ECG) do batimento cardíaco, além da análise e diagnóstico a partir de qualquer lugar, permitindo que pacientes deixem o hospital mantendo, porém, o acesso às informações sobre sua condição clínica pelos médicos.

“Quando os cardiologistas prescrevem nosso novo aparelho MCOT, eles conseguem monitorar seus pacientes em seu ambiente natural, recebendo um visão acurada da condição cardíaca da pessoa em sua atividade diária”, explicou Joseph Capper, presidente e CEO da CardioNet. “O módulo da Telit CC864 possibilitou a redução do custo do nosso aparelho e, ao mesmo tempo, desenvolveu uma solução portável para uma transferência de dados em tempo real e com alta velocidade”.

Médicos prescrevem o MCOT da CardioNet por até 30 dias, sendo que os pacientes devem usar o aparelho o tempo todo para um monitoramento e diagnóstico compreensivo. Sensores conectados ao paciente transmitem os dados cardíacos a um pequeno equipamento celular com o módulo Telit. Esse aparelho então manda os dados de volta ao Centro de Monitoramento da CardioNet, que conta com funcionários técnicos especialistas, para análise e resposta.

“O MCOT da CardioNet é um bom exemplo dos benefícios da tecnologia móvel para a área de saúde, permitindo o monitoramento imediato e confiável para médicos, permitindo ao paciente que economize custos de estadia no hospital”, disse Mike Ueland, vice presidente senior e gerente geral da Telit na América do Norte. “Esse tipo de solução permite aos pacientes com doenças crônicas terem uma vida normal sem deixar de receber um cuidado médico premium, o que antes era impossível fora de um hospital”.

O CC864-DUAL é um módulo sem fio CDMA-1xRTT da Telit feito para ter a mesma forma, encaixe, e funcionalidade do família de produtos GSM/GPRS e UMTS/HSDPA, o GC864 e UC864 respectivamente, permitindo aos integradores introduzir serviços globais e flexíveis com um único desenho. Com seu fator de forma ultra compacto e estendido alcance operacional de temperatura, o CC864-DUAL da Telit é a plataforma perfeita para aplicações M2M, dados móveis e equipamentos de computação de volume médio a alto. Componentes adicionais como TCP/IP e UDP integrado, um ADC de três canais e DAC de um canal oferecem funcionalidade estendida, adicionando valor à aplicação final sem aumento de custo.

Fonte: TI Inside