Com todas as evoluções tecnológicas, o processamento de dados potenciou novos negócios e mercados, no entanto também vieram alguns problemas. Principalmente relacionados a privacidade e propriedade dos dados. As empresas possuem um manancial de dados, e nós somos os principais produtores, como um estudo anual da DOMO demonstra o crescimento da volumetria nas diversas fontes de … Continue lendo Direito aos Dados …
Apache Kafka é um serviço de mensagens de grande throughput e baixa latência para publicar mensagens em tempo real. Softwares que foram utilizados: Oracle Database 12c Oracle Goldengate 12c para Base de Dados Oracle Oracle Goldengate 12c para Big Data (Big Data Adapters) Apache Kafka 2.11 Configurações do processo de replicação: 1) Processo de extração (extract): Configuração … Continue lendo Replicação para Apache Kafka via OGG
Para replicar (CDC) dados para o Hive via Goldengate, neste exemplo irei utilizar os processos de extract e pump. Como exemplo vou replicar (CDC) de uma tabela XPTO. Estou a mencionar o CDC (Change Data Capture), pois para o carregamento inicial, irei exemplificar com outra ferramenta que é o Sqoop. Para a configuração do pump, será necessário … Continue lendo Oracle to Hive – Part II
Com a crescente realidade das tecnologias escaláveis de baixo custo e grande desempenho, o Big Data vem se afirmando cada dia mais como um conceito indispensável para as empresas, que precisam melhorar e acelerar as capacidades de decisão e com uma excelente adequação a realidade de crise financeira em escala mundial. O mergulho neste oceano … Continue lendo Oracle to Hive – Part I
A segunda forma de fazer queries a partir de uma BD Greenplum a uma BD Oracle é através do SQL*Plus. A primeira hipotese foi com a utilzação de Java e driver JDBC, conforme este post. O que pode ser uma vantagem, por ser um cliente nativo Oracle. 1) O utilizador gpadmin deve ter um cliente … Continue lendo “DBLink” de Greenplum para Oracle – Parte 2 (Com sqlplus)
No post anterior, temos uma configuração de um Database Link onde a partir de uma BD Oracle consultamos dados em Greenplum, e ao contrário, há solução? Sim, pelo menos já conheço duas. A primeira é através de um driver JDBC. Para esta utilização serão utilizados os seguintes recursos: 1) Drive JDBC: O drive JDBC deve … Continue lendo “DBLink” de Greenplum para Oracle
A configuração de uma ligação via Database Link de Oracle para Greenplum é feita atráves do Heterogeneous Service (HS). Partindo do principio que temos uma BD de Greenplum e outra de Oracle, a configuração é feita através de um driver ODBC, portanto antes de configurar o HS temos que preparar o ambiente: 1) Instalação do … Continue lendo DBLink do Oracle para o Greenplum – Heterogeneous Service
Bem, Passado as festas, agora temos um novo ano de desafios e de evolução. E por falar em evolução, com a afirmação das tecnologias Big Data, do surgimento de novos conceitos como Database Virtualization e com a própria evolução das Bases de Dados, acredito que teremos um ano cheio de novidades na consolidação de tecnologias … Continue lendo 2013 chegou!
Que as tecnologias NoSQL estão a crescer e a dominar o mercado, não é nenhuma novidade, e que não sabe ainda, está na hora de acordar...este livro é um bom começo. Seven Databases in Song, do mesmo livro "Seven Databases in Seven Weeks"
Big Data é um tema quente para este ano, e que está a borbulhar de todos os lados. Neste post, Luis Campos, gentilmente cedeu alguns minutos e respondeu a algumas questões, ainda para mais, ele que foi recentemente nomeado para o Board Big Data EMEA. M04M: Qual o seu grande desafio para o ano de … Continue lendo Big Data by Luis Campos
