Hoje, precisamente hoje, o projeto open source mais longo e de sucesso completa 30 anos. Um movimento iniciado por Linus Torvalds e publicado em 1991. O primeiro nome que veio a mente do Linus para o Linux era Freax, que era uma junção dos nomes free + unix. Começou por hobby (como o prórprio Linus… Leia mais 30 anos de freax
Certo dia li em um post no Reddit: “Imagina se o Git e o MySQL tivessem um filho! Seria o DoltHub” Foi o que o atual CEO da DoltHub escreveu 😀 Temos assistido uma transformação profunda alteração na forma de manipular e armazenar os dados. Tem surgido software com diferentes propósitos de utilização. Estes tempos… Leia mais Git + MySQL = DoltHub
O blockchain tem sido temas de dicussõs sobre a forma de olhar diversas soluções e conceitos de negócios que estão implementadas. As criptomoedas são bastante conhecidas já, e a solução de base (blockchain) tem sido aplicado em outros tipos de soluções, por exemplo: 20 Blockchain Use Cases for 2018 You Should Know 50+ Examples of… Leia mais Descentralizar, ordem do dia!
Com todas as evoluções tecnológicas, o processamento de dados potenciou novos negócios e mercados, no entanto também vieram alguns problemas. Principalmente relacionados a privacidade e propriedade dos dados. As empresas possuem um manancial de dados, e nós somos os principais produtores, como um estudo anual da DOMO demonstra o crescimento da volumetria nas diversas fontes de… Leia mais Direito aos Dados …
Base de dados em formato column store, é um caminho para executar queries analíticas em SQL. Algumas bases de dados já possuem funcionalidades que permitem esta utilização. Por muitas vezes, em soluções de analytics, manter a solução simples traz bons resultados. Atualmente, as bases de dados relacionais representam uma grande fatia dos sistemas de armazenamento de dados,… Leia mais Column Store
As soluções de base de dados, vem a evoluir de forma acelerada, seja pelo advento do Big Data, seja pelo esforço de tecnologias Open-Source. A base de dados MariaDB, é das tecnologias que tem me chamado a atenção e de forma positiva. Em sua recente versão, a 10.3, agora há suporte para PL/SQL, uma grande… Leia mais Olá PL/SQL, disse MariaDB 🙂
O Apache NiFi é um projeto de software da Apache Software Foundation, que permite a automação do fluxo de dados entre sistemas. Pode ser comparado como uma mistura do Oracle Goldengate e ODI, ambas ferramentas da Oracle. O projeto é escrito usando programação baseada em fluxo e fornece uma interface de usuário baseada na web… Leia mais Apache NiFi
O ramfs, permite criar uma estrutura de filesystem em memória, e como óbvio, é uma estrutura volátil, portanto, todo cuidado é pouco para não se perder os dados. Mas para alguns caso é interessante para acelerar o processamento. Para “migrar” os dados do MariaDB para uma ramfs, é necessário seguir os seguintes passos: 1) Criar… Leia mais MariaDB e RAMFS
Apache Kafka é um serviço de mensagens de grande throughput e baixa latência para publicar mensagens em tempo real. Softwares que foram utilizados: Oracle Database 12c Oracle Goldengate 12c para Base de Dados Oracle Oracle Goldengate 12c para Big Data (Big Data Adapters) Apache Kafka 2.11 Configurações do processo de replicação: 1) Processo de extração (extract): Configuração… Leia mais Replicação para Apache Kafka via OGG
Para replicar (CDC) dados para o Hive via Goldengate, neste exemplo irei utilizar os processos de extract e pump. Como exemplo vou replicar (CDC) de uma tabela XPTO. Estou a mencionar o CDC (Change Data Capture), pois para o carregamento inicial, irei exemplificar com outra ferramenta que é o Sqoop. Para a configuração do pump, será necessário… Leia mais Oracle to Hive – Part II
