Este um dos principais treinamentos da rea de engenharia de dados, que traz um conceito novo para estes profissionais que buscam mais controle, refinamento e enriquecimento de suas bases utilizando o ferramental do Databricks, estamos falando de uma das principais funcionalidades do mercado na construo de Data Lakehouse, que est revolucionado o mundo cloud, para quem deseja trabalhar com Spark e alta performance, vamos aprender a trabalhar com o Databricks Delta Lake.O Databricks Delta Lake um projeto de cdigo aberto que permite construir uma arquitetura chamada Lakehouse sobre o Data Lake no Databricks. O Delta Lake fornece processamento em batch, streaming em lote, alm de controle de transaes sobre os dados, como um banco de dados com as seguintes caractersticas: FACILIDADE: gerenciamento de dados temporais que simplifica seu pipeline de dados, facilitando a auditoria, a reverso de dados em caso de gravaes ou excluses de falhas acidentais e a reproduo de experimentos. AUDITORIA: organizaes que trabalham com sistemas de dados tradicionais para tecnologias de Big Data sempre tem necessidade de auditar os dados, fundamental tanto em termos de conformidade de dados quanto de depurao simples para entender como os dados mudaram ao longo do tempo, isso o Delta Lake faz de forma nativa. REVERSES: os pipelines de dados ao serem executados, podem escrever dados no adequados (precisando de refinamento, ajustes), atualizaes e excluses, pode-se tornar muito complicado, e os engenheiros de dados normalmente tm que projetar um pipeline complexo, quando no contam com um recurso nativo do Delta Lake o Delta Time Travel. REPRODUZIR EXPERIMENTOS: analistas ou cientistas de dados projetam prticas recomendadas criando vrias cpias dos dados, levando a um aumento dos custos de armazenamento. Tudo isso para simular a histria dos dados, no Delta Lake voc utiliza qualquer verso dos dados, pois eles ficam gravados e so historizados dentro do DBFS.O Databricks Delta Lake o que de mais moderno em plataforma para cloud que utilizam o SPARK como seu motor de processamento e que permitem controlar todas as transaes sobre seus dados de forma nativa. Ento venha e comece hoje mesmo seu treinamento!
