Este um curso INTRODUTRIO ao mais novo framework de desenvolvimento de pipeline de dados da Apache Foundation: O Apache Beam, e como este recurso est se tornando popular em parceria com o Google Dataflow. Em um resumo, queremos abordar os seguintes tpicos:1. Entender o seu funcionamento interno2. Quais so seus benefcions3. Explicar como usar na sua mquina lcal sem instalao via Google Colab para desenvolvimentos4. Suas funes principais5. Configurar a SDK do python Apache Beam localmentevice6. Como fazer o deploy deste recurso no Google Dataflow para uma pipeline em Batch7. Como fazer o deploy deste recurso no Google Dataflow para uma pipeline em STREAMING8. Conceitos e uso do Pub Sub como mecanimos de Mensageria em tempo RealEste curso dinmico, estar sempre que possvel recebendo atualizaes. importante lembrar que este curso no ensina Python, mas utiliza ele. Ento, esteja confortvel em saber o bsico de Python, definir uma funo, criar objetos e tipos de dados. Tambm, caso tenha interesse em aprender a seo 4, que consiste no deploy de uma pipeline no Google Dataflow, ser necessrio ter uma contra gratuita na GCP. um processo simples, mas requer carto de crdito! Requisitos: Conhecimento bsico de Python Ter Python 3.7 ou maior instalado localmente ( a partir da seo 4 ) Conta Gratuita no GCP ( a partir da seo 4 )Agenda: Seo 2 Conceitos Seo 3 Principais Funes Seo 4 Apache Beam no Google Dataflow Seo 5 Streaming no Google Dataflow com Pub Sub
