Date d'abonnement : 2022
Data Warehousing for Partners: Cloud Data Fusion Pipelines
Earned déc. 16, 2025 EST
Implémenter Cloud Load Balancing pour Compute Engine
Earned fév. 4, 2025 EST
Traitement des données sans serveur avec Dataflow : développer des pipelines
Earned jan. 29, 2025 EST
Se préparer à devenir Professional Data Engineer
Earned oct. 24, 2024 EDT
This course continues to explore the implementation of data load and transformation pipelines for a BigQuery Data Warehouse using Cloud Data Fusion.
Terminez le cours d'introduction Implémenter Cloud Load Balancing pour Compute Engine pour recevoir un badge démontrant vos compétences dans les domaines suivants : Créer et déployer des machines virtuelles dans Compute Engine Configurer des équilibreurs de charge réseau et d'application.
Dans ce deuxième volet de la série de cours sur Dataflow, nous allons nous intéresser de plus près au développement de pipelines à l'aide du SDK Beam. Nous allons commencer par passer en revue les concepts d'Apache Beam. Nous allons ensuite parler du traitement des données par flux à l'aide de fenêtres, de filigranes et de déclencheurs. Nous passerons ensuite aux options de sources et de récepteurs dans vos pipelines, aux schémas pour présenter vos données structurées, et nous verrons comment effectuer des transformations avec état à l'aide des API State et Timer. Nous aborderons ensuite les bonnes pratiques qui vous aideront à maximiser les performances de vos pipelines. Vers la fin du cours, nous présentons le langage SQL et les DataFrames pour représenter votre logique métier dans Beam, et nous expliquons comment développer des pipelines de manière itérative à l'aide des notebooks Beam.
Ce cours a pour objectif d'aider les participants à créer un plan de formation pour l'examen de certification Professional Data Engineer. Les participants découvriront l'étendue et le champ d'application des domaines abordés lors de l'examen, puis évalueront leur niveau de préparation à l'examen et créeront leur propre plan de formation.