メンバー加入日: 2022
Dataflow を使用したサーバーレスのデータ処理: パイプラインの開発
Earned 5月 20, 2022 EDT
Google Cloud の基礎: コア インフラストラクチャ
Earned 4月 14, 2022 EDT
Dataflow コースシリーズの 2 回目である今回は、Beam SDK を使用したパイプラインの開発について詳しく説明します。まず、Apache Beam のコンセプトについて復習します。次に、ウィンドウ、ウォーターマーク、トリガーを使用したストリーミング データの処理について説明します。さらに、パイプラインのソースとシンクのオプション、構造化データを表現するためのスキーマ、State API と Timer API を使用してステートフル変換を行う方法について説明します。続いて、パイプラインのパフォーマンスを最大化するためのベスト プラクティスを再確認します。コースの終盤では、Beam でビジネス ロジックを表現するための SQL と DataFrame、および Beam ノートブックを使用してパイプラインを反復的に開発する方法を説明します。
Google Cloud の基礎: コア インストラクチャ では、Google Cloud に関する重要なコンセプトと用語について説明します。このコースでは動画とハンズオンラボを通じて学習を進めていきます。Google Cloud の多数のコンピューティング サービスとストレージ サービス、そしてリソースとポリシーを管理するための重要なツールについて比較しながら説明します。