David Galvis Arevalo
회원 가입일: 2022
브론즈 리그
4380포인트
회원 가입일: 2022
이 중급 과정에서는 Google Cloud에서 강력한 일괄 데이터 파이프라인을 설계, 빌드, 최적화하는 방법을 알아봅니다. 기본적인 데이터 처리를 넘어, 시의적절한 비즈니스 인텔리전스와 중요한 보고에 필수적인 대규모 데이터 변환과 효율적인 워크플로 조정에 대해 살펴봅니다. Apache Beam용 Dataflow와 Apache Spark용 서버리스(Dataproc Serverless)를 사용하여 구현을 실습하고, 파이프라인 안정성과 운영 우수성을 보장하기 위해 데이터 품질, 모니터링, 알림에 대한 중요한 고려사항을 다룹니다. 데이터 웨어하우징, ETL/ELT, SQL, Python, Google Cloud 개념에 대한 기본적인 지식이 있으면 좋습니다.
중급 BigQuery ML을 사용한 예측 모델링을 위한 데이터 엔지니어링 기술 배지를 획득하여 Dataprep by Trifact로 데이터 변환 파이프라인을 BigQuery에 빌드, Cloud Storage, Dataflow, BigQuery를 사용한 ETL(추출, 변환, 로드) 워크플로 빌드, BigQuery ML을 사용하여 머신러닝 모델을 빌드하는 기술 역량을 입증할 수 있습니다.
초급 Google Cloud에서 ML API용으로 데이터 준비하기 기술 배지를 완료하여 Dataprep by Trifacta로 데이터 정리, Dataflow에서 데이터 파이프라인 실행, Dataproc에서 클러스터 생성 및 Apache Spark 작업 실행, Cloud Natural Language API, Google Cloud Speech-to-Text API, Video Intelligence API를 포함한 ML API 호출과 관련된 기술 역량을 입증하세요.
초급 Compute Engine에서 Cloud Load Balancing 구현하기 기술 배지 과정을 완료하여 Compute Engine에서 가상 머신 만들기 및 배포, 네트워크 및 애플리케이션 부하 분산기 구성과 관련된 기술 역량을 입증하세요.
이 과정에서는 데이터-AI 수명 주기를 지원하는 Google Cloud 빅데이터 및 머신러닝 제품과 서비스를 소개합니다. Google Cloud에서 Vertex AI를 사용하여 빅데이터 파이프라인 및 머신러닝 모델을 빌드하는 프로세스, 문제점 및 이점을 살펴봅니다.