GSP1298

개요

Cymbal Gaming의 데이터 엔지니어라고 가정해 보겠습니다. 개발팀과 함께 'Galactic Grand Prix'라는 새로운 e스포츠 게임을 빌드하고 있습니다. 이 게임은 서로 다른 팀의 두 플레이어가 펼치는 헤드업 게임을 기반으로 실시간 데이터를 생성합니다. 예를 들어 한 이벤트에서 두 명의 플레이어가 경쟁합니다. 승자가 결정되면 승리한 플레이어와 팀에 포인트가 지급됩니다. 이 스트리밍된 데이터를 처리하는 솔루션을 빌드해야 합니다. Dataflow 파이프라인을 활용하여 Pub/Sub에서 데이터를 수집하고, Python 코드를 사용하여 변환하고, 결과를 BigQuery 테이블에 저장해야 합니다. 이러한 테이블은 플레이어 및 팀 대시보드에서 결과를 시각화하는 데 사용됩니다.

이러한 유형의 사용 사례에는 Pub/Sub, Dataflow, BigQuery를 사용할 수 있다는 것을 알았습니다. 또한 Gemini가 이 과정에서 도움이 될 수 있다는 것도 알게 되었습니다. 예를 들어 새 쿼리를 작성하기가 어려우면 Code Assist를 사용하여 코드를 검토하고 디버그할 수 있습니다. 문제 해결 방법을 추천받을 수도 있다는 것도 알고 있습니다. 이러한 기능을 활용하면 혼자서도 업무를 처리하고 효율성을 높일 수 있겠지만 어떻게 시작해야 할지는 모르는 상태입니다.

실습을 시작하면 환경에 다음 다이어그램에 표시된 리소스가 포함됩니다.

실습을 마치면 아키텍처를 사용하여 여러 작업을 수행할 수 있게 됩니다.

다음 표에서 실습 아키텍처와 관련된 각 작업의 자세한 설명을 살펴볼 수 있습니다.

작업 순서	세부정보
1.	Cloud Shell에서 환경 변수를 구성합니다.
2.	클라우드 리소스 만들기: Cloud Shell 명령어를 사용하여 Pub/Sub 주제와 구독, BigQuery 데이터 세트를 만듭니다.
3.	저장소에서 Python 파일 가져오기: 이 작업에서는 저장소에서 Python 파일을 가져와 프로젝트에 맞게 구성합니다.
4.	합성 데이터 생성 및 파이프라인 실행: 프로젝트에 맞게 구성된 Python 파일을 실행하여 합성 데이터를 생성하고 파이프라인을 시작합니다. esports-simulation.py 파일은 Python을 사용하여 게임 이벤트에 대한 연속적인 Pub/Sub 메시지를 생성합니다. 그런 다음 esports-pipeline.py 파일을 실행할 수 있습니다. 이 파일을 실행하면 메시지를 수집하고 변환하며 결과를 BigQuery의 raw_events, player_score_updates, team_score_updates 테이블에 기록하는 Dataflow 파이프라인이 실행됩니다.
5.	BigQuery에서 결과 확인: 이제 데이터를 사용 및 변환하고 BigQuery의 테이블에 레코드를 작성했으므로 결과를 확인할 차례입니다. 각 테이블에 대해 쿼리를 실행하여 결과를 분석하고 확인합니다.

목표

이 실습에서는 다음을 수행하는 방법에 대해 알아봅니다.

• 환경 변수를 구성합니다.
• 클라우드 리소스를 만듭니다.
• 저장소에서 Python 파일을 가져와 프로젝트에 맞게 수정합니다.
• 합성 데이터를 생성하고 파이프라인을 실행합니다.
• BigQuery에서 결과를 확인합니다.

마지막으로, 이 실습에서 배운 내용을 되돌아보고 스트리밍 데이터로 본인의 사용 사례를 어떻게 해결할 수 있을지 생각해 보면서 실습 일지의 질문에 답해 봅니다.

설정 및 요건

실습 시작 버튼을 클릭하기 전에

다음 안내를 확인하세요. 실습에는 시간 제한이 있으며 일시중지할 수 없습니다. 실습 시작을 클릭하면 타이머가 시작됩니다. 이 타이머는 Google Cloud 리소스를 사용할 수 있는 시간이 얼마나 남았는지를 표시합니다.

실무형 실습을 통해 시뮬레이션이나 데모 환경이 아닌 실제 클라우드 환경에서 실습 활동을 진행할 수 있습니다. 실습 시간 동안 Google Cloud에 로그인하고 액세스하는 데 사용할 수 있는 새로운 임시 사용자 인증 정보가 제공됩니다.

이 실습을 완료하려면 다음을 준비해야 합니다.

• 표준 인터넷 브라우저 액세스 권한(Chrome 브라우저 권장)

참고: 이 실습을 실행하려면 시크릿 모드(권장) 또는 시크릿 브라우저 창을 사용하세요. 개인 계정과 학습자 계정 간의 충돌로 개인 계정에 추가 요금이 발생하는 일을 방지해 줍니다.

• 실습을 완료하기에 충분한 시간(실습을 시작하고 나면 일시중지할 수 없음)

참고: 이 실습에는 학습자 계정만 사용하세요. 다른 Google Cloud 계정을 사용하는 경우 해당 계정에 비용이 청구될 수 있습니다.

실습을 시작하고 Google Cloud 콘솔에 로그인하는 방법

1. 실습 시작 버튼을 클릭합니다. 실습 비용을 결제해야 하는 경우 결제 수단을 선택할 수 있는 대화상자가 열립니다. 왼쪽에는 다음과 같은 항목이 포함된 실습 세부정보 창이 있습니다.

   • Google Cloud 콘솔 열기 버튼
   • 남은 시간
   • 이 실습에 사용해야 하는 임시 사용자 인증 정보
   • 필요한 경우 실습 진행을 위한 기타 정보

2. Google Cloud 콘솔 열기를 클릭합니다(Chrome 브라우저를 실행 중인 경우 마우스 오른쪽 버튼으로 클릭하고 시크릿 창에서 링크 열기를 선택합니다).

   실습에서 리소스가 가동되면 다른 탭이 열리고 로그인 페이지가 표시됩니다.

   팁: 두 개의 탭을 각각 별도의 창으로 나란히 정렬하세요.

   참고: 계정 선택 대화상자가 표시되면 다른 계정 사용을 클릭합니다.

3. 필요한 경우 아래의 사용자 이름을 복사하여 로그인 대화상자에 붙여넣습니다.

   {{{user_0.username | "Username"}}}

   실습 세부정보 창에서도 사용자 이름을 확인할 수 있습니다.

4. 다음을 클릭합니다.

5. 아래의 비밀번호를 복사하여 시작하기 대화상자에 붙여넣습니다.

   {{{user_0.password | "Password"}}}

   실습 세부정보 창에서도 비밀번호를 확인할 수 있습니다.

6. 다음을 클릭합니다.

   중요: 실습에서 제공하는 사용자 인증 정보를 사용해야 합니다. Google Cloud 계정 사용자 인증 정보를 사용하지 마세요. 참고: 이 실습에 자신의 Google Cloud 계정을 사용하면 추가 요금이 발생할 수 있습니다.

7. 이후에 표시되는 페이지를 클릭하여 넘깁니다.

   • 이용약관에 동의합니다.
   • 임시 계정이므로 복구 옵션이나 2단계 인증을 추가하지 않습니다.
   • 무료 체험판을 신청하지 않습니다.

잠시 후 Google Cloud 콘솔이 이 탭에서 열립니다.

참고: Google Cloud 제품 및 서비스에 액세스하려면 탐색 메뉴를 클릭하거나 검색창에 제품 또는 서비스 이름을 입력합니다.

작업 1. Cloud Shell에서 환경 변수 구성

이 작업에서는 Cloud Shell에서 환경 변수를 구성합니다.

1. Cloud Shell을 엽니다.

2. 이 실습에서 Cloud Shell을 처음 사용하므로 사용을 승인해야 합니다. 이렇게 하려면 팝업 창에서 승인을 클릭합니다.

3. 다음 명령어를 실행합니다.

   export PROJECT_ID="{{{project_0.project_id|set at lab start}}}" export REGION="{{{project_0.default_region|set at lab start}}}" export BUCKET_NAME="{{{project_0.project_id|set at lab start}}}-bucket"

4. 아래 명령어를 실행하여 변수가 저장되었는지 확인합니다.

   echo ${PROJECT_ID} echo ${REGION} echo ${BUCKET_NAME}

작업 2. 클라우드 리소스 만들기

이 작업에서는 Cloud Shell을 사용하여 Pub/Sub 주제 및 구독, BigQuery 데이터 세트를 포함한 클라우드 리소스를 만듭니다.

클라우드 리소스 만들기

Cloud Shell에서 다음을 실행합니다.

1. 다음 명령어를 실행하여 Pub/Sub 주제를 만듭니다.

   gcloud pubsub topics create esports_events_topic

2. 다음 명령어를 실행하여 Pub/Sub 구독을 만듭니다.

   gcloud pubsub subscriptions create esports_events_topic-sub --topic=esports_events_topic

3. 다음 명령어를 실행하여 BigQuery 데이터 세트를 만듭니다.

   bq --location=US mk --dataset esports_analytics

리소스 생성 확인

1. 콘솔 상단에 검색 기능이 있습니다. 여기에 Pub/Sub를 입력하고 나열된 옵션에서 Pub/Sub를 클릭합니다. esports_events_topic을 포함한 Pub/Sub 주제가 나열됩니다.

2. 주제 ID인 esports_events_topic을 클릭합니다. 주제에 대한 구독 탭이 표시되고 esports_events_topic-sub 구독이 나열됩니다. 주제와 구독이 성공적으로 생성되었음을 확인할 수 있습니다.

3. 콘솔 상단의 검색 기능으로 돌아갑니다. 여기에 BigQuery를 입력하고 나열된 옵션에서 BigQuery를 클릭합니다. Welcome to BigQuery in the Cloud Console라는 팝업과 함께 'BigQuery Studio에 오신 것을 환영합니다'라는 페이지가 표시됩니다.

4. 완료를 클릭합니다.

5. 탐색기 창에서 프로젝트를 펼칩니다.

6. 목록 하단에 esports_analytics 데이터 세트가 표시됩니다. BigQuery 데이터 세트가 성공적으로 생성되었음을 확인합니다.

내 진행 상황 확인하기를 클릭하여 목표를 확인합니다. 클라우드 리소스 만들기

작업 3. Python 파일을 가져와서 구성

이제 Cloud Shell에서 wget을 사용하여 공개 Cloud Storage 버킷에서 Python 파일을 가져옵니다. 파일을 가져온 후 Cloud Shell 편집기에서 파일을 열고 Gemini의 Code Assist 기능을 사용하여 각 파일의 작동 방식을 설명합니다. 마지막으로 Cloud Shell 편집기를 사용하여 프로젝트 및 Cloud Storage 버킷의 세부정보로 파일을 구성합니다.

Python 파일 검색

1. Cloud Shell로 돌아갑니다.

2. 다음 명령어를 실행하여 홈 디렉터리로 돌아갑니다.

   cd ~

3. esports 디렉터리를 만들고 해당 디렉터리로 이동합니다.

   mkdir esports cd esports

4. 아래의 wget 명령어를 사용하여 Python 파일을 가져옵니다.

   wget https://storage.googleapis.com/spls/gsp1298/esports-simulation.py wget https://storage.googleapis.com/spls/gsp1298/esports-pipeline.py

   터미널에 파일이 다운로드되었다는 확인 메시지가 표시됩니다.

Code Assist를 사용하여 Python 파일의 기능 설명하기

1. Cloud Shell에서 편집기 열기 버튼을 클릭합니다. Cloud Shell 편집기가 열립니다. Gemini Code Assist 창도 표시됩니다.

2. 둘러보기 탭을 닫습니다.

3. 탐색기 창에서 esports 폴더를 펼칩니다. Python 파일이 표시됩니다.

4. esports-simulation.py 파일을 엽니다.

5. 파일 오른쪽 상단에서 Gemini 옆에 있는 화살표를 클릭합니다.

6. Gemini Code Assist 프로젝트 선택을 클릭하여 Gemini에 사용할 프로젝트를 선택합니다. 목록에서 프로젝트 ID를 선택합니다.

7. Gemini Code Assist 창 하단에 프롬프트를 입력할 수 있는 공간이 있으며, 여기에는 'Gemini에게 물어보기'라고 표시되어 있습니다. 다음 프롬프트를 입력합니다.

   esports-simulation.py 파일의 코드를 검토해 줘. 이 코드가 어떤 작업을 수행하는지 설명해 줘.

Code Assist가 코드의 기능을 자세히 설명합니다. 코드의 개요는 e스포츠 매치 이벤트를 시뮬레이션하고 이를 Google Cloud Pub/Sub 주제에 게시하는 것입니다.

8. 이제 동일한 프로세스를 사용하여 이 프롬프트로 esports-pipeline.py 파일이 수행하는 작업을 설명합니다.

   esports-pipeline.py 파일의 코드를 검토해 줘. 이 코드가 어떤 작업을 수행하는지 설명해 줘.

학습 내용 확인

1. 데이터와 사용 사례를 고려하여 Python을 사용해 합성 데이터를 생성하거나 애플리케이션에서 데이터를 수집한 다음, 이 데이터를 Pub/Sub 메시지로 자체 개발 워크플로의 주제에 게시하는 방법을 생각해 보세요. 실습 일지에 대답을 기록합니다.

참고: Gemini는 esports-simulation.py 파일을 만든 개발자를 지원하는 데 사용되었습니다. 프로젝트에 Python으로 합성 스트리밍 데이터를 생성하고, Code Assist로 코드를 설명하고, 문제를 해결하는 데 Gemini를 사용하는 것을 고려해 보세요.

2. esports-pipeline.py 파일은 어떤 역할을 하는지 여러분의 말로 설명해 보세요.

3. 데이터와 사용 사례를 고려하여 Dataflow 파이프라인을 사용해 Pub/Sub 메시지를 사용하고, 메시지 내의 데이터를 변환하고, 결과를 BigQuery에 저장하는 방법을 생각해 보세요.

내 진행 상황 확인하기를 클릭하여 목표를 확인합니다. Python 파일을 가져와서 구성하기

프로젝트 및 버킷의 파일 구성

esports-pipeline.py 파일에서 다음을 수행합니다.

1. 11번째 줄 근처에서 PROJECT_ID 변수를 Project_ID로 설정합니다. Google Cloud 콘솔 상단에서 찾거나 아래 코드로 줄을 바꾸면 됩니다.

   PROJECT_ID = "{{{project_0.project_id|set at lab start}}}"

2. 약 18번째 줄에서 GCS_TEMP_LOCATION 변수를 Cloud Storage 버킷 이름(출시 시 제공된 버킷 이름)으로 설정합니다. 그러면 줄이 다음과 같이 표시됩니다.

   GCS_TEMP_LOCATION = "gs://{{{project_0.project_id|set at lab start}}}-bucket/temp"

3. 약 19번째 줄에서 REGION 변수를 기본 실습 리전으로 설정합니다. 이 값은 실습 패널 세부정보에서 찾거나 아래 코드로 행을 바꾸면 됩니다.

   REGION = "{{{project_0.default_region|set at lab start}}}"

4. 파일을 저장합니다.

5. esports-simulation.py 파일로 돌아갑니다.

6. 약 10번째 줄에서 PROJECT_ID 변수를 Project_ID로 설정합니다. 다른 파일과 마찬가지로 아래 코드로 줄을 바꾸면 됩니다.

   PROJECT_ID = "{{{project_0.project_id|set at lab start}}}" 참고: 프로젝트의 파일을 수정하지 않으면 다음 작업에서 이러한 파일을 실행할 때 Cloud Shell에서 런타임 오류가 발생합니다.

7. 파일을 저장합니다.

작업 4. 합성 데이터 생성 및 파이프라인 실행

이 작업에서는 Python 파일을 실행하여 합성 데이터를 생성하고 파이프라인을 실행합니다.

종속 항목 설치 및 시뮬레이터 실행

1. Cloud Shell 터미널로 돌아갑니다.

2. 홈 디렉터리에 있는지 확인합니다.

   cd ~

3. esports 디렉터리로 이동합니다.

   cd esports

4. pip를 사용하여 종속 항목, 특히 Pub/Sub용 Python 라이브러리를 설치합니다.

   pip install google-cloud-pubsub

5. 시뮬레이터를 실행합니다. 이 스크립트는 Pub/Sub 주제에 이벤트를 전송하면서 계속 실행됩니다.

   python3 esports-simulation.py

   터미널에 이벤트가 게시되고 있음을 나타내는 출력이 표시됩니다. 이 터미널을 열어 두고 실행 중인 상태로 둡니다.

Pub/Sub 콘솔에서 메시지가 주제에 게시되었는지 확인

1. 콘솔 상단의 검색 기능을 사용합니다. 이번에는 Pub/Sub를 검색하고 목록에서 Pub/Sub를 클릭합니다.

2. 주제 ID인 esports_events_topic을 클릭합니다. 주제에 대한 구독 탭이 표시되고 esports_events_topic-sub 구독이 나열됩니다.

3. 구독 ID인 esports_events_topic-sub를 클릭합니다.

4. esports_events_topic-sub 구독 세부정보 페이지에서 메시지 탭을 클릭합니다. '메시지를 보고 메시지가 일시적으로 다른 구독자에게 전송되지 않도록 지연하려면 가져오기를 클릭합니다.'라는 메시지가 표시됩니다.

5. 가져오기를 클릭합니다. 여기에 메시지가 나열되어 있다면 esports-simulation.py 파일에서 생성된 메시지가 Pub/Sub에 수신되고 있음을 확인할 수 있습니다. 콘텐츠 보기 버튼을 사용하여 메시지 중 하나를 자유롭게 탐색해 보세요.

Dataflow 파이프라인 실행 시도

1. 새 Cloud Shell 탭을 엽니다. Cloud Shell 터미널 바에서 + 아이콘을 클릭하여 두 번째 터미널을 엽니다.

2. 홈 디렉터리에 있는지 확인합니다.

   cd ~

3. esports 디렉터리로 이동합니다.

   cd esports

4. Dataflow용 Python 종속 항목(apache-beam)을 설치합니다. 새 터미널에서 가상 환경을 설정하고 필요한 라이브러리를 설치합니다.

   python3 -m venv df-env source df-env/bin/activate pip install apache-beam[gcp]

5. Dataflow 파이프라인을 실행해 봅니다. 아래 명령어를 사용하여 파이프라인 스크립트를 실행합니다. 이 새 터미널에서도 PROJECT_ID 및 BUCKET_NAME 환경 변수를 설정해야 합니다.

   export PROJECT_ID="{{{project_0.project_id|set at lab start}}}" export BUCKET_NAME="{{{project_0.project_id|set at lab start}}}-bucket" python3 esports-pipeline.py \ --project=$PROJECT_ID \ --region={{{project_0.default_region | Region}}} \ --runner=DataflowRunner \ --streaming \ --temp_location=gs://$BUCKET_NAME/temp \ --job_name=esports-leaderboard-pipeline

   이 명령어는 작업을 Dataflow 서비스에 제출합니다. 작업이 시작되고 데이터 처리가 시작되는 데 몇 분 정도 걸립니다.

   그러나 이 시점에서 다음과 같은 경고와 오류가 표시됩니다.

   경고:apache_beam.options.pipeline_options:staging_location에 지정된 버킷에 소프트 삭제 정책이 사용 설정되어 있습니다. 불필요한 스토리지 비용이 청구되지 않도록 하려면 Dataflow 작업의 임시 및 스테이징 스토리지에 사용하는 버킷에서 소프트 삭제 기능을 사용 중지하세요. 자세한 내용은 https://cloud.google.com/storage/docs/use-soft-delete#remove-soft-delete-policy를 참조하세요. 오류:apache_beam.runners.dataflow.dataflow_runner:2025-07-11T14:50:27.572Z: JOB_MESSAGE_ERROR: Dataflow 서비스 에이전트가 작업자 서비스 계정에 액세스할 수 없습니다. 프로젝트에 Dataflow API가 사용 설정되어 있는지 확인합니다. 또한 작업자 서비스 계정의 경우 Dataflow 서비스 에이전트 주 구성원에게 'Cloud Dataflow 서비스 에이전트' 역할이 있는지 확인합니다. 역할을 부여하려면 https://cloud.google.com/iam/docs/manage-access-service-accounts#view-access를 참조하세요. 서비스 계정 페이지에서 작업자 서비스 계정을 선택하고 권한 탭을 연 다음 'Google 제공 역할 부여 포함'을 선택하여 역할을 확인합니다. 서비스 계정에 대해 자세히 알아보려면 https://cloud.google.com/dataflow/docs/concepts/security-and-permissions#permissions를 참조하세요.

   무슨 의미일까요? 먼저 경고부터 시작하겠습니다.

   경고는 이 실습에서 사용된 버킷인 -bucket에 소프트 삭제 보호 기능이 사용 중지되어 있어야 함을 나타냅니다. 사용 중지하는 것이 좋으며, 아래에서 사용 중지하는 방법을 안내해 드립니다.

   오류와 관련하여... 이제 오류를 해결해 보겠습니다. 무슨 의미일까요?

   이 오류의 원인은 두 가지입니다.

   1. Dataflow API가 사용 설정되지 않았습니다. 하지만 실습을 시작할 때 이 기능을 사용 설정해 드렸습니다. API 및 서비스로 이동하여 이를 확인할 수 있습니다.

   2. 오류의 실제 원인은 Cloud Compute의 서비스 계정에 Cloud Dataflow 서비스 에이전트 역할을 추가해야 한다는 것입니다. 아래에서 이 작업을 완료하기 위한 안내를 확인하세요.

Cloud Storage 버킷에서 소프트 삭제 기능 사용 중지

1. 콘솔 상단의 검색 기능을 사용합니다. Cloud Storage를 검색하고 목록에서 Cloud Storage 옵션을 클릭합니다. Overview 페이지가 표시됩니다.

2. 버킷을 클릭합니다. 버킷 페이지가 나타나고 버킷 -bucket이 목록에 표시됩니다.

3. -bucket을 클릭합니다. 버킷의 세부정보 페이지가 표시됩니다.

4. 보호를 클릭합니다. Soft delete policy (for data recovery)가 포함된 옵션 목록이 표시됩니다.

5. 사용 중지를 클릭합니다. Disable soft delete policy 팝업이 표시됩니다.

6. 확인을 클릭합니다. 이제 소프트 삭제 정책이 사용 중지되었습니다.

Cloud Dataflow 서비스 에이전트 역할 추가

1. 콘솔 상단의 검색 기능을 사용하여 IAM으로 이동합니다. IAM 페이지가 표시됩니다.

2. 서비스 계정을 클릭합니다. 서비스 계정 목록이 표시됩니다. 나열된 서비스 계정 중 하나는 Compute Engine용입니다. Compute Engine 서비스의 서비스 계정은 아래와 유사합니다.

655017706949-compute@developer.gserviceaccount.com

3. 이 서비스 계정에 Cloud Dataflow 서비스 에이전트 역할을 추가하려면 먼저 옆에 있는 작업을 클릭합니다.

4. 제공된 옵션 목록에서 권한 관리를 클릭합니다.

5. 서비스 계정 권한 관리에서 액세스 관리를 클릭합니다. Editor 역할이 이미 포함되어 있음을 확인합니다.

6. + 다른 역할 추가를 클릭합니다.

7. 역할 선택 옵션을 사용합니다. Cloud Dataflow 서비스 에이전트 역할을 검색하여 선택합니다.

8. 저장을 클릭합니다.

9. 역할이 추가되었는지 확인합니다.

Dataflow 파이프라인 실행

1. Cloud Shell로 돌아갑니다.

2. 두 번째 터미널 탭, 즉 Dataflow 파이프라인(esports-pipeline.py)을 실행하는 탭에 있는지 확인합니다.

3. 다음 명령어를 다시 한번 실행합니다.

   export PROJECT_ID="{{{project_0.project_id|set at lab start}}}" export BUCKET_NAME="{{{project_0.project_id|set at lab start}}}-bucket" python3 esports-pipeline.py \ --project=$PROJECT_ID \ --region={{{project_0.default_region | Region}}} \ --runner=DataflowRunner \ --streaming \ --temp_location=gs://$BUCKET_NAME/temp \ --job_name=esports-leaderboard-pipeline

   이번에는 'Dataflow Streaming Engine에 자동 확장이 사용 설정되었습니다. maxNumWorkers가 지정되지 않은 경우 작업자는 1개에서 100개 사이로 확장됩니다."라는 메시지가 표시됩니다.

   즉, 소프트 삭제 경고와 Cloud Dataflow 서비스 에이전트 오류를 해결한 것입니다.

Dataflow 서비스에 액세스하고 파이프라인 관찰

1. 콘솔 상단의 검색 기능을 사용하여 Dataflow 서비스를 검색하고 선택합니다. 동일한 이름의 작업이 2개 있는 작업 페이지가 표시됩니다. 하나는 실행 중이고 다른 하나는 실패했습니다.

2. 실행 중인 작업을 클릭합니다. 작업 그래프가 표시됩니다. 페이지 하단에 로그 창이 표시됩니다.

3. 로그 창을 펼칩니다. 작업 로그와 작업자 로그 탭이 표시됩니다.

4. 작업자 로그를 클릭합니다.

5. 여기에 제공된 로그를 검토합니다. raw_events, player_score_updates, team_score_updates 테이블이 생성되었음을 나타내는 로그가 표시되면 다음 작업으로 이동할 수 있습니다.

   참고: 생성 중인 테이블의 로그가 표시되는 데 5~7분 정도 걸릴 수 있습니다.

내 진행 상황 확인하기를 클릭하여 목표를 확인합니다. 합성 데이터 생성 및 파이프라인 실행

작업 5. BigQuery에서 결과 확인

이 작업에서는 SQL 쿼리를 실행하여 처리된 메시지의 결과를 확인합니다. 이를 위해 두 개의 뷰를 만든 다음 뷰를 쿼리하여 플레이어 및 팀 리더보드를 표시합니다. 또한 Looker를 사용하여 리더보드 시각화를 개선하는 방법을 생각해 보는 시간도 갖습니다.

BigQuery에서 뷰 만들기

1. BigQuery로 돌아갑니다.

2. 탐색기에서 프로젝트를 확장하고 esports_analytics 데이터 세트를 선택합니다.

3. +(더하기)를 클릭하여 새 쿼리를 만듭니다.

4. 쿼리 탭에서 다음 쿼리를 입력합니다.

   -- Query 1: Create the Player Leaderboard View -- This view finds the most recent score for each player and ranks them. CREATE OR REPLACE VIEW `esports_analytics.player_leaderboard_live` AS SELECT -- Use the RANK() window function to calculate the rank in real-time RANK() OVER (ORDER BY total_score DESC) as rank, player_id, total_score, last_updated FROM ( -- This subquery gets only the single most recent score for each player SELECT player_id, total_score, last_updated, ROW_NUMBER() OVER (PARTITION BY player_id ORDER BY last_updated DESC) as rn FROM `esports_analytics.player_score_updates` ) WHERE rn = 1; -- Query 2: Create the Team Leaderboard View -- This view finds the most recent score for each team and ranks them. CREATE OR REPLACE VIEW `esports_analytics.team_leaderboard_live` AS SELECT -- Use the RANK() window function to calculate the rank in real-time RANK() OVER (ORDER BY total_wins DESC) as rank, team_id, total_wins, last_updated FROM ( -- This subquery gets only the single most recent score for each team SELECT team_id, total_wins, last_updated, ROW_NUMBER() OVER (PARTITION BY team_id ORDER BY last_updated DESC) as rn FROM `esports_analytics.team_score_updates` ) WHERE rn = 1;

   이 쿼리는 플레이어 리더보드와 팀 리더보드라는 두 개의 뷰를 만듭니다. 플레이어와 팀의 가장 최근 점수를 찾아 그에 따라 순위를 매깁니다.

쿼리를 실행하여 플레이어 리더보드 표시

1. 더하기 버튼을 클릭하여 새 쿼리를 만듭니다.

2. 쿼리 탭에서 다음 쿼리를 입력합니다.

   SELECT * FROM `esports_analytics.player_leaderboard_live` ORDER BY rank;

팀 리더보드를 표시하는 쿼리 실행

1. 더하기 버튼을 클릭하여 새 쿼리를 만듭니다.

2. 쿼리 탭에서 다음 쿼리를 입력합니다.

   SELECT * FROM `esports_analytics.team_leaderboard_live` ORDER BY rank;

학습 내용 확인

일지를 사용해 다음 질문에 답해 보세요.

1. 현재 누가 선두를 달리고 있나요?
2. 현재 어느 팀이 선두를 달리고 있나요?

내 진행 상황 확인하기를 클릭하여 목표를 확인합니다. BigQuery에서 결과 확인

수고하셨습니다

Pub/Sub 주제 및 구독, BigQuery 데이터 세트, 테이블 및 뷰, 파이프라인 자체를 포함하여 e스포츠 Dataflow 파이프라인을 지원하기 위한 Google Cloud 리소스를 Python 스크립트에서 생성된 시뮬레이션된 데이터를 사용하여 생성했습니다. 또한 Code Assist를 사용하여 이러한 스크립트의 코드를 설명했습니다. 매일 더 자신있게 Google Cloud를 사용하고 Gemini를 활용해 데이터 엔지니어링 워크플로에 대한 지식과 기술을 보완할 수 있게 되었습니다.

다음 단계/더 학습하기

• SQL 쿼리 생성
• SQL 쿼리 설명
• Gemini 모델
• 생성형 AI
• Google Cloud의 Gemini에 대해 더 나은 프롬프트 작성

Google Cloud 교육 및 자격증

Google Cloud 기술을 최대한 활용하는 데 도움이 됩니다. Google 강의에는 빠른 습득과 지속적인 학습을 지원하는 기술적인 지식과 권장사항이 포함되어 있습니다. 기초에서 고급까지 수준별 학습을 제공하며 바쁜 일정에 알맞은 주문형, 실시간, 가상 옵션이 포함되어 있습니다. 인증은 Google Cloud 기술에 대한 역량과 전문성을 검증하고 입증하는 데 도움이 됩니다.

설명서 최종 업데이트: 2025년 8월 11일

실습 최종 테스트: 2025년 8월 11일

Copyright 2025 Google LLC. All rights reserved. Google 및 Google 로고는 Google LLC의 상표입니다. 기타 모든 회사명 및 제품명은 해당 업체의 상표일 수 있습니다.