Présentation

Sans l'infrastructure adaptée, stocker et interroger des ensembles de données volumineux peut s'avérer chronophage et coûteux. BigQuery est un entrepôt de données d'entreprise sans serveur et entièrement géré qui permet d'effectuer des requêtes rapides et économiques grâce à la puissance de traitement de l'infrastructure de Google. Dans BigQuery, les ressources de stockage et de calcul sont découplées, ce qui vous permet de stocker et d'interroger vos données en fonction des besoins et des exigences de votre organisation.

BigQuery permet d'estimer facilement l'utilisation des ressources et les coûts pour les requêtes à l'aide de divers outils, y compris l'outil de validation des requêtes BigQuery dans la console Google Cloud, le flag --dry_run dans l'outil de ligne de commande bq, le simulateur de coût Google Cloud, ainsi que l'API et les bibliothèques clientes.

Dans cet atelier, vous allez utiliser l'outil de validation des requêtes BigQuery et l'outil de ligne de commande bq pour estimer la quantité de données à traiter avant d'exécuter une requête. Vous allez également utiliser une requête SQL et l'API pour déterminer l'utilisation des ressources après l'exécution réussie d'une requête.

Objectifs

Dans cet atelier, vous allez apprendre à :

• utiliser l'outil de validation des requêtes BigQuery pour estimer la quantité de données qu'une requête devra traiter ;
• déterminer l'utilisation des emplacements pour les requêtes exécutées à l'aide d'une requête SQL et de l'API ;
• effectuer un dry run (test à blanc) pour une requête afin d'estimer la quantité de données que la requête devra traiter.

Préparation

Préparation de l'atelier

Pour chaque atelier, nous vous attribuons un nouveau projet Google Cloud et un nouvel ensemble de ressources pour une durée déterminée, sans frais.

1. Connectez-vous à Google Skills dans une fenêtre de navigation privée.

2. Vérifiez le temps imparti pour l'atelier (par exemple : 01:15:00) : vous devez pouvoir le terminer dans ce délai. Une fois l'atelier lancé, vous ne pourrez pas le mettre sur pause. Si nécessaire, vous pourrez le redémarrer, mais vous devrez tout reprendre depuis le début.

3. Lorsque vous êtes prêt, cliquez sur Démarrer l'atelier.

4. Notez vos identifiants pour l'atelier (Nom d'utilisateur et Mot de passe). Ils vous serviront à vous connecter à la console Google Cloud.

5. Cliquez sur Ouvrir la console Google.

6. Cliquez sur Utiliser un autre compte, puis copiez-collez les identifiants de cet atelier lorsque vous y êtes invité. Si vous utilisez d'autres identifiants, des messages d'erreur s'afficheront ou des frais seront facturés.

7. Acceptez les conditions d'utilisation et ignorez la page concernant les ressources de récupération des données.

Démarrer votre atelier et vous connecter à la console

1. Cliquez sur le bouton Démarrer l'atelier. Si l'atelier est payant, un pop-up s'affiche pour vous permettre de sélectionner un mode de paiement. Sur la gauche, vous verrez un panneau contenant les identifiants temporaires à utiliser pour cet atelier.

   

2. Copiez le nom d'utilisateur, puis cliquez sur Ouvrir la console Google. L'atelier lance les ressources, puis la page Sélectionner un compte dans un nouvel onglet.

   Remarque : Ouvrez les onglets dans des fenêtres distinctes, placées côte à côte.

3. Sur la page "Sélectionner un compte", cliquez sur Utiliser un autre compte. La page de connexion s'affiche.

   

4. Collez le nom d'utilisateur que vous avez copié dans le panneau "Détails de connexion". Copiez et collez ensuite le mot de passe.

5. Accédez aux pages suivantes :

• Acceptez les conditions d'utilisation.
• N'ajoutez pas d'options de récupération ni d'authentification à deux facteurs (ce compte est temporaire).
• Ne vous inscrivez pas aux essais sans frais.

Après quelques instants, la console Cloud s'ouvre dans cet onglet.

Remarque : Vous pouvez afficher le menu qui contient la liste des produits et services Google Cloud en cliquant sur le menu de navigation en haut à gauche.

Activer Google Cloud Shell

Google Cloud Shell est une machine virtuelle qui contient de nombreux outils pour les développeurs. Elle comprend un répertoire d'accueil persistant de 5 Go et s'exécute sur Google Cloud.

Google Cloud Shell vous permet d'accéder à vos ressources Google Cloud grâce à une ligne de commande.

1. Dans la barre d'outils située en haut à droite dans la console Cloud, cliquez sur le bouton "Ouvrir Cloud Shell".

   

2. Cliquez sur Continuer.

Le provisionnement et la connexion à l'environnement prennent quelques instants. Une fois connecté, vous êtes en principe authentifié et le projet est défini sur votre ID_PROJET. Par exemple :

gcloud est l'outil de ligne de commande pour Google Cloud. Il est préinstallé sur Cloud Shell et permet la complétion par tabulation.

• Vous pouvez lister les noms des comptes actifs à l'aide de cette commande :

Résultat :

Exemple de résultat :

• Vous pouvez lister les ID de projet à l'aide de cette commande :

Résultat :

Exemple de résultat :

Tâche 1 : Utiliser l'outil de validation des requêtes pour estimer la quantité de données à traiter

Lorsque vous saisissez une requête dans la console Google Cloud, l'outil de validation des requêtes BigQuery en vérifie la syntaxe et fournit une estimation du nombre d'octets qu'elle devra traiter.

Dans cette tâche, vous allez interroger un ensemble de données public (New York Citi Bikes) géré par le programme Ensembles de données publics de BigQuery. Avec cet ensemble de données, vous allez apprendre à utiliser l'outil de validation des requêtes pour valider une requête SQL et à estimer la quantité de données qu'une requête devra traiter avant de l'exécuter.

1. Dans la console Google Cloud, accédez au menu de navigation (), puis sous "Analyse", cliquez sur BigQuery.

Le message "Bienvenue sur BigQuery dans la console Cloud" s'affiche. Il contient un lien vers le guide de démarrage rapide et les notes de version.

2. Cliquez sur OK.

3. Dans la barre d'outils de l'espace de travail SQL, cliquez sur l'onglet Éditeur pour ouvrir l'éditeur de requête SQL.

4. Dans l'éditeur de requête BigQuery, collez la requête suivante, sans l'exécuter :

Lorsqu'elle est exécutée, cette requête renvoie le nombre de noms de stations contenant le texte "Broadway" dans la colonne start_station_name de la table citibike_trips.

5. Dans la barre d'outils de l'éditeur de requête, repérez l'icône ronde représentant une coche. Elle permet d'activer l'outil de validation des requêtes et de vérifier que la requête est valide.

BigQuery exécute automatiquement l'outil de validation des requêtes lorsque vous ajoutez ou modifiez le code dans l'éditeur de requête.

Une coche verte ou rouge s'affiche au-dessus de l'éditeur de requête selon que la requête est valide ou non. Si la requête est valide, l'outil de validation affiche également la quantité de données qui sera traitée si vous décidez d'exécuter la requête.

D'après l'outil de validation des requêtes, cette requête traitera 1,06 Go de données lors de son exécution.

6. Cliquez sur Exécuter.

La requête renvoie le nombre d'enregistrements (5 414 611) contenant le texte "Broadway" dans la colonne start_station_name.

Cliquez sur Vérifier ma progression pour valider l'objectif. Estimer la quantité de données traitées par une requête

Tâche 2 : Déterminer l'utilisation des emplacements à l'aide d'une requête SQL

BigQuery utilise des emplacements (processeurs virtuels) pour exécuter les requêtes SQL. Il calcule automatiquement le nombre d'emplacements requis pour chaque requête en fonction de la taille et de la complexité de la requête en question. Après avoir exécuté une requête dans la console Google Cloud, vous recevez à la fois les résultats et une synthèse de la quantité de ressources utilisées pour exécuter la requête.

Dans cette tâche, vous allez identifier l'ID du job de requête exécuté dans la tâche précédente et l'utiliser dans une nouvelle requête SQL pour récupérer des informations supplémentaires au sujet du job de requête.

1. Dans les résultats de la requête, cliquez sur l'onglet Informations sur le job.

2. Identifiez la ligne correspondant à l'ID du job, puis utilisez la valeur fournie pour sélectionner l'ID du projet et l'ID du job.

Par exemple, la valeur qwiklabs-gcp-01-5f4dee7a15a3:US.bquxjob_403a14df_185dd37737a commence par l'ID du projet, suivi de l'emplacement dans lequel le job a été exécuté, et se termine par l'ID du job. La syntaxe :US. identifie l'emplacement dans lequel le job a été exécuté.

L'ID du projet correspond à la première partie qwiklabs-gcp-01-5f4dee7a15a3 (avant :US.), tandis que l'ID du job correspond à la dernière partie bquxjob_403a14df_185dd37737a (après :US.).

3. Copiez la requête suivante, puis collez-la dans l'éditeur de requête en remplaçant 'YOUR_ID' par l'ID de votre job (par exemple, 'bquxjob_403a14df_185dd37737a') :

Lorsqu'elle est exécutée, cette requête renvoie l'utilisation des emplacements du job de requête précédemment exécuté sur l'ensemble de données public Citi Bikes.

4. Cliquez sur Exécuter.

Le résultat de cette requête fournit une table qui indique les étapes de la requête et l'utilisation des emplacements associés pour chaque étape.

Étant donné que chaque tâche d'une requête est exécutée par un emplacement, la somme des valeurs de la colonne job_stages.completed_parallel_inputs correspond au nombre total d'emplacements utilisés pour exécuter la requête.

Cependant, une fois qu'un emplacement a terminé la première tâche qui lui a été attribuée, il peut être réaffecté à une autre tâche.

Il est donc important de comprendre la durée d'utilisation totale des emplacements consommée pour exécuter la requête (valeur fournie dans la colonne total_slot_ms). Plus précisément, la durée d'utilisation des emplacements (en millisecondes, ou ms) est fournie pour l'ensemble du job de requête et pour chaque étape de la requête (et représente alors la durée d'utilisation des emplacements consommée pour terminer cette étape).

Ainsi, même si une requête effectue 150 tâches, elle peut en réalité utiliser un nombre d'emplacements moins important (par exemple, 100 au lieu de 150) si chaque tâche s'exécute rapidement.

Cliquez sur Vérifier ma progression pour valider l'objectif. Déterminer l'utilisation des emplacements à l'aide d'une requête SQL

Tâche 3 : Déterminer l'utilisation des emplacements à l'aide d'un appel d'API

Vous pouvez également récupérer des informations au sujet d'un job de requête spécifique à l'aide de l'API. Dans BigQuery, vous pouvez utiliser directement l'API en envoyant des requêtes au serveur, ou vous pouvez utiliser des bibliothèques clientes dans le langage de votre choix : C#, Go, Java, Node.js, PHP, Python ou Ruby.

Dans cette tâche, vous allez utiliser Google APIs Explorer pour tester l'API BigQuery et récupérer l'utilisation des emplacements pour la requête que vous avez exécutée dans une tâche précédente.

1. Dans un nouvel onglet de navigateur en mode navigation privée, accédez à la page de l'API BigQuery pour la méthode jobs.get.

2. Dans la fenêtre Essayer cette méthode, saisissez l'ID du projet et l'ID du job que vous avez identifiés dans la tâche précédente.

Par exemple, qwiklabs-gcp-01-5f4dee7a15a3 pour l'ID de projet et bquxjob_403a14df_185dd37737a pour l'ID de job.

3. Cliquez sur Exécuter.

Si vous êtes invité à confirmer votre connexion, sélectionnez le nom d'utilisateur que vous avez utilisé pour vous connecter à Google Cloud pour les tâches précédentes :

4. Examinez la réponse de l'API pour chaque étape et pour l'ensemble du job de requête.

Pour afficher la valeur des entrées parallèles terminées pour la première étape, faites défiler la page jusqu'à statistics > query > queryPlan > name: S00 > completedParallelInputs.

Pour afficher le nombre total d'emplacements utilisés pour l'ensemble du job de requête, faites défiler les résultats jusqu'à la fin pour examiner la valeur de totalSlotMs.

Tâche 4 : Effectuer un dry run pour une requête afin d'estimer la quantité de données traitées

Dans l'outil de ligne de commande bq, vous pouvez utiliser le flag --dry_run pour estimer le nombre d'octets que la requête devra lire avant de l'exécuter. Vous pouvez également utiliser le paramètre dryRun lorsque vous envoyez un job de requête à l'aide de l'API ou des bibliothèques clientes. Les dry runs de requêtes n'utilisent pas d'emplacements de requête et ces exécutions ne sont pas facturées.

Dans cette tâche, vous allez apprendre à effectuer un dry run pour une requête à l'aide de l'outil de ligne de commande bq dans Cloud Shell.

1. Dans Cloud Shell, exécutez la commande suivante :

Vous obtenez la quantité estimée d'octets que la requête devra traiter avant que vous l'exécutiez pour récupérer des résultats.

Maintenant que vous savez combien d'octets seront traités par la requête, vous disposez des informations nécessaires pour décider des prochaines étapes de votre workflow.

Cliquez sur Vérifier ma progression pour valider l'objectif. Effectuer un dry run pour une requête

Terminer l'atelier

Une fois l'atelier terminé, cliquez sur Terminer l'atelier. Google Skills supprime les ressources que vous avez utilisées, puis efface le compte.

Si vous le souhaitez, vous pouvez noter l'atelier. Sélectionnez un nombre d'étoiles, saisissez un commentaire, puis cliquez sur Envoyer.

Voici à quoi correspond le nombre d'étoiles que vous pouvez attribuer à un atelier :

• 1 étoile = très insatisfait(e)
• 2 étoiles = insatisfait(e)
• 3 étoiles = ni insatisfait(e), ni satisfait(e)
• 4 étoiles = satisfait(e)
• 5 étoiles = très satisfait(e)

Si vous ne souhaitez pas donner votre avis, vous pouvez fermer la boîte de dialogue.

Pour soumettre des commentaires, suggestions ou corrections, veuillez accéder à l'onglet Assistance.

Copyright 2026 Google LLC Tous droits réservés. Google et le logo Google sont des marques de Google LLC. Tous les autres noms de société et de produit peuvent être des marques des sociétés auxquelles ils sont associés.