BigQuery Google pour les analystes de données (GCP200BQ4A)

• Analystes de données,
• Data Scientists
• Ingénieurs spécialisés en data
• Développeurs

qui effectuent des travaux à une échelle nécessitant une connaissance avancée des composants internes de BigQuery pour optimiser les performances.

A l'issue de la formation, les participants seront capables de :

• Décrire les principes fondamentaux de l'architecture BigQuery.
• Mettre en œuvre des modèles de conception de stockage et de schéma pour améliorer les performances.
• Utiliser DML et planifier des transferts de données pour ingérer des données.
• Appliquer les meilleures pratiques pour améliorer l'efficacité de la lecture et optimiser les performances des requêtes.
• Gérer la capacité et automatiser les charges de travail.
• Comprendre les modèles par rapport aux anti-modèles pour optimiser les requêtes et améliorer les performances de lecture.
• Utiliser des outils de journalisation et de surveillance pour comprendre et optimiser les modèles d'utilisation.
• Appliquer les meilleures pratiques de sécurité pour gouverner les données et les ressources.
• Créer et déployer plusieurs catégories de modèles d'apprentissage automatique avec BigQuery ML.

Principes de base de l’architecture BigQuery

• Expliquer les avantages du stockage en colonnes.
• Comprendre comment BigQuery traite les données.
• Explorer les bases du service de répartition de BigQuery pour améliorer l'efficacité des requêtes.

Optimisations du stockage et du schéma

• Comparer les performances de différents schémas (flocon de neige, dénormalisé, et champs imbriqués et répétés).
• Partitionner et regrouper les données pour de meilleures performances.
• Améliorer la conception du schéma en utilisant des champs imbriqués et répétés.
• Décrire des pratiques exemplaires supplémentaires telles que l'expiration des tables et des partitions

Ingestion de données

• Ingérer des données par lots et en streaming.
• Interroger des sources de données externes.
• Planifier les transferts de données.
• Comprendre comment utiliser l'API Storage Write.

Modification des données

• Écrire des instructions DML.
• Résoudre les problèmes de performance et les goulots d'étranglement courants du DML.
• Identifier les dimensions à évolution lente (SCD) dans vos données et effectuer des mises à jour.

Amélioration des performances de lecture

• Explorer le cache de BigQuery.
• Créer des vues matérialisées.
• Travailler avec BI Engine pour accélérer vos requêtes SQL.
• Utiliser l'API Storage Read pour un accès rapide au stockage géré par BigQuery.
• Expliquer les inconvénients de l'utilisation de sources de données externes.

Optimisation et dépannage des requêtes

• Interpréter les détails d'exécution de BigQuery et le plan de requête.
• Optimiser les performances des requêtes en utilisant des méthodes suggérées pour les instructions et les clauses SQL.
• Démontrer les meilleures pratiques pour les fonctions dans des cas d'utilisation métier

Gestion de la charge de travail et tarification

• Définir un slot BigQuery.
• Expliquer les modèles de tarification et les estimations de prix (UI BigQuery, bq dry_run, API des tâches).
• Comprendre les réservations, les engagements et les attributions de slots.
• Identifier les meilleures pratiques pour contrôler les coûts.

Journalisation et surveillance

• Utiliser Cloud Monitoring pour afficher les métriques de BigQuery.
• Explorer le panneau d'administration de BigQuery.
• Utiliser les journaux d'audit Cloud.
• Travailler avec les tables INFORMATION_SCHEMA pour obtenir des informations sur vos entités BigQuery.

Sécurité dans BigQuery

• Explorer la découverte de données à l'aide de Data Catalog.
• Discuter de la gouvernance des données à l'aide de l'API DLP et de Data Catalog.
• Créer des politiques IAM (par exemple, des vues autorisées) pour sécuriser les ressources.
• Sécuriser les données avec des classifications (par exemple, des politiques au niveau des lignes).
• Comprendre comment BigQuery utilise le chiffrement.

Automatisation des charges de travail

• Planifier des requêtes.
• Utiliser le scripting et les procédures stockées pour créer des transformations personnalisées.
• Décrire comment intégrer les charges de travail BigQuery avec d'autres produits big data de Google Cloud

Apprentissage automatique dans BigQuery

• Décrire certaines des différentes applications de BigQuery ML.
• Créer et déployer plusieurs catégories de modèles d'apprentissage automatique avec BigQuery ML.
• Utiliser AutoML Tables pour résoudre des problèmes métier à forte valeur.

• Avoir suivi la formation Google Cloud Platform sur le BigData et le Machine Learning (GO8325), ou posséder une expérience équivalente
• Avoir de l'expérience dans l'utilisation d'un langage de requête de type SQL pour analyser les données

• Un support de cours officiel Google en anglais sera fourni aux participants.