DP-203 Examen d'ingénierie des données Microsoft Azure.

Les ingénieurs de données Azure utilisent une variété de services et d’infrastructures de données Azure pour stocker et produire des ensembles de données nettoyés et améliorés à des fins d’analyse. En fonction des besoins de l’entreprise, les magasins de données peuvent être conçus avec différents modèles d’architecture, notamment l’entrepôt de données moderne (MDW), le Big Data ou l’architecture Lakehouse.

Les ingénieurs de données Azure aident les parties prenantes à comprendre les données grâce à l’exploration, et ils créent et maintiennent des pipelines de traitement de données sécurisés et conformes à l’aide de différents outils et techniques. Ces professionnels utilisent divers services et infrastructures de données Azure pour stocker et produire des ensembles de données nettoyés et améliorés à des fins d’analyse. Ce magasin de données peut être conçu avec différents modèles d’architecture en fonction des besoins de l’entreprise, notamment l’entrepôt de données moderne (MDW), le Big Data ou l’architecture Bakehouse.

DP-203 : Résumé de l’examen Microsoft Azure Data Engineer :

• Nom de l’examen : Microsoft Certified – Azure Data Engineer Associate

• Code de l’examen : DP-203

• Coût du bon d’examen : 165 USD

• Langues de l’examen : anglais, japonais, coréen et chinois simplifié

• Format de l’examen : choix multiple, réponses multiples

• Nombre de questions : 40-60 (estimation)

• Durée de l’examen : 150 minutes

• Note de passage : le score est compris entre 700 et 1 000.

DP-203 : Ingénieur de données Microsoft Azure Programme : :

Concevoir et mettre en œuvre le stockage des données (15-20 %)

Mettre en œuvre une stratégie de partition

• Mettre en œuvre une stratégie de partitionnement pour les fichiers

• Mettre en œuvre une stratégie de partitionnement pour les charges de travail analytiques

• Mettre en œuvre une stratégie de partitionnement pour les charges de travail en streaming

• Implémenter une stratégie de partition pour Azure Synapse Analytics

• Identifier quand le partitionnement est nécessaire dans Azure Data Lake Storage Gen2

Concevoir et mettre en œuvre la couche d’exploration des données

• Créez et exécutez des requêtes à l’aide d’une solution de calcul qui exploite les clusters SQL Serverless et Spark

• Recommander et implémenter des modèles de base de données Azure Synapse Analytics

• Transférer la lignée de données nouvelle ou mise à jour vers Microsoft Purview

• Parcourir et rechercher des métadonnées dans Microsoft Purview Data Catalog

Développer le traitement des données (40–45%)

Ingérer et transformer les données

• Concevoir et mettre en œuvre des chargements de données incrémentiels

• Transformer les données en utilisant Apache Spark

• Transformer les données à l’aide de Transact-SQL (T-SQL) dans Azure Synapse Analytics

• Ingérer et transformer des données à l’aide d’Azure Synapse Pipelines ou d’Azure Data Factory

• Transformez les données à l’aide d’Azure Stream Analytics

• Nettoyer les données

• Gérer les données en double

• Éviter les doublons de données grâce à la livraison exacte d’Azure Stream Analytics

• Gérer les données manquantes

• Gérer les données arrivant en retard

• Diviser les données

• Déchiqueter JSON

• Coder et décoder des données

• Configurer la gestion des erreurs pour une transformation

• Normaliser et dénormaliser les données

• Effectuer une analyse exploratoire des données

Développer une solution de traitement par lots

• Développer des solutions de traitement par lots en utilisant Azure Data Lake Storage Gen2, Azure Databricks, Azure Synapse Analytics et Azure Data Factory

• Utiliser PolyBase pour charger des données dans un pool SQL

• Implémenter Azure Synapse Link et interroger les données répliquées

• Créer des pipelines de données

• Ressources à l’échelle

• Configurer la taille du lot

• Créer des tests pour les pipelines de données

• Intégrer des notebooks Jupyter ou Python dans un pipeline de données

• Upsert données par lots

• Rétablir les données à un état antérieur

• Configurer la gestion des exceptions

• Configurer la conservation des lots

• Lire et écrire dans un lac delta

Développer une solution de traitement de flux

• Créez une solution de traitement de flux à l’aide de Stream Analytics et d’Azure Event Hubs

• Traiter les données en utilisant le streaming structuré Spark

• Créer des agrégats fenêtrés

• Gérer la dérive du schéma

• Traiter les données de séries chronologiques

• Traiter les données sur plusieurs partitions

• Processus au sein d’une partition

• Configurer les points de contrôle et le filigrane pendant le traitement

• Ressources à l’échelle

• Créer des tests pour les pipelines de données

• Optimiser les pipelines à des fins analytiques ou transactionnelles

• Gérer les interruptions

• Configurer la gestion des exceptions

• Upsert les données de flux

• Rejouer les données de flux archivées

• Lire et écrire dans un lac delta

Gérer les lots et les pipelines

• Déclencher des lots

• Gérer les chargements par lots ayant échoué

• Valider les chargements par lots

• Gérer les pipelines de données dans Azure Data Factory ou Azure Synapse Pipelines

• Planifier des pipelines de données dans Data Factory ou Azure Synapse Pipelines

• Implémenter le contrôle de version pour les artefacts du pipeline

• Gérer les tâches Spark dans un pipeline

Sécuriser, surveiller et optimiser le stockage et le traitement des données (30-35 %)

Mettre en œuvre la sécurité des données

• Mettre en œuvre le masquage des données

• Crypter les données au repos et en mouvement

• Implémenter la sécurité au niveau des lignes et des colonnes

• Implémenter le contrôle d’accès basé sur les rôles Azure (RBAC)

• Implémenter des listes de contrôle d’accès (ACL) de type POSIX pour Data Lake Storage Gen2

• Mettre en œuvre une politique de conservation des données

• Mettre en œuvre des points de terminaison sécurisés (privés et publics)

• Implémenter des jetons de ressources dans Azure Databricks

• Charger un DataFrame avec des informations sensibles

• Écrire des données cryptées dans des tables ou des fichiers Parquet

• Gérer les informations sensibles

Surveiller le stockage et le traitement des données

• Implémenter la journalisation utilisée par Azure Monitor

• Configurer les services de surveillance

• Surveiller le traitement des flux

• Mesurer les performances du déplacement des données

• Surveiller et mettre à jour les statistiques sur les données d’un système

• Surveiller les performances du pipeline de données

• Mesurer les performances des requêtes

• Planifier et surveiller les tests de pipeline

• Interpréter les métriques et les journaux Azure Monitor

• Mettre en œuvre une stratégie d’alerte de pipeline

Optimiser et dépanner le stockage et le traitement des données

• Compacter les petits fichiers

• Gérer les distorsions dans les données

• Gérer les fuites de données

• Optimiser la gestion des ressources

• Ajuster les requêtes à l’aide d’indexeurs

• Régler les requêtes en utilisant le cache

• Résoudre un problème lié à une tâche Spark ayant échoué

• Résoudre les problèmes liés à l’exécution d’un pipeline ayant échoué, y compris les activités exécutées dans des services externes

Conseils pour optimiser votre expérience d’examen pratique :

Pour tirer le meilleur parti de votre examen pratique DP-203, tenez compte des conseils suivants :

• Fixez-vous des objectifs réalistes : définissez clairement vos objectifs d’étude et allouez suffisamment de temps à la préparation. Décomposez votre plan d’étude en parties gérables, en vous concentrant sur des sujets spécifiques chaque jour. En fixant des objectifs atteignables, vous pouvez aborder le processus de préparation à l’examen plus efficacement.

• Utilisez des supports d’étude officiels : Microsoft propose des ressources d’étude officielles pour l’examen de certification DP-203, notamment de la documentation, des cours en ligne et des examens pratiques. Profitez de ces supports pour aligner votre apprentissage sur les objectifs de l’examen et acquérir une compréhension globale des sujets.

• Rejoignez des groupes d’étude ou des forums : interagir avec d’autres candidats à la certification peut apporter un soutien et des informations supplémentaires. Participez à des groupes d’étude ou à des forums où vous pouvez discuter des sujets d’examen, partager des ressources et clarifier vos doutes. L’apprentissage collaboratif peut améliorer votre compréhension et vous aider à découvrir de nouvelles perspectives.

• Examinez vos résultats et apprenez de vos erreurs : après avoir terminé l’examen pratique, examinez vos réponses et comprenez les explications fournies pour les choix corrects et incorrects. Concentrez-vous sur les domaines dans lesquels vous avez commis des erreurs ou manqué de confiance. Cette analyse guidera vos études ultérieures et renforcera les concepts importants.

L’examen pratique de certification Microsoft Azure DP-203 Data Engineering est une excellente ressource pour les personnes souhaitant faire progresser leur carrière dans l’ingénierie des données. Il fournit un moyen complet et efficace de se préparer à l’examen de certification DP-203, tout en améliorant les connaissances et les compétences des utilisateurs dans ce domaine.