Formation Spark avec Python - utilisation de pyspark

Jour 1 : Introduction à Spark et Manipulation de Données

• Rappels sur Python et la manipulation de données : fondamentaux de Python, utilisation des bibliothèques pandas et numpy.
• Introduction au Big Data et à Apache Spark :
  • Comprendre les besoins et les cas d’usage du traitement distribué.
  • Présentation de l'architecture et des composants de Spark (RDD, DataFrame, DataSet).
  • Différences et complémentarités avec des solutions comme Hadoop.
• Installation et configuration d’Apache Spark :
  • Installation en environnement local et sur infrastructure distribuée.
  • Déploiement dans le cloud avec Amazon AWS et Microsoft Azure.
• Découverte de PySpark :
  • Présentation de l’API PySpark et de son intégration avec Python.
  • Premières manipulations et exploration de données.

Cas pratiques : installation de Spark en local et connexion à un cluster distant.

Jour 2 : Manipulation Avancée de Données avec PySpark

• Manipuler des données avec SparkSQL et les DataFrames :
  • Chargement de données depuis différentes sources (CSV, JSON, Parquet, Hadoop HDFS).
  • Exploration et transformation des données (jointures, filtres, agrégations).
  • Optimisation et exécution de requêtes SQL avec SparkSQL.
• Création et manipulation avancée de DataFrames :
  • Gestion des colonnes et calculs de nouvelles variables.
  • Nettoyage et préparation de grands volumes de données.
• Optimisation des performances et gestion des ressources :
  • Gestion des partitions et des caches.
  • Compréhension du plan d'exécution des tâches et optimisation.

Cas pratiques : création d’un pipeline de transformation de données et analyse de données clients.

Jour 3 : Machine Learning et Streaming en Temps Réel avec PySpark

• Introduction au Machine Learning avec Spark MLlib :
  • Présentation des algorithmes supervisés et non supervisés disponibles dans Spark.
  • Construction de modèles de classification et de régression avec PySpark.
• Mise en place d’un système de recommandation :
  • Utilisation des algorithmes de factorisation de matrice et de filtrage collaboratif.
• Traitement de données textuelles (NLP) :
  • Nettoyage et vectorisation de texte.
  • Analyse de sentiment avec PySpark.
• Automatisation et industrialisation des analyses :
  • Construction de pipelines avec Pipeline API.
  • Utilisation de Spark Streaming pour le traitement en temps réel.
• Gestion et suivi des modèles :
  • Suivi des performances et mise à jour des modèles.
  • Introduction à MLflow pour la gestion des expériences.

Cas pratiques : développement d’un moteur de recommandation et création d’un pipeline de traitement en temps réel.

Profils :

• Data scientist désirant monter en compétence sur l'utilisation d'Apache Spark
• Développeur étant amené à automatiser des traitements de données massives

Prérequis :

• Connaissances de base en traitement de données (statistique et tables de données)
• Connaissances de base en python