Formation Spark Python

Description

Apache Spark est un framework permettant de traiter d'énormes volumes de données, de l’ordre de centaines de Go par jour. Quand les outils classiques sont limités par de tels volumes, Spark permet d’opérer à grande échelle grâce au calcul distribué, pour transformer la donnée en donnée utile, souvent à des fins de business intelligence.

Cette formation s’adresse aux développeur·euse·s ayant un niveau intermédiaire en programmation et souhaitant découvrir ou approfondir le domaine big data.

Lors de cette formation, vous découvrirez les concepts fondamentaux de Spark, comment exploiter les dataframes, gérer le parallélisme, traiter les données en batch et en temps réel de façon optimisée, déployer vos applications sur le cloud, comment Spark s’applique au machine learning.

Tout au long de la formation, vous mettrez en pratique les notions étudiées dans des cas concrets : lecture et analyse de données batch depuis un cloud, data analyse sur des gros volumes, traitement de données en temps réel.

Votre formateur, Cyril Lay, est un ingénieur curieux et passionné qui met en relation les notions étudiées avec son expérience professionnelle dans le domaine, permettant aux apprenant·e·s de transposer leurs nouvelles compétences dans leur entreprise.

Les objectifs

• Comprendre les concepts fondamentaux de Spark et du calcul distribué
• Manipuler et analyser des dataframes
• Effectuer de l’analyse temps réel avec Spark Streaming
• Effectuer du machine learning avec Spark MLlib
• Déployer une application Spark

Pré-requis

• niveau intermédiaire en Python
• Ordinateur portable à apporter

Le programme de la formation Spark Python

Jour 1 : Découverte de Spark, premières opérations

• Comprendre quand utiliser Spark
• Utiliser les transformations et actions de base
• Lire, transformer et sauvegarder des dataframes en mode batch

Mises en pratique :
- Configurer en environnement de développement big data
- Analyser des données batch avec les fonctions de base Spark

Jour 2 : Spark streaming

• Comprendre le traitement de données en temps réel
• Transformer des données avec une latence ultra faible
• Gérer les cas spécifiques au temps réel : late data, triggers, agrégation par fenêtre

Mises en pratique :
- Créer un flux de données streaming
- Analyser des données avec Spark Streaming
- Filtrer et agréger des données en temps réel

Jour 3 : Déploiement et Spark ML

• Comprendre l’utilité de Spark dans l’intelligence artificielle
• Utiliser les fonctions machine learning de Spark (Spark MLlib)
• Déployer une application sur le cloud

Mises en pratique :
- Développer une pipeline de machine learning
- Déployer une application Spark sur AWS

Télécharger le programme

Formateur

Cyril LAY

Cyril Lay est Machine Learning Engineer en freelance depuis 5 ans.

Il a commencé dans l’IT et la data avec son diplôme d’école d’ingénieur en data science. Sa carrière a débuté avec le big data dans des start-ups/scale-ups à Londres et à Los Angeles. Il y a appris à gérer des pipeline de machine learning à très haut volume de données.

Cyril adore transmettre ses connaissances des sujets qui le passionne, c'est pourquoi, en parallèle de son activité de consultant freelance, il dispense de nombreuses formations : c’est très épanouissant et challengeant.

FAQ

8 raisons de participer à une formation Human Coders

• Satisfaction client élevée : Un taux de statisfaction de 4,6/5 depuis 2012 (sur 2224 sessions réalisées). 99% des participants se disent satisfaits de nos formations
• Approche pédagogique unique : Des formations en petit groupe, des formateurs passionnés et expérimentés, de véritables workshops... (Plus d'infos sur notre manifeste)
• Catalogue de formations complet : 104 formations au catalogue, de quoi vous accompagner sur tout vos projets
• Écosystème dynamique : Nous accompagnons les dev depuis 13 ans avec des initiatives comme Human Coders News, les Human Talks, le podcast ou encore notre serveur Discord
• Financement facilité : Organisme certifié Qualiopi, indispensable pour que vous puissiez obtenir des aides au financement via votre OPCO
• Références clients prestigieuses : De nombreux clients qui nous font confiance depuis des années
• Accompagnement sur mesure : Nous vous proposons un accompagnement personnalisé par nos consultants pour vous aider dans vos projets au-delà de la formation
• Valorisation professionnelle : Remise d'un diplôme, d'une attestation et d'une certification, suivant les formations effectuées, que vous pourrez afficher sur vos CV et réseaux sociaux