linkedin orsys
twitter orsys
it! orsys
instagram orsys
pinterest orsys
facebook orsys
youtube orsys
menu logo orsys formation
espace pro
ESPACE PRO
Nos domaines de formation :

Formation Big Data

Formation Spark, développer des applications pour le Big Data

4,5 / 5
Stage pratique
Durée : 3 jours
Réf : SPK
Prix  2018 : 1990 € H.T.
Pauses et déjeuners offerts
  • Programme
  • Participants / Prérequis
  • Intra / sur-mesure
  • avis vérifiés
Programme

Vous développerez des applications en Java en vue de traiter en temps réel des données issues du Big Data. Vous collecterez, stockerez et traiterez avec Spark des données de formats hétérogènes afin de mettre en place des chaînes de traitement intégrées à votre système d'information.

Objectifs pédagogiques

  • Maîtriser les concepts fondamentaux de Spark
  • Développer des applications avec Spark Streaming
  • Faire de la programmation parallèle avec Spark sur un cluster
  • Exploiter des données avec Spark SQL
  • Avoir une première approche du Machine Learning

Travaux pratiques

Mise en pratique des notions vues en cours à l'aide du langage Java.
PROGRAMME DE FORMATION

Présentation d'Apache Spark

  • Historique du Framework.
  • Les différentes versions de Spark (Scala, Python et Java).
  • Comparaison avec l'environnement Apache Hadoop.
  • Les différents modules de Spark.

Travaux pratiques
Installation et configuration de Spark. Exécution d'un premier exemple avec le comptage de mots.

Programmer avec les Resilient Distributed Dataset (RDD)

  • Présentation des RDD.
  • Créer, manipuler et réutiliser des RDD.
  • Accumulateurs et variables broadcastées.
  • Utiliser des partitions.

Travaux pratiques
Manipulation de différents Datasets à l'aide de RDD et utilisation de l'API fournie par Spark.

Manipuler des données structurées avec Spark SQL

  • SQL, DataFrames et Datasets.
  • Les différents types de sources de données.
  • Interopérabilité avec les RDD.
  • Performance de Spark SQL.
  • JDBC/ODBC server et Spark SQL CLI.

Travaux pratiques
Manipulation de Datasets via des requêtes SQL. Connexion avec une base externe via JDBC.

Spark sur un cluster

  • Les différents types d'architecture : Standalone, Apache Mesos ou Hadoop YARN.
  • Configurer un cluster en mode Standalone.
  • Packager une application avec ses dépendances.
  • Déployer des applications avec Spark-submit.
  • Dimensionner un cluster .

Travaux pratiques
Mise en place d'un cluster Spark.

Analyser en temps réel avec Spark Streaming

  • Principe de fonctionnement.
  • Présentation des Discretized Streams (DStreams).
  • Les différents types de sources.
  • Manipulation de l'API.
  • Comparaison avec Apache Storm.

Travaux pratiques
Consommation de logs avec Spark Streaming.

Manipuler des graphes avec GraphX

  • Présentation de GraphX.
  • Les différentes opérations.
  • Créer des graphes.
  • Vertex and Edge RDD.
  • Présentation de différents algorithmes.

Travaux pratiques
Manipulation de l'API GraphX à travers différents exemples.

Machine Learning avec Spark

  • Introduction au Machine Learning.
  • Les différentes classes d'algorithmes.
  • Présentation de SparkML et MLlib.
  • Implémentations des différents algorithmes dans MLlib.

Travaux pratiques
Utilisation de SparkML et MLlib.

Participants / Prérequis

» Participants

Développeurs, architectes.

» Prérequis

Bonnes connaissances du langage Java.
Intra / sur-mesure
Programme standard     Programme sur-mesure
Oui / Non

Vos coordonnées

Avis vérifiés
picto avis vérifiés
Emmanuel L. 18/06/2018
5 / 5
Très bonne formation mais un peu de frustration parce que pas au niveau pour JAVA et SCALA
Laêtitia L. 18/06/2018
5 / 5
Un stage en Scala à la place du Java serait également intéressant.
Vincent M. 18/06/2018
5 / 5
J'ai beaucoup apprécié les retours d'expériences du formateur.
Afficher plus d’avis
Alexandre P. 12/03/2018
4 / 5
formation très orienté java, plus de scala aurait été souhaitable
Olivier S. 12/03/2018
5 / 5
Très bien. Beaucoup d'échanges.
Trystan M. 04/12/2017
4 / 5
Peu de temps pour les derniers chapitres de la formation
Christian R. 04/12/2017
4 / 5
Très intéressant. Temps très court. Donc très dense.
Julien P. 04/12/2017
5 / 5
Formateur très pédagogue et explique de façon à ce qu'on puisse comprendre facilement. Beaucoup d'exercices, ce qui est appréciable : on apprend plus vite. Superbe formation.
Tristan M. 04/12/2017
5 / 5
Temps très bien répartie. Formation trop courte compte tenu le nombre de sujet. Avoir un formateur qui connaît pleinement son sujet est très appréciable.
Gurvan G. 04/12/2017
5 / 5
très bien , formateur très compétent
Patrick M. 04/12/2017
5 / 5
très bon formateur
Alexandre R. 11/09/2017
4 / 5
J'ai été pénalisé car cette formation nécessitait une connaissance préalable et solide de JAVA
Frantz D. 11/09/2017
4 / 5
formateur sympa et connaissant parfaitement son sujet.
Guillaume V. 11/09/2017
4 / 5
Adapté au thème de la formation, bon compléments notamment sur les "best practices" et ce qui est utilisé en entreprise.
Gaétan D. 11/09/2017
5 / 5
Formateur très compétent, en revanche Orsys devrait proposer la formation en Scala, langage beaucoup plus approprié pour Spark que le Java..
Aymeric S. 11/09/2017
5 / 5
très bon cours en accord avec la description prof très compétent sur le sujet
Avis client 4,5 / 5

Les avis client sont issus des feuilles d’évaluation de fin de formation. La note est calculée à partir de l’ensemble des avis datant de moins de 12 mois.

Dates de sessions

Pour vous inscrire, cliquez sur la session qui vous intéresse.
[+]
PARIS

Horaires

Les cours ont lieu de 9h à 12h30 et de 14h à 17h30.
Les participants sont accueillis à partir de 8h45.
Pour les stages pratiques de 4 ou 5 jours, les sessions se terminent à 15h30 le dernier jour.