Notions fondamentales Décisionnel / Big Data
BigData, architecture et technologies
Objectif
Comprendre les concepts du BigData et connaître les technologies associées.
Bonne culture générale sur les systèmes d'information.
Moyens pédagogiques
Réflexion de groupe et apports théoriques du formateur
Travail d'échange avec les participants sous forme de réunion-discussion
Utilisation de cas concrets issus de l'expérience professionnelle
Validation des acquis par des questionnaires, des tests d'évaluation, des mises en situation et des jeux pédagogiques.
Remise d'un support de cours.
Moyens techniques
Pour les formations nécessitant un ordinateur, un PC est mis à disposition de chaque participant.
Modalités d'évaluation
Feuille de présence signée en demi-journée,
Evaluation des acquis tout au long de la formation,
Questionnaire de satisfaction,
Attestation de stage à chaque apprenant,
Positionnement préalable oral ou écrit,
Evaluation formative tout au long de la formation,
Evaluation sommative faite par le formateur ou à l'aide des certifications disponibles
Modalités distance
A l’aide d’un logiciel (Teams, Zoom…), d’un micro et d’une caméra les apprenants interagissent et communiquent entre eux et avec le formateur.
Sessions organisées en inter comme en intra entreprise.
L’accès à l’environnement d’apprentissage ainsi qu’aux preuves de suivi et d’assiduité (émargement, évaluation) est assuré.
Pour toute question avant et pendant le parcours, assistance technique à disposition au 04 67 13 45 45.
Profil formateur
Nos formateur sont des experts dans leurs domaines d'intervention
Leur expérience de terrain et leurs qualités pédagogiques constituent un gage de qualité.
Accessibilité
Les personnes en situation d'handicap sont invitées à nous contacter directement, afin d'étudier ensemble les possibilités de suivre la formation.
Pour tout renseignement, notre référent handicap reste à votre disposition : mteyssedou@ait.fr
Chefs de projets, architectes, et toute personne souhaitant connaître les outils et solutions pour mettre en place une architecture BigData.
Compte personnel de formation
La formation n'est pas compatible avec le Compte personnel de formation
Sessions inter-entreprises
La formation n'est pas compatible avec l’organisation en session inter-entreprises
Programme de la formation
Introduction
- Le besoin : volumes importants de données, traitements optimisés de flux de données au fil de l'eau (nouvelles technologies et nouveaux usages)
- Domaines concernés : recherche scientifique, médical, e-commerce, sécurité…
- Développement des techniques sur différents aspects : stockage, indexation/recherche, calcul
- Définition de ETL : Extract Transform Load
- Les acteurs aujourd'hui
Stockage
- Caractéristiques NoSQL :
- Structure de données proches des utilisateurs, développeurs
- Données structurées et non structurées, documents, images
- Fichiers XML, JSON, CSV…
- Les différents modes et formats de stockage
- Stockage réparti : réplication, sharping, gossip protocl, hachage
- Systèmes de fichiers distribués : GFS, HDFS, BigTable…
- Les bases de données
- Quelques exemples de produits et leurs caractéristiques : cassandra, MongoDB, CouchDB, DynamoDB...
Indexation et recherche
- Moteurs de recherche
- Principe de fonctionnement
- Méthodes d'indexation
- Exemple de Lucene, et mise en oeuvre avec solr
- Recherche dans les bases de volumes importants
- Exemples de produits et comparaison : dremel, drill, elasticsearch, MapReduce…
Calcul et restitution, intégration
- Différentes solutions : calculs en mode batch, ou en temps réel, sur des flux de données ou des données statiques
- Les produits : langage de calculs statistiques, R Statistics Language
- Outils de calcul sur des volumes importants : storm en temps réel, hadoop en mode batch
- Zoom sur Hadoop : complémentarité de HDMS et MapReduce
Evolutions
- Les offres Saas BigData, type Google BigQuery
- Les limites actuelles. Les avancées annoncées