Web Scraping
Voie Data Science et Marketing
- Année
- 3e année
- Semestre
- Semestre 5
- Unité d’enseignement
- Méthodes Data Science
- Volume horaire
- 15 h
- Crédits
- 1
Les fiches sont renseignées à partir des syllabus RESA/ENEAM et peuvent être actualisées par l’équipe pédagogique. Les modalités d’évaluation indiquées ne remplacent pas les consignes du cours.
Objectif du cours
Aujourd’hui dans le monde numérique, les données (Data) constituent une source d’information de très grande valeur. La technique du scraping consiste à extraire ces données depuis des sites web.
Ce cours a pour objectif de présenter les notions théoriques et pratiques nécessaires à la mise en œuvre des techniques d’acquisition automatisées de données sur le web.
Plan du cours
-
I. Introduction
- Présentation du Web,
- Organisation et fonctionnement
- Pages statistiques et dynamiques.
- Introduction (HTML, CSS)
-
II. Récupérer des données fournies par une interface de programmation (API)
3 h- Définition d’une API,
- Requêtage,
- Exemples pratiques avec Python et R.
-
III. Récupérer des données d’un site web
8 h- Définition du web scraping,
- Parcours de pages web,
- Exemples pratiques avec Python et R,
- Utilisation des Apis Web (Google, Twitter…)
-
IV. Exemples d’outils pour faciliter le web scraping
1 h- Outils pour extraire depuis des sites statiques ou sites fortement dynamiques (ajax): Scrapy,
- PhantomJS, etc.
-
V. Problèmes avancés d’extractions de données
2 h- Ordonnancement,
- Proxy,
- Authentification,
- Erreurs HTTP.
-
VI. Les droits d’utilisation des données disponibles sur le web
1 h- Présentation des concepts de licences sur les données,
- OpenData
- Principales licences.
Évaluation
1 devoir pratique
Bibliographie
- Web Scraping With Python: Collecting More Data from the Modern Web, Ryan Mitchell (2015), O’Reilly
- Python Web Scraping Cookbook : Over 90 proven recipes to get you scraping with Python, micro services, Docker and AWS, Michael Heydt (2018)