Ce programme est un système de surveillance des prix des livres du site web "Books to Scrape". Il est conçu pour récupérer toutes les données essentielles de chaque livre, telles que les prix, les titres, les catégories, etc. En suivant le processus classique du pipeline ETL (Extract, Transform et Load), ce programme assure une extraction efficace des données, leur transformation pour garantir leur qualité et leur cohérence, puis leur chargement dans un format exploitable.
Extract : Le programme extrait les informations de chaque livre du site Books To Scrap.
Transform : Les données extraites sont transformées pour garantir une structure uniforme (nettoyage de texte)
Load : Création d'un dossier local "all_book_categories" avec une séparation logique des données. Enregistrement des informations de chaque livre dans un fichier CSV dédié à la catégorie.
-
Ouvrez le terminal ou l'invite de commandes selon votre OS.
-
Clonez le répertoire avec la commande :
git clone https://github.com/MouloudB-24/p2_UtilisezLesBasesDePythonPourAnalyseDeMarche -
Accédez au répertoire avec la commande :
cd p2_UtilisezLesBasesDePythonPourAnalyseDeMarche -
Créer un environement virtuel avec cette commande :
python3 -m venv env` -
Activez l'environnement virtuel avec cette commande :
source env/bin/activate -
Installez les dépendances avec la commande :
pip install -r requirements.txt -
Lancez le programme avec la commande :
python3 main.py -
Une fois la console lancée, elle vous invite à faire un choix : soit scraper tout le site (option 1), soit une catégorie de livre (option 2). Dans la dernière option, le programme vous invite à entrer l'URL de produit qui vous intéresse.
Nota : Assurez-vous d'avoir un environnement Python configuré.
L'interface de lancement de programme :
""" Welcome to the Books to scrapes price monitoring program, please select one of the following options: 1 → Scraper data from all books 2 → Scraper data from books in a category 3 → Quit program
Enter your choice 👉: 1, 2, OU 3 """