Wget : guide complet pour Windows et macOS

Wget est un outil en ligne de commande pour télécharger des fichiers et répliquer des sites sans interface graphique. Si la commande ‘wget’ renvoie “command not found” sous Windows ou macOS, ce guide détaille plusieurs méthodes d’installation (binaire manuel, Chocolatey, Scoop, winget, Homebrew, WSL), la résolution des problèmes de PATH, les options les plus utiles, des bonnes pratiques pour le crawling responsable, des checklists par rôle et des procédures de vérification.

Important : respectez le fichier robots.txt et la loi sur les droits d’auteur ; limitez la vitesse et testez sur un environnement local avant d’extraire un site entier.

Pourquoi ce guide

Wget est souvent absent par défaut sur Windows, et certains tutoriels en ligne sont incomplets ou obsolètes. Ici vous trouverez des instructions actuelles, des alternatives, des modèles d’utilisation et des listes de vérification pour l’utiliser en sécurité et efficacement.

Qu’est‑ce que wget et à quoi sert‑il ?

Wget est un utilitaire open source en ligne de commande qui permet de télécharger des fichiers via HTTP, HTTPS et FTP. Il est conçu pour être robuste : il reprend les téléchargements interrompus, gère la récursivité pour copier des sites, et peut automatiser des récupérations grâce à des scripts.

Définition courte : wget récupère des ressources web en ligne de commande et automatise le téléchargement de fichiers et de sites.

Cas d’usage courants :

• Télécharger un seul fichier (robots.txt, sitemap.xml, PDF).
• Télécharger plusieurs URLs listées dans un fichier.
• Sauvegarder une page web locale avec ses ressources (images, CSS, JS).
• Répliquer un site pour développement hors ligne ou audit.
• Téléchargements programmés et automatisés via des scripts.

Notes : wget n’a pas d’interface graphique et doit être utilisé avec prudence pour ne pas surcharger les serveurs.

Pourquoi la commande ‘wget’ n’est pas trouvée

Les raisons les plus fréquentes :

• L’exécutable wget n’est pas installé sur le système.
• Wget est installé mais le répertoire contenant wget.exe n’est pas dans la variable d’environnement PATH.
• Vous êtes dans un environnement (PowerShell vs CMD vs Git Bash vs WSL) où wget n’est pas disponible par défaut.
• Vous utilisez une ancienne documentation avec des commandes obsolètes.

Conseil rapide : sur Windows 10+ vous disposez souvent de curl en natif. PowerShell propose aussi Invoke-WebRequest. Ces alternatives sont utiles si vous ne pouvez pas installer wget.

Vérifier si wget est installé

1. Ouvrez une invite de commandes (touche Windows, tapez cmd) ou PowerShell.
2. Tapez :

wget -V

Si wget est installé, vous verrez la version et des informations sur la compilation. Si la commande renvoie “command not found” ou une erreur, passez à la section d’installation.

Comment installer wget sur Windows

Plusieurs méthodes existent selon vos droits et préférences. Choisissez celle qui correspond à votre flux de travail.

Méthode A — Installation manuelle (binaire)

1. Téléchargez une distribution binaire de wget pour Windows depuis un site de confiance.
2. Décompressez et copiez wget.exe dans C:\Windows\System32 si vous avez les droits administrateur.
3. Ouvrez une nouvelle invite de commandes et vérifiez avec wget -V.

Remarque : copier dans C:\Windows\System32 rend wget accessible globalement mais nécessite des droits élevés. Alternativement, placez wget.exe dans un dossier utilisateur et ajoutez ce dossier au PATH.

Méthode B — Chocolatey (recommandé pour automate)

Pré‑requis : powershell exécuté en administrateur et Chocolatey installé.

Installer wget :

choco install wget -y

Méthode C — Scoop (installation per‑user, sans droits admin)

Scoop installe des outils côté utilisateur.

Set-ExecutionPolicy RemoteSigned -Scope CurrentUser
iwr -useb get.scoop.sh | iex
scoop install wget

Méthode D — winget (Windows Package Manager)

Si vous avez winget :

winget install GnuWin32.wget

Méthode E — Windows Subsystem for Linux (WSL)

Si vous utilisez WSL (Ubuntu, Debian) :

sudo apt update && sudo apt install wget -y

Avantage : vous utilisez la version Linux de wget et tous ses comportements attendus.

Dépannage PATH

Si wget est installé mais non trouvé :

• Vérifiez le dossier d’installation.
• Ajoutez son chemin à la variable d’environnement PATH via Paramètres > Système > Informations système > Paramètres système avancés > Variables d’environnement.
• Redémarrez l’invite de commandes.

Comment installer wget sur macOS

La manière la plus simple est Homebrew.

1. Installer Homebrew (script officiel actuel) :

/bin/bash -c '$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)'

2. Installer wget :

brew install wget

Alternative : MacOS inclut curl par défaut. Utilisez curl si vous ne pouvez pas installer Homebrew.

Commandes et options essentielles de wget

Syntaxe générale :

wget [OPTIONS] [URL]...

• [OPTIONS] : paramètres qui modifient le comportement (ex. –recursive, -O).
• [URL] : une ou plusieurs adresses à téléchager.

Exemples pratiques

1. Télécharger un fichier unique :

wget https://example.com/robots.txt

2. Télécharger vers un répertoire spécifique :

wget -P /chemin/vers/dossier https://example.com/sitemap.xml

3. Renommer le fichier téléchargé :

wget -O mon-nom.html https://example.com/file.html

4. Définir l’en‑tête User-Agent :

wget --user-agent='Mozilla/5.0 (compatible; MyBot/1.0)' https://example.com/file.html

5. Simuler Googlebot (exemple d’en‑tête User-Agent — respectez la déontologie et ne vous faites pas passer pour un agent malveillant) :

wget --user-agent='Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)' https://example.com/path

6. Télécharger robots.txt seulement s’il a changé :

wget -S https://example.com/robots.txt
wget -N https://example.com/robots.txt

Le premier enregistre des informations de date/heure. Le second ne télécharge que si la version distante est plus récente.

7. Convertir les liens pour usage local :

wget --convert-links https://example.com/path

8. Répliquer une page web pour l’ouvrir localement :

wget -E -H -k -K -p --convert-links https://example.com/path

9. Télécharger plusieurs URLs depuis un fichier urls.txt :

Fichier urls.txt :

https://example.com/1
https://example.com/2
https://example.com/3

Commande :

wget -i urls.txt

10. Limiter la vitesse et introduire un délai entre requêtes :

--wait=1        # attendre 1 seconde entre chaque requête
--limit-rate=10K # limiter la vitesse à 10 kilooctets/s

Exemple :

wget --wait=1 --limit-rate=10K https://example.com/file.zip

11. Extraire un site en mode récursif (attention) :

wget --recursive --page-requisites --adjust-extension --span-hosts --wait=1 --limit-rate=10K --convert-links --restrict-file-names=windows --no-clobber --domains example.com --no-parent https://example.com

Explication rapide des options clés :

• –recursive : suit les liens pour descendre dans l’arborescence.
• –page-requisites : télécharge tous les assets nécessaires (CSS, JS, images).
• –adjust-extension : enregistre avec l’extension .html si nécessaire.
• –span-hosts : récupère aussi des ressources hébergées sur d’autres domaines.
• –no-clobber : évite d’écraser les fichiers existants.
• –domains : limite la récupération à des domaines spécifiés.
• –no-parent : n’ascend pas vers le répertoire parent.

Conseil : testez d’abord avec –spider et –level=1 pour simuler sans télécharger :

wget --spider --recursive --level=1 https://example.com

–spider exécute une vérification d’existence sans écrire de fichiers.

Bonnes pratiques et éthique

• Respectez robots.txt et les conditions d’utilisation du site.
• Ne surchargez pas les serveurs : utilisez –wait et –limit-rate.
• Obtenez l’autorisation pour des extractions massives, surtout pour des sites tiers.
• Pour des sites dynamiques (JavaScript), wget peut échouer ; préférez des outils headless comme Puppeteer.

Alternatives à wget

• curl : souvent préinstallé et très puissant pour des requêtes HTTP simples et des scripts.
• PowerShell Invoke-WebRequest : disponible sur Windows.
• HTTrack : outil dédié à la copie de sites, avec une interface et des options plus avancées pour le mirroring.
• Outils headless (Puppeteer, Playwright) pour rendre JavaScript et capturer le DOM final.

Sécurité et confidentialité

• Ne stockez pas de données personnelles sans consentement. Respectez le RGPD pour les données d’UE.
• Limitez l’exposition de vos identifiants ; évitez d’inclure des credentials en clair dans les scripts.
• Vérifiez les certificats TLS si vous automatisez des téléchargements sensibles.

Vérifications et tests après installation

Checklist rapide :

• Exécuter wget -V pour confirmer la version.
• Tester un téléchargement simple : wget https://example.com/robots.txt
• Vérifier que le PATH est correct si wget n’est pas trouvé.
• Sur Windows, tester depuis CMD, PowerShell et Git Bash si nécessaire.

Critères d’acceptation pour l’installation :

• La commande wget renvoie la version installée.
• Un téléchargement de test s’achève sans erreur.
• Dans le cas d’une installation per‑user, la commande fonctionne après ouverture d’une nouvelle session.

Procédure de dépannage rapide

1. La commande renvoie ‘wget’ n’est pas reconnue : vérifier le PATH et l’emplacement de wget.exe.
2. Erreurs SSL : vérifier la date/heure système, mettre à jour OpenSSL/libcurl si nécessaire ou utiliser –no-check-certificate pour des tests non productifs.
3. Problèmes de permission : exécuter en administrateur ou installer en mode utilisateur via Scoop.
4. Téléchargements interrompus : relancer avec -c pour reprendre.

wget -c https://example.com/largefile.zip

Modèle de décision pour choisir une méthode d’installation

flowchart TD
  A[Vous êtes sur Windows ?] -->|Oui| B{Avez-vous les droits admin ?}
  A -->|Non| E[macOS ou Linux : utilisez Homebrew/apt]
  B -->|Oui| C[Utilisez Chocolatey ou installez manuellement dans C:\\Windows\\System32]
  B -->|Non| D[Utilisez Scoop ou installez localement et ajoutez au PATH]
  C --> F[Tester wget -V]
  D --> F
  E --> F

Checklists par rôle

Administrateur système :

• Installer via Chocolatey/Scoop/winget.
• S’assurer que les mises à jour de sécurité sont appliquées.
• Documenter l’emplacement de l’exécutable et la configuration du PATH.

Développeur / Intégrateur :

• Tester wget sur plusieurs environnements (Windows, WSL, macOS).
• Préparer des scripts idempotents avec des options –no-clobber et -c.
• Gérer les user‑agents et respecter robots.txt.

SEO / Content auditor :

• Utiliser wget –spider pour scanner l’architecture du site.
• Extraire sitemap.xml et robots.txt en priorité.
• Eviter l’extraction récursive sans autorisation.

Exemples d’usage avancés (cheatsheet)

• Reprendre un téléchargement : wget -c URL
• Télécharger en parallèle : utiliser xargs ou aria2c pour paralléliser, wget n’est pas multi‑thread.
• Tester sans écrire : wget –spider URL
• Forcer l’extension .html : –adjust-extension

Limitations et cas où wget échoue

• Sites entièrement rendus côté client avec JavaScript : wget récupérera le HTML initial sans exécuter les scripts.
• Formulaires protégés par tokens ou CAPTCHAs : wget ne peut pas recueillir d’informations nécessitant une authentification complexe.
• Téléchargements provenant d’APIs REST sécurisées nécessitant OAuth : mieux vaut utiliser curl avec gestion de tokens.

Migration et compatibilité

• Sous Windows, préférez WSL pour un comportement identique à Linux si vous automatisez des tâches complexes.
• Under macOS et Linux, Homebrew/apt/yum fournissent des versions récentes et maintenues.
• Sur serveurs, vérifiez la politique d’entreprise avant d’installer des utilitaires via des gestionnaires non approuvés.

FAQ

Pourquoi la commande wget n’est-elle pas trouvée sur Windows ?

Parce que wget n’est pas installé par défaut sur Windows. Il faut installer un exécutable ou utiliser un gestionnaire de paquets. Parfois wget est présent mais le dossier n’est pas dans le PATH.

Qu’est‑ce que curl ?

Curl est un autre outil en ligne de commande pour transférer des données via des protocoles réseau. Il est souvent installé par défaut sur macOS et Windows 10+, et peut remplacer wget pour de nombreux usages.

Résumé et bonnes pratiques

• Installez wget selon votre contexte : Chocolatey/scoop/winget pour Windows, Homebrew pour macOS, apt/yum pour Linux.
• Testez toujours avec des requêtes non invasives (–spider, –limit-rate, –wait).
• Respectez robots.txt et la législation sur les données.
• Utilisez WSL ou des outils headless pour des sites JavaScript intensifs.

Points clés :

• Vérifiez d’abord la présence avec wget -V.
• Si la commande est introuvable, choisissez une méthode d’installation adaptée.
• Pour les extractions massives, demandez l’autorisation et limitez la vitesse.

Si vous avez des cas d’utilisation spécifiques — télécharger un type de fichier particulier, automatiser un flux CI, ou répliquer un site avec assets complexes — décrivez votre besoin et je fournirai une procédure personnalisée.