Установка wget на Mac: руководство

Значок загрузки на Mac с синим стеклянным эффектом

Зачем нужен Wget

Wget — это простая в использовании утилита для скачивания файлов и зеркалирования веб‑страниц. Одна строка в терминале может скачать HTML, изображения и медиа, повторно проследовать по ссылкам и сохранить структуру сайта на диск. Это удобно для резервных копий, офлайн‑доступа и автоматизации загрузок.

Краткое определение: Wget — консольная программа для скачивания файлов по HTTP, HTTPS и FTP.

Подходы к установке

Выберите подход в зависимости от ваших прав на системе и навыков:

Быстрый путь: готовый бинарный файл (если доступен и совместим с вашей версией macOS).
Рекомендуемый современный путь: Homebrew — простой менеджер пакетов для macOS.
Универсальный путь: сборка из исходников — обеспечивает максимальную совместимость и контроль.

В дальнейшем я опишу каждый метод, покажу команды, дам примеры использования и сценарии автоматизации.

Важное

Не используйте Wget для нарушения авторских прав или доступа к закрытому контенту.
Проверяйте robots.txt и правила сайта, прежде чем массово скачивать данные.

Установка готового бинарного файла

Этот метод быстрый, но не всегда доступен. Некоторым пользователям знакомый бинарный пакет может подойти сразу.

Скачайте ZIP с бинарником wget (если у вас есть ссылка на совместимый пакет). В старой инструкции упоминался бинарник для Mac OS X Leopard от Quentin Stafford‑Fraser.
Распакуйте архив.
Скопируйте файл wget в каталог /usr/local/bin и сделайте его исполняемым:

sudo cp wget /usr/local/bin/
sudo chmod 755 /usr/local/bin/wget

Проверьте версию:

wget --version

Если бинарник несовместим с вашей macOS, появится ошибка. В этом случае используйте Homebrew или сборку из исходников.

Установка через Homebrew (рекомендовано для большинства пользователей)

Homebrew — популярный менеджер пакетов для macOS. Он упрощает установку и обновление утилит.

Если у вас ещё нет Homebrew, установите его по инструкции на https://brew.sh (команда доступна на официальном сайте).
Установите wget:

brew update
brew install wget

Проверьте установку:

wget --version

Преимущества этого метода: автоматические зависимости, простое обновление и обратимость.

Сборка из исходников (для продвинутых или при отсутствии других опций)

Когда нужен полный контроль или отсутствуют бинарники/менеджеры пакетов.

Установите инструменты разработчика. Самый простой способ — Xcode Command Line Tools:

xcode-select --install

Если Xcode недоступен, получите компилятор из других источников (например, пакеты от проекта HPC), следуя их документации.
Установите XZ Utils. Архивы исходников wget часто упакованы в .xz, а macOS по умолчанию не всегда распаковывает их.
Скачайте последнюю версию исходников wget с официального сайта GNU или с зеркал.
Распакуйте и соберите:

cd ~/Downloads
xz -d wget-1.13.tar.xz    tar -xf wget-1.13.tar
cd wget-1.13
./configure
make
sudo make install

Примечание: в примере используется версия 1.13 — замените на актуальную.

Частые ошибки при сборке и их устранение

Ошибка “xz: command not found” — установите XZ Utils или распакуйте архив на другой машине.
Ошибка зависимостей при ./configure — прочитайте вывод configure, установите требуемые библиотеки (zlib, openssl и т. п.).
Права доступа при sudo make install — убедитесь, что используете аккаунт с правами администратора.

Быстрые примеры использования

Создать зеркальную копию сайта (HTML и медиа):

wget -m https://www.makeuseof.com/

Скачивать рекурсивно, ограничив глубину (например, 2 уровня):

wget -r -l 2 https://example.com/path/

Скачивать только файлы определённого типа (например, mp3):

wget -r -A.mp3 https://example.com/music/

Продолжить прерванную загрузку файла:

wget -c https://example.com/largefile.zip

Пример сценария резервного копирования сайта (bash):

#!/bin/bash
# Делаем зеркало сайта ежедневно
DEST=~/backups/site-mirror
mkdir -p "$DEST"
cd "$DEST"
wget -m -p -E -k -np https://example.com/

Ключи: -m (mirror), -p (запрос всех ресурсов для отображения страницы), -E (правильные расширения файлов), -k (конвертировать ссылки), -np (не подниматься выше указанного каталога).

Автоматизация на macOS

Используйте launchd или cron (через launchctl) для регулярных запусков скриптов резервного копирования.
Homebrew‑установленный wget обычно находится в /usr/local/bin и доступен из окружения launchd, если правильно настроить PATH.

Роли и чек‑лист установки

Администратор:

Проверить политику безопасности организации для загрузки внешних бинарных файлов.
Установить Xcode Command Line Tools или Homebrew.
Настроить места для хранения резервных копий и права доступа.

Разработчик/автор скриптов:

Выбрать метод установки (Homebrew или сборка).
Проверить зависимости (SSL, zlib).
Написать и протестировать сценарий автоматизации.

Пользователь:

Убедиться, что скачивание не нарушает права.
Тестировать команды на небольших страницах.

Когда Wget не подходит и альтернативы

Если нужно скачивать сайты, требующие рендеринга JavaScript, Wget не выполнит JavaScript; используйте headless‑браузер (Puppeteer, Playwright) или инструменты вроде HTTrack с расширениями.
Для удобных графических интерфейсов подойдёт HTTrack или расширения браузера (DownThemAll аналог).
Для сложных сценариев аутентификации лучше использовать curl или писать скрипты с использованием API сайта.

Совместимость и заметки по версиям macOS

На современных macOS (Big Sur, Monterey и новее) рекомендован Homebrew.
На старых версиях (Leopard и Snow Leopard) иногда проще использовать готовые бинарники, если они совместимы.
Сборка из исходников даёт наибольшую гибкость, но требует установки инструментов разработчика.

Контрольные тесты установки

Запустите wget --version и проверьте, что команда возвращает версию.
Попробуйте скачать небольшой публичный файл: wget https://example.com/robots.txt.
Проверьте, что зеркалирование сохраняет структуру директорий и ресурсы.
Проверьте автоматический запуск скрипта через launchd/cron.

Чит‑шит основных опций wget

-r — рекурсивно
-l N — глубина рекурсии N
-m — зеркалирование (включает несколько флагов)
-c — продолжить прерванную загрузку
-A list — принимать файлы по расширению (пример: -A.pdf,docx)
-np — не подниматься выше указанного каталога
-k — конвертировать ссылки для локального просмотра
-p — скачать все нужные ресурсы для отображения страницы

Примеры сценариев и шаблоны

Шаблон для резервного копирования сайта по расписанию:

#!/bin/bash
# /usr/local/bin/backup-site.sh
SOURCE=https://example.com/
DEST=/var/backups/example-site
mkdir -p "$DEST"
cd "$DEST"
/usr/local/bin/wget -m -p -E -k -np "$SOURCE"

Добавьте в launchd либо cron запись для ежедневного запуска.

Принципы ответственного использования

Уважайте нагрузку на серверы: используйте опции для ограничения скорости и задержек между запросами (например, --limit-rate и --wait).
Ознакомьтесь с robots.txt и правилами сайта.
Для больших загрузок свяжитесь с владельцами ресурса.

Заключение

Wget остаётся простым и надёжным инструментом для скачивания и зеркалирования веб‑контента. Для большинства пользователей оптимальным будет установка через Homebrew. Если нужен полный контроль или нет доступа к менеджеру пакетов, соберите утилиту из исходников. Иногда готовый бинарник ускорит задачу, но совместимость нужно проверять.

Важно: всегда используйте wget ответственно и в рамках законодательства.

Image Credit: Значок загрузки с синей стеклянной иконкой через Shutterstock, Человек в поле пшеницы через Shutterstock