Wget — программа предназначена для загрузки файлов из сети. Программа Wget поддерживает протоколы HTTP, FTPи HTTPS и HTTP прокси-сервер. В Ubuntu программа включена в дистрибутив.
Wget не интерактивная программа, это значит что ее можно остановить Ctrl+C или перевести в фоновый режим Ctrl+Z.
Примеры использования:
cd /home/имя пользователя/Загрузки
wget http://cdimage.ubuntu.com/ubuntu-gnome/releases/trusty/alpha-1/trusty-desktop-amd64.iso
Скачанный файл будет находится в папке ЗАГРУЗКИ домашней директории.
При скачивании больших файлов иногда процесс скачивания может прерваться, для продолжения используйте параметр -с, например:
wget -с http://cdimage.ubuntu.com/ubuntu-gnome/releases/trusty/alpha-1/trusty-desktop-amd64.iso
файл будет скачиваться с того места где был прерван.
Так же можно при скачивании сразу задать путь для скачивания, например:
wget -P /home/имя пользователя/Загрузки/ http://cdimage.ubuntu.com/ubuntu-gnome/releases/trusty/alpha-1/trusty-desktop-amd64.manifest
wget -P [папка в которую надо скачать файл] [адрес файла]
Для скачивания сайта целиком необходимо сделать следующее:
Задайте папку для скачивания:
cd /home/имя пользователя/Загрузки/
Скачайте сайт в указанную ранее папку:
wget -r -k -l 7 -p -E -nc http://ubuntu-desktop.ru
Сайт будет скачать в указанную Вами папку, для запуска главной страницы запустите index.html
-r — указывает на то, что нужно рекурсивно переходить по ссылкам на сайте, чтобы скачивать страницы.
-k — используется для того, чтобы wget преобразовал все ссылки в скаченных файлах таким образом, чтобы по ним можно было переходить на локальном компьютере (в автономном режиме).
-p — указывает на то, что нужно загрузить все файлы, которые требуются для отображения страниц (изображения, css и т.д.).
-l — определяет максимальную глубину вложенности страниц, которые wget должен скачать (по умолчанию значение равно 5). В большинстве случаев сайты имеют страницы с большой степенью вложенности и wget может просто «закопаться», скачивая новые страницы. Чтобы этого не произошло можно использовать параметр -l.
-E — добавлять к загруженным файлам расширение .html.
-nc — при использовании данного параметра существующие файлы не будут перезаписаны. Это удобно, когда нужно продолжить загрузку сайта, прерванную в предыдущий раз.
Справка
GNU Wget 1.14, программа автоматического получения файлов по сети.
Использование: wget [КЛЮЧ]… [URL]…
Обязательные аргументы для длинных параметров являются обязательными и для коротких параметров.
Запуск:
-V, —version показать версию Wget и завершить работу
-h, —help показать эту справку
-b, —background после запуска перейти в фоновый режим
-e, —execute=КОМАНДА выполнить команду в стиле «.wgetrc».
Журналирование и входной файл:
-o, —output-file=ФАЙЛ записывать сообщения в ФАЙЛ.
-a, —append-output=ФАЙЛ дописывать сообщения в конец ФАЙЛА.
-d, —debug показать много отладочной информации
-q, —quiet ничего не выводить
-v, —verbose показывать подробные сведения (по умолчанию).
-nv, —no-verbose отключить вывод подробных сведений (не полностью)
—report-speed=TYPE пропускная способность вывода в TYPE. TYPE может быть битами.
-i, —input-file=ФАЙЛ загрузить URL-ы согласно локальному или внешнему ФАЙЛУ.
-F, —force-html считать, что входной файл — HTML.
-B, —base=URL считать, что ссылки из входного файла (-i -F) указаны относительно URL.
—config=FILE укажите необходимый конфигурационный файл.
Загрузка:
-t, —tries=ЧИСЛО установить ЧИСЛО повторных попыток (0 без ограничения).
—retry-connrefused повторять, даже если в подключении отказано.
-O, —output-document=ФАЙЛ записывать документы в ФАЙЛ.
-nc, —no-clobber пропускает загрузки которые вы хотели закачать в уже существующие файлы (перезаписав их).
-c, —continue возобновить загрузку частично загруженного файла.
—progress=ТИП выбрать тип индикатора выполнения.
-N, —timestamping не загружать повторно файлы, только если они не новее, чем локальные.
—no-use-server-timestamps не устанавливать метку времени локальному файлу, полученную с сервера.
-S, —server-response вывод ответа сервера.
—spider ничего не загружать.
-T, —timeout=СЕКУНДЫ установка значений всех тайм-аутов в СЕКУНДЫ.
—dns-timeout=СЕК установка тайм-аута поиска в DNS в СЕК.
—connect-timeout=СЕК установка тайм-аута подключения в СЕК.
—read-timeout=СЕК установка тайм-аута чтения в СЕК.
-w, —wait=СЕКУНДЫ пауза в СЕКУНДАХ между загрузками
—waitretry=СЕКУНДЫ пауза в 1..СЕКУНДЫ между повторными попытками загрузки
—random-wait пауза в 0.5*WAIT…1.5*WAIT секунд между загрузками.
—no-proxy явно выключить прокси
-Q, —quota=ЧИСЛО установить величину квоты загрузки в ЧИСЛО
—bind-address=АДРЕС привязать АДРЕС (имя компьютера или IP) локального компьютера
—limit-rate=СКОРОСТЬ ограничить СКОРОСТЬ загрузки
—no-dns-cache отключить кэширования поисковых DNS-запросов
—restrict-file-names=ОС использовать в именах файлов символы, допустимые в ОС
—ignore-case игнорировать регистр при сопоставлении файлов и/или каталогов
-4, —inet4-only подключаться только к адресам IPv4
-6, —inet6-only подключаться только к адресам IPv6
—prefer-family=СЕМЕЙСТВО подключаться сначала к адресам указанного семейства (может быть IPv6, IPv4 или ничего).
—user=ПОЛЬЗОВАТЕЛЬ установить и ftp- и http-пользователя в ПОЛЬЗОВАТЕЛЬ
—password=ПАРОЛЬ установить и ftp- и http-пароль в ПАРОЛЬ
—ask-password запрашивать пароли.
—no-iri выключить поддержку IRI.
—local-encoding=КДР использовать КДР как локальную кодировку для IRI
—remote-encoding=КДР использовать КДР как удалённую кодировку по умолчанию
—unlink удалять файлы перед их повторной закачкой
Каталоги:
-nd, —no-directories не создавать каталоги.
-x, —force-directories принудительно создавать каталоги.
-nH, —no-host-directories не создавать каталоги как на узле.
—protocol-directories использовать имя протокола в каталогах.
-P, —directory-prefix=ПРЕФИКС сохранять файлы в ПРЕФИКС/…
—cut-dirs=ЧИСЛО игнорировать ЧИСЛО компонентов удалённого каталога.
Параметры HTTP:
—http-user=ПОЛЬЗОВ. установить http-пользователя в ПОЛЬЗОВАТЕЛЬ.
—http-password=ПАРОЛЬ установить http-пароль в ПАРОЛЬ.
—no-cache отвергать кэшированные сервером данные.
—default-page=ИМЯ Изменить имя страницы по умолчанию (обычно это «index.html»).
-E, —adjust-extension сохранять документы HTML/CSS с надлежащими расширениями.
—ignore-length игнорировать поле заголовка «Content-Length».
—header=СТРОКА вставить СТРОКУ между заголовками.
—max-redirect максимально допустимое число перенаправлений на страницу.
—proxy-user=ПОЛЬЗОВ. установить ПОЛЬЗОВАТЕЛЯ в качестве имени пользователя для прокси.
—proxy-password=ПАРОЛЬ установить ПАРОЛЬ в качестве пароля для прокси.
—referer=URL включить в HTTP-запрос заголовок «Referer: URL».
—save-headers сохранять HTTP-заголовки в файл.
-U, —user-agent=АГЕНТ идентифицировать себя как АГЕНТ вместо Wget/ВЕРСИЯ.
—no-http-keep-alive отключить поддержание активности HTTP (постоянные подключения).
—no-cookies не использовать кукисы.
—load-cookies=ФАЙЛ загрузить кукисы из ФАЙЛА перед сеансом.
—save-cookies=ФАЙЛ сохранить кукисы в ФАЙЛ после сеанса.
—keep-session-cookies загрузить и сохранить кукисы сеанса (непостоянные).
—post-data=СТРОКА использовать метод POST; отправка СТРОКИ в качестве данных.
—post-file=ФАЙЛ использовать метод POST; отправка содержимого ФАЙЛА.
—content-disposition Учитывать заголовок Content-Disposition при выборе имён для локальных файлов (ЭКСПЕРИМЕНТАЛЬНЫЙ).
—content-on-error выводит описание ошибки полученное с сервера
—auth-no-challenge отправлять информацию об аутентификации
Basic HTTP не дожидаясь первого ответа
сервера.
Параметры HTTPS (SSL/TLS):
—secure-protocol=ПР выбор безопасного протокола: auto, SSLv2, SSLv3 или TLSv1.
—no-check-certificate не проверять сертификат сервера.
—certificate=FILE файл сертификата пользователя.
—certificate-type=ТИП тип сертификата пользователя: PEM или DER.
—private-key=ФАЙЛ файл секретного ключа.
—private-key-type=ТИП тип секретного ключа: PEM или DER.
—ca-certificate=ФАЙЛ файл с набором CA.
—ca-directory=КАТ каталог, в котором хранится список CA.
—random-file=ФАЙЛ файл со случайными данными для SSL PRNG.
—egd-file=ФАЙЛ файл, определяющий сокет EGD со случайными данными.
Параметры FTP:
—ftp-user=ПОЛЬЗОВАТЕЛЬ установить ftp-пользователя в ПОЛЬЗОВАТЕЛЬ.
—ftp-password=ПАРОЛЬ установить ftp-пароль в ПАРОЛЬ.
—no-remove-listing не удалять файлы файлы «.listing».
—no-glob выключить маски для имён файлов FTP.
—no-passive-ftp отключить «пассивный» режим передачи.
—preserve-permissions сохранять права доступа удалённых файлов.
—retr-symlinks при рекурсии загружать файлы по ссылкам (не каталоги).
WARC опции:
—warc-file=FILENAME сохраняет данные запроса/ответа в .warc.gz файл.
—warc-header=STRING вставляет STRING в запись warcinfo.
—warc-max-size=NUMBER устанавливает максимальный размер WARC файла в NUMBER.
—warc-cdx записывает CDX индексный файл.
—warc-dedup=FILENAME не сохранять записи перечисленные в CDX файле.
—no-warc-compression do not compress WARC files with GZIP.
—no-warc-digests do not calculate SHA1 digests.
—no-warc-keep-log do not store the log file in a WARC record.
—warc-tempdir=DIRECTORY расположение временных WARC файлов.
Рекурсивная загрузка:
-r, —recursive включение рекурсивной загрузки.
-l, —level=ЧИСЛО глубина рекурсии (inf и 0 — бесконечность).
—delete-after удалять локальные файлы после загрузки.
-k, —convert-links делать ссылки локальными в загруженном HTML или CSS.
-K, —backup-converted перед преобразованием файла X делать резервную копию X.orig.
-m, —mirror короткий параметр, эквивалентный -N -r -l inf —no-remove-listing.
-p, —page-requisites загрузить все изображения и проч., необходимые для отображения HTML-страницы.
—strict-comments включить строгую (SGML) обработку комментариев HTML.
Разрешения/запреты при рекурсии:
-A, —accept=СПИСОК список разрешённых расширений, разделённых запятыми.
-R, —reject=СПИСОК список запрещённых расширений, разделённых запятыми.
—accept-regex=REGEX regex matching accepted URLs.
—reject-regex=REGEX regex matching rejected URLs.
—regex-type=TYPE regex type (posix).
-D, —domains=СПИСОК список разрешённых доменов, разделённых запятыми.
—exclude-domains=СПИСОК список запрещённых доменов, разделённых запятыми.
—follow-ftp следовать по ссылкам FTP в HTML-документах.
—follow-tags=СПИСОК список используемых тегов HTML, разделённых запятыми.
—ignore-tags=СПИСОК список игнорируемых тегов HTML, разделённых запятыми.
-H, —span-hosts заходить на чужие узлы при рекурсии.
-L, —relative следовать только по относительным ссылкам.
-I, —include-directories=СПИСОК список разрешённых каталогов.
—trust-server-names use the name specified by the redirection url last component.
-X, —exclude-directories=СПИСОК список исключаемых каталогов.
-np, —no-parent не подниматься в родительский каталог.
Сообщения о замеченных ошибках отправляйте по адресу <bug-wget@gnu.org>.
