Wget
Curl (cURL ) - утилита командной строки для передачи файлов в интернете.
Curl использует URL-синтаксис, поддерживает протоколы FTP, FTPS, HTTP, HTTPS, SCP, SFTP, TFTP, TELNET, DICT, FILE и LDAP; сертификаты SSL, запросы на передачу HTTP POST, HTTP PUT, выгрузку по FTP, HTTP form based upload, прокси, cookies, различные формы аудентификации( схемы Basic, Digest, NTLM, Negotiate, kerberos...), продолжение передачи файла (file transfer resume), прокси-тунеллирование proxy tunneling и множество других опций, которые могут оказаться полезными.
Curl - свободное программное обеспечение с открытыми исходникам. (Open Source/Free Software), с портами под различные операционные системы.
Curl не просто отдельная утилита, на её базе была сделана библиотека для поддержки различных протоколов передачи файлов -libcurl (multiprotocol file transfer library), которая поддерживается для примерно 36 языков программирования.
Wget - утилита командной строки для получения файлов изинтернета.
Wget поддерживает протоколы HTTP, FTP и HTTPS, работу через HTTP прокси-сервер, продолжение передачи файла.
Страницы возможно скачивать как с одного сайта, с определённой глубиной следования по ссылкам, так и с нескольких.
Wget - свободное программное обеспечение с открытыми исходниками (лицензия GNU), с портами под различные операционные системы.
Содержание
[убрать]Примеры использования
Продолжить (-c continue) копирование файла:
wget -c http://example.org/file.iso
Скопировать весь сайт целиком:
wget http://example.org/
Скачать страницу с глубиной следования 10
, записывая протокол в файл log
:
wget -r -l10 http://example.org/ -o log
Скачать содержимое каталога http://example.org/~luzer/my-archive/
и всех его подкаталогов, при этом не поднимаясь по иерархии каталогов выше:
wget -r --no-parent http://example.org/~luzer/my-archive/
Для того чтобы во всех скачанных страницах ссылки преобразовывались в относительные для локального просмотра, необходимо использовать ключ -k
:
wget -r -l10 -k http://example.org/
Также поддерживается идентификация на сервере:
wget --save-cookies cookies.txt \ --post-data 'user=foo&password=bar' \ http://example.org/auth.php
Критика
Как и большинство программ GNU, разработка Wget идёт медленно, многие новые расширения протоколов HTTP, FTP, сценарии JavaScript, и другие функции не поддерживаются..
Наиболее лучшей альтернативой является cURL, а для создания зеркал сайтов обычно используется rsync.
См.также
Ссылки
6 разных GUI для Wget под Windows, Пакет man-pages-ru из ALTLinux, содержащий перевод man-страницы Wget на русский