Голосование

Чем предпочитаете качать из интернета?

wget
не wget

Автор Тема: wget Общие вопросы скачек, закачки и докачек.  (Прочитано 16052 раз)

Оффлайн temazorin

  • Завсегдатай
  • *
  • Сообщений: 180
  • Это я.
    • www.denzor.ru
    • Email
Re: Менеджер закачек для Simply Linux
« Ответ #30 : 05.12.2009 09:43:06 »
Дополнение к Firefox, Называется DownThemAll! ;)
А с Chromium оно работает?  ;) А то я удолил Firefox совсем.
Я всё могу, но не всего мне хочется.

Оффлайн Revo

  • Завсегдатай
  • *
  • Сообщений: 663
  • back'up придумали трусы
Re: Менеджер закачек для Simply Linux
« Ответ #31 : 05.12.2009 10:00:36 »
Дополнение к Firefox, Называется DownThemAll! ;)
А с Chromium оно работает?  ;) А то я удолил Firefox совсем.
нет конечно :D
ALT Linux 5.0 Desktop beta, Sisyphus , KDE4, ядро 2.6.27- Адская смесь!

Drool

  • Гость
Re: Менеджер закачек для Simply Linux
« Ответ #32 : 05.12.2009 13:20:59 »
* Drool чешет затылок - на работе оставленный на ночь Chromium вытащил 1,4 гектарный фильм.

P.S. На что только не идут люди, абы не пользоваться wget-ом.

Оффлайн dormidont3

  • Завсегдатай
  • *
  • Сообщений: 703
    • ФотоШоу
    • Email
Чем скачать сайт
« Ответ #33 : 15.02.2010 20:22:58 »
Подскажите. Есть ли в линуксе прога, которой можно выкачать небольшой сайтик для дальнейшего просмотра его в оффлайне?
У меня есть свой сайт на народе и его необходимо продемонстрировать там, где нет интернета...

Оффлайн ps1h

  • Завсегдатай
  • *
  • Сообщений: 418
    • Нихрена не работает!
Re: Чем скачать сайт
« Ответ #34 : 15.02.2010 20:43:02 »
даввно когда пользовался вот этим

lx001

  • Гость
Re: Чем скачать сайт
« Ответ #35 : 15.02.2010 21:53:09 »
wget -r -p -k http://site.narod.ru/ ?

Оффлайн ruslandh

  • Поспешай не торопясь !
  • Модератор глобальный
  • *****
  • Сообщений: 32 246
  • Учиться .... Телепатами не рождаются, ими ....
    • Email
Re: Чем скачать сайт
« Ответ #36 : 15.02.2010 23:04:07 »
$ apt-cache search  httrac
httrack - An easy-to-use offline browser utility
libhttrack - Shared library for HTTrack
libhttrack-devel - Development files for HTTrack
libhttrack-devel-static - Static libraries for HTTrack
webhttrack - Offline browser - httrack and htsserver frontend

Оффлайн МИНЗДРАВ

  • Странник_
  • *
  • Сообщений: 3 045
  • ALWK8 х64 Branch sysd & server-light_1.9.3sysV noX
    • http://yx-kak.ru/linux.htm
Re: Закачка с помощью wget [решено]
« Ответ #37 : 10.09.2010 20:17:11 »
А как можно скачать все pdf файлы со всех поддоменов домена www-01.ibm.com ?
Напишите пожалуйста пример кода?

Оффлайн SuperVisor

  • Завсегдатай
  • *
  • Сообщений: 778
  • разочарован в KDE
Re: Закачка с помощью wget [решено]
« Ответ #38 : 10.09.2010 22:23:43 »
Пойдет без прокси
wget --no-proxy http://example.ruПойдет через указанный прокси
export http_proxy="http://PROXY:PORT"
wget http://example.ru
Про скачку ПДФ не понял. Если есть доступ по FTP, то проблемы вообще не вижу, если по HTTP, то нужны ссылки.
Допустим, на странице http://www-01.ibm.com/index.html есть ссылки на другие страницы, на которых в свою очередь есть ссылки на сами PDF файлы. Тогда можно попробовать следующее:
wget -r -A *.pdf http://www-01.ibm.com/index.htmlВ общем, man wget Вам в помощь


Оффлайн МИНЗДРАВ

  • Странник_
  • *
  • Сообщений: 3 045
  • ALWK8 х64 Branch sysd & server-light_1.9.3sysV noX
    • http://yx-kak.ru/linux.htm
Re: Закачка с помощью wget [решено]
« Ответ #39 : 11.09.2010 14:01:59 »
Тогда можно попробовать следующее:
wget -r -A *.pdf http://www-01.ibm.com/index.html
Чтото не получается:
[apt3@localhost _UP]$ wget -r -A *.pdf http://www-01.ibm.com/index.html
--2010-09-11 09:37:14--  http://2009_ibm2-1.pdf/
Распознаётся 2009_ibm2-1.pdf... сбой: Имя или служба не известны.
wget: невозможно распознать адрес `2009_ibm2-1.pdf'
--2010-09-11 09:37:14--  http://banking_2009.pdf/
Распознаётся banking_2009.pdf... сбой: Имя или служба не известны.
wget: невозможно распознать адрес `banking_2009.pdf'
--2010-09-11 09:37:14--  http://catalogue.pdf/
Распознаётся catalogue.pdf... сбой: Имя или служба не известны.
wget: невозможно распознать адрес `catalogue.pdf'
--2010-09-11 09:37:15--  http://energetic_final2.pdf/
Распознаётся energetic_final2.pdf... сбой: Имя или служба не известны.
wget: невозможно распознать адрес `energetic_final2.pdf'
--2010-09-11 09:37:15--  http://government_s7.pdf/
Распознаётся government_s7.pdf... сбой: Имя или служба не известны.
wget: невозможно распознать адрес `government_s7.pdf'
--2010-09-11 09:37:15--  http://ibm1_09.pdf/
Распознаётся ibm1_09.pdf... сбой: Имя или служба не известны.
wget: невозможно распознать адрес `ibm1_09.pdf'
--2010-09-11 09:37:15--  http://ibm_1.pdf/
Распознаётся ibm_1.pdf... сбой: Имя или служба не известны.
wget: невозможно распознать адрес `ibm_1.pdf'
--2010-09-11 09:37:16--  http://ibm2_08.pdf/
Распознаётся ibm2_08.pdf... сбой: Имя или служба не известны.
wget: невозможно распознать адрес `ibm2_08.pdf'
--2010-09-11 09:37:16--  http://ibm_2_2009.pdf/
Распознаётся ibm_2_2009.pdf... сбой: Имя или служба не известны.
wget: невозможно распознать адрес `ibm_2_2009.pdf'
--2010-09-11 09:37:16--  http://ibm_2.pdf/
Распознаётся ibm_2.pdf... сбой: Имя или служба не известны.
wget: невозможно распознать адрес `ibm_2.pdf'
--2010-09-11 09:37:16--  http://ibm3_08_fin.pdf/
Распознаётся ibm3_08_fin.pdf... сбой: Имя или служба не известны.
wget: невозможно распознать адрес `ibm3_08_fin.pdf'
--2010-09-11 09:37:16--  http://ibm4_08.pdf/
Распознаётся ibm4_08.pdf... сбой: Имя или служба не известны.
wget: невозможно распознать адрес `ibm4_08.pdf'
--2010-09-11 09:37:17--  http://ibm4.pdf/
Распознаётся ibm4.pdf... сбой: Имя или служба не известны.
wget: невозможно распознать адрес `ibm4.pdf'
--2010-09-11 09:37:17--  http://ibm_system_storage_products_solutions.pdf/
Распознаётся ibm_system_storage_products_solutions.pdf... сбой: Имя или служба не известны.
wget: невозможно распознать адрес `ibm_system_storage_products_solutions.pdf'
--2010-09-11 09:37:17--  http://initiatives_for_educational_institutions.pdf/
Распознаётся initiatives_for_educational_institutions.pdf... сбой: Имя или служба не известны.
wget: невозможно распознать адрес `initiatives_for_educational_institutions.pdf'
--2010-09-11 09:37:18--  http://innovations1.pdf/
Распознаётся innovations1.pdf... сбой: Имя или служба не известны.
wget: невозможно распознать адрес `innovations1.pdf'
--2010-09-11 09:37:18--  http://isv_solutions.pdf/
Распознаётся isv_solutions.pdf... сбой: Имя или служба не известны.
wget: невозможно распознать адрес `isv_solutions.pdf'
--2010-09-11 09:37:18--  http://mainframe_largescale_book.pdf/
Распознаётся mainframe_largescale_book.pdf... сбой: Имя или служба не известны.
wget: невозможно распознать адрес `mainframe_largescale_book.pdf'
--2010-09-11 09:37:18--  http://mainframe_zos_book.pdf/
Распознаётся mainframe_zos_book.pdf... сбой: Имя или служба не известны.
wget: невозможно распознать адрес `mainframe_zos_book.pdf'
--2010-09-11 09:37:19--  http://manage_exponential_information_growth_and_costs_with_archiving_and_retention_solutions.pdf/
Распознаётся manage_exponential_information_growth_and_costs_with_archiving_and_retention_solutions.pdf... сбой: Имя или служба не известны.
wget: невозможно распознать адрес `manage_exponential_information_growth_and_costs_with_archiving_and_retention_solutions.pdf'
--2010-09-11 09:37:19--  http://neftegaz_new.pdf/
Распознаётся neftegaz_new.pdf... сбой: Имя или служба не известны.
wget: невозможно распознать адрес `neftegaz_new.pdf'
--2010-09-11 09:37:19--  http://retail7.pdf/
Распознаётся retail7.pdf... сбой: Имя или служба не известны.
wget: невозможно распознать адрес `retail7.pdf'
--2010-09-11 09:37:19--  http://s9.pdf/
Распознаётся s9.pdf... сбой: Имя или служба не известны.
wget: невозможно распознать адрес `s9.pdf'
--2010-09-11 09:37:19--  http://smarter-work-brochure-rus.pdf/
Распознаётся smarter-work-brochure-rus.pdf... сбой: Имя или служба не известны.
wget: невозможно распознать адрес `smarter-work-brochure-rus.pdf'
--2010-09-11 09:37:20--  http://smart-work.pdf/
Распознаётся smart-work.pdf... сбой: Имя или служба не известны.
wget: невозможно распознать адрес `smart-work.pdf'
--2010-09-11 09:37:20--  http://soa_overview_brief.pdf/
Распознаётся soa_overview_brief.pdf... сбой: Имя или служба не известны.
wget: невозможно распознать адрес `soa_overview_brief.pdf'
--2010-09-11 09:37:20--  http://spb03001ru.pdf/
Распознаётся spb03001ru.pdf... сбой: Имя или служба не известны.
wget: невозможно распознать адрес `spb03001ru.pdf'
--2010-09-11 09:37:21--  http://storage_ds_for_automotive.pdf/
Распознаётся storage_ds_for_automotive.pdf... сбой: Имя или служба не известны.
wget: невозможно распознать адрес `storage_ds_for_automotive.pdf'
--2010-09-11 09:37:21--  http://sup.pdf/
Распознаётся sup.pdf... сбой: Имя или служба не известны.
wget: невозможно распознать адрес `sup.pdf'
--2010-09-11 09:37:21--  http://swb.pdf/
Распознаётся swb.pdf... сбой: Имя или служба не известны.
wget: невозможно распознать адрес `swb.pdf'
--2010-09-11 09:37:21--  http://systems_ru_storage_disk_ds_ds3200_express_hr.pdf/
Распознаётся systems_ru_storage_disk_ds_ds3200_express_hr.pdf... сбой: Имя или служба не известны.
wget: невозможно распознать адрес `systems_ru_storage_disk_ds_ds3200_express_hr.pdf'
--2010-09-11 09:37:22--  http://systems_ru_storage_disk__meeting_storage_needs_of_smb_hr.pdf/
Распознаётся systems_ru_storage_disk__meeting_storage_needs_of_smb_hr.pdf... сбой: Имя или служба не известны.
wget: невозможно распознать адрес `systems_ru_storage_disk__meeting_storage_needs_of_smb_hr.pdf'
--2010-09-11 09:37:22--  http://system_z6_new.pdf/
Распознаётся system_z6_new.pdf... сбой: Имя или служба не известны.
wget: невозможно распознать адрес `system_z6_new.pdf'
--2010-09-11 09:37:22--  http://telco_new.pdf/
Распознаётся telco_new.pdf... сбой: Имя или служба не известны.
wget: невозможно распознать адрес `telco_new.pdf'
--2010-09-11 09:37:22--  http://xbrand_2009_2010.pdf/
Распознаётся xbrand_2009_2010.pdf... сбой: Имя или служба не известны.
wget: невозможно распознать адрес `xbrand_2009_2010.pdf'
--2010-09-11 09:37:23--  http://www-01.ibm.com/index.html
Распознаётся www-01.ibm.com... 129.33.205.80
Устанавливается соединение с www-01.ibm.com|129.33.205.80|:80... соединение установлено.
Запрос HTTP послан, ожидается ответ... 400 Bad Request
2010-09-11 09:37:24 ОШИБКА 400: Bad Request.

[apt3@localhost _UP]$
Не подскажите в чём причина?
« Последнее редактирование: 07.01.2011 11:42:40 от МИНЗДРАВ »

Оффлайн SuperVisor

  • Завсегдатай
  • *
  • Сообщений: 778
  • разочарован в KDE
Re: Закачка с помощью wget [решено]
« Ответ #40 : 12.09.2010 09:20:48 »
странно
home@home:/tmp$ wget -r -A *.pdf http://www-01.ibm.com/index.html
--2010-09-12 13:10:51--  http://www-01.ibm.com/index.html
Устанавливается соединение с 10.8.0.1:8080... соединились.
Запрос Proxy послан, ожидание ответа... 400 Bad Request
2010-09-12 13:10:52 ОШИБКА 400: Bad Request.
попробуйте wget с ключом -B

Выдержка из man wget
Цитировать
-B URL
       --base=URL
           Resolves relative links using URL as the point of reference, when
           reading links from an HTML file specified via the -i/--input-file
           option (together with --force-html, or when the input file was
           fetched remotely from a server describing it as HTML). This is
           equivalent to the presence of a "BASE" tag in the HTML input file,
           with URL as the value for the "href" attribute.

           For instance, if you specify http://foo/bar/a.html for URL, and
           Wget reads ../baz/b.html from the input file, it would be resolved
           to http://foo/baz/b.html.

Оффлайн Alex_Fedor_Const

  • Начинающий
  • *
  • Сообщений: 1
Мужики, надо скачать файлы с сайта. Пишу строку:

wget -r -l1 -nd -k -np -A"*_eur_sell_units.xls" --no-check-certificate "https://www.atsenergo.ru/reporting/public/eur/carana_sell_units/20130714/" -P "G:/Downloads/"

Где имею ввиду:
-r -рекурсивная закачка
-l1 - пройти только в папке на 1 уровень
-nd -убрать все директории
-k - преобразовать ссылки
-np - не подниматься в папку выше
-A"*_eur_sell_units.xls" - скачать 
--no-check-certificate - не проверять сертификат при защищенном соединении
-P "G:/Downloads/" - путь для скачивания

Скачивается всякая мелкомоторка. Такое ощущение что не отрабатывают -np и -A"*_eur_sell_units.xls". Пробовал по всякому: и -А.xls, и -A".xls". Но все равно не качате то что надо(не .xls). Помогите пожалуйста.

Оффлайн andrew_b

  • Завсегдатай
  • *
  • Сообщений: 534
Такое ощущение что не отрабатывают -np и -A"*_eur_sell_units.xls"
Звёздочку раскрывает shell и до wget она не доходит. Попробуйте одинарные кавычки.

Оффлайн rits

  • Завсегдатай
  • *
  • Сообщений: 1 031
  • ITS
На сайте хакера статейка появилась https://xakep.ru/2016/07/07/wget/
Большинство популярных дистрибутивов Linux по-прежнему распространяет уязвимую версию утилиты Wget, при помощи которой злоумышленники могут удалённо загрузить и исполнить вредоносный код. Это происходит несмотря на то, что разработчики Wget исправили ошибку почти месяц назад.

С тех пор прошёл почти целый месяц, но создатели многих дистрибутивов Linux так и не отреагировали на обновление.
Исключение составляют Ubuntu и Arch Linux, которые исправили Wget быстрее всех. С остальными дистрибутивами всё плохо. Новый Wget включён только в нестабильную ветвь Debian, стабильная же пока обходится уязвимой версией утилиты. В Red Hat обновления пока нет вовсе, и уже известно, что в пятой и шестой версии дистрибутива его и не будет. На улучшение ситуации стоит надеяться только пользователям Red Hat 7.x.


В p7-кентавр 1.15, а в p8 startkit-server 1.18 (apt-cache show wget). В p7 обновление ожидается?
Вот злодеи, не хотят интересоваться отечественными разработками, все еще до сих пор гейропе в рот смотрят: альт уже обновился оказывается.

Инфлэйм

  • Гость
В p7 обновление ожидается?
это наверное лучше бы в багзилле запостить тем, кто на р7. (Или может быть в личку к Михаилу Шигорину  aka gvy - он мейнтейнер пакета)
В р8 таки да,
 $ rpm -qa wget
wget-1.18-alt1
« Последнее редактирование: 08.07.2016 16:25:58 от Инфлэйм »