Автор Тема: Параметры wget для зеркалирования  (Прочитано 1426 раз)

dmitriy.konovalenko.perm

  • Гость
Всем привет!
Пытаюсь создать локальное зеркало p7 на жестком диске. Использую для этого:
wget --no-parent -l 0 -m Зеркалирую с ftp://mirror.yandex.ru Все идет хорошо. Но вот беда. В каталогах arm и подобных есть куча симлинков, которые wget игнорируются и вместо них качаются файлы, куда эти симлинки ведут. Какой ключ нужно указать, чтобы wget качал симлинки, а не сами пакеты?
И сразу такой вопрос - почему ftp что яндекса, что альтов регулярно обрезают закачку пакетов и приходится ждать, пока снова возобновится?
« Последнее редактирование: 05.01.2017 17:03:31 от dmitriy.konovalenko.perm »

Оффлайн Skull

  • Глобальный модератор
  • *****
  • Сообщений: 20 194
    • Домашняя страница
Re: Параметры wget для зеркалирования
« Ответ #1 : 05.01.2017 18:26:01 »
Потому что ftp.
Андрей Черепанов (cas@)

dmitriy.konovalenko.perm

  • Гость
Re: Параметры wget для зеркалирования
« Ответ #2 : 05.01.2017 19:04:35 »
Потому что ftp.
И что? FTP  настолько старый, не стильный и не молодежный протокол, что на его поддержку можно забить? И сейчас модно зеркалирование только через rsync делать? Или может уважаемый Skull подскажет как получить симлинки, используя http? А заодно и опции wget, чтобы копировались они, а не пакеты? Я пока нашел только одно решение - ftp-клиент, встроенный в mc. Видимо, им и придется пользоваться. Но буду рад, если кто-нибудь поможет с wget.
Ну и любопытства ради.) Почему сервера что яндекса, что альтов регулярно обрезают коннект и приходится докачивать, если используется ftp? И кто-нибудь расскажет, зачем понадобилось делать симлинки в куче каталогов ( а еще и часть пакетов туда ложить), а сами пакеты размещать в той же структуре папок, но уже внутри files?
« Последнее редактирование: 05.01.2017 19:08:57 от dmitriy.konovalenko.perm »

Оффлайн Skull

  • Глобальный модератор
  • *****
  • Сообщений: 20 194
    • Домашняя страница
Re: Параметры wget для зеркалирования
« Ответ #3 : 05.01.2017 19:16:28 »
В рассылке devel@ обсуждалось, как использовать ftp в эпоху seccomp.
Андрей Черепанов (cas@)

dmitriy.konovalenko.perm

  • Гость
Re: Параметры wget для зеркалирования
« Ответ #4 : 05.01.2017 19:38:17 »
В рассылке devel@ обсуждалось, как использовать ftp в эпоху seccomp.
Т.е. вместо помощи мне сейчас поднимать архив @devel, там запускать поиск по ключевым словам и разбираться в очередном творении Гугла и Торвальдса? Спасибо. Помогли. Может, лучше тут объяснить и показать, чтобы и другие могли почитать, а на тему могли сослаться в будущем, когда будут аналогичные вопросы?

Оффлайн Skull

  • Глобальный модератор
  • *****
  • Сообщений: 20 194
    • Домашняя страница
Re: Параметры wget для зеркалирования
« Ответ #5 : 05.01.2017 22:35:47 »
Не возмущаетесь, пожалуйста. Я с телефона вряд ли смогу быстро найти ответ. Ключевые слова, которые всплывали в этой связи, я припомнил.
А что мешает, как и остальным зеркальщикам, использовать rsync?
Андрей Черепанов (cas@)

Оффлайн gvy

  • alt linux team
  • ***
  • Сообщений: 1 011
    • Альт на Эльбрусе
Re: Параметры wget для зеркалирования
« Ответ #6 : 05.01.2017 23:41:48 »
Оставьте ftp в покое, для зеркалирования он подходит разве что не настолько плохо, как http.  Берите rsync и пакет sisyphus-mirror, если неохота громоздить заново.

Говорю в т.ч. как поддерживавший бывший ftp.linux.kiev.ua и имеющий привычку организовывать при рабочем месте зеркало альта. :)

PS: если очень зудит именно ftp, лучше смотреть в сторону lftp, чем wget -- он лучше умеет mirror (и, что может быть неожиданно, тоже умеет http).  Но по сравнению с rsync это всё страдания.
« Последнее редактирование: 05.01.2017 23:45:12 от gvy »
--
Michael Shigorin | ALT Linux Team | ANNA-News | Сделано у нас | altlinux.org/эльбрус

dango

  • Гость
Re: Параметры wget для зеркалирования
« Ответ #7 : 06.01.2017 07:53:30 »
Берите rsync и пакет sisyphus-mirror, если неохота громоздить заново.
В самом деле, sisyphus-mirror позволяет без заморочек организовать зеркала нужных репозиториев.

dmitriy.konovalenko.perm

  • Гость
Re: Параметры wget для зеркалирования
« Ответ #8 : 06.01.2017 09:47:33 »
Всем спасибо за ответы и за терпение.) Приношу извинения, если кого-то задело. Но разобраться в этом вопросе нужно. И разработать что-то более универсальное, чем привязка к нашему дистрибутиву. Михаил упомянул про lftp. Попробовал. Оказалось, что он гораздо лучше работает с симлинками, чем wget. Все замечательно скопировалось. Дабы опыт не пропадал. Даже такой простой. Имеет смысл создать инструкцию для всех, кто заглянет в эту тему в будущем. Чуть позже напишу ее тут и помечу тему как решенную.

Оффлайн gvy

  • alt linux team
  • ***
  • Сообщений: 1 011
    • Альт на Эльбрусе
Re: Параметры wget для зеркалирования
« Ответ #9 : 06.01.2017 10:18:49 »
Лучше фиксировать на вики -- там соотношение архив/поток совсем другое, чем у форума.  Рад, что пригодилось :)
--
Michael Shigorin | ALT Linux Team | ANNA-News | Сделано у нас | altlinux.org/эльбрус