Автор Тема: Зеркало репозитория rsync  (Прочитано 14610 раз)

Оффлайн him

  • Завсегдатай
  • *
  • Сообщений: 1 032
Зеркало репозитория rsync
« : 21.08.2018 14:11:19 »
Не подскажите, как сделать обновляемое зеркало репозитория p8/branch
через rsync ?

Оффлайн asy

  • alt linux team
  • ***
  • Сообщений: 8 099
Re: Зеркало репозитория rsync
« Ответ #1 : 21.08.2018 14:40:47 »
Вот тут есть кое-что. Но с учётом специфики статьи и некотрого устаревания:
https://www.altlinux.org/Введение_в_сборку_дистрибутивов

Можно ещё на wiki полазить, может ещё где-то есть поновее.

Оффлайн asy

  • alt linux team
  • ***
  • Сообщений: 8 099
Re: Зеркало репозитория rsync
« Ответ #2 : 21.08.2018 14:43:28 »
Вот ещё, но тут про wget, а не rsync: https://www.altlinux.org/Mirroring

Оффлайн him

  • Завсегдатай
  • *
  • Сообщений: 1 032
Re: Зеркало репозитория rsync
« Ответ #3 : 21.08.2018 15:07:45 »
Через rsync почему то тянутся только ссылки.
# ls -l | head -1
lrwxrwxrwx  1 502  502  41  2016 0ad-0.0.20-alt1.src.rpm -> ../../files/SRPMS/0ad-0.0.20-alt1.src.rpm

Оффлайн Skull

  • Глобальный модератор
  • *****
  • Сообщений: 19 908
    • Домашняя страница
    • Email
Re: Зеркало репозитория rsync
« Ответ #4 : 21.08.2018 16:09:34 »
Надо сам бранч тянуть, а не подкаталоги.
Андрей Черепанов (cas@)

Оффлайн Speccyfighter

  • Мастер
  • ***
  • Сообщений: 10 259
Re: Зеркало репозитория rsync
« Ответ #5 : 21.08.2018 20:44:09 »
Раз уж тут затронули
https://www.altlinux.org/Mirroring

Gremlin, а давайте в официальной документации, коей и wiki считается тоже, вы заткнётесь и оставите своё компетентное мнение при себе, о том что должно вымереть и что считать маргинальным:
Цитировать
https://www.altlinux.org/index.php?title=Mirroring&oldid=41687#..._.D0.BA.D0.B0.D1.87.D0.B0.D1.82.D1.8C

Версия от 12:20, 29 марта 2018; Gremlin

В данном примере рассматриваются архитектура x86_64 (x86_32 если еще и не вымерла окончательно, то как минимум может считаться маргинальной) веток p8 и Sisyphus.
« Последнее редактирование: 21.08.2018 21:10:08 от Speccyfighter »

Оффлайн asy

  • alt linux team
  • ***
  • Сообщений: 8 099
Re: Зеркало репозитория rsync
« Ответ #6 : 21.08.2018 21:57:34 »
Gremlin, а давайте в официальной документации, коей и wiki считается тоже, вы заткнётесь и оставите своё компетентное мнение при себе, о том что должно вымереть и что считать маргинальным
Вообще-то c 32-разрядными архитектурами всё достаточно быстро становится совсем плохо.

А ещё это сообщение тут совершенно бессмысленно. Точно так же, как и обращения к разработчикам ядер, и т.п. Ну не посещают некоторые люди этот форум никогда.

Оффлайн Speccyfighter

  • Мастер
  • ***
  • Сообщений: 10 259
Re: Зеркало репозитория rsync
« Ответ #7 : 21.08.2018 22:03:17 »
Gremlin, а давайте в официальной документации, коей и wiki считается тоже, вы заткнётесь и оставите своё компетентное мнение при себе, о том что должно вымереть и что считать маргинальным
Вообще-то c 32-разрядными архитектурами всё достаточно быстро становится совсем плохо.

Это неважно. Документация должна быть нейтральной и должна описывать только функционал. А не собственное мнение.
Да и у себя не вижу чтобы было плохо. Но это тоже не имеет значения в контексте документации.
Поэтому писателям документации, предлагаю или заткнуться и прекратить писать документацию, или начать нормально писать документацию, как того и требует документация.

Вообще-то c 32-разрядными архитектурами всё достаточно быстро становится совсем плохо.

Плохо не 32 бит. Плохо, это когда после Ctrl+c, процесс rsync продолжает висеть и требовать kill.
« Последнее редактирование: 21.08.2018 22:13:58 от Speccyfighter »

Оффлайн YYY

  • Мастер
  • ***
  • Сообщений: 5 950
Re: Зеркало репозитория rsync
« Ответ #8 : 21.08.2018 22:03:38 »
Gremlin, а давайте в официальной документации, коей и wiki считается тоже, вы заткнётесь и оставите своё компетентное мнение при себе, о том что должно вымереть и что считать маргинальным
Вообще-то c 32-разрядными архитектурами всё достаточно быстро становится совсем плохо.

А что плохого то?
Есть, конечно, проприетарный софт или бинарные пакеты только под 64 бита, но далеко не все таким софтом пользуются...
В остальном пока полет нормальный :)

Оффлайн asy

  • alt linux team
  • ***
  • Сообщений: 8 099
Re: Зеркало репозитория rsync
« Ответ #9 : 21.08.2018 22:23:27 »
А что плохого то?
То, что разработчики перестали поддерживать 32-разрядные архитектуры.
Есть, конечно, проприетарный софт или бинарные пакеты только под 64 бита, но далеко не все таким софтом пользуются...
Есть и своботный софт, у которого либо просто функционал ограничен, либо не гарантируется работоспособность, так как никто не проверяет.
« Последнее редактирование: 22.08.2018 08:27:26 от asy »

Оффлайн Speccyfighter

  • Мастер
  • ***
  • Сообщений: 10 259
Re: Зеркало репозитория rsync
« Ответ #10 : 21.08.2018 22:52:58 »
А что плохого то?
То, что люди разработчики поддерживать 32-разрядные архитектуры.

Разрядность платформы к зеркалированию никакого отношения не имеет.
А про то, что маргинальное и кто и что должен закапывать, можно поговорить на форуме и smoking-room в рассылке. Но не в документации к зеркалированию. Это недопустимо в документации. И точка.

Оффлайн asy

  • alt linux team
  • ***
  • Сообщений: 8 099
Re: Зеркало репозитория rsync
« Ответ #11 : 22.08.2018 08:28:41 »
А про то, что маргинальное и кто и что должен закапывать, можно поговорить на форуме и smoking-room в рассылке. Но не в документации к зеркалированию. Это недопустимо в документации. И точка.
Здесь-то это зачем? Можно на wiki поправить.

Оффлайн Speccyfighter

  • Мастер
  • ***
  • Сообщений: 10 259
Re: Зеркало репозитория rsync
« Ответ #12 : 22.08.2018 09:08:58 »
А про то, что маргинальное и кто и что должен закапывать, можно поговорить на форуме и smoking-room в рассылке. Но не в документации к зеркалированию. Это недопустимо в документации. И точка.
Здесь-то это зачем?

Затем, чтобы пользователь понимал, что то что написал Gremlin на wiki, это срач.

Можно на wiki поправить.

Конечно убрал оттуда это откровенное паскудство.

Оффлайн rits

  • Завсегдатай
  • *
  • Сообщений: 1 031
  • ITS
Re: Зеркало репозитория rsync
« Ответ #13 : 22.08.2018 13:33:58 »
... Создание локального зеркала с обновлениями.
- установка скриптовых файлов для создание локального зеркала.
# apt-get install sisyphus-mirror
Конфиг sisyphus-mirror: /etc/sisyphus-mirror/sisyphus-mirror.conf
Месторасположение зеркала: /mnt/diskdata/ftp/ALTLinux

Настроенный конфиг выглядит так:
# cat /etc/sisyphus-mirror/sisyphus-mirror.conf

# source mirror
SRCROOT=rsync://rsync.altlinux.org/ALTLinux
#SRCROOT=rsync://mirror.yandex.ru/altlinux
#SRCROOT=rsync://ibiblio.org/Linux/distributions/altlinux
#SRCROOT=rsync://ftp.linux.kiev.ua/ALTLinux
# distination directory
DESTROOT=/mnt/diskdata/ftp/ALTLinux
# example: we can use sisyphus-mirror for synchronize repos to removable media
#DESTROOT=/media/disk/ALTLinux
# repos for sync
LIST="p8/branch"
#LIST="Sisyphus 4.0/branch updates backports people/shrek"
# architectures for sync
ARCH="noarch i586 x86_64 x86_64-i586 x86_32"
# repos for search hardlinks
#LINK_LIST="Sisyphus p7/branch t7/branch"
LINK_LIST="p8/branch"
# speed limit in Kb/s (--bwlimit=)
#SPEED=512
#SPEED=
# other argumets for rsync
# recommended for non-interactive mode:
ARGS="-rltmvH --delete-delay --delete-excluded --stats"
# recommended for interactive mode:
#ARGS="-rltvhmH --progress --delete-delay --delete-excluded --stats"
#ARGS="-avz -x --stats --delete-after --progress"
# if 1, print output to stdout
INTERACTIVE=0
# temp directory for synchronization
TMPDEST=.new
# backup type - READ README.UTF8
#BACKUP_TYPE=one
#BACKUP_TYPE=snapshots
# directory for backups
#BACKUP_DIR=/var/ftp/ALTLinux/previous-state
#BACKUP_DIR=/var/ftp/ALTLinux/archive
# if you do not want to download some packages, use this file
EXCLUDE_FILE=/etc/sisyphus-mirror/exclude
# this file needed when ARCH variable is used
INCLUDE_FILE=/etc/sisyphus-mirror/include
# directory for custom configs and logs
RSHOME="$HOME/.sisyphus-mirror"
# number of tries
#MAXATTEMPTS=10
# rsync protocol timeout (--timeout)
#TMOUT1=500
# pause between attempts
#TMOUT2=15
# http proxy server with HTTP CONNECT (host:port)
#RSYNC_PROXY=localhost:3128

- создать каталог хранения пакетов обновлений и каталог для лог-файла
# mkdir -p /mnt/diskdata/ftp/ALTLinux
# mkdir -p /var/log/mirror - возможно данный каталог создается программой

- создать каталог для скиптов запуска зеркалирования пакетов по расписанию
# mkdir -p /var/adm/crons

- создать исполняемый файл скрипт
# touch /var/adm/crons/mirror_p8 && chmod +x /var/adm/crons/mirror_p8

- добавить в файл следующие строчки (nano /var/adm/crons/mirror_p8)
# cat /var/adm/crons/mirror_p8

#!/bin/bash
sisyphus-mirror -c /etc/sisyphus-mirror/sisyphus-mirror.conf -L /var/log/mirror



- добавить запуск скрипта в планировщик (crontab -e) (выход из vim ':q', другой редактор планировщика-задать в консоли (export EDITOR=nano)
echo -e "\nEDITOR=\"nano\"\nexport EDITOR" >> /root/.bashrc && export EDITOR="nano"
# crontab -l
#|      hour (0-23),
#|      |       day of the month (1-31),
#|      |       |       month of the year (1-12),
#|      |       |       |       day of the week (0-6 with 0=Sunday).
#|      |       |       |       |       commands
5       3       *       *       *       /bin/bash /var/adm/crons/mirror_p8
 
(незабываем про перевод строки в конце задания в конф-файле планировщика)

Подключить локальный репозиторий,
… доп. информация /etc/apt/sources.list.d/alt.list

- настройка на удаленное зеркало в локальной сети (x64)
rpm [p8] ftp://192.168.1.1/ALTLinux p8/branch/x86_64 classic
rpm [p8] ftp://192.168.1.1/ALTLinux p8/branch/x86_64-i586 classic
rpm [p8] ftp://192.168.1.1/ALTLinux p8/branch/noarch classic

- настройка на зеркало в каталоге на диске (x32)
rpm [p8] file:///mnt/diskdata/ftp/ALTLinux p8/branch/i586 classic
rpm [p8] file:///mnt/diskdata/ftp/ALTLinux p8/branch/noarch classic

Размер каталога с обновлениями p8 32 и 64 - 120ГБ

Оффлайн him

  • Завсегдатай
  • *
  • Сообщений: 1 032
Re: Зеркало репозитория rsync
« Ответ #14 : 22.08.2018 14:19:19 »
Если кому интересно под Freebsd

# cat /root/repo.sh
#!/bin/sh

/usr/local/bin/rsync --timeout=6000 -avlpztc --log-file=/var/log/rsync-p8.log --exclude 'SRPMS' --exclude 'SRPMS.all' --exclude 'SRPMS.classic' --exclude 'i686' --exclude 'x86_64' --exclude 'x86_32' --stats --delete-after --verbose rsync.altlinux.org::ALTLinux/p8/branch /usr/local/www/apache24/data/pub/distributions/ALTLinux/p8

# crontab -l
0 0 * * * /root/repo.sh > /dev/null 2>&1

# cat /etc/newsyslog.conf
...
/var/log/rsync-p8.log root:wheel 600  3     50000  *     JC

Настройки apache почти что по умолчанию.

Размер
# du -sh /usr/local/www/apache24/data/pub
172G /usr/local/www/apache24/data/pub
« Последнее редактирование: 22.08.2018 14:27:26 от him »