Переход на p10

[Mr.Madguy]

Написать свой скрипт rsync.

Код: [Выделить]

#!/bin/bash

for REPO in p10/branch Sisyphus p9/branch ; do
    for REPO_ARCH in aarch64 armh noarch x86_64 x86_64-i586 i586 ppc64le; do
mkdir -p $HOME/myhdd/repo/$REPO/$REPO_ARCH/
cd $HOME/myhdd/repo/$REPO/$REPO_ARCH/
pwd
rsync -PaL --delete-after rsync://ftp.altlinux.org/ALTLinux/$REPO/$REPO_ARCH/{base,RPMS.classic,RPMS.gostcrypto} .
    done
done

Путь точно правильный? А то мне кажется вот такой должен быть http://ftp.altlinux.org/pub/distributions/ALTLinux/p10/branch/ А опции -а и -L не взаимоисключающие? --delete не надо? Вот это {base,RPMS.classic,RPMS.gostcrypto} так и должно быть и будет работать или нужно эти каталоги по очереди копировать?

Короче мне бы надо просто ту часть репозитория скопировать, которая нужна для сборки стартеркитов для архитектур i586 и amd64. Мне уже самому надоела эта возня с зеркалами. Каюсь, мне для сборки каждого дистрибутива приходится все качать заново, т.к. место на виртуалке ограничено и кэшировать пакеты не получается. Это занимает много времени и жрет много трафика. Благо я это не часто делаю, а примерно синхронизирую с выходом новых версий Debian, который тоже пересобираю. Пора уже действительно сделать локальное зеркало. Так с закачкой придется пропарится всего один раз, а потом гигабитная сеть между серверами позволит собрать все в разы быстрее.

[Sek]

rsync -avP --delete-after rsync://mirror.yandex.ru/altlinux/p10/branch/ p10/ \
--exclude='aarch64/' --exclude='armh/' --exclude='doc/' \
--exclude='ppc64le/' --exclude='files/SRPMS/' --exclude='files/aarch64/' \
--exclude='files/armh/' --exclude='files/ppc64le/' \
--exclude='*-debuginfo-*' --exclude='*-std-debug-*' --exclude="*SRPMS.classic*"

так пойдёт? p10 для i586 и amd64, без debug-пакетов

[Sek]

> Путь точно правильный? А то мне кажется вот такой должен быть http://ftp.altlinux.org/pub/distributions/ALTLinux/p10/branch/

Правильный, на rsync-сервере именно такой модуль

> А опции -а и -L не взаимоисключающие?

-a, --archive               archive mode; equals -rlptgoD (no -H,-A,-X)

мне вообще нравится эта идея - вместо симлинков таскать сразу файлы, может и себе на зеркале такое сделать.

> --delete не надо?

Там есть delete

> Вот это {base,RPMS.classic,RPMS.gostcrypto} так и должно быть и будет работать или нужно эти каталоги по очереди копировать?

Это так и надо. А вот ненужные архитектуры из     for REPO_ARCH in aarch64 armh noarch x86_64 x86_64-i586 i586 ppc64le; do можно убрать, оставить только нужные, включая noarch

[Mr.Madguy]

rsync -avP --delete-after rsync://mirror.yandex.ru/altlinux/p10/branch/ p10/ \
--exclude='aarch64/' --exclude='armh/' --exclude='doc/' \
--exclude='ppc64le/' --exclude='files/SRPMS/' --exclude='files/aarch64/' \
--exclude='files/armh/' --exclude='files/ppc64le/' \
--exclude='*-debuginfo-*' --exclude='*-std-debug-*' --exclude="*SRPMS.classic*"

так пойдёт? p10 для i586 и amd64, без debug-пакетов

В понедельник буду пробовать. Раньше не заморачивался, т.к. все и так работало, но рано или поздно это нужно было сделать.

[Mr.Madguy]

Я вот что подумал. Хотел то же самое проделать с Debian, но там все сложнее и вроде как частичные зеркала займут более 1Тб (всего 4,5). А с Альтом я хотя бы в 1Тб уложусь? Там ведь для сборки дистрибутива не нужны полные зеркала. Зачем мне так много качать? Может лучше как то правильно настроить кэширование? На виртуалке места вряд ли хватит. Там всего 24Гб. Есть какие то варианты, кроме кэширующего прокси?

[Антон Мидюков]

А с Альтом я хотя бы в 1Тб уложусь?

p10 (x86_64 + noarch) = 60 ГБ

Если rsync'ать ежедневно, будет не так много трафика и времени расходоваться.

[rits]

для встроенного скрипта параметры и результат:

# sed -e '/^#/d' -e '/^$/d' /etc/sisyphus-mirror/sisyphus-mirror_p10.conf

Код: [Выделить]

SRCROOT=rsync://rsync.altlinux.org/ALTLinux
DESTROOT=/mnt/diskdata/ftp/AltLinux10
LIST="p10/branch"
ARCH="noarch i586 x86_64 x86_64-i586 x86_32"
LINK_LIST="p10/branch"
ARGS="-rltmvH --delete-delay --delete-excluded --stats"
INTERACTIVE=0
TMPDEST=.new
EXCLUDE_FILE=/etc/sisyphus-mirror/exclude
INCLUDE_FILE=/etc/sisyphus-mirror/include
RSHOME="$HOME/.sisyphus-mirror"
запуск
# sisyphus-mirror -c /etc/sisyphus-mirror/sisyphus-mirror_p10.conf -L /var/log

сколько закачено
# du -hd1 /mnt/diskdata/ftp/AltLinux10/p10/branch/

Код: [Выделить]

56M /mnt/diskdata/ftp/AltLinux10/p10/branch/x86_64-i586
278M /mnt/diskdata/ftp/AltLinux10/p10/branch/x86_64
508M /mnt/diskdata/ftp/AltLinux10/p10/branch/noarch
220M /mnt/diskdata/ftp/AltLinux10/p10/branch/i586
161G /mnt/diskdata/ftp/AltLinux10/p10/branch/files
162G /mnt/diskdata/ftp/AltLinux10/p10/branch/
# rpm -ql sisyphus-mirror

Код: [Выделить]

/etc/control.d/facilities/sisyphus-mirror-srpms
/etc/sisyphus-mirror
/etc/sisyphus-mirror/exclude
/etc/sisyphus-mirror/include
/etc/sisyphus-mirror/sisyphus-mirror.conf
/usr/bin/sisyphus-mirror
/usr/share/doc/sisyphus-mirror-0.8.5
/usr/share/doc/sisyphus-mirror-0.8.5/AUTHORS
/usr/share/doc/sisyphus-mirror-0.8.5/README.UTF8
# apt-repo

Код: [Выделить]

rpm [p10] file:///mnt/diskdata/ftp/AltLinux10 p10/branch/x86_64 classic
rpm [p10] file:///mnt/diskdata/ftp/AltLinux10 p10/branch/x86_64-i586 classic
rpm [p10] file:///mnt/diskdata/ftp/AltLinux10 p10/branch/noarch classic

[Sek]

Я вот что подумал. Хотел то же самое проделать с Debian, но там все сложнее и вроде как частичные зеркала займут более 1Тб (всего 4,5). А с Альтом я хотя бы в 1Тб уложусь? Там ведь для сборки дистрибутива не нужны полные зеркала. Зачем мне так много качать? Может лучше как то правильно настроить кэширование? На виртуалке места вряд ли хватит. Там всего 24Гб. Есть какие то варианты, кроме кэширующего прокси?

У меня на одном hdd на 500 гб полный debian stable+backports+testing+sid+experimental, с debug-пакетами, с исходниками, для i386+amd64

stable+bp+testing+sid+exp без debug-пакетов и исходников гигов 200 займёт для i386+amd64

на другом hdd на 500 гб sisyphus, p10, p9, autoports и autoimports для них i586+amd64; p8, p7, p6 с ap и ai для i586, сырцы p10 и гигов на 100 разных исошников для всего этого добра, ну и свободно ещё гигов 50

sisyphus + p10, с хардлинками на идентичные файлы, займёт в районе 100 гб, автоимпорты ещё гигов 15

[Mr.Madguy]

У меня на одном hdd на 500 гб полный debian stable+backports+testing+sid+experimental, с debug-пакетами, с исходниками, для i386+amd64

stable+bp+testing+sid+exp без debug-пакетов и исходников гигов 200 займёт для i386+amd64

на другом hdd на 500 гб sisyphus, p10, p9, autoports и autoimports для них i586+amd64; p8, p7, p6 с ap и ai для i586, сырцы p10 и гигов на 100 разных исошников для всего этого добра, ну и свободно ещё гигов 50

sisyphus + p10, с хардлинками на идентичные файлы, займёт в районе 100 гб, автоимпорты ещё гигов 15

Ну значит вот тут какая то завышенная информация, которая содержит много того, что мне не нужно.

[Mr.Madguy]

Вроде получается. Качать правда все это я буду очень долго. Сейчас скачалось около 20к из 127к. Но хорошо, что при обрыве связи начинает с того же места, а не сначала. Но при этом rsync просто зависает. Приходится постоянно следить за закачкой и тратить время на достаточно долгую процедуру перезагрузки списка файлов. Можно что то с этим сделать? Почему не предусмотрены повторные попытки или хотя бы пропуск проблемных файлов?

У меня на одном hdd на 500 гб полный debian stable+backports+testing+sid+experimental, с debug-пакетами, с исходниками, для i386+amd64

stable+bp+testing+sid+exp без debug-пакетов и исходников гигов 200 займёт для i386+amd64

на другом hdd на 500 гб sisyphus, p10, p9, autoports и autoimports для них i586+amd64; p8, p7, p6 с ap и ai для i586, сырцы p10 и гигов на 100 разных исошников для всего этого добра, ну и свободно ещё гигов 50

sisyphus + p10, с хардлинками на идентичные файлы, займёт в районе 100 гб, автоимпорты ещё гигов 15

Я обнаружил страшную правду. Всегда думал, что на сервере диски по 1Тб, а оказалось что по 2. Ставил давно, Linux особо размерами дисков нигде не светит, просто уже забыл об этом. Хорошо бы еще для Debian так же зеркало сделать, чтобы хотя бы Live сборки i386 и amd64 собирать. Главное разобраться, какие для этого нужны репозитории и как правильно пользоваться этими apt-mirror, ftpsync и debmirror. И там вроде как надо еще подписать свой репозиторий или это не обязательно?

P.S. О, да, 100Мб/с. Выкачивает весь дистр за считанные секунды. Мне такой подход на самом деле очень нравится, т.к. теперь у меня есть жесткий снапшот репозиториев и мне не придется парится из за того, что если я не успею быстро пересобрать дистры, то какие-то пакеты могут за это время успеть обновиться.

[Mr.Madguy]

Можно вопрос по теме, но не касательно Альта? С Альтом все получилось. Но раз пошла такая пьянка, я сейчас качаю зеркало Debian и у меня возник вопрос по конфигурированию репозиториев в lb-config. Там есть основной репозиторий и репозиторий security. Оба надо указать. В документации не нашел ничего по поводу того, надо ли делать зеркало security и как его правильно сделать. Может кто подскажет?

[Sek]

пользоваться этими apt-mirror, ftpsync и debmirror. И там вроде как надо еще подписать свой репозиторий или это не обязательно?

ключи оно само из репа возьмёт. я вот так зеркалирую, пример для sid:

#!/bin/bash -x

#DEBIANMIRROR=mirror.mephi.ru
#DEBIANMIRROR=127.0.0.1:8000
#DEBIANMIRROR=ftp.de.debian.org
#DEBIANMIRROR=mirror.yandex.ru
DEBIANMIRROR=cdimage.debian.org

#CLEANUP=precleanup
#CLEANUP=nocleanup
CLEANUP=postcleanup

SECTIONS=sid

SC=main,contrib,non-free,main/debian-installer
#SC=main,contrib,non-free

/usr/bin/debmirror --host=$DEBIANMIRROR \
--root=/debian/ --method=http --passive --rsync-extra=none  \
--$CLEANUP --i18n --nosource --progress --verbose --getcontents \
--dist=$SECTIONS --ignore='main/installer-' \
--diff=none --ignore-release-gpg --section $SC \
--ignore-small-errors \
--exclude='-dbg_' --exclude='-dbg-' --exclude='kfreebsd-image' --exclude='-dbgsym' --include='libc6-dbg' --include='libc-dbg' --include='valgrind-dbg' \
--include='ubuntu-dbgsym-keyring' --include='libgcc1-dbg'  \
--arch=i386,amd64 debian


debmirror, кстати, есть и в альте. и на удивление (иногда что-нибудь ломают, и дебмиррор не работает) рабочий, я и из альта дебиан миррорю

[Sek]

Оба надо указать. В документации не нашел ничего по поводу того, надо ли делать зеркало security и как его правильно сделать. Может кто подскажет?

Если stable-updates и stable-proposed-updates зеркалируются, то security, в принципе, не нужен

[Mr.Madguy]

Если stable-updates и stable-proposed-updates зеркалируются, то security, в принципе, не нужен

Они по умолчанию зеркалируются или где то указать надо? И если зеркалируются, то security можно указать тот же, что и основной? Смысл ведь в том, что если оставить security по дефолту, оно же будет ломиться на security.debian.org и проблемы с нестабильным интернетом никуда не денутся. Может лучше создать отдельное зеркало?

[Sek]

я не знаю, что такое "по умолчанию". в моём скрипте это было бы так

SECTIONS=bullseye,bullseye-updates,bullseye-proposed-updates

можно в dists посмотреть, что назеркалировалось

при наличии proposed-updates смысла в зеркалировании security особого нет, просто прописать в sources.list

deb file:///ftp/debian bookworm main contrib non-free
deb file:///ftp/debian bookworm-updates main contrib non-free
deb file:///ftp/debian bookworm-proposed-updates main contrib non-free