Зеркало клубного репозитория

[sb]

Небольшой оффтоп. Костя, сколько всего там клубные репы весят, можешь сказать ?

[kostyalamer]

Небольшой оффтоп. Костя, сколько всего там клубные репы весят, можешь сказать ?

Зашел в панель управления сайтом, показывает  :  2847.15 / 20000 MB  Под сайт практически ничего не занято, все остальное под наши репы. Стало интересно посчитал у себя на компе получилось около 2.9 Гб.
Да , самая большая из этих реп Юрина школьная репа для p5 -    1.5 Гб

[sb]

Небольшой оффтоп. Костя, сколько всего там клубные репы весят, можешь сказать ?

Зашел в панель управления сайтом, показывает  :  2847.15 / 20000 MB  Под сайт практически ничего не занято, все остальное под наши репы. Стало интересно посчитал у себя на компе получилось около 2.9 Гб.
Да , самая большая из этих реп Юрина школьная репа для p5 -    1.5 Гб

Ага. Подумаю насчёт сделать зеркало, правда скорость будет не ахти какая и без параллельной загрузки (только по одному пакету).

[kostyalamer]

Ага. Подумаю насчёт сделать зеркало, правда скорость будет не ахти какая и без параллельной загрузки (только по одному пакету).

Хорошее дело, давай. В принципе я могу начать дублировать куда-то на этот форум тему :
http://forum.russ2.com/index.php?showtopic=2724&pid=42862&st=420&#entry42862 когда буду заливать пакеты,
а ты тогда будешь знать когда эту репу зеркалить, ну и естественно на клубном сайте и в вики повесим на нее ссылки - одна репа хорошо а две лучше . Кстати из последнего, твоя сборка кодеков для mplayer-а уехала в нашу p7/t7 репу.

[sb]

Хорошее дело, давай. В принципе я могу начать дублировать куда-то на этот форум тему :http://forum.russ2.com/index.php?showtopic=2724&pid=42862&st=420&#entry42862 когда буду заливать пакеты,

Думаю, что в этом нет особой необходимости, зеркалится будет по расписанию. Может придумаю какой-нибудь скрипт для зеркалирования по http протоколу, чтобы не перекачивать то, что уже есть в наличии.

[sb]

Кстати из последнего, твоя сборка кодеков для mplayer-а уехала в нашу p7/t7 репу.

Пакет, кстати, универсальный и подойдёт для любой репы, начиная с 4.1, я думаю.

[sb]

Хорошее дело, давай. В принципе я могу начать дублировать куда-то на этот форум тему :http://forum.russ2.com/index.php?showtopic=2724&pid=42862&st=420&#entry42862 когда буду заливать пакеты,

Думаю, что в этом нет особой необходимости, зеркалится будет по расписанию. Может придумаю какой-нибудь скрипт для зеркалирования по http протоколу, чтобы не перекачивать то, что уже есть в наличии.

Доступ открыл, но ещё идёт синхронизация (вообще, поставлю ночью по крону обновлять раз в сутки, сейчас запустил, чтобы не ждать и всё проверить). Само зеркало - repos.arenet.ru (здесь выбрать бранч по вкусу и настроить), наименование каталогов приведено к одному виду. Места на винте осталось под 30гигов (после удаления зеркала ненужного мне бранча), так что есть куда расти ещё клубной репе (если только не будет нужды опять какое-нибудь заркало создавать локальное).

[kostyalamer]

Доступ открыл, но ещё идёт синхронизация (вообще, поставлю ночью по крону обновлять раз в сутки, сейчас запустил, чтобы не ждать и всё проверить). Само зеркало - repos.arenet.ru (здесь выбрать бранч по вкусу и настроить), наименование каталогов приведено к одному виду. Места на винте осталось под 30гигов (после удаления зеркала ненужного мне бранча), так что есть куда расти ещё клубной репе (если только не будет нужды опять какое-нибудь заркало создавать локальное).

Спасибо Серега , отличное зеркало ! Пошел прибивать его к сайту и на вики тоже добавлю.

[sb]

Спасибо Серега , отличное зеркало ! Пошел прибивать его к сайту и на вики тоже добавлю.

Похоже, что меня там на хостинге забанили, синхронизация не работает (поставил паузу между запросами в 5 секунд, думал, может у них там на предмет ботов идёт проверка)

Код: [Выделить]

--2015-05-17 12:31:20--  http://altclub.100ms.ru/repo_4/
Распознаётся altclub.100ms.ru (altclub.100ms.ru)… 31.170.167.101
Подключение к altclub.100ms.ru (altclub.100ms.ru)|31.170.167.101|:80... ошибка: Время ожидания соединения истекло.
Повтор.

--2015-05-17 12:31:25--  (попытка: 2)  http://altclub.100ms.ru/repo_4/
Подключение к altclub.100ms.ru (altclub.100ms.ru)|31.170.167.101|:80... ошибка: Время ожидания соединения истекло.
Повтор.

--2015-05-17 12:31:30--  (попытка: 3)  http://altclub.100ms.ru/repo_4/
Подключение к altclub.100ms.ru (altclub.100ms.ru)|31.170.167.101|:80... ошибка: Время ожидания соединения истекло.
Повтор.

--2015-05-17 12:31:36--  (попытка: 4)  http://altclub.100ms.ru/repo_4/
Подключение к altclub.100ms.ru (altclub.100ms.ru)|31.170.167.101|:80... ошибка: Время ожидания соединения истекло.
Повтор.

--2015-05-17 12:31:43--  (попытка: 5)  http://altclub.100ms.ru/repo_4/
Подключение к altclub.100ms.ru (altclub.100ms.ru)|31.170.167.101|:80... ошибка: Время ожидания соединения истекло.
Повтор.

--2015-05-17 12:31:51--  (попытка: 6)  http://altclub.100ms.ru/repo_4/
Подключение к altclub.100ms.ru (altclub.100ms.ru)|31.170.167.101|:80... ошибка: Время ожидания соединения истекло.
Повтор.

--2015-05-17 12:32:00--  (попытка: 7)  http://altclub.100ms.ru/repo_4/
Подключение к altclub.100ms.ru (altclub.100ms.ru)|31.170.167.101|:80... ошибка: Время ожидания соединения истекло.
Повтор.

--2015-05-17 12:32:10--  (попытка: 8)  http://altclub.100ms.ru/repo_4/
Подключение к altclub.100ms.ru (altclub.100ms.ru)|31.170.167.101|:80... ошибка: Время ожидания соединения истекло.
Повтор.

--2015-05-17 12:32:21--  (попытка: 9)  http://altclub.100ms.ru/repo_4/
Подключение к altclub.100ms.ru (altclub.100ms.ru)|31.170.167.101|:80... ошибка: Время ожидания соединения истекло.
Повтор.

--2015-05-17 12:32:33--  (попытка:10)  http://altclub.100ms.ru/repo_4/
Подключение к altclub.100ms.ru (altclub.100ms.ru)|31.170.167.101|:80... ошибка: Время ожидания соединения истекло.
Повтор.

--2015-05-17 12:32:46--  (попытка:11)  http://altclub.100ms.ru/repo_4/
Подключение к altclub.100ms.ru (altclub.100ms.ru)|31.170.167.101|:80... ошибка: Время ожидания соединения истекло.
Повтор.

--2015-05-17 12:32:59--  (попытка:12)  http://altclub.100ms.ru/repo_4/
Подключение к altclub.100ms.ru (altclub.100ms.ru)|31.170.167.101|:80... ошибка: Время ожидания соединения истекло.
Повтор.

--2015-05-17 12:33:12--  (попытка:13)  http://altclub.100ms.ru/repo_4/
Подключение к altclub.100ms.ru (altclub.100ms.ru)|31.170.167.101|:80... ошибка: Время ожидания соединения истекло.
Повтор.

--2015-05-17 12:33:25--  (попытка:14)  http://altclub.100ms.ru/repo_4/
Подключение к altclub.100ms.ru (altclub.100ms.ru)|31.170.167.101|:80... ошибка: Время ожидания соединения истекло.
Повтор.

--2015-05-17 12:33:38--  (попытка:15)  http://altclub.100ms.ru/repo_4/
Подключение к altclub.100ms.ru (altclub.100ms.ru)|31.170.167.101|:80... Через браузер с другого ip подключается, но здесь у меня ip динамический, а на хосте с зеркалом статика. Так что, наверное, зеркалирование теперь работать не будет Прошлой ночью проверка прошла полностью только для 4 репы, где-то на пятой проверка сдохла. Сейчас вот совсем не работает.

[kostyalamer]

Похоже, что меня там на хостинге забанили, синхронизация не работает (поставил паузу между запросами в 5 секунд, думал, может у них там на предмет ботов идёт проверка)

Может быть , хостинг то под сайты, а у нас там репы. До недавнего времени они мне кстати стирали в них файлы большого объема, сейчас перестали - видимо кто-то из админов поглядел вручную что же там происходит. Пятая репа у нас огромная 1.5 Гб это не удивительно. Подождем может быть проверка снова пойдет. Как вариант можно попробовать целиком выкачивать репы wget-ом на комп проверять уже на нем  и rsync-ать на твое зеркало.
Понятно что делать такое каждый день не надо а раз в 2 недели скриптиком наверное можно.
Да к тому же выкачивать можно только самую активную и не очень большую 7-ую репу а при добавлении пакетов в старые репы я могу постучаться тебе в личку.

[sb]

Как вариант можно попробовать целиком выкачивать репы wget-ом на комп проверять уже на нем  и rsync-ать на твое зеркало.

Не вариант, rsync'a самого как нет, так и не планируется.

Понятно что делать такое каждый день не надо а раз в 2 недели скриптиком наверное можно.

Хорошо, поставлю раз в неделю, если это поможет.

Да к тому же выкачивать можно только самую активную и не очень большую 7-ую репу а при добавлении пакетов в старые репы я могу постучаться тебе в личку.

У меня wget проверяет временную метку всех файлов и качает только то, что изменилось. Вручную я возиться не хочу ни с чем, нет абсолютно никакого желания. Если проблема с доступом продолжиться, то мне проще всё закрыть и освободить место под что-нибудь другое.

[sb]

Сегодня отпиннывать сразу сервер не стал, однако уже на шестой репе появились знакомые записи в логах. Вывод такой: там, скорее всего, стоит автоматическая распознавалка таких вот типа ботов (частота запросов, может ещё какие параметры). Если клиент подпадает под какие-то условия, то его банят на какое-то время. Попробую ещё поиграть задержками, может быть ещё в этом дело.

[sb]

Получилось, вроде. По крайней мере уже пакеты для 6-ого брнача заканчивает обрабатывать и предупреждений нет. Но синхронизировать долго будет с такими ограничениями (пока поставил на понедельник, с 12 по местному, предположительно вся процедура займёт примерно часов 12, но зато гарантировано всё проверится и заблокировать хостинг не должен, по крайней мере пока не блокирует, что обнадёживает).

[sb]

Получилось, вроде.

Получилось, да не полностью. Один бранч остался.
Результат исследования привёл к необходимости разбить зеркалирование на два дня в ночное время. Поставил на четверг синхронизацию 4 и 6 бранчей, на пятницу - 5 и 7 соответственно. Будет и быстрее (само задание) и меньший объём проверять/закачивать - меньше подозрений у ихнего забугорного сервера (который, судя по всему, где-то за бугром стоит).

[sb]

После предварительного тестирования, поставил обновления 4 и 6 бранча по чётным дням недели, начиная со вторника. Обновления для 5 и 7 бранчей поставил по нечётным, начиная со среды. Надеюсь, эксцессов не будет (логи ведутся на всякий пожарный, буду стараться поглядывать). Если всё же появятся эксцессы, то разнесу репы по отдельным дням.