Автор Тема: Не работает репликация zfs в ProxmoxVE  (Прочитано 5391 раз)

Оффлайн kln2004

  • Начинающий
  • *
  • Сообщений: 19
Пытался организовать репликацию zfs которая появилась в пятом РVE ничего так и не получилось, не работает.
На сайте forum.proxmox.com сказали: You do not run Promox VE, you are using Alt Linux please contact them. This is a bug and can't fixed by us.

Оффлайн Skull

  • Глобальный модератор
  • *****
  • Сообщений: 19 908
    • Домашняя страница
    • Email
Re: Не работает репликация zfs в ProxmoxVE
« Ответ #1 : 15.09.2017 15:24:57 »
Пытался организовать репликацию zfs которая появилась в пятом РVE ничего так и не получилось, не работает.
На сайте forum.proxmox.com сказали: You do not run Promox VE, you are using Alt Linux please contact them. This is a bug and can't fixed by us.
Обе машины с ZFS? Какая ошибка?
Андрей Черепанов (cas@)

Оффлайн kln2004

  • Начинающий
  • *
  • Сообщений: 19
Re: Не работает репликация zfs в ProxmoxVE
« Ответ #2 : 15.09.2017 15:48:07 »
Обе с zfs
[root@srv]# zpool status
  pool: zfs209
 state: ONLINE
  scan: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        zfs209      ONLINE       0     0     0
          sdd       ONLINE       0     0     0

errors: No known data errors
[root@srv]#

[root@srv~]# zpool status
  pool: zfs209
 state: ONLINE
  scan: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        zfs209      ONLINE       0     0     0
          sdd       ONLINE       0     0     0

errors: No known data errors
[root@srv~]#


Ошибки:

unable to open file - No such file or directory

и вторая ошибка:

2017-09-14 13:10:23 108-0: start replication job
2017-09-14 13:10:23 108-0: guest => VM 108, running => 0
2017-09-14 13:10:23 108-0: volumes => zfs209:vm-108-disk-3
2017-09-14 13:10:24 108-0: (remote_prepare_local_job) could not activate storage 'zfs209', zfs error: Insecure $ENV{ENV} while running with -T switch at /usr/share/perl5/IPC/Open3.pm line 281.
2017-09-14 13:10:24 108-0: (remote_prepare_local_job)
2017-09-14 13:10:24 108-0: end replication job with error: command '/usr/bin/ssh -o 'BatchMode=yes' -o 'HostKeyAlias=srv-209' root@172.20.20.202 -- pvesr prepare-local-job 108-0 zfs209:vm-108-disk-3 --last_sync 0' failed: exit code 29
« Последнее редактирование: 26.10.2020 08:30:06 от kln2004 »

Оффлайн serrjio

  • Начинающий
  • *
  • Сообщений: 4
Re: Не работает репликация zfs в ProxmoxVE
« Ответ #3 : 29.09.2017 17:35:19 »
2017-09-14 13:10:24 108-0: end replication job with error: command '/usr/bin/ssh -o 'BatchMode=yes' -o 'HostKeyAlias=srv-209NJ' root@172.15.11.202 -- pvesr prepare-local-job 108-0 zfs209nw:vm-108-disk-3 --last_sync 0' failed: exit code 29
У меня аналогичная проблема. Причем одна машина реплицирует, а остальные нет. Вам удалось как-либо решить проблему?

Оффлайн kln2004

  • Начинающий
  • *
  • Сообщений: 19
Re: Не работает репликация zfs в ProxmoxVE
« Ответ #4 : 02.10.2017 08:29:11 »
В оригинальном проксмосе zfs нормально реплицирует, а в альте видимо не хватает людских ресурсов ни баг исправить ни в форуме ответить что людям делать.
Так что пока отложил до лучших времён.

Оффлайн dezzzm

  • Начинающий
  • *
  • Сообщений: 19
Re: Не работает репликация zfs в ProxmoxVE
« Ответ #5 : 29.11.2018 11:38:11 »
починили или можно даже не пытаться разворачивать?

Оффлайн Skull

  • Глобальный модератор
  • *****
  • Сообщений: 19 908
    • Домашняя страница
    • Email
Re: Не работает репликация zfs в ProxmoxVE
« Ответ #6 : 29.11.2018 12:16:42 »
починили или можно даже не пытаться разворачивать?
Это p8 или Sisyphus?
Андрей Черепанов (cas@)

Оффлайн dezzzm

  • Начинающий
  • *
  • Сообщений: 19
Re: Не работает репликация zfs в ProxmoxVE
« Ответ #7 : 05.12.2018 11:02:21 »
Это р8.
Установил 2 ноды Альт сервер 8.2 с последними на сегодня обновлениями.
Установлена ОС на програмный рейд md
Создал 2 пула zfs raid1ssd и raid1sata одинаковые имена на обоих нодах на доп диски.
Создаю задачу репликации через веб интерфейс - она висит в статусе приостановлена. Если зайти в журнал репликации из веб интерфейса то пишет: unable to open file - No such file or directory.
В консоли сервера на котором создал задачу
[root@pve0srv log]# pvesr status
JobID      Enabled    Target                           LastSync             NextSync   Duration  FailCount State
101-0      Yes        local/pve1srv                           -              pending          -          0 OK
на 2ом сервере эта команда показывает - задач нет.

в логах journalctl с последней перезагрузки из красного:
pmxcfs[1562]: [quorum] crit: quorum_initialize failed: 2
 pmxcfs[1562]: [quorum] crit: can't initialize service
 pmxcfs[1562]: [confdb] crit: cmap_initialize failed: 2
 pmxcfs[1562]: [confdb] crit: can't initialize service
 pmxcfs[1562]: [dcdb] crit: cpg_initialize failed: 2
 pmxcfs[1562]: [dcdb] crit: can't initialize service
 pmxcfs[1562]: [status] crit: cpg_initialize failed: 2
 pmxcfs[1562]: [status] crit: can't initialize service
ovs-vsctl[2340]: ovs|00002|db_ctl_base|ERR|unix:/var/run/openvswitch/db.sock: database connection failed (No such file or directory)
pve-firewall[1767]: status update error: command '/sbin/ipset save' failed: exit code 1
но не знаю связано ли это.

В итоге как посмотреть журнал репликации и где искать причину не рабочей репликации?

еще нюанс вспомнил не знаю важно ли это для решения данного вопроса: в инструкции альт пве была строчка, что нужно запустить службы кластера
# systemctl start syslogd
мне нужно его в ручную установить и настроить /etc/systemd/journald.conf 
ForwardToSyslog=yes ?
« Последнее редактирование: 05.12.2018 11:20:49 от dezzzm »

Оффлайн dezzzm

  • Начинающий
  • *
  • Сообщений: 19
Re: Не работает репликация zfs в ProxmoxVE
« Ответ #8 : 07.12.2018 18:28:16 »
Починили репликацию zfs, уже в сизифе.
+ еще нужно
systemctl start pvesr.timer
systemctl enable pvesr.timer
и в моем случае закоментить пришлось "ENV=$HOME/.bashrc" в /root/.bashrc

Оффлайн Dmytro

  • Мастер
  • ***
  • Сообщений: 1 001
Re: Не работает репликация zfs в ProxmoxVE
« Ответ #9 : 17.01.2020 10:11:18 »
ovs-vsctl[2340]: ovs|00002|db_ctl_base|ERR|unix:/var/run/openvswitch/db.sock: database connection failed (No such file or directory)

Не уверен, что автор топика сможет ответить, т.к. тема старая. Поймал такую же ошибку. Вам удалось эту проблему решить?

Оффлайн Dmytro

  • Мастер
  • ***
  • Сообщений: 1 001
Re: Не работает репликация zfs в ProxmoxVE
« Ответ #10 : 17.01.2020 10:34:08 »
ovs-vsctl[2340]: ovs|00002|db_ctl_base|ERR|unix:/var/run/openvswitch/db.sock: database connection failed (No such file or directory)

Не уверен, что автор топика сможет ответить, т.к. тема старая. Поймал такую же ошибку. Вам удалось эту проблему решить?

И сам себе отвечу. Сервис оказался не запущен.
# systemctl start openvswitch
# systemctl enable openvswitch

Оффлайн NecroJoke

  • Давно тут
  • **
  • Сообщений: 455
    • Email
Re: Не работает репликация zfs в ProxmoxVE
« Ответ #11 : 06.10.2023 17:10:50 »
Добрый день
systemctl status pvescheduler.serviceДобавлю на вики, но в документации к Альт 8 СП релиз 10 тоже не приводится что нужно его стартовать и добавить в автозагрузку.

Оффлайн NecroJoke

  • Давно тут
  • **
  • Сообщений: 455
    • Email
Re: Не работает репликация zfs в ProxmoxVE
« Ответ #12 : 06.10.2023 17:51:27 »
Добрый день
systemctl status pvescheduler.serviceДобавлю на вики, но в документации к Альт 8 СП релиз 10 тоже не приводится что нужно его стартовать и добавить в автозагрузку.
На вики инструкция верная, проблема в доке на Альт 8 СП релиз 10