Автор Тема: Не получается добавить вторую ноду в кластер PVE  (Прочитано 4756 раз)

Оффлайн Slavka

  • Завсегдатай
  • *
  • Сообщений: 16
Добрый день
прошу помощи
взял alt server 8.2

шел по  этой инструкции
https://www.altlinux.org/PVE
сделал для себя чтото типа минискрипта
Спойлер
ip=10.0.0.5
net=eno2
mkdir -p /etc/net/ifaces/vmbr0
cat > /etc/net/ifaces/vmbr0/options << EOF
BOOTPROTO=static
TYPE=bri
HOST='$net'
CONFIG_WIRELESS=no
CONFIG_IPV4=yes
EOF
cat > /etc/net/ifaces/vmbr0/ipv4address << EOF
$ip/24
EOF
cat > /etc/net/ifaces/vmbr0/ipv4route << EOF
default via 10.0.0.254
EOF
cat > /etc/net/ifaces/vmbr0/resolv.conf << EOF
search sa.local
nameserver 10.0.0.1
EOF
cat <<EOF  > /etc/net/ifaces/vmbr0/brctl
stp AUTO off
setfd AUTO 0
EOF


printf "\nauto vmbr0\n\tiface vmbr0 inet static\n\taddress $ip\n\tnetmask 255.255.255.0\n\tgateway 10.0.0.254\n\tbridge_ports $net\n\tbridge_stp off\n\tbridge_fd 0\n" >> /etc/network/interfaces
. /etc/sysconfig/clock
echo $ZONE > /etc/timezone
ln -sf /usr/share/zoneinfo/$ZONE /etc/localtime

echo "10.0.0.4 node1.localdomain node1" >> /etc/hosts
echo "10.0.0.5 node2.localdomain node2" >> /etc/hosts
echo "10.0.0.6 node3.localdomain node3" >> /etc/hosts



N=$(($(sed -n '/^AcceptEnv/{=}' /etc/openssh/sshd_config | tail -1) + 1)); sed -i "${N}i AcceptEnv LC_PVE_TICKET\n" /etc/openssh/sshd_config
N=$(($(sed -n '/^[[:space:]]*SendEnv/{=}' /etc/openssh/ssh_config | tail -1) + 1)); sed -i "${N}i \ \ \ \ SendEnv LC_PVE_TICKET\n" /etc/openssh/ssh_config
systemctl restart sshd

sh /usr/share/doc/pve-cluster/pve-firsttime
yes|cp /usr/share/doc/pve-cluster/rrdcached.sysconfig /etc/sysconfig/rrdcached
mkdir -p /var/lib/rrdcached/{db,journal}
rm -f /etc/corosync/corosync.conf


systemctl start ntpd rrdcached ksmtuned crond lxcfs openvswitch nfs-client.target
systemctl enable ntpd rrdcached ksmtuned crond lxcfs openvswitch nfs-client.target


#тут настраиваем хождение по root по всем нодам

#УДАЛИ В ХОСТC  ЛОХАЛХОСТ

####голова
#systemctl start pve-cluster
#pvecm create sa --ring0_addr 10.0.0.4


##на остальных узлах
##ip=$(hostname -i)
systemctl start pve-cluster
pvecm add 10.0.0.4 --ring0_addr $ip



systemctl start lxc lxc-net lxc-monitord pvedaemon pve-firewall pvestatd pve-ha-lrm pve-ha-crm spiceproxy pveproxy
systemctl enable corosync lxc lxc-net lxc-monitord pve-cluster pvedaemon pve-firewall pvestatd pve-ha-lrm pve-ha-crm spiceproxy pveproxy pve-guests



####  https://10.0.0.4:8006/

Итог
головная нода - выполнилась без проблем, и кластер создался, все запустилось
вторая нода - дошел до момента

##на остальных узлах
##ip=$(hostname -i)
systemctl start pve-cluster
pvecm add 10.0.0.4 --ring0_addr 10.0.0.5

и вот что получил

[root@node2 etc]# pvecm add 10.0.0.4 --ring0_addr 10.0.0.5
Please enter superuser (root) password for '10.0.0.4':
                                                        Password for root@10.0.0.4: ********
Etablishing API connection with host '10.0.0.4'
Login succeeded.
Request addition of this node
Join request OK, finishing setup locally
stopping pve-cluster service
backup old database to '/var/lib/pve-cluster/backup/config-1566562500.sql.gz'
waiting for quorum...

и больше ничего не происходит ( висит уже часа 4 )

как я понимаю - или не создался кворум , или чтото где то не запустилось

[root@node1 ~]# service pve-cluster status
active
также и на 2 ноде


версии по :
[root@node1 ~]# pveversion -v
pve-manager: 5.2.3-alt8.1:p8+227169.100.1.1@1555334235 (running version: 5.2-3/)
ceph: 12.2.12-alt0.M80P.1:p8+227365.200.2.1@1555617183
corosync: 2.4.1-alt0.M80P.1@1484672562
lvm2: 2.02.185-alt1:p8+231464.100.5.1@1560442340
lxcfs: 2.0.7-alt0.M80P.1@1499075385
pve-cluster: 5.0.27-alt2:p8.212566.270@1538380780
pve-container: 2.0.24-alt8.1:p8+227169.100.1.1@1555334235
pve-docs: 5.2.3-alt1:p8.212566.140@1538121142
pve-firewall: 3.0.12-alt8.1:p8+227169.100.1.1@1555334235
pve-ha-manager: 2.0.5-alt8.1:p8+227169.100.1.1@1555334235
pve-xtermjs: 1.0.5-alt1:p8.212566.440@1538120781
smartmontools: 6.6-alt1@1509999233
[root@node1 ~]#

[root@node2 ~]# pveversion -v
pve-manager: 5.2.3-alt8.1:p8+227169.100.1.1@1555334235 (running version: 5.2-3/)
ceph: 12.2.12-alt0.M80P.1:p8+227365.200.2.1@1555617183
corosync: 2.4.1-alt0.M80P.1@1484672562
lvm2: 2.02.185-alt1:p8+231464.100.5.1@1560442340
lxcfs: 2.0.7-alt0.M80P.1@1499075385
pve-cluster: 5.0.27-alt2:p8.212566.270@1538380780
pve-container: 2.0.24-alt8.1:p8+227169.100.1.1@1555334235
pve-docs: 5.2.3-alt1:p8.212566.140@1538121142
pve-firewall: 3.0.12-alt8.1:p8+227169.100.1.1@1555334235
pve-ha-manager: 2.0.5-alt8.1:p8+227169.100.1.1@1555334235
pve-xtermjs: 1.0.5-alt1:p8.212566.440@1538120781
smartmontools: 6.6-alt1@1509999233
[root@node2 ~]#


[root@node1 ~]# service pve-cluster status
active
[root@node1 ~]# pvecm status
Quorum information
------------------
Date:             Fri Aug 23 21:13:16 2019
Quorum provider:  corosync_votequorum
Nodes:            1
Node ID:          0x00000001
Ring ID:          1/4
Quorate:          No

Votequorum information
----------------------
Expected votes:   2
Highest expected: 2
Total votes:      1
Quorum:           2 Activity blocked
Flags:

Membership information
----------------------
    Nodeid      Votes Name
0x00000001          1 10.0.0.4 (local)




сервера свежеустановленные и ничего другого тут нету, пока даже виртуалок нету


есть еще 3 нода
на этом же шаге , пока на 2 ноде идет ожидание кворума выходит такая картинка

[root@node3 vmbr0]# systemctl start pve-cluster
[root@node3 vmbr0]# pvecm add 10.0.0.4 --ring0_addr 10.0.0.6
Please enter superuser (root) password for '10.0.0.4':
                                                        Password for root@10.0.0.4: ********
Etablishing API connection with host '10.0.0.4'
Login succeeded.
Request addition of this node
500 cluster not ready - no quorum?
[root@node3 vmbr0]#



Помогите - куда копать , где смотреть

Заранее спасибо за любые подсказки
« Последнее редактирование: 23.08.2019 20:14:22 от Slavka »

Оффлайн Slavka

  • Завсегдатай
  • *
  • Сообщений: 16
вычитал кое-что,не знаю поможет или нет , но там надо редактировать в каталоге /etc/pve но
везде говорит что нет прав

Подскажите как можно тут что-то редактировать

Оффлайн Dmytro

  • Мастер
  • ***
  • Сообщений: 1 001
вычитал кое-что,не знаю поможет или нет , но там надо редактировать в каталоге /etc/pve но
везде говорит что нет прав

Подскажите как можно тут что-то редактировать
Системные конфиги только от рута. В консоли вводите su- запросит пароль рута. Далее любой удобный редактор и открывайте в нем файл. На сервере проще всего mcedit, который входит в mc