Mprdb: различия между версиями

Материал из wiki.nntc.nnov.ru
Перейти к навигации Перейти к поиску
(→‎Подвинуть раздел lvm до конца физического диска)
(→‎Очистка pve ноды от кластерных настроек)
 
(не показана 51 промежуточная версия этого же участника)
Строка 1: Строка 1:
 
=Подготовка PVE ноды после клонирования из базового образа=
 
=Подготовка PVE ноды после клонирования из базового образа=
  
−
=Где лежит базовый образ?=
+
Где лежит базовый образ?
  
−
  apve3: /mnt/samba/fdisk3/pve-node-template-image.dd
+
  apve3: /mnt/samba/fdisk3/pve-template-xx-15gb.dd
  
−
=Набор действий (вручную) для настройки одного узла=
+
=Скрипт переименования машин=
  
−
Всё из-под пользователя
+
==Выполнить из pve==
  
−
root
+
Сначала нужно войти в рута. Для этого нужно открыть терминал и набрать
  
−
==Переименовать машину==
+
  su -
−
   
 
−
export NEWNAME='pve-prdb-xx'
 
−
hostnamectl set-hostname $NEWNAME
 
  
−
, где:
+
затем ввести пароль от пользователя root
  
−
xx
+
Далее в рутовой консоли выполнить сначала команду
  
−
это порядковый номер машины
+
MACHINE_NAME='pve-prdb-XX'
  
−
==Подвинуть раздел lvm до конца физического диска==
+
, где XX -- это реальный номер машины из диапазона 01-14
  
−
#############
+
Далее выделить весь набор команд ниже и бросить их в тот же терминал, в котором выполнялась предыдущая команда
−
# Внимание! #
 
−
#############
 
−
Операции из этого раздела лучше сразу выполнить из partedmagic, чтобы не перезагружаться
 
  
−
===Вручную===
+
<pre>
 +
DISK='/dev/nvme0n1'
  
−
Запустить gparted и подвинуть раздел с lvm до конца физического диска
+
# resize lvm partition
−
 
+
fdisk $DISK <<EOF
−
===Командой===
 
−
 
 
−
<pre>fdisk /dev/nvme0n1 <<EOF
 
 
d
 
d
−
3
+
2
 
n
 
n
−
3
+
p
 +
2
  
  
Строка 45: Строка 38:
 
w
 
w
 
EOF
 
EOF
 +
 +
# refresh partitions
 +
partprobe
 +
 +
# resize pv
 +
pvresize "${DISK}p2"
 +
 +
# rescan volume groups
 +
vgchange -ay
 +
 +
# create lvm and zfs pool in this
 +
lvcreate -y debian-vg --name vmstorage -L 400g
 +
 +
zpool create zfspool /dev/mapper/debian--vg-vmstorage -f
 +
zfs set compression=off zfspool
 +
zfs set sync=disabled zfspool
 +
 +
mkdir /zfspool/storage
 +
chown storage:storage /zfspool/storage -R
 +
 +
# detect ip
 +
IP=$(ip a | grep vmbr0 | tail -1 | awk {'print $2'} | awk -F '/' {'print $1'})
 +
 +
systemctl stop pve-cluster
 +
 +
mv /var/lib/rrdcached/db/pve2-node/pve-template-xx /var/lib/rrdcached/db/pve2-node/$MACHINE_NAME
 +
mv /var/lib/rrdcached/db/pve2-storage/pve-template-xx /var/lib/rrdcached/db/pve2-storage/$MACHINE_NAME
 +
 +
sed -i "s/pve-template-xx/$MACHINE_NAME/g" /etc/hosts
 +
sed -i "s/172.16.224.227/$IP/g" $DISKDIR/etc/hosts
 +
sed -i "s/pve-template-xx/$MACHINE_NAME/g" /etc/hostname
 +
sed -i "s/pve-template-xx/$MACHINE_NAME/g" /etc/mailname
 +
sed -i "s/pve-template-xx/$MACHINE_NAME/g" /etc/postfix/main.cf
 +
 +
reboot
 +
 
</pre>
 
</pre>
  
−
Далее из под рута дать команды:
+
=Доустановить и настроить SAMBA=
 +
 
 +
Это если вдруг самба не была установлена в базовый образ. В образе
 +
 
 +
apve3: /mnt/samba/fdisk3/pve-template-xx-15gb.dd
 +
 
 +
она уже установлена и настроена на каталог
 +
 
 +
/zfspool/storage
 +
 
 +
поэтому каталог этот нужно создать после создания пула zfs (см. в скрипте создание этого каталога -- это для этого)
 +
 
 +
 
 +
apt-get install samba
 +
adduser storage
 +
smbpasswd -a storage
 +
smbpasswd -e storage
 +
 
 +
mkdir /zfspool/storage
 +
chown storage:storage /zfspool/storage -R
  
−
lvcreate pve-vg --name vmstorage -L 400g
+
положить это в
−
zpool create zfspool /dev/mapper/pve--vg-vmstorage -f
 
−
zfs set compression=off zfspool
 
−
zfs set sync=disabled zfspool
 
  
−
  /opt/node_template_config/apply_rename.sh ИМЯ_УЗЛА
+
  /etc/samba/smb.conf
  
−
Пример
+
<pre>
 +
# Global parameters
 +
[global]
 +
log file = /var/log/samba/log.%m
 +
logging = file
 +
map to guest = Bad User
 +
max log size = 1000
 +
obey pam restrictions = Yes
 +
pam password change = Yes
 +
panic action = /usr/share/samba/panic-action %d
 +
passwd chat = *Enter\snew\s*\spassword:* %n\n *Retype\snew\s*\spassword:* %n\n *password\supdated\ssuccessfully* .
 +
passwd program = /usr/bin/passwd %u
 +
server role = standalone server
 +
server string = %h server (Samba, Ubuntu)
 +
unix password sync = Yes
 +
usershare allow guests = Yes
 +
idmap config * : backend = tdb
  
−
/opt/node_template_config/apply_rename.sh pve-analise-01
+
[storage]
 +
browseable = Yes
 +
comment = storage
 +
valid users = storage
 +
create mask = 0755
 +
directory mask = 0755
 +
path = /zfspool/storage
 +
read only = No
 +
        veto files = /._*/.DS_Store/.T*/Thumbs.db/Network Trash Folder/Temporary Items/*.exe/*.bat/*.msi
 +
        delete veto files = yes
  
−
Или
+
</pre>
  
−
/opt/node_template_config/apply_rename.sh pve-ml-01
+
=Очистка pve ноды от кластерных настроек=
  
−
Далее нужно запустить один костыль (костыль №1). Это команда:
+
Актуально только когда на ноде нет виртуальных машин. Если есть, то чуть сложнее. Описано здесь: https://pve.proxmox.com/wiki/Cluster_Manager
  
 
  systemctl stop pve-cluster
 
  systemctl stop pve-cluster
 
  systemctl stop corosync
 
  systemctl stop corosync
 
  pmxcfs -l
 
  pmxcfs -l
−
  cp -rp /etc/pve/nodes/pve-analise-xx /etc/pve/nodes/ИМЯ_УЗЛА
+
  rm /etc/pve/corosync.conf
 +
rm -r /etc/corosync/*
 
  killall pmxcfs
 
  killall pmxcfs
−
  reboot
+
  systemctl start pve-cluster
−
 
 
−
Внимание! Имя узла должно быть такое же, как в команде переименования!
 

Текущая версия на 18:41, 1 июня 2021

Подготовка PVE ноды после клонирования из базового образа

Где лежит базовый образ? 

apve3: /mnt/samba/fdisk3/pve-template-xx-15gb.dd

Скрипт переименования машин

Выполнить из pve

Сначала нужно войти в рута. Для этого нужно открыть терминал и набрать 

su -

затем ввести пароль от пользователя root

Далее в рутовой консоли выполнить сначала команду 

MACHINE_NAME='pve-prdb-XX'

, где XX -- это реальный номер машины из диапазона 01-14

Далее выделить весь набор команд ниже и бросить их в тот же терминал, в котором выполнялась предыдущая команда 

DISK='/dev/nvme0n1'

# resize lvm partition
fdisk $DISK <<EOF
d
2
n
p
2


N
w
EOF

# refresh partitions
partprobe

# resize pv
pvresize "${DISK}p2"

# rescan volume groups
vgchange -ay

# create lvm and zfs pool in this
lvcreate -y debian-vg --name vmstorage -L 400g

zpool create zfspool /dev/mapper/debian--vg-vmstorage -f
zfs set compression=off zfspool
zfs set sync=disabled zfspool

mkdir /zfspool/storage
chown storage:storage /zfspool/storage -R

# detect ip
IP=$(ip a | grep vmbr0 | tail -1 | awk {'print $2'} | awk -F '/' {'print $1'})

systemctl stop pve-cluster

mv /var/lib/rrdcached/db/pve2-node/pve-template-xx /var/lib/rrdcached/db/pve2-node/$MACHINE_NAME
mv /var/lib/rrdcached/db/pve2-storage/pve-template-xx /var/lib/rrdcached/db/pve2-storage/$MACHINE_NAME

sed -i "s/pve-template-xx/$MACHINE_NAME/g" /etc/hosts
sed -i "s/172.16.224.227/$IP/g" $DISKDIR/etc/hosts
sed -i "s/pve-template-xx/$MACHINE_NAME/g" /etc/hostname
sed -i "s/pve-template-xx/$MACHINE_NAME/g" /etc/mailname
sed -i "s/pve-template-xx/$MACHINE_NAME/g" /etc/postfix/main.cf

reboot

Доустановить и настроить SAMBA

Это если вдруг самба не была установлена в базовый образ. В образе 

apve3: /mnt/samba/fdisk3/pve-template-xx-15gb.dd

она уже установлена и настроена на каталог 

/zfspool/storage

поэтому каталог этот нужно создать после создания пула zfs (см. в скрипте создание этого каталога -- это для этого) 


apt-get install samba
adduser storage
smbpasswd -a storage
smbpasswd -e storage

mkdir /zfspool/storage
chown storage:storage /zfspool/storage -R

положить это в 

/etc/samba/smb.conf

# Global parameters
[global]
	log file = /var/log/samba/log.%m
	logging = file
	map to guest = Bad User
	max log size = 1000
	obey pam restrictions = Yes
	pam password change = Yes
	panic action = /usr/share/samba/panic-action %d
	passwd chat = *Enter\snew\s*\spassword:* %n\n *Retype\snew\s*\spassword:* %n\n *password\supdated\ssuccessfully* .
	passwd program = /usr/bin/passwd %u
	server role = standalone server
	server string = %h server (Samba, Ubuntu)
	unix password sync = Yes
	usershare allow guests = Yes
	idmap config * : backend = tdb

[storage]
	browseable = Yes
	comment = storage
	valid users = storage
	create mask = 0755
	directory mask = 0755
	path = /zfspool/storage
	read only = No
        veto files = /._*/.DS_Store/.T*/Thumbs.db/Network Trash Folder/Temporary Items/*.exe/*.bat/*.msi
        delete veto files = yes

Очистка pve ноды от кластерных настроек

Актуально только когда на ноде нет виртуальных машин. Если есть, то чуть сложнее. Описано здесь: https://pve.proxmox.com/wiki/Cluster_Manager 

systemctl stop pve-cluster
systemctl stop corosync
pmxcfs -l
rm /etc/pve/corosync.conf
rm -r /etc/corosync/*
killall pmxcfs
systemctl start pve-cluster
Источник — https://wiki.nntc.nnov.ru/index.php?title=Mprdb&oldid=9425