Mprdb: различия между версиями

Материал из wiki.nntc.nnov.ru
Перейти к навигации Перейти к поиску
(→‎Очистка pve ноды от кластерных настроек)
 
(не показано 49 промежуточных версий этого же участника)
Строка 1: Строка 1:
 
=Подготовка PVE ноды после клонирования из базового образа=
 
=Подготовка PVE ноды после клонирования из базового образа=
  
−
=Автоматический скрипт для запуска из pmagic=
+
Где лежит базовый образ?
  
−
<pre>
+
apve3: /mnt/samba/fdisk3/pve-template-xx-15gb.dd
−
DISK='/dev/nvme0n1'
 
−
DISKDIR='/mnt/d'
 
  
−
gdisk $DISK <<EOF
+
=Скрипт переименования машин=
−
x
 
−
e
 
−
w
 
−
Y
 
−
EOF
 
  
−
gdisk $DISK <<EOF
+
==Выполнить из pve==
−
d
 
−
3
 
−
n
 
−
3
 
  
 +
Сначала нужно войти в рута. Для этого нужно открыть терминал и набрать
  
−
w
+
su -
−
Y
 
−
EOF
 
  
 +
затем ввести пароль от пользователя root
  
 +
Далее в рутовой консоли выполнить сначала команду
  
 +
MACHINE_NAME='pve-prdb-XX'
  
 +
, где XX -- это реальный номер машины из диапазона 01-14
  
−
TEMPLATENAME=$1
+
Далее выделить весь набор команд ниже и бросить их в тот же терминал, в котором выполнялась предыдущая команда
−
IP=$(ip a | grep eth0 | tail -1 | awk {'print $2'} | awk -F '/' {'print $1'})
 
  
−
cd $DISKDIR/opt/node_template_config
+
<pre>
−
tar -czpf $DISKDIR/opt/node_template_config/etc_backup_$(date +%s).tgz \
+
DISK='/dev/nvme0n1'
−
/etc/hosts /etc/hostname /etc/mailname \
 
−
/etc/postfix/main.cf \
 
−
/var/lib/rrdcached/db/pve2-node \
 
−
/var/lib/rrdcached/db/pve2-storage
 
  
−
rm -r /var/lib/rrdcached/db/pve2-node/$TEMPLATENAME
+
# resize lvm partition
−
rm -r /var/lib/rrdcached/db/pve2-storage/$TEMPLATENAME
+
fdisk $DISK <<EOF
 +
d
 +
2
 +
n
 +
p
 +
2
  
−
mv /var/lib/rrdcached/db/pve2-node/pve-analise-xx /var/lib/rrdcached/db/pve2-node/$TEMPLATENAME
 
−
mv /var/lib/rrdcached/db/pve2-storage/pve-analise-xx /var/lib/rrdcached/db/pve2-storage/$TEMPLATENAME
 
  
−
rm -r /var/lib/rrdcached/db/pve2-node/pve-analise-xx
+
N
−
rm -r /var/lib/rrdcached/db/pve2-storage/pve-analise-xx
+
w
 +
EOF
  
−
cd /
+
# refresh partitions
−
tar -xzpf /opt/node_template_config/etc.tgz
+
partprobe
  
−
sed -i "s/TEMPLATENAME/$TEMPLATENAME/g" /etc/hosts
+
# resize pv
−
sed -i "s/TEMPLATEIPADDR/$IP/g" /etc/hosts
+
pvresize "${DISK}p2"
−
sed -i "s/TEMPLATENAME/$TEMPLATENAME/g" /etc/hostname
 
−
sed -i "s/TEMPLATENAME/$TEMPLATENAME/g" /etc/mailname
 
−
sed -i "s/TEMPLATENAME/$TEMPLATENAME/g" /etc/postfix/main.cf
 
  
−
echo "Please reboot system!"
+
# rescan volume groups
 +
vgchange -ay
  
 +
# create lvm and zfs pool in this
 +
lvcreate -y debian-vg --name vmstorage -L 400g
  
 +
zpool create zfspool /dev/mapper/debian--vg-vmstorage -f
 +
zfs set compression=off zfspool
 +
zfs set sync=disabled zfspool
  
 +
mkdir /zfspool/storage
 +
chown storage:storage /zfspool/storage -R
  
 +
# detect ip
 +
IP=$(ip a | grep vmbr0 | tail -1 | awk {'print $2'} | awk -F '/' {'print $1'})
  
−
</pre>
+
systemctl stop pve-cluster
  
 +
mv /var/lib/rrdcached/db/pve2-node/pve-template-xx /var/lib/rrdcached/db/pve2-node/$MACHINE_NAME
 +
mv /var/lib/rrdcached/db/pve2-storage/pve-template-xx /var/lib/rrdcached/db/pve2-storage/$MACHINE_NAME
  
−
=Где лежит базовый образ?=
+
sed -i "s/pve-template-xx/$MACHINE_NAME/g" /etc/hosts
 +
sed -i "s/172.16.224.227/$IP/g" $DISKDIR/etc/hosts
 +
sed -i "s/pve-template-xx/$MACHINE_NAME/g" /etc/hostname
 +
sed -i "s/pve-template-xx/$MACHINE_NAME/g" /etc/mailname
 +
sed -i "s/pve-template-xx/$MACHINE_NAME/g" /etc/postfix/main.cf
  
−
apve3: /mnt/samba/fdisk3/pve-node-template-image.dd
+
reboot
  
−
=Набор действий (вручную) для настройки одного узла=
+
</pre>
  
−
Всё из-под пользователя
+
=Доустановить и настроить SAMBA=
  
−
root
+
Это если вдруг самба не была установлена в базовый образ. В образе
  
−
==Переименовать машину==
+
  apve3: /mnt/samba/fdisk3/pve-template-xx-15gb.dd
−
   
 
−
export NEWNAME='pve-prdb-xx'
 
−
hostnamectl set-hostname $NEWNAME
 
  
−
, где:
+
она уже установлена и настроена на каталог
  
−
  xx
+
  /zfspool/storage
  
−
это порядковый номер машины
+
поэтому каталог этот нужно создать после создания пула zfs (см. в скрипте создание этого каталога -- это для этого)
  
−
==Подвинуть раздел lvm до конца физического диска==
 
  
−
  #############
+
  apt-get install samba
−
  # Внимание! #
+
  adduser storage
−
  #############
+
  smbpasswd -a storage
−
  Операции из этого раздела лучше сразу выполнить из partedmagic, чтобы не перезагружаться
+
  smbpasswd -e storage
  
−
===Вручную===
+
mkdir /zfspool/storage
 +
chown storage:storage /zfspool/storage -R
  
−
Запустить gparted и подвинуть раздел с lvm до конца физического диска
+
положить это в
  
−
===Командой===
+
/etc/samba/smb.conf
  
−
<pre>fdisk /dev/nvme0n1 <<EOF
+
<pre>
−
d
+
# Global parameters
−
3
+
[global]
−
n
+
log file = /var/log/samba/log.%m
−
3
+
logging = file
 +
map to guest = Bad User
 +
max log size = 1000
 +
obey pam restrictions = Yes
 +
pam password change = Yes
 +
panic action = /usr/share/samba/panic-action %d
 +
passwd chat = *Enter\snew\s*\spassword:* %n\n *Retype\snew\s*\spassword:* %n\n *password\supdated\ssuccessfully* .
 +
passwd program = /usr/bin/passwd %u
 +
server role = standalone server
 +
server string = %h server (Samba, Ubuntu)
 +
unix password sync = Yes
 +
usershare allow guests = Yes
 +
idmap config * : backend = tdb
  
 +
[storage]
 +
browseable = Yes
 +
comment = storage
 +
valid users = storage
 +
create mask = 0755
 +
directory mask = 0755
 +
path = /zfspool/storage
 +
read only = No
 +
        veto files = /._*/.DS_Store/.T*/Thumbs.db/Network Trash Folder/Temporary Items/*.exe/*.bat/*.msi
 +
        delete veto files = yes
  
−
N
 
−
w
 
−
EOF
 
 
</pre>
 
</pre>
  
−
Далее из под рута дать команды:
+
=Очистка pve ноды от кластерных настроек=
  
−
lvcreate pve-vg --name vmstorage -L 400g
+
Актуально только когда на ноде нет виртуальных машин. Если есть, то чуть сложнее. Описано здесь: https://pve.proxmox.com/wiki/Cluster_Manager
−
zpool create zfspool /dev/mapper/pve--vg-vmstorage -f
 
−
zfs set compression=off zfspool
 
−
zfs set sync=disabled zfspool
 
−
 
 
−
/opt/node_template_config/apply_rename.sh ИМЯ_УЗЛА
 
−
 
 
−
Пример
 
−
 
 
−
/opt/node_template_config/apply_rename.sh pve-analise-01
 
−
 
 
−
Или
 
−
 
 
−
/opt/node_template_config/apply_rename.sh pve-ml-01
 
−
 
 
−
Далее нужно запустить один костыль (костыль №1). Это команда:
 
  
 
  systemctl stop pve-cluster
 
  systemctl stop pve-cluster
 
  systemctl stop corosync
 
  systemctl stop corosync
 
  pmxcfs -l
 
  pmxcfs -l
−
  cp -rp /etc/pve/nodes/pve-analise-xx /etc/pve/nodes/ИМЯ_УЗЛА
+
  rm /etc/pve/corosync.conf
 +
rm -r /etc/corosync/*
 
  killall pmxcfs
 
  killall pmxcfs
−
  reboot
+
  systemctl start pve-cluster
−
 
 
−
Внимание! Имя узла должно быть такое же, как в команде переименования!
 

Текущая версия на 18:41, 1 июня 2021

Подготовка PVE ноды после клонирования из базового образа

Где лежит базовый образ? 

apve3: /mnt/samba/fdisk3/pve-template-xx-15gb.dd

Скрипт переименования машин

Выполнить из pve

Сначала нужно войти в рута. Для этого нужно открыть терминал и набрать 

su -

затем ввести пароль от пользователя root

Далее в рутовой консоли выполнить сначала команду 

MACHINE_NAME='pve-prdb-XX'

, где XX -- это реальный номер машины из диапазона 01-14

Далее выделить весь набор команд ниже и бросить их в тот же терминал, в котором выполнялась предыдущая команда 

DISK='/dev/nvme0n1'

# resize lvm partition
fdisk $DISK <<EOF
d
2
n
p
2


N
w
EOF

# refresh partitions
partprobe

# resize pv
pvresize "${DISK}p2"

# rescan volume groups
vgchange -ay

# create lvm and zfs pool in this
lvcreate -y debian-vg --name vmstorage -L 400g

zpool create zfspool /dev/mapper/debian--vg-vmstorage -f
zfs set compression=off zfspool
zfs set sync=disabled zfspool

mkdir /zfspool/storage
chown storage:storage /zfspool/storage -R

# detect ip
IP=$(ip a | grep vmbr0 | tail -1 | awk {'print $2'} | awk -F '/' {'print $1'})

systemctl stop pve-cluster

mv /var/lib/rrdcached/db/pve2-node/pve-template-xx /var/lib/rrdcached/db/pve2-node/$MACHINE_NAME
mv /var/lib/rrdcached/db/pve2-storage/pve-template-xx /var/lib/rrdcached/db/pve2-storage/$MACHINE_NAME

sed -i "s/pve-template-xx/$MACHINE_NAME/g" /etc/hosts
sed -i "s/172.16.224.227/$IP/g" $DISKDIR/etc/hosts
sed -i "s/pve-template-xx/$MACHINE_NAME/g" /etc/hostname
sed -i "s/pve-template-xx/$MACHINE_NAME/g" /etc/mailname
sed -i "s/pve-template-xx/$MACHINE_NAME/g" /etc/postfix/main.cf

reboot

Доустановить и настроить SAMBA

Это если вдруг самба не была установлена в базовый образ. В образе 

apve3: /mnt/samba/fdisk3/pve-template-xx-15gb.dd

она уже установлена и настроена на каталог 

/zfspool/storage

поэтому каталог этот нужно создать после создания пула zfs (см. в скрипте создание этого каталога -- это для этого) 


apt-get install samba
adduser storage
smbpasswd -a storage
smbpasswd -e storage

mkdir /zfspool/storage
chown storage:storage /zfspool/storage -R

положить это в 

/etc/samba/smb.conf

# Global parameters
[global]
	log file = /var/log/samba/log.%m
	logging = file
	map to guest = Bad User
	max log size = 1000
	obey pam restrictions = Yes
	pam password change = Yes
	panic action = /usr/share/samba/panic-action %d
	passwd chat = *Enter\snew\s*\spassword:* %n\n *Retype\snew\s*\spassword:* %n\n *password\supdated\ssuccessfully* .
	passwd program = /usr/bin/passwd %u
	server role = standalone server
	server string = %h server (Samba, Ubuntu)
	unix password sync = Yes
	usershare allow guests = Yes
	idmap config * : backend = tdb

[storage]
	browseable = Yes
	comment = storage
	valid users = storage
	create mask = 0755
	directory mask = 0755
	path = /zfspool/storage
	read only = No
        veto files = /._*/.DS_Store/.T*/Thumbs.db/Network Trash Folder/Temporary Items/*.exe/*.bat/*.msi
        delete veto files = yes

Очистка pve ноды от кластерных настроек

Актуально только когда на ноде нет виртуальных машин. Если есть, то чуть сложнее. Описано здесь: https://pve.proxmox.com/wiki/Cluster_Manager 

systemctl stop pve-cluster
systemctl stop corosync
pmxcfs -l
rm /etc/pve/corosync.conf
rm -r /etc/corosync/*
killall pmxcfs
systemctl start pve-cluster
Источник — https://wiki.nntc.nnov.ru/index.php?title=Mprdb&oldid=9425