PVE: различия между версиями

Материал из wiki.nntc.nnov.ru
Перейти к навигации Перейти к поиску
(→‎Скрипт авторазметки дисков)
Строка 141: Строка 141:
  
 
</pre>
 
</pre>
 +
 +
 +
==Новый вариант разметки дисков и настройки zfs (без mdadm)==
 +
===Скрипт авторазметки дисков===
 +
 +
<pre>
 +
 +
#диск с pve
 +
os_disk='/dev/nvme1n1'
 +
data_disk='/dev/nvme0n1'
 +
 +
#create partition /dev/nvme1n1p5
 +
fdisk $os_disk <<EOF
 +
n
 +
 +
 +
 +
w
 +
EOF
 +
 +
</pre>
 +
 +
 +
<pre>
 +
#пустой диск
 +
#create partition /dev/nvme0n1p1
 +
wipefs -af $data_disk
 +
fdisk $data_disk <<EOF
 +
g
 +
n
 +
 +
 +
 +
Y
 +
w
 +
EOF
 +
 +
</pre>
 +
 +
Собираем из свободных разделов stripe-raid
 +
 +
echo 1 > /sys/module/raid0/parameters/default_layout
 +
wipefs -af /dev/nvme1n1p5
 +
wipefs -af /dev/nvme0n1p1
 +
mdadm --create /dev/md0 -l 0 -n 2 /dev/nvme1n1p5 /dev/nvme0n1p1
 +
 +
 +
Поверх страйпа настраиваем zfs:
 +
 +
/sbin/modprobe zfs
 +
zpool create zfspool /dev/md0 -f
 +
zfs set compression=off zfspool
 +
zfs set sync=disabled zfspool
 +
 +
 +
Подключаем zfspool в pve
 +
 +
pvesm add zfspool vmstorage --pool zfspool --content images,rootdir
 +
 +
 +
Подключаем внешнее хранилище в pve
 +
 +
pvesm add cifs pveshare --server 172.16.254.123 --share disk1 --username root --password --content iso,backup
 +
 +
===Монтирование хранилищ===
 +
 +
Написать точки монтирования и команды монтирования двух внешних накопителей по 3 ТБ!
 +
 +
Хранилище с apve3 (TOSHIBA - серверный диск)
 +
 +
pvesm add cifs iso --server 172.16.254.123 --share disk1 --username root --password --content iso
 +
 +
Хранилище с hpg8 (TOSHIBA - серверные диски)
 +
 +
pvesm add cifs disk1 --server 192.168.10.126 --share disk1 --username root --password --content backup
 +
pvesm add cifs disk2 --server 192.168.10.126 --share disk2 --username root --password --content backup
 +
pvesm add cifs disk3 --server 192.168.10.126 --share disk3 --username root --password --content backup
 +
pvesm add cifs disk4 --server 192.168.10.126 --share disk4 --username root --password --content backup
  
  

Версия 15:11, 4 октября 2022

Alt P10

StarterKit GNOME3

Инициализация моста

В 

acc

в настройках сети выбираем "не управляется"

В настройках GNOME в разделе сетевых интерфейсов убираем у сетевого интерфейса галочку "Подключаться автоматически"

Затем создаём скрипт (замените в скрипте название интерфейса eno1 на своё): 

/opt/up_vmbr0.sh

Содержимое скрипта: 

#!/bin/bash

mac=`ip link show eno1 | grep 'link/ether' | awk {'print $2'}`

#creatge bridge vmbr0
ip link add name vmbr0 type bridge
#up vmbr0
ip link set vmbr0 up
#up eno1
ip link set eno1 up
#connect eno1 to the vmbr0
ip link set eno1 master vmbr0

# set mac from eno1 to vmbr0
ip link set dev vmbr0 down
ip link set dev vmbr0 address ${mac}
ip link set dev vmbr0 up

#set ip/mask to the vmbr0
ip a add 172.16.89.6/16 dev vmbr0
#set system default gw
ip ro add default via 172.16.1.1
#set system dns
echo 'nameserver 172.16.1.1' > /etc/resolv.conf


Создаём скрипт инициализации systemd: 

/etc/systemd/system/up-vmbr0.service

Содержимое: 

[Unit]
Description=x11vnc
Requires=network-online.target
After=network-online.target

[Service]
Restart=on-failure
ExecStart=/opt/up_vmbr0.sh
User=root
Group=root

[Install]
WantedBy=multi-user.target

Выполняем команды для старта сервиса: 

systemctl daemon-reload
systemctl enable up-vmbr0.service
systemctl start up-vmbr0.service

Далее перезагрузиться и проверить пинг

Настройка имён хостов

!!! Перед этим нужно чтобы был настроен мост и статический ip по инструкциям из предыдущего пункта

MACHINE_NAME='mobd-06'
hostnamectl set-hostname $MACHINE_NAME
IP=$(ip a | grep vmbr0 | tail -1 | awk {'print $2'} | awk -F '/' {'print $1'})
HOST=$(hostname)
echo "127.0.0.1 localhost" > /etc/hosts
echo "$IP $HOST.nntc.nnov.ru $HOST" >> /etc/hosts

Перезагрузиться и убедиться, что имя хоста после перезагрузки поменялось!

Установка ProxMox

Обновляем систему 

apt-get update -qq -y
apt-get dist-upgrade -y
update-kernel -y

Устанавливаем пакеты 

apt-get install -qq -y pve-manager kernel-modules-zfs-un-def sendmail

Стартуем и включаем сервисы 

systemctl start rrdcached ksmtuned crond lxcfs openvswitch nfs-client.target
systemctl enable rrdcached ksmtuned crond lxcfs openvswitch nfs-client.target

systemctl start pve-cluster
systemctl enable pve-cluster

systemctl start lxc lxc-net lxc-monitord pvedaemon pve-firewall pvestatd pve-ha-lrm pve-ha-crm spiceproxy pveproxy
systemctl enable corosync lxc lxc-net lxc-monitord pve-cluster pvedaemon pve-firewall pvestatd pve-ha-lrm pve-ha-crm spiceproxy pveproxy pve-guests

Перезагрузиться и убедиться, что интерфейс доступен по адресу https://localhost:8006

Скрипт проверки доступности веб интерфейса

/opt/pve_checker.sh

Содержимое: 

#!/bin/bash

res=1

function check(){
wget --no-check-certificate https://localhost:8006 &> /dev/null
res="$?"
}

while [ $res -ne 0 ];do
check
systemctl restart pve-cluster
echo "retry after 3 sec ..."
sleep 3s
done

echo "success"
exit 0


Новый вариант разметки дисков и настройки zfs (без mdadm)

Скрипт авторазметки дисков


#диск с pve
os_disk='/dev/nvme1n1'
data_disk='/dev/nvme0n1'

#create partition /dev/nvme1n1p5
fdisk $os_disk <<EOF
n



w
EOF




#пустой диск
#create partition /dev/nvme0n1p1
wipefs -af $data_disk
fdisk $data_disk <<EOF
g
n



Y
w
EOF

Собираем из свободных разделов stripe-raid 

echo 1 > /sys/module/raid0/parameters/default_layout
wipefs -af /dev/nvme1n1p5
wipefs -af /dev/nvme0n1p1
mdadm --create /dev/md0 -l 0 -n 2 /dev/nvme1n1p5 /dev/nvme0n1p1


Поверх страйпа настраиваем zfs: 

/sbin/modprobe zfs 
zpool create zfspool /dev/md0 -f
zfs set compression=off zfspool
zfs set sync=disabled zfspool


Подключаем zfspool в pve 

pvesm add zfspool vmstorage --pool zfspool --content images,rootdir


Подключаем внешнее хранилище в pve 

pvesm add cifs pveshare --server 172.16.254.123 --share disk1 --username root --password --content iso,backup

Монтирование хранилищ

Написать точки монтирования и команды монтирования двух внешних накопителей по 3 ТБ!

Хранилище с apve3 (TOSHIBA - серверный диск) 

pvesm add cifs iso --server 172.16.254.123 --share disk1 --username root --password --content iso

Хранилище с hpg8 (TOSHIBA - серверные диски) 

pvesm add cifs disk1 --server 192.168.10.126 --share disk1 --username root --password --content backup
pvesm add cifs disk2 --server 192.168.10.126 --share disk2 --username root --password --content backup
pvesm add cifs disk3 --server 192.168.10.126 --share disk3 --username root --password --content backup
pvesm add cifs disk4 --server 192.168.10.126 --share disk4 --username root --password --content backup


Старый вариант разметки дисков и настройки zfs (с mdadm)

Скрипт авторазметки дисков


#диск с pve
os_disk='/dev/nvme1n1'
data_disk='/dev/nvme0n1'

#create partition /dev/nvme1n1p5
fdisk $os_disk <<EOF
n



w
EOF




#пустой диск
#create partition /dev/nvme0n1p1
wipefs -af $data_disk
fdisk $data_disk <<EOF
g
n



Y
w
EOF

Собираем из свободных разделов stripe-raid 

echo 1 > /sys/module/raid0/parameters/default_layout
wipefs -af /dev/nvme1n1p5
wipefs -af /dev/nvme0n1p1
mdadm --create /dev/md0 -l 0 -n 2 /dev/nvme1n1p5 /dev/nvme0n1p1


Поверх страйпа настраиваем zfs: 

/sbin/modprobe zfs 
zpool create zfspool /dev/md0 -f
zfs set compression=off zfspool
zfs set sync=disabled zfspool


Подключаем zfspool в pve 

pvesm add zfspool vmstorage --pool zfspool --content images,rootdir


Подключаем внешнее хранилище в pve 

pvesm add cifs pveshare --server 172.16.254.123 --share disk1 --username root --password --content iso,backup

Монтирование хранилищ

Написать точки монтирования и команды монтирования двух внешних накопителей по 3 ТБ!

Хранилище с apve3 (TOSHIBA - серверный диск) 

pvesm add cifs iso --server 172.16.254.123 --share disk1 --username root --password --content iso

Хранилище с hpg8 (TOSHIBA - серверные диски) 

pvesm add cifs disk1 --server 192.168.10.126 --share disk1 --username root --password --content backup
pvesm add cifs disk2 --server 192.168.10.126 --share disk2 --username root --password --content backup
pvesm add cifs disk3 --server 192.168.10.126 --share disk3 --username root --password --content backup
pvesm add cifs disk4 --server 192.168.10.126 --share disk4 --username root --password --content backup
Источник — https://wiki.nntc.nnov.ru/index.php?title=PVE&oldid=9924