PVE
Содержание
Alt P10
StarterKit GNOME3
Инициализация моста
В
acc
в настройках сети выбираем "не управляется"
В настройках GNOME в разделе сетевых интерфейсов убираем у сетевого интерфейса галочку "Подключаться автоматически"
Затем создаём скрипт (замените в скрипте название интерфейса eno1 на своё):
/opt/up_vmbr0.sh
Содержимое скрипта:
#!/bin/bash
mac=`ip link show eno1 | grep 'link/ether' | awk {'print $2'}`
#creatge bridge vmbr0
ip link add name vmbr0 type bridge
#up vmbr0
ip link set vmbr0 up
#up eno1
ip link set eno1 up
#connect eno1 to the vmbr0
ip link set eno1 master vmbr0
# set mac from eno1 to vmbr0
ip link set dev vmbr0 down
ip link set dev vmbr0 address ${mac}
ip link set dev vmbr0 up
#set ip/mask to the vmbr0
ip a add 172.16.89.6/16 dev vmbr0
#set system default gw
ip ro add default via 172.16.1.1
#set system dns
echo 'nameserver 172.16.1.1' > /etc/resolv.conf
Создаём скрипт инициализации systemd:
/etc/systemd/system/up-vmbr0.service
Содержимое:
[Unit] Description=x11vnc Requires=network-online.target After=network-online.target [Service] Restart=on-failure ExecStart=/opt/up_vmbr0.sh User=root Group=root [Install] WantedBy=multi-user.target
Выполняем команды для старта сервиса:
systemctl daemon-reload systemctl enable up-vmbr0.service systemctl start up-vmbr0.service
Далее перезагрузиться и проверить пинг
Настройка имён хостов
!!! Перед этим нужно чтобы был настроен мост и статический ip по инструкциям из предыдущего пункта
MACHINE_NAME='mobd-06'
hostnamectl set-hostname $MACHINE_NAME
IP=$(ip a | grep vmbr0 | tail -1 | awk {'print $2'} | awk -F '/' {'print $1'})
HOST=$(hostname)
echo "127.0.0.1 localhost" > /etc/hosts
echo "$IP $HOST.nntc.nnov.ru $HOST" >> /etc/hosts
Перезагрузиться и убедиться, что имя хоста после перезагрузки поменялось!
Установка ProxMox
Обновляем систему
apt-get update -qq -y apt-get dist-upgrade -y update-kernel -y
Устанавливаем пакеты
apt-get install -qq -y pve-manager kernel-modules-zfs-un-def sendmail
Стартуем и включаем сервисы
systemctl start rrdcached ksmtuned crond lxcfs openvswitch nfs-client.target systemctl enable rrdcached ksmtuned crond lxcfs openvswitch nfs-client.target
systemctl start pve-cluster systemctl enable pve-cluster
systemctl start lxc lxc-net lxc-monitord pvedaemon pve-firewall pvestatd pve-ha-lrm pve-ha-crm spiceproxy pveproxy systemctl enable corosync lxc lxc-net lxc-monitord pve-cluster pvedaemon pve-firewall pvestatd pve-ha-lrm pve-ha-crm spiceproxy pveproxy pve-guests
Перезагрузиться и убедиться, что интерфейс доступен по адресу https://localhost:8006
Скрипт проверки доступности веб интерфейса
/opt/pve_checker.sh
Содержимое:
#!/bin/bash
res=1
function check(){
wget --no-check-certificate https://localhost:8006 &> /dev/null
res="$?"
}
while [ $res -ne 0 ];do
check
systemctl restart pve-cluster
echo "retry after 3 sec ..."
sleep 3s
done
echo "success"
exit 0
Старый вариант разметки дисков и настройки zfs (с mdadm)
Скрипт авторазметки дисков
#диск с pve os_disk='/dev/nvme1n1' data_disk='/dev/nvme0n1' #create partition /dev/nvme1n1p5 fdisk $os_disk <<EOF n w EOF
#пустой диск #create partition /dev/nvme0n1p1 wipefs -af $data_disk fdisk $data_disk <<EOF g n Y w EOF
Собираем из свободных разделов stripe-raid
echo 1 > /sys/module/raid0/parameters/default_layout wipefs -af /dev/nvme1n1p5 wipefs -af /dev/nvme0n1p1 mdadm --create /dev/md0 -l 0 -n 2 /dev/nvme1n1p5 /dev/nvme0n1p1
Поверх страйпа настраиваем zfs:
/sbin/modprobe zfs zpool create zfspool /dev/md0 -f zfs set compression=off zfspool zfs set sync=disabled zfspool
Подключаем zfspool в pve
pvesm add zfspool vmstorage --pool zfspool --content images,rootdir
Подключаем внешнее хранилище в pve
pvesm add cifs pveshare --server 172.16.254.123 --share disk1 --username root --password --content iso,backup
Монтирование хранилищ
Написать точки монтирования и команды монтирования двух внешних накопителей по 3 ТБ!
Хранилище с apve3 (TOSHIBA - серверный диск)
pvesm add cifs iso --server 172.16.254.123 --share disk1 --username root --password --content iso
В новой сети:
pvesm add cifs iso --server 10.207.151.241 --share disk1 --username root --password --content iso
Хранилище с hpg8 (TOSHIBA - серверные диски)
pvesm add cifs disk1 --server 192.168.10.126 --share disk1 --username root --password --content backup pvesm add cifs disk2 --server 192.168.10.126 --share disk2 --username root --password --content backup pvesm add cifs disk3 --server 192.168.10.126 --share disk3 --username root --password --content backup pvesm add cifs disk4 --server 192.168.10.126 --share disk4 --username root --password --content backup
Новый вариант разметки дисков и настройки zfs (без mdadm)
Скрипт авторазметки дисков
#диск с pve os_disk='/dev/nvme0n1' data_disk='/dev/nvme1n1' #create partition /dev/nvme0n1p3 fdisk $os_disk <<EOF n w EOF
#пустой диск #create partition /dev/nvme1n1p1 wipefs -af $data_disk fdisk $data_disk <<EOF g n Y w EOF
Собираем raidz0 (страйп из двух разделов)
Создаём пулл
zpool create -f -o ashift=12 zfspool /dev/nvme0n1p3 /dev/nvme1n1p1
Некоторые оптимизации для быстрой работы пулла в PVE
zfs set compression=off zfspool zfs set sync=disabled zfspool
Подключаем zfspool в pve
pvesm add zfspool vmstorage --pool zfspool --content images,rootdir
Разбираем zfspool
zfs list zpool destroy <namepool>
Далее необходимо форматировать диски(разделы)
wipefs -af /dev/disk
Подключаем внешнее хранилище в pve
Если необходимо...
pvesm add cifs pveshare --server 172.16.254.123 --share disk1 --username root --password --content iso,backup
Монтирование хранилищ
Хранилище с apve3 (TOSHIBA - серверный диск)
pvesm add cifs iso --server 172.16.254.123 --share disk1 --username root --password --content iso
Хранилище с hpg8 (TOSHIBA - серверные диски)
pvesm add cifs disk1 --server 192.168.10.126 --share disk1 --username root --password --content backup pvesm add cifs disk2 --server 192.168.10.126 --share disk2 --username root --password --content backup pvesm add cifs disk3 --server 192.168.10.126 --share disk3 --username root --password --content backup pvesm add cifs disk4 --server 192.168.10.126 --share disk4 --username root --password --content backup
