Comment supprimer un cluster créé :
Télécharger ce script sur votre proxmox (celle où le cluster a été créé)

Télécharger « del_cluster.sh »

l'exécuter avec le nom du noeud sur lequel vous êtes (ici Proxmox)

sh del_cluster.sh Proxmox 

Puis supprimer tous les dossiers autre "Proxmox" dans /etc/pve/nodes

Il faudra faire pareil sur tous les noeuds qui ont été précédemment ajoutés sur le cluster : télécharger le script dessus, puis supprimer les dossiers autre que celui du noeud sur lequel vous êtes dans /etc/pve/nodes

Voici un petit script pour déployer une box Vagrant Windows (10,11,serveur 2022 standard/core/datacenter), linux debian,ubuntu et FreeBSD avec Hyper-V sur Serveur Windows 2022.

Le script installe Hyper-V et Vagrant s'ils ne sont pas présents.

# Facilite le déploiement de machines Windows, Windows Server, Debian, FreeBSD et Ubuntu.
# Hyper-V et Vagrant seront installés automatiquement s'ils ne sont pas présent.
# 

Add-Type -AssemblyName System.Windows.Forms

# Vérification de Hyper-V
$HyperVCheck = Get-WindowsFeature | Where-Object { $_.Name -eq "Hyper-V" -and $_.InstallState -eq "Installed" }

if (-not $HyperVCheck) {
    [System.Windows.Forms.MessageBox]::Show("Hyper-V n'est pas installé. Voulez-vous l'installer?", "Hyper-V Non Installé", 'YesNo', 'Warning') -eq 'Yes' | ForEach-Object {
        Install-WindowsFeature -Name Hyper-V -IncludeManagementTools
    }
}

# Vérification de Vagrant
$vagrantInstalled = (Get-Command vagrant -ErrorAction SilentlyContinue)

if (-not $vagrantInstalled) {
    [System.Windows.Forms.MessageBox]::Show("Vagrant n'est pas installé. Voulez-vous l'installer?", "Vagrant Non Installé", 'YesNo', 'Warning') -eq 'Yes' | ForEach-Object {
        New-Item -Path "C:\DOWNLOAD\" -ItemType directory
        Set-Location "C:\DOWNLOAD"
        Invoke-WebRequest -Uri "https://releases.hashicorp.com/vagrant/2.3.7/vagrant_2.3.7_windows_amd64.msi" -Outfile "C:\DOWNLOAD\vagrant_2.3.7_windows_amd64.msi"
        Start-Process "MsiExec" -ArgumentList "/i C:\DOWNLOAD\vagrant_2.3.7_windows_amd64.msi" -Wait
    }
}

# Créer le dossier VAGRANT :
$folderPath = "C:\Users\Administrateur\VAGRANT"

if (-not (Test-Path $folderPath)) {
    New-Item -Path $folderPath -ItemType Directory
    Write-Output "Dossier $folderPath créé avec succès."
} else {
    Write-Output "Le dossier $folderPath existe déjà."
}


# Si Hyper-V et Vagrant sont installés, proposer le téléchargement d'une box Vagrant
if ($HyperVCheck -and $vagrantInstalled) {
    $BoxList = @(
        "gusztavvargadr/windows-11",
        "gusztavvargadr/windows-10",
        "gusztavvargadr/windows-server-2022-standard",
        "gusztavvargadr/windows-server-2022-standard-core",
        "cdaf/WindowsServerDC",
        "maroskukan/debian12",
        "generic/debian11",
        "maroskukan/ubuntu2304",
        "generic/freebsd13",
        "generic/centos9s",
        "cesiavoip/freepbx-14-full"
    )

    $ScreenBounds = [System.Windows.Forms.Screen]::PrimaryScreen.Bounds

    $Form = New-Object System.Windows.Forms.Form
    $Form.Text = 'Choisir une box Vagrant à télécharger'
    $Form.Width = 500
    $Form.Height = 300
    $Form.StartPosition = [System.Windows.Forms.FormStartPosition]::CenterScreen

    $ListBox = New-Object System.Windows.Forms.ListBox
    $ListBox.Width = 450
    $ListBox.Height = 200
    $ListBox.Location = New-Object System.Drawing.Point(10, 10)
    $BoxList | ForEach-Object { $ListBox.Items.Add($_) }
    $Form.Controls.Add($ListBox)

    $Button = New-Object System.Windows.Forms.Button
    $Button.Text = 'Installer'
    $Button.Width = 100
    $Button.Height = 30
    $Button.Location = New-Object System.Drawing.Point(200, 220)

    $Button.Add_Click({
        $SelectedBox = $ListBox.SelectedItem.ToString()
        Set-Location "C:\Users\Administrateur\VAGRANT" # Mettez à jour l'emplacement de base ici si nécessaire

        # Extrait la dernière partie du nom de la box pour le nom du dossier
        $BaseName = $SelectedBox.Split("/")[-1]
        $BaseDirectory = "$BaseName"
        $NewDirectory = $BaseDirectory
        $i = 1

        while (Test-Path $NewDirectory) {
            $NewDirectory = "$BaseDirectory-$i"
            $i++
        }

        New-Item -Path $NewDirectory -ItemType directory
        Set-Location $NewDirectory
        vagrant init $SelectedBox

        # Exécuter vagrant up dans une nouvelle fenêtre d'invite de commandes
        Start-Process cmd.exe -ArgumentList "/k vagrant up"

        Start-sleep -seconds 2

        $Form.Close()
        [System.Windows.Forms.MessageBox]::Show("La création de la box Vagrant est en cours.`nElle apparaîtra dans le gestionnaire Hyper-V lorsque l'installation sera terminée.", "Création de la box en cours", 'Ok', 'Information')
    })


    $Form.Controls.Add($Button)

    $Form.ShowDialog()
} 

(rappel idiot : la virtualization doit être préalablement autorisée dans le BIOS/UEFI)

Ouvrir PowerShell en mode administrateur

Install-WindowsFeature -Name Hyper-V -IncludeManagementTools -Restart

(bon à savoir, si l'installation est faîte à distance, il faut inclure -ComputerName <NOM-DU-SERVEUR> à la commande précédente)
Pour vérifier que l'installation a bien fonctionné : 

Get-WindowsFeature

Ouvrir le shell de proxmox
vi /etc/systemd/timesyncd.conf
[Time]
NTP=ntp1.example.com ntp2.example.com
# Enregistrer et quitter

Redémarrer le service :
systemctl restart systemd-timesyncd

Vérifier :
journalctl --since-1h-u systemd-timesyncd

-------------------------------------------------------------------

Dans le cas de la mise en place d'un serveur NTP alternatif avec chronyd :
https://pve.proxmox.com/wiki/Time_Synchronization

1) Atteindre Proxmox par l'interface graphique grâce à votre navigateur web (http://IP-PROXMOX)

2) Sélectionner votre VM, cliquez sur l'onglet Backup, faîtes une backup maintenant :

(ici, je choisis d'exporter un pare-feu, la VM 115)

- choisissez l'endroit où envoyer votre Backup (ici, local)
- Mode : Stop
- Compression : none
- Ne changez pas le reste

3) Regardez où se trouve le stockage 'local' de votre Proxmox :

il se trouve dans /var/lib/vz

4) Ouvrez le shell proxmox, rendez-vous à dans /var/lib/vz/dump, vous y trouverez la backup de votre VM

Votre fichier de backup est le 'vzdump-qemu-115-2022_06_30-07_46_09.vma'

5) Procédez à l'extraction du fichier .vma

vma extract -v vzdump-qemu-115-2022_06_30-07_46_09.vma ./extracted

Vous pouvez donc voir votre fichier .raw extrait dans le dossier /var/lib/vz/dump/extracted

cd /var/lib/vz/dump/extracted

Notre fichier .raw est disk-drive-ide0.raw

6) Transférez le .raw
Retournez sur votre poste Windows (ou autre), ouvrez un invite de commande et allez récupérer le fichier .raw sur le proxmox grâce à la commande scp (je mets la syntaxe dans le cas où le port ssh a été changé sur le promox.. si c'est 22, enlevez -P 2355)

scp -P 2355 root@IP-PROXMOX:/var/lib/vz/dump/extracted/disk-drive-ide0.raw /destination-sur-votre-windows/

7) Convertissez le .raw pour le rendre importable dans VirtualBox :
Ouvrez PowerShell en mode admin (si vous êtes sur windows)

Get-ChildItem -File -Filter *.raw | Select Directory, Name, Extension

vboxmanage.exe convertfromraw disque.raw disque.vdi Invoke-Expression ('&'"+ $Env:Programfiles +'\Oracle\VirtualBox\VBoxManage.exe" convertfromraw ".\disk-drive-ide0.raw" ".\ouput-filename.vdi"')

8) Sur Virtualbox, créez une VM à vide, entrez dans les paramètres, attachez le disque dur converti

1) décompresser le .ova

tar -xvf VM.ova (sur une machine Linux)...

Sur Windows renommez le fichier en .7z et décompressez-le

Un fichier .vmdk apparaît (appelons-le VM-disk001.vmdk pour l'exemple)

2) Envoyer VM-disk001.vmdk sur Proxmox (depuis votre poste de travail vers Proxmox)

scp chemin-VM-disk001.vmdk root@IP-PROXMOX:/tmp/

3) Convertir le .vmdk en .qcow2 (depuis un shell sur Proxmox.. via SSH par exemple ou depuis la console web)

qemu-img convert -f vmdk /tmp/VM-disk001.vmdk -O qcow2 VM.qcow2

4) Créer une VM sur l'interface graphique de Proxmox (id 100, par exemple), ne la démarrez pas, allez dans le hardware, détachez et enfin supprimez le disque dur.

5) Importez le disque .qcow2 et assignez-le
Sur la console Proxmox :

qm importdisk 100 /tmp/VM.qcow2 local-lvm

qm set 100 --scsi0 local-lvm:vm-100-disk-0

6) Réglez l'ordre d'amorçage
Retournez sur l'interface web graphique, sélectionnez la VM, puis Options, Boot Order.
Sélectionnez votre disque fraîchement rajouté et placez-le en première position.

7) Vous pouvez à présent démarrer la VM.

Eteignez vos VMs d'abord
Puis,

Dans Powershell en mode admin :

Set-VMHost -EnableEnhancedSessionMode $true

Relancez vos VMs... Une proposition d'affichage adapté va apparaître lors du démarrage.

Créer plusieurs VM Proxmox, (minimum 3)
      Chacune contenant 2 disques dur.
            Un premier disque dur de boot de 16Go, le 2nd disque dur de 50Go. En fixe, pas en dynamique (du moins, pour Hyper-V)
Les noms (hosts et hostname) et les config réseau doivent être différents sur chaque VM Proxmox bien sûr ! (exemple : PVE1, PVE2, PVE3 etc..)
(Si vous avez oublié cette étape, ou si vous avez cloné une VM Proxmox, n'oubliez pas de modifier les fichiers suivants !  vi /etc/hosts, vi /etc/hostname; vi /etc/network/interfaces puis reboot).

Pour créer un Cluster
Sur l'un des Proxmox (le premier par exemple), en ligne de commande :
pvecm create NOM-DU-CLUSTER

Sur chacun des autres Proxmox (autre que le premier) :
pvecm add IP-DU-PREMIER-PROXMOX

Installer CEPH sur chacun des noeuds du Cluster, via l'interface en web de Proxmox

---------------------------------------------
Comment supprimer un cluster créé :
Télécharger ce script sur votre proxmox (celle où le cluster a été créé)

Télécharger « del_cluster.sh »

l'exécuter avec le nom du noeud sur lequel vous êtes (ici Proxmox)

sh del_cluster.sh Proxmox 

Puis supprimer tous les dossiers autre "Proxmox" dans /etc/pve/nodes

Il faudra faire pareil sur tous les noeuds qui ont été précédemment ajoutés sur le cluster : télécharger le script dessus, puis supprimer les dossiers autre que celui du noeud sur lequel vous êtes dans /etc/pve/nodes

Les @ et autres | peuvent être réalisés avec le Alt code...
@ : ALT 64
| : ALT 124

Voir la liste complète des caractères spéciaux ici

Petits conseils d'ami avec Hyper-V.
*) Ne pas laisser Hyper-V gérer la RAM des VM si vous planifiez d'installer un OS type Linux ou BSD..
Pas de RAM dynamique pour ces OS ! 

*) Ne pas laisser Hyper-V créer un disque dur lors de la création de votre VM !
Lors de la création de la VM, on nous propose de créer un disque dur, et Hyper-V se garde bien de nous informer du type de stockage (dynamique par défaut) !!. Et Hyper-V gère très mal le stockage dynamique avec les OS type Linux ou BSD.
Cela signifie que lorsque vous créez votre VM, vous ne devez pas créer de disque dur tout de suite, vous l'ajouterez vous-même par la suite dans les paramètres de la VM (Ajouter un composant, SCSI, Nouveau... fixe !).
Ne vous faîtes pas avoir, c'est le bazar pour convertir les disques dynamiques en fixes après !
Il faudra recréer les VMs après conversion des disques.

*) Si vous convertissez une VM .ova en .vhdx (procédure dans cette rubrique), n'oubliez pas que vous pouvez utiliser votre disque converti QUE dans une VM de generation 1 !

*) Pour faire des VMs imbriquées, lisez l'article concerné 

Ouvrez PowerShell en mode admin :
- Pour convertir un disque fixe en dynamique

Convert-VHD –Path c:\VM\my-vhdx.vhdx –DestinationPath c:\New-VM\new-vhdx.vhdx –VHDType Dynamic

- Pour convertir un disque dynamique en fixe

Convert-VHD –Path c:\VM\my-vhdx.vhdx –DestinationPath c:\New-VM\new-vhdx.vhdx –VHDType Fixed

ATTENTION, il vous faudra recréer une VM et y incorporer le disque converti.
Remplacer le disque initial par le dynamique ne permettra de rebooter la VM.

- Configurer un Cluster de Proxmox (Voir article)
- Faire un apt update et éventuellement un apt dist-upgrade sur chacun des noeuds
- Installer Ceph sur chacun des noeuds (se positionner dans le 1er noeud, menu Ceph, installer.. puis passer au 2nd noeud...).
     -Repositionnez-vous le premier noeud.
         - Dans le menu Ceph, monitor, -créer les moniteurs des autres noeuds que le premier noeud, 
              (ils vont s'ajouter automatiquement dans les autres noeuds)
                                                           - créer les managers de tous les noeuds
              (ils vont s'ajouter automatiquement dans les autres noeuds églament)
                                           , OSDs,   - créer les OSD pour chacun des noeuds
              (ils vont s'ajouter automatiquement dans les autres noeuds églament)
                                           , Pools,    - créer un Pool (pool1 par exemple)
                                           , CephFS,- créer les meta serveurs (tous les noeuds)

- Créer une VM (ou un container) sur l'un des noeuds, la créer sur le disque dur du noeud le plus gros.
- Se positionner dans Datacenter
   - Dans le menu HA, Ajouter. Sélectionnez une VM à placer en Haute Disponibilité.
      Vous pouvez à présent éteindre le noeud contenant la VM (Attention à ce que ce ne soit pas le noeud qui centralise le cluster, sinon, déplacez votre VM dans un autre noeud !!!!). Vous verrez une minute après que la VM s'est déplacée sur un autre noeud actif

Une bonne vidéo sur le processus de HA : PARTIE 4 - MISE EN PLACE DE CEPH DANS UN CLUSTER PROXMOX - YouTube

1) créer votre VM Proxmox
- Génération 2
- RAM et espaces de stockage selon besoins
- Réseau par pont, switch par défaut.
- Vous pouvez ajouter l'ISO d'installation de Proxmox dès à présent

2) avant le premier démarrage, aller dans les paramètres de la VM :
- désactiver le secure boot dans l'onglet sécurité
- augmenter le nombre de processeurs

3) toujours avant le premier démarrage, ouvrez PowerShell en mode admin, puis activez la virtualisation imbriquée pour votre VM

4) lancez la VM et faites l'installation

5) si besoin, créez un réseau NAT pour vos futures VMs imbriquées dans Proxmox

Par défaut, Proxmox utilise l'interface vmbr0 pour se connecter par pont à l'extérieur.
Pour les VMs à l'intérieur de Proxmox, on peut réaliser un NAT afin de leur créer leur propre réseau.

Dans Proxmox :

vi /etc/network/interfaces
# on peut voir la configuration de la carte réseau vmbr0, du style
auto vmbr0
iface vmbr0 inet static
       address IP/CIDR
       gateway IP-GATEWAY
       bridge-ports eth0
       bridge_stp off
       bridge_fd

# on va ajouter une seconde carte réseau (vmbr1) en dessous
auto vmbr1
iface vmbr1 inet static
       address 192.168.2.1
       netmask 255.255.255.0
       bridge_ports none
       bridge_stp off
       bridge_fd 0

# Enregistrer et fermer

Puis, toujours sur Proxmox, il faut configurer le NAT dans iptables :

iptables -t nat -A POSTROUTING -s '192.168.2.0/24' -o vmbr0 -j MASQUERADE

Ensuite, il ne reste plus qu'à configurer vos VMs afin de leur attribuer une IP dans ce réseau NAT (192.168.2.0/24), de la façon habituelle (vi /etc/network/interfaces et vi /etc/resolv.conf), puis rebooter, et le tour est joué !

Lancez PowerShell en mode Administrateur.

1) Affichez vos VM :

Get-VM

2) Activez la virtualisation imbriquée pour la VM de votre choix (ici "PROXMOX") :
Pré-requis : Votre VM doit être arrêtée AVANT 

Set-VMProcessor -VMName PROXMOX -ExposeVirtualizationExtensions $true

Télécharger
/ISO/ESXI/VMware%20ESXi%206.0U3a/ (dtops.cc)

Télécharger
http://vibsdepot.v-front.de/depot/bundles/net-tulip-1.1.15-1-offline_bundle.zip

Suivre le tuto sur cette page :
Installing ESXi on Hyper-V: Complete Walkthrough (nakivo.com) 

Vous pouvez ensuite procéder à l'installation/configuration en suivant l'article sur l'installation

Cas de figure : Votre Windows Server est en VM dans le cloud et ne dispose que d'une adresse IP publique.
Or, Hyper-V place ses VM dans le même réseau que l'hôte.. Chaque VM aurait donc besoin d'une adresse ... publique !
Ce qui n'est pas possible.

On va donc créer un vSwtich Interne dans Hyper-V, puis créer un réseau NAT en Powershell, afin de permettre aux VM d'accéder à Internet.
Dans l'autre sens, on souhaite également permettre aux utilisateurs d'internet d'accéder (par exemple à un serveur web) aux VMs d'hyper-V... Sauf que comme elles sont dans un NAT, on ne peut pas.. On va donc également faire un port forwarding (DNAT).

1) Activer le routage
allez dans regedit

Ordinateur\HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\Tcpip\Parameters

Modifiez la valeur de IPEnableRouter (passer de 0 à 1), quittez

 

2) Activez le routage et l'accès distant
allez dans services.msc
Routage et accès distant.
Passez en mode automatique, appliquez et démarrez-le

 


3) vSwtich Interne et Réseau NAT :
Dans le gestionnaire Hyper-V, ouvrir le gestionnaire de commutateur virtuel.
Créer un vswitch interne, réseau interne (nommé NAT, par exemple)

Ouvrir PowerShell en mode admin
récupérer l'ifindex du vswitch interne qu'on vient de créer :

Get-NetAdapter

(le vSwitch interne créé s'appelle Hyper-V Virtual ...)

(L'IP n'est pas la même... normal, c'est un autre TP)

 

Créer l'adresse IP de gateway du futur NAT (exemple 10.10.10.1/24)

New-NetIpAddress -IPAddress 10.10.10.1 -PrefixLength 24 -InterfaceIndex 14

Créer le NAT, (sur le réseau 10.10.10.0/24)

New-NetNat -Name NATforVM -InternalIPInterfaceAddressPrefix 10.10.10.0/24

Pour connecter les VM à ce réseau NAT, il suffit, dans les paramètres des VM, de sélectionner le vSwitch interne (NAT) créé au début.

Vous devez à présent redémarrer votre serveur pour rendre le NAT fonctionnel.

Supprimer votre NAT :

Remove-NetNat

4) Maintenant, comment DNATer ces VMs sur l'addresse publique (IPPUBLIQUE, je n'en précise pas une réelle ici)
On prend l'exemple d'une VM, dans le NAT, d'adresse IP : 10.10.10.10/24
On veut la déNATER sur le port 52345, c'est à dire, pouvoir y accéder directement depuis internet, en inscrivant l'IPPUBLIQUE:52345
A titre d'exemple, on souhaite être redirigé sur le port 80 (donc du TCP) de la VM (qui est un serveur web, par exemple).
On rappelle que le réseau NAT créé dans le 1) est NATforVM

Add-NetNatStaticMapping -ExternalIPAddress "IPPUBLIQUE/24" -ExternalPort 52345 -Protocol TCP -InternalIPAddress 10.10.10.10/24 -InternalPort 80 -NatName NATforVM

On peut faire autant de DNAT qu'on veut dénater de ports sur la VM dans Hyper-V (443 par exemple)...

2 petites choses à ne pas oublier dans les réglages de votre VM (dans VirtualBox) :
- Système -> Processeur -> cocher VT-x/AMD-V
- Réseau -> Avancé -> Promiscuité -> ALL