Gerade bei der Migration von VMware in Richtung Proxmox ist meist eine Fibre Channel Umgebung vorhanden. Wenn das FC Storage weiterhin genutzt werden soll, dann kann es ebenfalls in Proxmox eingebunden und als Shared Storage genutzt werden.
Hierfür sind aber ein paar zusätzliche Einstellungen zu treffen, die nicht über die Proxmox GUI verfügbar sind. Dies sind aber nur einige recht einfache Befehle.
Hier noch mal die Befehle zur Übersicht:
Installation der fehlenden Pakete:
apt update
apt install multipath-tools
Multipathing Grundkonfiguration:
multipath -v3
Auslesen der benötigten WWID
multipath -a WWID multipath -v3
LVM einrichten:
pvcreate /dev/dm-1
vgcreate san1 /dev/dm1
Weiter in der GUI
Proxmox Snapshots gehen in dieser Konstellation auch?
Mit dem Fibre Channel Shared Storage nutzen wir einen LVM und dort gehen Proxmox Snapshot NICHT. Ein ThinLVM (dort würden Snapshots gehen) geht nicht als Shared Storage, also bleibt es bei FC und Shared bei LVM ohne Snapshot. Eine Sicherung mit dem Proxmox Backup Server geht aber trotzdem, weil dort das QEMU quasi den Snapshot macht (na ja nicht richtig, sondern QEMU kopiert die Originale vor Änderung weg). Aber einen Snapshot mal eben vor einem Update oder einer größeren Änderung geht eben nicht.
Alternative ist da Ceph, aber das geht eben nicht mit FC, sondern nur mit internen physikalischen Platten (bzw. SSD / NVMe).
So ein richtig großer Nachteil sind die fehlenden Snapshot aber auch nicht. Mit dem PBS habe ich schnelle Sicherungen und einen Live Restore.
wäre es das nicht mit Hilfe von ZFS umsetzbar?
Hallo Hans,
leider nicht. Da sprechen zwei Punkte dagegen. Einmal benötigt ZFS immer physikalische Platten oder SSDs als Basis. Und in diesem Fall haben wir eine virtuelle LUN (also auf jeden Fall keinen Zugriff auf die unterliegenden Platten). Der zweite Punkt ist der Shared Storage. ZFS kann immer nur von einem Server aus genutzt werden. Da ja nur physikalische Platten genutzt werden können, ist das völlig normal. Platten im Server, ZFS drauf und alles bleibt innerhalb dieses einen Servers. Ein zweiter Server kann nicht darauf zugreifen, wie soll er an die internen Platten des anderen Servers kommen. Und würde er es schaffen, dann macht er den ZFS Pool kaputt.
Bei Proxmox geht nur der LVM gut, ein Cluster-Filesystem wäre denkbar (gibt es von Oracle, ist sogar nutzbar in Proxmox), wird aber nicht nativ unterstützt. Und dann hat man die Gefahr, das nach einem Proxmox Update nichts mehr läuft. Und wer möchte dann im Backend-Storage rumbasteln müssen?
Hallo Stephan,
ich bin so halb bei dir, teilweise muss ich aber widersprechen. Ich bin aktuell am rum testen mit einem Proxmox Host der via FC an einer Dell unity hängt. Auf der Unity habe ich dem Host Zugriff auf eine Block LUN gegeben und auf dem Host selbst dann ZFS auf den Block Storage gesetzt. Somit funktionieren zumindest schon mal Snapshots. Wo ich aktuell aber dann tatsächlich noch scheitere, ist, dass mir die Veeam Jobs fehlschlagen, ohne aussagekräftiger Fehlermeldung. Der Worker Ansich lässt sich auch Problemlos installieren.
Ja, es läuft auf den ersten Blick. Und ja, wir nutzen es sogar in Schulungen (20 LUNs sind kostengünstiger als 20 SSDs). Aber NICHT für produktive Umgebungen. Warum? Das ZFS hat ja gerade den Vorteil, das es vom Filesystem bis zur Hardware alles überwacht (und auch korrigieren kann). Und das mit der Hardware wird unter einer FC LUN schwierig. Also solange alles gut läuft, wird es wahrscheinlich keine Probleme geben. Aber keine Erfahrung damit, ist uns einfach zu gefährlich und wir raten Kunden davon ab. Wenn man ZFS trotzdem nutzt, dann hat man natürlich native SnapShots, klar.
Bei einem Cluster kriege ich aber das Shared bei ZFS nicht hin, das kann ZFS nicht (also technisch geht es nicht).
Zum Veeam: So was ähnliches hatten wir in Tests, das haben wir aber nicht weiter verfolgt. Sowie der Worker auf einer ZFS SSD war ging es dann. Egal ob die VMs auf einem Nicht-Snapshot Storage lagen oder auch nicht.
Also wichtig: Bei Veeam müssen die VMs nicht unbedingt auf Snapshot Storage liegen, nur der Worker muss.
Hier noch der Link zu den offiziellen Seiten von Proxmox zum Thema Storage: https://pve.proxmox.com/wiki/Storage