HA mit Proxmox einrichten: Ein umfassender Leitfaden für Produktionscluster

Wie lässt sich mit Proxmox zuverlässige Verfügbarkeit (HA) für Produktionscluster gewährleisten?

Start HA mit Proxmox Ziel ist es, Ausfallzeiten zu minimieren und die Verfügbarkeit virtueller Maschinen und Container auch bei Hardware- oder Softwarefehlern sicherzustellen. Dieser Leitfaden richtet sich an Serveradministratoren, DevOps-Experten, Cloud-Service-Provider und technische Teams und behandelt Grundlagen, Voraussetzungen, praktische Konfiguration und Sicherheitstipps. Er enthält praxisnahe Linux-Beispiele und -Befehle sowie Themen wie Speicherfreigabe (Ceph/NFS/iSCSI), Netzwerktechnik, Fencing (STONITH) und verschiedene praktische Lösungen.

Anforderungen und Gesamtarchitektur für Proxmox HA

Für einen stabilen HA-Betrieb auf Proxmox benötigen Sie Folgendes:

• Mindestens 3 physische Knoten Um im Normalbetrieb ein Quorum zu gewährleisten, müssen Sie im Fall von zwei Knoten Folgendes beachten: QDevice Oder man zieht einen unabhängigen Mediator hinzu.
• Eine Schicht Gemeinsamer Speicher Für VMs: Ceph RBD Es ist die beste Option für Hochverfügbarkeit und Live-Migration. NFS, iSCSI Oder DRBD Es gibt auch andere Möglichkeiten.
• Ein separates Managementnetzwerk für den Cluster-Datenverkehr und Corosync Mit geringer Bandbreite und Latenz.
• Mechanismus Zäune/STONITH Um eine Split-Brain-Situation zu vermeiden.
• Backup-Planung und -Überwachung.

Vorgeschlagene Architektur:

• Management-Netzwerk (Cluster-Netzwerk): 2x10Gb oder 1Gb + LACP, private Adressierung (z.B. 10.10.0.0/24).
• Speichernetzwerk (Ceph): Separate Schnittstellen mit MTU 9000 (Jumbo).
• Servicenetzwerk: öffentlich/VLAN für Kunden- und Servicezugang.
• Mindestens 3 Proxmox-Knoten mit Ceph MONs und OSDs oder eine NFS-Speicherebene mit USV und NAS HA.

Warum empfehlen wir Ceph?

Die Hauptgründe für den Vorschlag von Ceph:

• RBD Als verteilter Blockspeicher ermöglicht er die Live-Migration, ohne dass Dateien auf der Festplatte verschoben werden müssen.
• Abwesenheit Single Point of FailureVertikale und horizontale Skalierbarkeit.
• Native Integration mit Proxmox über pveceph.

Praktische Schritte: von der Installation bis zur HA-Aktivierung

In diesem Beispiel richten wir einen 3-Knoten-Cluster mit Ceph und HA für VMs ein. Die wichtigsten Schritte sind folgende:

1) Installieren Sie Proxmox Base auf jedem Knoten.

Installation auf einem beliebigen Proxmox VE-Server (kompatibel mit Versionen 6/7/8). Nach der Installation die Administrator- und SSH-Adressen einrichten und das System aktualisieren.

sudo apt update && sudo apt dist-upgrade -y

2) Erstellen Sie einen Cluster (auf dem ersten Knoten)

Erstellen Sie den Cluster auf dem ersten Knoten und überprüfen Sie den Status:

sudo pvecm create my-cluster
pvecm status

3) Hinzufügen von Knoten zum Cluster

Führen Sie auf jedem sekundären Knoten den folgenden Befehl aus und überprüfen Sie anschließend den Clusterstatus:

sudo pvecm add <IP-نود-اول>
pvecm nodes
pvecm status

4) CoreSync-Netzwerk und MTU

Stellen Sie sicher, dass bindnetaddr aktiviert ist. /etc/pve/corosync.conf Sie verfügen über ein korrekt konfiguriertes Netzwerk mit geringer Latenz. Verwenden Sie für Ceph MTU 9000 Verwenden Sie es und aktivieren Sie es auf der Netzwerkkarte und dem Switch.

5) Installation und Einrichtung von Ceph (einfaches Beispiel)

Grundlegende Befehle zur Installation und Konfiguration von Ceph auf jedem Knoten:

pveceph install
pveceph init --mon-ip <IP-نود>
pveceph createosd /dev/sdb
ceph -s

6) HA-Manager aktivieren und VM zu HA hinzufügen

In der Weboberfläche: Rechenzentrum → HA → Hinzufügen → Ressource auswählen (z. B. vm:100 oder ct:101) und Richtlinie angeben (Neustart, Migration).

Sie können die Ressource auch über die Befehlszeile mit pvesh hinzufügen:

pvesh create /cluster/ha/resources -resource vm:100 -state started -max_restart 3
ha-manager status
pvesh get /cluster/ha/status

7) Failover-Test

Um einen Stromausfall eines Knotens zu simulieren und zu überprüfen, ob VMs auf anderen Knoten wieder starten:

ssh root@node1 "shutdown -h now"
ha-manager status
qm list

Empfohlene Netzwerkeinstellungen

Empfehlungen für die Netzwerkplanung:

• Zwei separate physikalische Netzwerke für Management Und Lagerung. VLANs zur Verkehrsisolierung.
• Bonding (LACP) für Redundanz und erhöhte Bandbreite. Beispielkonfiguration:

auto bond0
iface bond0 inet manual
    bond-slaves eth0 eth1
    bond-mode 802.3ad
    bond-miimon 100

Für Ceph wird empfohlen, die MTU auf 9000 einzustellen und dass der Netzwerk-Switch Jumbo-Frames unterstützt.

Fechten (STONITH) und die Verhinderung von Split-Brain

Um einen fehlerhaften Knoten zu isolieren, ist eine Abschirmung erforderlich. Proxmox unterstützt Fencing-Agenten.

apt install fence-agents

Beispielhafter IPMI-Befehl für Fencing:

fence_ipmilan -a <IP> -l <USER> -p <PASS> -o poweroff

In Cloud- oder Rechenzentrumsumgebungen können Sie IPMI/BMC oder netzwerkbasierte Abriegelung (z. B. Zaun_virt) verwendet. Im Falle von zwei Knoten muss unbedingt ein QDevice mit dem Befehl erstellt werden. pvecm qdevice setup Oder nimm einen dritten Zeugen hinzu.

Tipps für alle Anwendungsbereiche (Handel, Gaming, KI/GPU, Rendering)

VPS für Trading: Wahl eines Standorts in der Nähe von Börsen (z. B. London, Frankfurt, New York), Verwendung von Servern mit geringer Latenz und Anti-DDoS-Funktion sowie HA mit einer schnellen Neustartrichtlinie.

Gaming-VPS: Niedriger Ping und hohe Bandbreite sind wichtig. Hochverfügbarkeit ist für Liga-/Dauerserver nützlich; bei Wettkampfspielen ist es jedoch üblich, vor dem Spiel eine Replikation und einen Snapshot durchzuführen.

GPU Cloud (KI und Rendering): Hochverfügbarkeit (HA) ist für GPUs eine Herausforderung, da ein Failover der GPU auf einen anderen Knoten vGPU-Unterstützung oder eine erneute Anbindung erfordert. Empfehlung: Nutzen Sie Job-Management (z. B. Kubernetes + GPU-Scheduling), um Jobs im Falle eines Knotenausfalls neu zu planen.

Der Dienstanbieter bietet Grafikprozessoren (GPUs), Anti-DDoS-Server und VPS für Handel und Gaming an, die mit Ceph und Low-Latency-Netzwerken integriert werden können.

Sicherheit, Datensicherung und Überwachung

• Authentifizierung: Aktivieren Sie die Zwei-Faktor-Authentifizierung für die Weboberfläche, verwalten Sie SSH-Schlüssel und beschränken Sie den Zugriff.
• Firewall: Verwenden Sie die Proxmox Firewall und strenge Regeln für Protokolle (SSH, Corosync, Ceph).
• Backup: Definieren Sie RTO und RPO, Snapshot- und regelmäßige Backups an einem anderen Ort (z. B. außerhalb des Clusters oder auf einem S3-kompatiblen Speicher).

vzdump --compress lzo 100 --storage backup-storage 101

Überwachung: Für die Überwachung des Zustands von Knoten, Corosync, Ceph und VMs wird Prometheus + Grafana oder Zabbix empfohlen.

Checkliste für die Vorproduktion

• Failover-Tests werden in einer Testumgebung durchgeführt, bevor die Produktion eingeschaltet wird.
• Überprüfen Sie die Live-Migrationsleistung mit Ceph RBD und I/O-Tests.
• Fencing konfigurieren und testen (den Knoten trennen und prüfen, ob er ausgefallen oder getrennt ist).
• HA-Richtlinien festlegen: Neustart vs. Migration, max_restart, Timeout.
• Backup- und Archivierungsprogramm für Protokolle.

Standortvergleich und Auswahlempfehlungen

Allgemeine Empfehlungen zur Standortwahl auf Grundlage der Bewerbung:

• Europa (Frankfurt, London): Geeignet für europäische Websites und den europäischen Handel; geringe Latenz zu den europäischen Finanzmärkten.
• Amerika (Ashburn, NY): Geeignet für den Handel mit amerikanischen Märkten, CDN und Content-Distribution.
• Asien (Tokio, Singapur): Geeignet für Spiele und Dienste für asiatische Nutzer sowie für Anwendungen, die eine Verarbeitung in asiatischen Regionen erfordern.

Zusammenfassung und empfohlene Konfiguration

• Mindestens 3 Proxmox-Knoten Mit separaten Netzwerken für Cluster und Speicher.
• Ceph RBD Als gemeinsam genutzter Speicher für Hochverfügbarkeit und Live-Migration.
• IPMI-basierte Zaunbildung bzw. Zaunmittel und deren regelmäßige Prüfung.
• Netzwerk mit Bonding, MTU 9000 für Ceph und VLAN zur Isolation.
• Führen Sie regelmäßige Überwachung und Datensicherung durch.

Wenden Sie sich an das technische Support-Team.

Wenn Sie einen produktiven Proxmox HA-Cluster aufbauen möchten oder Beratung bei der Auswahl eines Standorts (aus über 85 Standorten weltweit), eines Grafikservers (GPU), eines Anti-DDoS-Servers, eines Trading- oder Gaming-VPS oder bei der Speicherauswahl (Ceph/NFS/iSCSI) benötigen – unser technisches Team ist bereit, HA für Sie zu entwerfen, zu implementieren und zu testen.

Häufig gestellte Fragen