Quorum Disks Einführung

UPDATE 28.07.2014:  Änderungen in blau; Beschreibung für enhanced Mode und non-enhanced Mode.

Dieser Beitrag beschreibt Grundlagen zu SVC Quorum Disks, sowie Besonderheiten und Empfehlungen.

Zum Thema „Quorum“ gibt es noch folgenden Beitrag:

  • Anbindung der aktiven Quorum Disk in Site 3

Grundlagen:

  • Wofür: In der aktiven Quorum Disk werden wichtige SVC Metadaten (die in den Nodes vorgehalten sind) nochmals extern abgelegt. Dies ist z.B. das Mapping von VDISK-Extents zu den Extents der MDISKs und ein Journaling der VDISK-Mirrors. Außerdem spielt die aktive Quorum Disk die entscheidende Rolle beim automatischen Site-Failover.
  • Jeder SVC Cluster (lokal und stretched) benötigt 3 Quorum Candidates. Nur einer davon ist zu einem Zeitpunkt aktiv; dies ist die aktive Quorum. Die anderen beiden Candidates stehen als Reserve zur Verfügung, falls die aktive Quorum Disk ausfallen sollte.
  • Der SVC Cluster definiert die Quorum Candidates automatisch. Dazu werden bei drei MDISKs, die sich in einem Pool (Managed Disk Group) befinden, jeweils ein paar hundert MB (z.B. Extent Size 128 MB: 3 Extents;  Extent Size 256 MB: 2 Extents;  ab Extent Size von 512 MB: 1 Extent) dafür reserviert. Die verbleibenden Extents dieser MDISKs kann für Benutzerdaten verwendet werden.
  • Die automatische Definition der Quourm Disks ist für lokal aufgebaute Cluster  (alle Nodes in gleichen RZ) in der Regel in Ordnung. Beim Stretched Cluster müssen jedoch die Quorum Disks besonders verteilt werden – dies muss bei der Installation beachtet und speziell eingerichtet werden.

Anforderungen im Stretched Cluster:

Aktive Quorum Disk:

  • Die aktive Quorum Disk muss sich in Site 3 befinden. Sie wird auch als „Extended Quorum Disk“ bezeichnet.
  • Dazu ist in Site 3 ein Speichersystem notwendig, das von IBM für diesen Zweck freigegeben ist. In der SVC Interoperability Matrix muss dazu beim Speichersystem „supports extended quorum“ (in der Spalte „Supports Quorum Disk“) vermerkt sein.

Meine Empfehlungen für das Speichersystem in Site 3:

  • Eigenes kleines Speichersystem (z.B. IBM Storwize V3700) mit 4 „kleinen“ Platten (SAS, 10k).
  • Setup mit RAID5 2+P und einer Hotspare Disk. Definition eines Volumes mit 1 GiB (binäres Gigabyte), das die aktive SVC Quorum Disk aufnehmen soll.
  • Das Speichersystem sollte dediziert als aktives Quorum Device verwendet werden. Sollte die Dedizierung nicht gewünscht sein, empfehle ich zumindest das RAID-Array mit dem Quorum-Volume zu dedizieren. Andere RAID-Arrays können ggf. für non-SVC Traffic, z.B. als Disk Pool für Backup, eingesetzt werden.

Nicht aktive Quorum Disks:

  • In Site 1 und in Site 2 muss je ein Quorum Candidate eingerichtet werden.
  • Dies ist nur auf Speichersystemen möglich, die in der SVC Interoperability Liste in der Spalte „Supports Quorum Disk“ freigegeben sind.
  • Ich empfehle in Site 1 und Site 2 je ein dediziertes Volume mit 1 GiB zur Verwendung als Quorum Candidate anzulegen.

Quorum Disks implementieren:

Quorum Disks integrieren:

  • Ich empfehle Quorum-Disks als solche zu dedizieren, d.h. diese MDISKs nicht zusätzlich für Extent Allocations (VDISKs) zu verwenden. Damit wird eine Trennung zwischen SVC Metadaten und Benutzerdaten erreicht.
  • Quorum Disks können nur auf MDISKs definiert werden, die sich in einem Pool (managed disk group) befinden. Ich empfehle, dafür einen eigenen Pool zu definieren (Quorum-Pool), der nur die 3 Quorum MDISKs (mit je 1 GiB) beinhaltet. Sollte eine Quorum MDISK ausfallen, ist der Zugriff auf die anderen Quorum MDISKs möglich, auch wenn sich alle Quorum MDISKs im gleichen Pool befinden !

Verwendung einrichten:

  1. Quorum Disks definieren:
    CLI:> svctask chquorum –mdisk [id oder name der 1. Quorum Disk] 0
    CLI:> svctask chquorum –mdisk [id oder name der 2. Quorum Disk] 1
    CLI:> svctask chquorum –mdisk [id oder name der 3. Quorum Disk] 2
    Die letzte Ziffer ist die Quorum-ID (0, 1 und 2).
  2. Aktive Quorum Disk festlegen; dabei muss die Quorum-ID angegeben werden, deren MDISK in der Site 3 liegt:
    CLI:> svctask chquorum –active [Quorum-ID]
  3. Ab Version 6.2 muss noch folgende Einstellung vorgenommen werden:
    CLI:> svctask chquorum –mdisk [id oder name der 1. Quorum Disk] –override yes 0
    CLI:> svctask chquorum –mdisk [id oder name der 2. Quorum Disk] –override yes 1
    CLI:> svctask chquorum –mdisk [id oder name der 3. Quorum Disk] –override yes 2
    Mit „override yes“ wird die Funktion zur automatischen Quorum-Auswahl überschrieben, d.h. abgeschaltet.
  4. Am Ende bitte alles mit „svcinfo lsquorum“ überprüfen.

Weitere Hinweise:

Mit o.g. Einstellungen wird der SVC Cluster nach einem Ausfall die festgelegte Konfiguration automatisch wiederherstellen, z.B.:

Ausgangssituation:

  • Quorum-ID 0 = MDISK 5 = Quorum candidate
  • Quorum-ID 1 = MDISK 1 = Quorum candidate
  • Quorum-ID 2 = MDISK 9 = Aktive Quorum Disk

Nach Ausfall von MDISK 9:

  • Quorum-ID 0 = MDISK 5 wird zur aktiven Quorum Disk
  • Da nur noch 2 Quorums im System sind, sucht sich der Cluster eine weitere MDISK mit freier Kapazität und definiert dort einen weiteren Quorum Candidate, z.B:
    Quorum-ID 2 = MDISK 179 (temporärer Quorum Candidate)

Nach Wiederverfügbarkeit von MDISK 9:

  • Quorum-ID2 wird wieder auf die MDISK 9 gesetzt und aktiv verwendet.
  • Temporärer Quorum Candidate auf MDISK 179 wird verworfen.

 

Hinweise zum enhanced Mode:

  • Quorum Disk werden beim enhanced Mode genau so eingerichtet wie beim non-enhanced Mode.
  • Die Quorum Disks bitte im non-enhanced Mode einrichten und erst nach Abschluß der Implementierung in den enhanced Mode wechseln.