GlusterFS

Allgemein

GlusterFS ein Clusteraufsatz für Dateisysteme wie ext4 oder xfs.
Damit bekommen wir die Möglichkeit, einen RAID-1 Speicher mit mehreren Computer herzustellen.
GlusterFS bieten noch mehr Möglichkeiten, die an dieser Stelle nicht behandelt werden.

Ziel

Glusterfs-Server, die auch ihre eigenen Clienten sind.
Das dient als Grundlage für ein HA-System.

Beispiel:

• Computer 1 und Computer zwei stellen ein Gluster Volume bereit, dass sie selber gemountet haben.
• Auf Computer 1 wird ein Webserver ausgeführt, der eine Homepage bereit stellt, deren Daten im Gluster Volume liegen.
• Computer 1 fällt aus.
• Auf Computer 2 wird ein Webserver gestartet. Dieser greift auf die selben Daten zu.
• Fehlt: IP-Switching von einem Webserver zum nächsten.

Sicherheit

Die Server werden mit openvpn verbunden.
Dieser Tunnel stellt die verschlüsslte Verbindung bereit, über die die Gluster-Nodes ihre Daten austauschen.

Herausforderung / Nerviges Problem

Bisher lauschen der Server und der Client auf allen Adressen.
Billiger Hack: Firewall.

Installation

apt-get install glusterfs-server

gluster-client wird automatisch mit installiert.

Configuration Cluster

In unserem Beispiel haben wir zwei Server mit zwei IPs:
node-1: 10.8.0.1
node-2: 10.8.0.2

node-1# gluster peer probe 10.8.0.2

Damit wird ein gluster Cluster bestehend aus node-1 und node-2 erzeugt.

Erzeugen eines Volumes

Vorarbeitungen auf allen Nodes

Es wird ein beliebiges Verzeichniss bereit gestellt.
Beachten: Die Daten in den Verzeichnissen dürfen nach dem Start des Volumes nur noch über den gluster-clienten bearbeitet werden.

Beispiel (auf allen Nodes ausführen):

node-<1 & 2># mkdir /gluster_export/brick_1

Erzeugen des Volumes

Die folgenden Befehle können auf einer beliebigen node des Clusters ausgeführt werden.

node-<beliebig>: gluster volume create gluster_test replica 2 transport tcp 10.8.0.1:/gluster_export/brick_1 10.8.0.2:/gluster_export/brick_1

Das Ergebniss des vorherigen Kommandos prüfen

gluster volume info 

Volume Name: gluster_test
Type: Replicate
Status: Created
Number of Bricks: 2
Transport-type: tcp
Bricks:
Brick1: 10.8.0.1:/gluster_export/brick_1
Brick2: 10.8.0.2:/gluster_export/brick_2

Dann das Volume starten

gluster volume start gluster_test

Nochmal prüfen

gluster volume info

Volume Name: gluster_test
Type: Replicate
Status: Started <= Der Unterschied zu vorher
Number of Bricks: 2
Transport-type: tcp
Bricks:
Brick1: 10.8.0.1:/gluster_export/brick_1
Brick2: 10.8.0.2:/gluster_export/brick_2

Mounten des Volumes

Mounten per /etc/fstab.
Der ausgewählte Server ist nur der Einstiegspunkt.
Gemountet wird mittels des Volumennamens.

vim /etc/fstab

Eingetragen wird folgende Zeile

10.8.0.1:/gluster_test /gluster_test_import glusterfs defaults,_netdev 0 0

Beachten:

Beachten: Die Daten dürfen nur noch über den <MOUNT POINT> bearbeitet werden!
Im Rettungsfall ist natürlich alles erlaubt, was hilft.

Tests

OpenVZ in KVM

• Zwei KVM-Maschinen per openvpn verbunden für glusterfs und andere interne Kommunikation.
• Sie befinden sich im selben Netzwerksegment.
• Zwei glusterfs Volumes
  • Eins für die Config, zu mounten unter /vz/conf
  • Eins für die Container, zu mounten unter /var/lib/vz

Install

• Auf beiden Maschinen

vim /etc/apt/sources.list.d/openvz.list

Eintrag in die neue Datei einfügen

deb http://download.openvz.org/debian wheezy main

Öffentlichen Schlüssel des Repos holen und in den apt-schlüsselbund aufnehmen.

wget http://ftp.openvz.org/debian/archive.key

apt-key add archive.key

apt-get update

apt-get install linux-image-openvz-amd64 vzctl vzdump

• Maschinen mit dem OpenVZ-Kernel starten.
• Am besten den alten Kernel löschen oder aus der grub.cfg raus werfen. (chmod 700 grub.cfg!!)

Das template selbst erstellen (debootstrap) , von openvz dowloaden oder oder.
Wie's beliebt.

Test mit zwei CTs und Webserver

Voraussetzungen

• Container befinden sich im selben Netzwerksegment.
• Erstellt werden zwei Container mit lighttpd als webserver (es geht auch ein CT)
• Die default-Seiten mit IDs versehen, z.b. Containernamen
• Beide Seiten aufrufen.
• CT auf dem einen Host stoppen und auf dem anderen Host starten
• Seite reloaden, bis sie wieder erreichbar ist

Ergebnisse

• Es geht.....aber sehr langsam, siehe Performance

Abschalten eines Hosts

• Abschalten eines KVM-Hosts

Ergebnisse

• Es geht.....aber sehr langsam

Performance

Test lokal

root@cluster-2:~# time dd if=/dev/zero of=/tmp/100MBfile bs=1024 count=102400
102400+0 Datensätze ein
102400+0 Datensätze aus
104857600 Bytes (105 MB) kopiert, 0,382552 s, 274 MB/s

real    0m0.386s
user    0m0.020s
sys     0m0.343s

Test glusterfs

root@cluster-2:~# time dd if=/dev/zero of=/etc/vz/conf/100MBfile bs=1024 count=102400
102400+0 Datensätze ein
102400+0 Datensätze aus
104857600 Bytes (105 MB) kopiert, 9,34309 s, 11,2 MB/s

real    0m9.354s
user    0m0.124s
sys     0m1.629s

Fazit

Beschissene Performance, wahrscheinlich in dieser Form unbenutzbar.

Probleme

CT doppelt starten

• Ein CT lässt sich auf beiden Hosts gleichzeitig starten. Das darf nicht passieren!
• Lockfiles müssen auch ein glusterfs-Volume bekommen
• Augenscheinlich liegen die Infos über laufende CTs in /proc/vz. Glusterfs fällt damit flach.

glusterfs mountet beim Start nur erstes/ein Volume

Workaround:

vim /etc/rc.local

Dort eintragen (vor exit 0)

mount -a

Funktioniert HK