Stockage Rseau

Le stockage s'chappe du systme

pour devenir une fonction rseau
Philippe Latu / Universit Toulouse III - Paul Sabatier / www.inetdoc.net
Philippe.latu(at)inetdoc.net

Introduction

Les enjeux

Les termes

Besoins en progression constante

Migration DAS vers (SAN | NAS)
Htrognit et Interoprabilit
Continuit de service
Manageability
Availability
Scalability

Les acronymes

DAS : Direct Attached Storage

SAN : Storage Area Network
NAS : Network Attached Storage
2

Introduction

Diffrences entre modes d'accs: fichier ou bloc

Rseau IP frontal
Hte hte
Application systme de fichiers
Client Serveur
NFS / CIFS
NAS

Rseau de stockage dorsal

Hte stockage
Systme de fichiers priphrique
Application priphrique
Virtual FS / Ext4 / NTFS
SAS / SATA / SCSI / PATA
SAN
3

Direct Attached Storage - DAS

Caractristiques

volutions

Linux kernel SCSI subsystem

SCSI SAS
PATA SATA
FC (ANSI) FCOE

Limitations

Distance entre systme et priphriques

Nombre de disques par chssis
Partage de priphriques entre systmes
Dimensionnement serveur vs. Capacit de stockage
Retour sur investissement (ROI)

Network Attached Storage - NAS

Caractristiques

Hte connect au rseau IP

Accs en mode fichier

volutions

Systmes de fichiers rseau NFS ou CIFS

Systme de fichiers partageable entre serveurs
Liens redondants possibles

Limitations en performances

User application
VFS
NFS client
XDR RPC
client
TCP/IP
Network
device

Rseau
Systme de fichiers
Systme d'exploitation

Network
device
TCP/IP
XDR RPC
server
NFS server
Cache

Ethernet
Switch Fabric

VFS
Local
filesystem
Storage
device
5

Storage Area Network - SAN

Caractristiques

Hte connect un commutateur

Accs en mode bloc

volutions

Fiber Channel over Ethernet (FCoE)

Sous-systme partageable entre serveurs
Liens redondants possibles

HBA:
Host Bus Adapter

Limitations en performances

Cot du port de commutateur

Choix d'interfaces (HBA/FC) limit

Fiber Channel
Switch Fabric

Comparaison DAS/NAS/SAN

Caractristiques systme
DAS

NAS

SAN

Accs

Mode bloc

Mode fichier

Mode bloc

Connexion

Srie SAS
Parallle - SCSI

Ethernet

Fiber Channel

Performances
d'accs

Trs bonnes

Moins bonnes

Trs bonnes

Limite des
performances

Sous-systme SCSI
du noyau

Systme de fichiers
NFS / CIFS

Commutation Fiber
Channel

Augmentation de
capacit

Arrt du systme
obligatoire

Trs facile

Complexe suivant
l'architecture

volutivit et
Continuit
d'exploitation

Faible

Moyenne

leve

Comparaison DAS/NAS/SAN

Caractristiques rseau
DAS

SAN

NAS

Application

Application

Systme de fichiers local

Systme de fichiers local

Gestionnaire de volume

Gestionnaire de volume

Sous-systme SCSI

Sous-systme SCSI

Application
Systme de fichiers
rseau NFS / CIFS
TCP
IP
Ethernet
Interface rseau

Accs mode
fichier

Accs mode bloc

SAN
SAS

FCP

Interface rseau
Ethernet
IP
TCP
Systme de fichiers
rseau NFS / CIFS
Sous-systme SCSI

Accs mode bloc

8

Internet Small Computer System Interface - iSCSI

Caractristiques

Accs en mode bloc sur lien Ethernet

volutions

Limitations

Algorithmes TCP adapts (HTCP)

Balance de charge multi-liens (LACP)

Performances rseau
Conflits entre fonctions TCP accs mode bloc

Termes

Initiators : HBAs ou NICs ct serveurs (matres)

Targets / LUNs : HBAs ou NICs ct stockage (esclaves)
NIC: Network
TOE : TCP Offload Engine
Interface Card
VFS
Local
filesystem
Storage
device

NIC: Network
Interface Card

Ethernet
Switch Fabric

Fiber Channel over Ethernet - FCoE

Caractristiques

Accs en mode bloc sur rseau IP

volutions

Commutation unifie

Interfaces 10Gbps unifies

LAN + SAN
rseau + stockage

Limitations

Spcifications trop rcentes

Absence de retour d'exprience

10Gbps NIC

Cot des commutateurs

Fiber Channel
+ Ethernet
Switch Fabric
10Gbps NIC

10

Exploitation & stockage

Contraintes

Reprise de service en cas de panne

Sauvegarde

Oprations de maintenance
Pannes et dfauts matriels

Accs multi-liens

Catastrophes naturelles
Erreurs humaines

Redondance
Balance de charge
Qualit de service (QoS)

Rplication

Disponibilit
Sauvegarde
11

Tolrance aux pannes entre units de stockage

Redundant Array of Independent Disks (RAID)

Deux types d'implmentation

Logicielle sous-systme device manager du noyau Linux

Matrielle carte contrleur avec un systme propre firmware

Niveau Description
RAID

Nombre
minimum de
disques

Capacit utile

(nombre de disques)

Striping / Concatnation

Miroir

N/2

1+0

Miroir puis Striping /

Concatnation

N/2

Stripes avec parit distribue

et E/S alatoires

N-1

Stripes avec deux calculs de

parit diffrents distribus
et E/S alatoires

N-2

12

Accs redondant aux units de stockage

Entres/Sorties redondantes - Multipath I/O

Tolrance aux pannes dynamique

Failover / Recovery
Optimisation du cot d'administration

Choix entre deux modes

Actif / Passif

Tolrance aux pannes

Dtection d'erreur automatique

Actif / Actif

Augmentation de performances
Augmentation des dbits

13

Rplication des volumes de stockage

Deux modles distincts

Niveau systme ou noyau

Synchrone ou asynchrone
Pilotage au niveau serveur

LVM | cron | rsync

Niveau sous-systme

Synchrone ou asynchrone

Pilotage au niveau contrleur

Mirroring
Performances rseau imposes
Distances limites

1
14

Sauvegarde & stockage

Types de sauvegarde

Complte

Incrmentale

Diffrence depuis la dernire sauvegarde complte

Temps et consommation de bande passante moins importants

Hors ligne

Diffrence depuis la dernire sauvegarde

Temps et consommation de bande passante peu importants

Diffrentielle

Volume ou systme de fichiers complet

Temps et consommation de bande passante trs importants

Fentre de blocage des critures impose

Impact important sur l'architecture des services

En ligne

Contrle d'intgrit difficile

Conflits potentiels entre services et sauvegarde

15

Gestion de volume

Types d'oprations

Ajout/Retrait d'units de disques

Augmentation/Diminution de la capacit de stockage

Prparation l'extraction d'units de disque

Snapshots

Extension d'un systme de fichiers en ligne

Dplacements de donnes entre units de disque

Transferts entre volumes logiques sur un mme systme

Redimensionnement dynamique

Maintenance avec utilisation temporaire de disques

Copie instantane de l'tat d'un volume logique

Rplication

Copie entre volumes logiques

16

Gestion de volume

Device mapper

Cartographie des requtes sur les

units de disque

Redirection
Mise en attente
Chiffrement
Gestion de lien

Gestionnaire de priphriques en
mode bloc

dmsetup

lvm2

libdm

Userspace
Kernelspace

dm-core

Ajout/Retrait d'units en mode bloc au

dessus de priphriques de stockage
physiques

target
target
target

low-level device

17

Gestion de volume

Logical Volume Manager

Gestionnaire de priphrique mode bloc au niveau systme

Vue systme homogne

N Priphriques physiques vus comme un priphrique logique

Analogie entre volume et partition

Partitions d'units de disque

Units SAS/SATA/PATA
LUNs iSCSI
Rseau FCoE

Formatage et cration d'un systme de fichiers

Partition d'change (swap)
Accs directs depuis un gestionnaire de bases de donnes

Changements dynamiques de configuration

18

Gestion de volume

Linux LVM2

Espace noyau

Espace utilisateur

Device mapper modules

Paquet lvm2

Striping en option
/var
L
V

lvcreat
e
vgcreat
e
pvcreat
e

PV

L
V
VG
PV

/usr
L
V

PV

PV

L
V

PV

L
V
VG
PV
19

Exemples de manipulations pratiques

Rplication synchrone

RAID1 logiciel entre DAS et SAN

Une unit de disque locale

Une unit de disque iSCSI
RAID1 entre les deux units

Rplication asynchrone

Snapshot LVM entre DAS et SAN

Une unit de disque locale

Une unit de disque iSCSI

Snapshots priodiques entre les deux units

VG

20

Exemples de manipulations pratiques

Rplication synchrone phase 0

Serveur + Stockage DAS

Une unit logique iSCSI
(target) par client

Client + Stockage DAS

deux units physiques
par poste
21

Exemples de manipulations pratiques

Rplication synchrone phase 1

Serveur + Stockage DAS

Une unit logique iSCSI
(target) par client

Client + Stockage DAS

deux units physiques
par poste
une unit logique iSCSI
(initiator)

22

Exemples de manipulations pratiques

Rplication synchrone phase 2

Unit RAID1

Unit RAID1

RAID1 avec DAS + SAN

=
Rplication synchrone

Client + Stockage DAS

une unit physique par
poste
une unit logique
RAID1

23

Exemples de manipulations pratiques

Rplication asynchrone phase 3

Unit RAID1
Snapshot LVM

Snapshot LVM
entre units
DAS et RAID1
=
Rplication

Unit RAID1
Snapshot LVM
24

Ressources

Travaux pratiques

Introduction au rseau de stockage iSCSI

http://www.linux-france.org/prj/inetdoc/cours/admin.reseau.iscsi/

Technologies

NAS: http://fr.wikipedia.org/wiki/Stockage_en_rseau_NAS

SAN: http://fr.wikipedia.org/wiki/Storage_Area_Network

FcoE : http://fr.wikipedia.org/wiki/FCoE

iSCSI: http://fr.wikipedia.org/wiki/ISCSI
LVM: http://fr.wikipedia.org/wiki/Gestion_par_volumes_logiques

Documentation

LVM: http://tldp.org/HOWTO/LVM-HOWTO/

Wiki: http://sources.redhat.com/lvm2/wiki/
25