150 TB et en croissance, mais comment se développer?

Mon groupe dispose actuellement de deux grands servers de stockage, tous deux NAS exécutant Debian Linux. Le premier est un server 24-disk (SATA) tout-en-un qui a plusieurs années. Nous avons deux RAIDS matériels configurés avec LVM sur ceux-là. Le deuxième server comporte 64 disques répartis sur 4 boîtiers, chacun étant un RAID matériel 6, connecté par SAS externe. Nous utilisons XFS avec LVM pour créer un stockage utilisable de 100 To. Tout cela fonctionne très bien, mais nous dépassons ces systèmes. Après avoir construit deux de ces servers et toujours en croissance, nous voulons build quelque chose qui nous permet une plus grande flexibilité en termes de croissance future, d'options de sauvegarde, qui se comporte mieux sous une panne de disque (la vérification du système de files plus grand peut prendre un jour ou plus) et peut être compatible dans un environnement fortement concurrent (pensez à un petit cluster informatique). Nous n'avons pas le soutien de l'administration du système, nous l'administrons tout cela (nous sums un laboratoire de génomique).

Donc, ce que nous recherchons, c'est une solution de stockage de performance acceptable relativement peu coûteuse qui permettra une croissance future et une configuration flexible (pensez ZFS avec des pools différents ayant des caractéristiques de fonctionnement différentes). Nous sums probablement en dehors du domaine d'un NAS unique. Nous avons pensé à une combinaison de ZFS (sur openindiana, par exemple) ou btrfs par server avec glusterfs fonctionnant en plus de cela si nous le faisons nous-mêmes. Ce dont nous pesons contre, c'est simplement mordre la balle et investir dans des solutions de stockage Isilon ou 3Par.

Toutes les suggestions ou expériences sont appréciées.

3 Solutions collect form web for “150 TB et en croissance, mais comment se développer?”

J'espère que ça va vous aider un peu. J'ai essayé de ne pas le laisser se transformer en un mur complet de text. 🙂

3Par / Isilon

Si vous pouvez et dédirez une quantité fixe d'heures manuelles pour quelqu'un qui prend le rôle d'administrateur SAN et que vous souhaitez profiter d'une vie indolore avec sumil de nuit plutôt que de travail de nuit, c'est comme ça que j'irais.

Un SAN vous permet de faire toutes les choses où un seul «stockage» vous limiterait (c.-à-d. Connecter un tableau flash purestorage et un gros monstre 3par sata au même server), mais vous devez également le payer et le garder bien entretenu le time si vous voulez utiliser la flexibilité.

Alternatives

Amplidata

Avantages: Échec, bon marché, conçu avec un bon concept et des couches de cache de lecture / écriture dédiées. Ce pourrait être la meilleure chose pour vous.

RisingTideOS

Leur logiciel cible est utilisé dans presque tous les magasins de linux maintenant et permet une gestion un peu meilleure que les fonctionnalités linux / gluster. (Imho) La version commerciale pourrait être intéressante.

Glitter / btrfs

PRO: Scales et "Bricks" vous donnent une couche d'abstraction qui est très bonne pour la gestion.

CON: Le premier a été un PITA total pour moi. Ce n'était pas robuste, et les échecs pouvaient être locaux sur une brique ou tout supprimer. Maintenant, avec RedHat dans le contrôle, il pourrait effectivement se transformer en quelque chose de fonctionnel et j'ai même rencontré des gens qui peuvent le dompter pour qu'il fonctionne pendant des années. Et le second est encore à mi-expérimental. Normalement, un FS a besoin de 3-4 ans après qu'il soit "fait" jusqu'à ce qu'il soit éprouvé et robuste. Si vous vous souciez des données, pourquoi envisageriez-vous cela? Parlant de l'expérience, le support commercial de Ceph est presque à l'heure actuelle, mais vous devriez vous en tenir à la couche "RBD", le FS n'est tout simplement pas suffisamment expérimenté. Je veux préciser que Ceph est beaucoup plus attrayant sur le long terme. 🙂

ZFS

Pro: caractéristiques qui définissent définitivement un clou dans le cercueil d'autres choses. Ces fonctionnalités sont bien conçues (pensez L2ARC) et la compression / décount est amusante. Avoir plus de «clusters de stockage» signifie avoir également de petits échecs au lieu d'un grand boom consolidé

Con: Maintenir de nombreuses petites boîtes logicielles au lieu d'un stockage réel. Besoin de les intégrer et de passer des heures de $ pour avoir une configuration robuste.

La route XFS + LVM est en effet l'une des meilleures options pour une solution de stockage Linux à échelle réduite au cours des dernières années. Je suis encouragé que vous soyez déjà là. Maintenant que vous devez développer davantage, vous disposez de quelques autres options disponibles.

Comme vous le savez, les grands fournisseurs de matériel existants possèdent des têtes NAS pour leur stockage. Cela vous offrirait un seul fournisseur pour que tout cela se produise, et cela fonctionnerait très bien. Ce sont des solutions faciles à get (par rapport au bricolage), et leur maintenabilité est plus faible. Mais ils coûtent beaucoup. D'une part, vous aurez plus de ressources d'ingénierie pour résoudre vos principaux problèmes plutôt que des problèmes d'infrastructure; D'autre part, si vous êtes comme la plupart des départements de l'Université, je sais que l'énergie humaine est vraiment peu coûteuse par rapport au paiement d'argent pour les choses.

En ce qui concerne la route du bricolage, vous avez déjà une bonne appréciation des options de bricolage disponibles. ZFS / BTRFS sont le path de mise à niveau évident de XFS + LVM pour un stockage à échelle réduite. Je restrais au courant de BTRFS jusqu'à ce qu'il soit déclaré «stable» dans le kernel de Linux mainline, ce qui devrait être très bientôt maintenant que plusieurs des distros gratuits majeurs l'utilisent comme système de files par défaut. Pour ZFS, je reorderais d'utiliser une base BSD plutôt que OpenIndiana simplement parce qu'elle a duré plus longtime et que les kinks (plus) ont fonctionné.

Gluster a été conçu pour le cas d'utilisation que vous décrivez ici. Il peut faire la réplication ainsi que présenter un seul server virtuel avec beaucoup de stockage attaché. Leurs volumes dissortingbués ressemblent exactement à ce que vous searchz, car ils diffusent les files sur tous les servers de stockage sur le volume déclaré. Vous pouvez continuer à append des servers de stockage discrets pour continuer à étendre le volume visible. Un seul nom-espace!

The gotcha with Gluster est que cela fonctionne mieux lorsque vos clients peuvent utiliser le Gluster Client pour accéder au système plutôt que les options CIFS ou NFS. Puisque vous utilisez un petit cluster cluster-cluster, vous pouvez simplement utiliser le client GlusterFS.

Vous êtes sur la bonne voie ici.

Dans la mesure où je comprends, vous pouvez utiliser une solution SAN basée sur Linux SCST + FibreChannel ou infiniband, ce qui est quelque chose que je construis en ce moment. Comme base pour les LUN, vous pouvez utiliser LVM au-dessus des RAID matériels et prendre en charge les snapshots / réplication (prendre DRBD comme exemple) en dessous du niveau du système de files. En tant que système de files, je ne suis pas au courant d'une bonne solution pour concurence, car je met ESXi au dessus des nœuds, de sorte que les banques de données sont gérées par ESX concurrente FS. Je pense que GFS2 pourrait fonctionner avec cet environnement, mais je ne suis pas sûr de 100%, car vous devriez vérifier vos besoins précis. Quoi qu'il en soit, une fois que vous avez un SAN robuste sous vos nœuds, il est assez facile de faire avancer les choses.

  • Empêcher les disques durs de tourner avant l'arrêt dans l'environnement Ubuntu / ZoL / SAS2008
  • Les propriétés «zfs get all» returnnent les filesystems avec «%» (signe de pourcentage) ajouté
  • Développer un pool de FreeNAS RAIDZ
  • ZFS (Solaris 11) - Le controller SAS est mort et a été remplacé - le pool est suspendu
  • ZFS redémarre à nouveau la résiliation. Aussi très lent
  • Un cache SSD augmentera-t-il les performances natives de ZFS?
  • Les inconvénients d'un seul lecteur sont divisés en partitions et partitions jointes dans un ZFS raidz1, par rapport à un lecteur ZFS unique avec une duplication de données?
  • Freenas - Sécuritaire pour supprimer des sets de données existants?
  • ZFS sur disque virtuel unique
  • Des maps étrangères dans un server HP, font-elles fonctionner le server en dehors des spécifications?
  • Avis de configuration ZFS
  • Les astuces du serveur de linux et windows, tels que ubuntu, centos, apache, nginx, debian et des sujets de réseau.