Quelle configuration RAID / LVM pour le nouveau server de files 2x8TB est la plus sûre?

Je viens de créer un PC totalement nouveau pour être un server de files. Il a un SSD de 60gb pour OS (ubuntu 12.04) et 8 lecteurs de données 2tb. Je search la manière la plus sûre et la plus stable de mettre en place un seul pool de stockage géant avec redondance.

Considérations:

  • Ma priorité TOP est la protection des données. Disponibilité, fiabilité, résilience, recouvrabilité et gestion des risques. Tous ces mots qui signifient ne pas perdre mes files.
  • Je ne m'intéresse pas seulement aux risques théoriques impliqués par la nature des types de raid, mais aussi à des considérations pratiques de simplicité et à des points minimaux d'échec. Surtout en considérant que je ne suis pas un expert en technologie RAID ou FS et que ma capacité à dépanner est limitée à ce que je peux google.
  • Ce n'est pas un graveur d'écriture, comme les servers de database avec le jour des transactions, c'est principalement de contenir des supports pour diverses transmissions, ainsi que tous les files de mes users pour l'access au réseau.
  • Mon pire cauchemard est de constater que, en raison d'une certaine part, la alpha-alpha de la théorie du chaos est sortie de l'atterissage du soleil dans un condensateur, d'avoir une erreur dans mes disques durs / métadonnées / carte mère / logiciel / tout ce qui rend l'set du tableau impossible à récupérer. DOOM & H8!
  • Parce que je vais diffuser des données, les avantages de la vitesse de lecture sont appréciés (mais secondaires)
  • Finalement, je voudrais append des lecteurs, avec des paires RAID1 de pool LVM, c'est facile. Les arrays RAID6 ou RAID10 doivent-ils être reconstruits de rien avec des lecteurs vierges?
  • Si cela est pertinent, j'ai mes 8 disques branchés dans les 8 slots SATA embarqués sur ma carte mère ASRock Z77 Extreme4, dont 4 SATA2 et 4 SATA3. Le operating system est sur un SSD accroché à un controller PCIe SATA. 8gb de RAM.
  • Voir # 1 – Ma priorité TOP est la protection des données.

J'ai lu que RAID6 est en fait less risqué car aucun 2 disques ne peut échouer à la place d'un seul par miroir-paire, et le principal inconvénient de RAID6 est la vitesse d'écriture, dont je ne me préoccupe pas. J'ai accepté la perte de la moitié de mes lecteurs à la mise en miroir, donc je ne veux pas paraître gourmand pour même en considérant RAID6, mais si c'est vraiment plus sûr, plus rapide pour les lectures, et me permet de garder 12 gb au lieu de seulement 8, peut-être serait stupide pas à. Ou peut-être que je manque une image plus grande

Je suppose que ce que je request sont les inconvénients de, ou celui qui convient le mieux à la protection des données et, dans une moindre mesure, à la vitesse de lecture, dans un réseau de disques 8-12.

  • LVM (4x2tb) + sauvegardes nocturnes cronjob de disques indépendants
  • LVM (4xRAID1)
  • (RAID10)
  • (RAID6)

Merci de votre aide!

7 Solutions collect form web for “Quelle configuration RAID / LVM pour le nouveau server de files 2x8TB est la plus sûre?”

Si vos données sont vraiment importantes, perdre cela signifie se baigner avec les appareils élecsortingques, alors il n'y a aucun moyen d'avoir besoin d'un deuxième server pour refléter les périphériques et avoir de véritables sauvegardes. Tout ce que vous faites sur un seul server a au less un seul point d'échec. (Au minimum, le server lui-même – pour l'exemple le plus bas, que se passe-t-il en cas de feu? Ou un PSU sort-il et prend tout le rest? Etc.)

Et vous aurez besoin de véritables sauvegardes avec une sorte de rétention pour la même raison. Le fait de ne pas avoir de sauvegarde signifie que la corruption de données pourrait également supprimer l'set, car si vous répliquez le système unique à l'autre, vous êtes susceptible de reproduire toute corruption qui se produit également.

Et puisque personne ne l'a déjà dit, RAID6 et les grands disques SATA ne sont pas une bonne combinaison. Il fournit plus de redondance qu'une configuration RAID5, mais pas assez. Sur ces gros disques, vous êtes presque sûr d'avoir une erreur de lecture sur l'une de vos bandes de parité, ce qui signifie vraiment que sur l'un des disques, quelque part (mais vous ne saurez pas où), vous utilisez efficacement RAID5 . Ce qui est bon et bien jusqu'à ce qu'un disque échoue. Ensuite, vous utilisez un RAID échoué, ce qui représente un risque trop important pour datatables critiques.

Et sur le sujet des défaillances de disque, le problème RAID6 est identique à RAID5 – les calculs de bit de parité sont complexes et prennent beaucoup de time, de ressources et d'E / S à faire, ce qui signifie que vous risquez réellement de l'échec du tableau lors d'une reconstruction que vous ne le penseriez, et j'ai vraiment vu le scénario de cauchemar d'un tableau RAID6 (avec un hot-spare, even) échoué lors de la reconstruction – pas terriblement choquant count tenu de toutes les E / S qu'une reconstruction prend, mais terriblement dévastateur si cela vous arrive.

Je reorderais de l'exécuter dans 2xRAID10, pour ce qu'il vaut, vous obtenez des avantages pour la performance, ainsi qu'une certaine mesure de redondance. La reconstruction d'un disque défaillant dans un RAID miroir est beaucoup plus rapide et donc plus sûre que celle que vous findez dans n'importe quel système basé sur la parité. Si cela count, j'ai un réseau RAID6 à 12 disques à la maison (12x2TB near-line SAS), donc j'aime définitivement RAID6, mais ce n'est pas assez sûr pour datatables critiques.

Comme note finale, vous ne voulez pas vous tuer par électrocution. C'est très atroce, donc tu seras probablement mieux servi par une autre méthode de suicide.

Le plus sûr? RAID60 à deux essieux. Ou mieux, ZFS. N'oubliez pas vos sauvegardes!

Je n'ai vraiment pas apprécié votre dernière considération – Si je perds mes files, je vais prendre un bain avec le grid-pain. Cela permettra aux gens de répondre, bien qu'il soit censé être drôle (ou est-ce?).

En se déplaçant, le stockage résilient des données est un mythe et tout peut échouer. Soyez prêt pour cela. Selon vos besoins, quelques observations,

[1] Votre lecteur SSD unique peut échouer. Vous n'êtes pas un expert sur RAID ou FS, comment allez-vous récupérer vos données? Est-ce un SSD d'entreprise? Comment SSD vous aidera-t-il ici?

[2] Je suppose que vous utilisez des lecteurs de class "bureau". Ils ne sont pas conçus pour un fonctionnement 24×7 ni ils sont conçus pour durer plus longtime. Les lecteurs de bureau typiques sont équipés d'une garantie de 1 an ou 2 ans tandis qu'un lecteur de class entreprise est livré avec une garantie de 3 à 5 ans.

[3] Vous utilisez le RAID de la carte mère embarqué. Bien que cela fonctionne, il est difficile de configurer et de gérer. Un véritable controller RAID matériel vous offre une meilleure protection, performance et plus facile à utiliser. Si vous pouvez vous le permettre, allez-y. Assurez-vous que le firmware sur le controller RAID est à jour.

[4] Votre carte mère, RAM, alimentation, source d'alimentation tout peut échouer. Êtes-vous prêt à récupérer des données à partir de ces données car une panne pourrait causer une perte / perte de données. Vous risquez de perdre des données en transit, si vous ne désactivez pas la caching sur les lecteurs HDD (définissez-le en mode écrit-travers).

Ce ne sont que quelques conseils,

  • Parmi les 8 lecteurs, configurez 2 lecteurs dédiés en tant que pièces détachées. Vous en aurez besoin.
  • Achetez les lecteurs de classs d'entreprise si vous le pouvez
  • Utilisez LVM ou zfs comme système de files. Vérifiez FreeNAS.
  • Prenez régulièrement des sauvegardes et des instantanés de vos données, y compris vos files de configuration, en particulier pour votre RAID et les stockez ailleurs.
  • Évitez tous les points d'échec – démarrage, alimentation, carte réseau (collage / équipe aidera).
  • Achetez la carte mère avec une garantie plus longue. Certaines sont disponibles avec une garantie de 5 ans et sont construites en version militaire / indussortingelle.
  • Utilisez RAID 6
  • Assurer un refroidissement et un débit d'air suffisants pour le server
  • Exécutez un suivi périodique complet pour être proactif. Vérifiez les températures CPU / HDD. Vérifiez la vitesse du ventilateur CPU / refroidisseur. Vérifiez SMART pour les éventuels défaillances du disque et remplacez-les à l'avance. Vérifiez la cohérence du système de files.

Si vous pouvez vous le permettre et que datatables sont très critiques, créez un autre stockage (avec différents composants du fabricant) et utilisez une redondance utilisant DRBD (ou autre chose) pour la réplication sur les deux servers de stockage. Au travail, nous conservons le facteur de réplication de 3 avec GlusterFS sur le matériel de qualité professionnelle.

J'espère que cela t'aides.

Le plus simple est le meilleur. LVM sur LinuxSoftRAID-6 semble assez raisonnable. Une autre chose importante à considérer est FS sur le dessus. Dans le monde Linux, jusqu'à présent, seul Btrfs dispose de mécanismes embeddeds de vérification des données. Mais je doute que ses développeurs partagent votre attitude à propos de bath-n-toaster au cas où. 😉

Quoi qu'il en soit, juste avant d'utiliser RAID6, effectuez des exercices pour perdre 1 et 2 disques. Aller encore plus loin – prendre 3 ou 4, puis faire fonctionner. Avec LSR, c'est tout à fait possible. Et un conseil – utilisez ses bitmaps, cela vous sauverait beaucoup de time.

Si vous allez sur la route RAID 6, faites-vous une faveur: visitez eBay et prenez quelques maps PERC 6 / i (une comme pièce de rechange) et deux câbles SFF-8484 à 4xSFF-8482 pour twigr les lecteurs. Vous me remercierez plus tard.

Si vous décidez d'aller avec ZFS, passez le porc entier et configurez NexentaStor. C'est probablement le plus sûr que vous obtiendrez avec vos données dans votre intention, uh, à la maison.

Et pensez très attentivement à une stratégie de sauvegarde; ni RAID ni ZFS ne sont sauvegardés. La sauvegarde de téraoctets de données n'est pas simple ou pas cher; Ce n'est généralement pas quelque chose que vous pouvez faire sur Internet, et les téraoctets de stockage "nuage" vous rendraient beaucoup plus que les lecteurs de toute façon.

Il existe trois types de service disponibles … Rapide, bon et bon marché. Choisis en deux.

Il n'y a pas de "meilleur" juste "mieux donné xyz compromis".

Compte tenu de certains des compromis, vous avez énuméré le DASD (Direct Attached Storage Device) pourrait être une bonne idée. Vous pouvez find plus utile l'utilisation de GlusterFS (Red Hat Storage) ou de CEPH. Gluster, par exemple, réplique des données sur un cluster de servers de files, où ce cluster peut perdre un ou plusieurs disques, et éventuellement plus un nœud de plus et maintenir l'intégrité des données.

Dans l'set, votre list se prête à deux ou plusieurs solutions. Vous devrez peut-être utiliser DASD ou SAN rapide pour un SGBDR, auquel cas vous voudrez consacrer du time et de l'argent à la mise en miroir et ainsi de suite. D'autres cas d'utilisation peuvent être très bien adaptés par quelque chose comme Gluster qui peut permettre une mise à l'échelle plus facile et peut vous résumer de connaître les subtilités de chaque type RAID.

En bout de ligne, vous devez effectuer plus d'parsing de données sur votre cas d'utilisation.

Veuillez lire The Tao of Backup .

Vous n'avez pas besoin du meilleur RAID possible – RAID5 simple suffirait. RAID est une solution haute disponibilité, pas une solution de protection des données. Ce dont vous avez vraiment besoin, c'est une très bonne solution de sauvegarde – qui sauvegardera automatiquement, souvent, gardez plusieurs anciennes sauvegardes et sauvegardez périodiquement hors site (ce n'est pas automatique – il peut s'agir par exemple d'un set de disques dans un coffret de repository dans une banque ).

  • Le logiciel Linux mdadm RAID 6 - est-il compatible avec la récupération de corruption de bit?
  • Exécution de RAID 6 avec un lecteur plus petit
  • MDADM RAID6 Défaut de 3/5 Drives
  • Solutions de sauvegarde pour 20 TB de données
  • Récupération d'un RAID6 en utilisant ddrescue. mdadm: n'a pas pu append, argument invalide
  • Convertissez une masortingce RAID5 Smart Array sur une variante RAID6 (ADG)
  • Nombre minimum de disques pour implémenter RAID6
  • Configuration de disque virtuel RAID / Partitionnement dans le operating system?
  • Préoccupations d'échec simultané de SSD Raid1
  • Utilisation de la carte 2 ports LSI 9286-8e pour contrôler 24 HDD SAS
  • 3 unités sont tombées de Raid6 mdadm - reconstruction?
  • Les astuces du serveur de linux et windows, tels que ubuntu, centos, apache, nginx, debian et des sujets de réseau.