Quelle est votre stratégie générale pour sauvegarder les godets S3?

Nous commençons un projet qui consiste à stocker de grandes quantités de données dans S3. S3 est bon à la mise à l'échelle et nous nous attendons à avoir jusqu'à 5 To et un million de files en seau. Bien que je puisse faire confiance à Amazon pour stocker datatables, je ne pense pas vraiment qu'il n'y ait absolument aucune erreur dans le logiciel.

Nous avons un mécanisme EBS-snapshots pour pouvoir restaurer l'état du volume EBS à son état précédent. Mais comment pouvons-nous restaurer le seau à son état, disons, 3 jours avant?

UPD.

La question a soulevé toutes les nouvelles reflections sur «Comment sauvegardez-vous votre infrastructure cloud en entier ? Quel est votre plan de reprise après sinistre ? Comment sauvegarder Route53? Paramètres CloudFront? Combien de time faudra-t-il pour récupérer de l'erreur de script ou perdre l'access à la console racine?

One Solution collect form web for “Quelle est votre stratégie générale pour sauvegarder les godets S3?”

Quelle est votre stratégie générale pour sauvegarder les godets S3?

Selon datatables que vous stockez, vous ne pourrez peut-être pas sauvegarder datatables de S3. Par exemple, si vous avez des sites Web généraux dont vous disposez déjà dans un repository, vous n'avez probablement pas besoin de sauvegarder les actifs qui vivent dans S3.

Parfois, vous pouvez utiliser S3 pour stocker les téléchargements d'users. Ceux-ci pourraient provenir d'un EC2 ou ils auraient pu aller directement à S3. Il est judicieux d'utiliser Object Versioning pour pouvoir récupérer des erreurs de script ou des users en supprimant des files mais en changeant d'avis. http://docs.aws.amazon.com/AmazonS3/latest/dev/ObjectVersioning.html

Dans la mesure où je comprends, la version est effectuée sur le niveau de l'object, alors si vous vouliez "revenir à la façon dont votre bouteille a été visualisée il y a 3 jours", vous devriez créer un script qui pourrait vérifier toutes les versions et les dates et requestr la bonne version pour chaque object. Cela serait possible, il faut tout d'abord un peu d'effort au niveau de l'application.

Vous pouvez regarder d'autres methods, telles que la synchronisation de tous les objects du seau S3 avec un autre service (un server tiers ou EC2 sauvegardé par EBS). Ce pourrait être votre instantané quotidien ou hebdomadaire. Cette méthode ajoute des coûts supplémentaires, une maintenance et des efforts, peut-être n'est pas la meilleure solution, en particulier pour 5 To de données.

"Comment sauvegardez-vous votre infrastructure cloud en entier? Quel est votre plan de reprise après sinistre?" Comment sauvegarder Route53? Paramètres CloudFront?

Selon la distance à parcourir, tout ce type d'information devrait être scanné et dans les files de configuration. Ces files de configuration doivent être sauvegardés. Cela correspond à DEVOPS et à la notion d'infrastructure comme code.

Combien de time faudra-t-il pour récupérer de l'erreur de script ou perdre l'access à la console racine?

C'est une question qui semble difficile à répondre. Quel type d'erreur de script? La première question touche un exemple (un script supprimant un file qui vit sur S3), mais il y a beaucoup plus.

Vous pouvez consulter SimianArmy https://github.com/Netflix/SimianArmy

The Simian Army est une suite d'outils pour maintenir votre cloud en pleine forme. Chaos Monkey, le premier membre, est un outil de résilience qui permet de s'assurer que vos applications peuvent tolérer des pannes d'instances randoms

En ce qui concerne l'access à la «console racine» si vous parlez d'access à votre operating system, ou à vos EC2 … tout ce qui devrait être scanné via Puppet / Chef ou similaire et, par conséquent, vos machines sont «éliminer». Il n'y a rien de spécial, ils ne contiennent pas de données user individuelles et vous pouvez l'amener vers le haut ou vers le bas sans affecter votre système.

Si vous parlez d'access à la console AWS, vous devriez faire des choses comme un courrier électronique ou un appel pour get un access, ou il peut y avoir des pannes que vous devez comptabiliser.

  • Des bons scripts de sauvegarde VPS simple à S3?
  • Sauvegarde simple en EC2 hors ligne?
  • Exemples de sauvegarde EC2
  • Quelle est la meilleure façon de sauvegarder le server cPanel WHM sur Amazon S3?
  • Configuration du disque dur Question Debian Linux
  • Où placer un script qui sauvegarde le volume EBS de la racine à l'aide d'un instantané
  • Base de données Staging Night de AWS RDS
  • Sauvegarde: la sauvegarde quotidienne a changé les files uniquement sur Amazon S3 / Glacier
  • overlayfs: le renvoi ne modifie pas les parameters
  • Comment conserver MinIO sauvegardé?
  • Deux appareils montés sur le même sharepoint assembly?
  • Les astuces du serveur de linux et windows, tels que ubuntu, centos, apache, nginx, debian et des sujets de rĂ©seau.