s3cmd échoue trop souvent

C'était mon agent de transport de sauvegarde préféré, mais maintenant, je reçois souvent ce résultat de s3cmd sur le même server / réseau Ubuntu:

root@server:/home/backups# s3cmd put bkup.tgz s3://mybucket/ bkup.tgz -> s3://mybucket/bkup.tgz [1 of 1] 36864 of 2711541519 0% in 1s 20.95 kB/s failed WARNING: Upload failed: /bkup.tgz ([Errno 32] Broken pipe) WARNING: Retrying on lower speed (throttle=0.00) WARNING: Waiting 3 sec... bkup.tgz -> s3://mybucket/bkup.tgz [1 of 1] 36864 of 2711541519 0% in 1s 23.96 kB/s failed WARNING: Upload failed: /bkup.tgz ([Errno 32] Broken pipe) WARNING: Retrying on lower speed (throttle=0.01) WARNING: Waiting 6 sec... bkup.tgz -> s3://mybucket/bkup.tgz [1 of 1] 28672 of 2711541519 0% in 1s 18.71 kB/s failed WARNING: Upload failed: /bkup.tgz ([Errno 32] Broken pipe) WARNING: Retrying on lower speed (throttle=0.05) WARNING: Waiting 9 sec... bkup.tgz -> s3://mybucket/bkup.tgz [1 of 1] 28672 of 2711541519 0% in 1s 18.86 kB/s failed WARNING: Upload failed: /bkup.tgz ([Errno 32] Broken pipe) WARNING: Retrying on lower speed (throttle=0.25) WARNING: Waiting 12 sec... bkup.tgz -> s3://mybucket/bkup.tgz [1 of 1] 28672 of 2711541519 0% in 1s 15.79 kB/s failed WARNING: Upload failed: /bkup.tgz ([Errno 32] Broken pipe) WARNING: Retrying on lower speed (throttle=1.25) WARNING: Waiting 15 sec... bkup.tgz -> s3://mybucket/bkup.tgz [1 of 1] 12288 of 2711541519 0% in 2s 4.78 kB/s failed ERROR: Upload of 'bkup.tgz' failed too many times. Skipping that file. 

Cela se produit même pour des files aussi petits que 100 Mo, donc je suppose que ce n'est pas un problème de taille. Cela se produit également lorsque j'utilise mis avec –acl-private flag (s3cmd version 1.0.1)

J'apprécie si vous proposez une solution ou une alternative légère à s3cmd.

7 Solutions collect form web for “s3cmd échoue trop souvent”

Il existe quelques problèmes courants qui donnent à s3cmd le return de l'erreur que vous mentionnez:

  • Un inexistant (p. Ex., Un nom de navire erroné ou un seau qui n'a pas encore été provisionné)
  • Espaces de suivi sur vos valeurs d'authentification (key / identifiant)
  • Une horloge système inexacte. Il est possible d'utiliser Wireshark (sur une connection http – pas https) pour voir comment l'horloge système s'allume avec l'horloge S3 – ils devraient correspondre en quelques secondes. Pensez à utiliser NTP pour synchroniser votre horloge si cela pose problème.

Alternatives à s3cmd:

  • s3cp – un script basé sur Java qui offre de bonnes fonctionnalités pour le transfert de files vers S3 et plus de messages d'erreur détaillés que s3cmd
  • aws – un script basé sur Perl, écrit par Tim Kay, qui permet d'accéder facilement à la plupart des fonctions AWS (y compris S3) et est très populaire.

Si vous souhaitez écrire votre propre script, vous pouvez utiliser la bibliothèque Python Boto qui a des fonctions pour effectuer la plupart des opérations AWS et dispose de nombreux exemples disponibles en ligne. Il existe un projet qui expose certaines des fonctions boto sur la command line – bien qu'il existe actuellement un très petit set de fonctions.

Cela a aidé dans mon cas:

  1. faire s3cmd ls sur le seau
  2. il a imprimé un avertissement sur une redirection
  3. remplacez bucket_host dans le file .s3cfg par celui de l'avertissement.
  4. répétez s3cmd ls , il ne devrait plus imprimer un avertissement
  5. dossier de recharge

mon .s3cfg est maintenant:

 host_bucket = %(bucket)s.s3-external-3.amazonaws.com 

J'ai eu le même problème avec la command Ubuntu s3cmd .

Le téléchargement de la dernière version stable (1.0.1) l'a résolu: http://sourceforge.net/projects/s3tools/files/s3cmd/

Après avoir essayé toutes les choses ci-dessus, j'ai remarqué que j'avais toujours le problème d'étranglement à l'aide de s3cmd, mais n'utilisais pas la synchronisation s3cmd à la place. J'espère que cela pourrait être utile à quelqu'un pour une solution rapide 🙂

J'ai eu le même problème et j'ai trouvé une solution ici en réponse par samwise .

Ce problème est apparu lorsque j'ai commencé des expériences avec IAM. Dans mon cas, le problème était dans ARN. J'ai énuméré arn:aws:s3:::bucketname au lieu de arn:aws:s3:::bucketname/*

C'est pourquoi je n'ai eu aucun problème avec $ s3cmd ls s: // bucketname, mais je n'ai pas pu download de file là-bas ((

J'ai eu chaque deuxième téléchargement de chargement multi-pièces avec un s3cmd sync avec cette erreur:

 WARNING: Upload failed: /large-file.gz?partNumber=13&uploadId=FOOBAR ([Errno 32] Broken pipe) WARNING: Retrying on lower speed (throttle=0.00) WARNING: Waiting 3 sec... 

Le prochain téléchargement fonctionnerait génial, mais l'un a échoué à nouveau, et ainsi de suite.

Je l'ai travaillé avec --limit-rate= option réglée à 4m afin que les téléchargements soient accélérés jusqu'à au plus 4 Mo / s.

Donc le réglage complet est

 s3cmd sync --limit-rate=4m ... 

Cela est également causé par les parameters HTTPS de votre file .s3cfg.

Essayez de modifier le paramètre de configuration de "use_https = False" à "use_https = True" dans le file .s3cfg

Rappelez-vous que les godets de l'Amazone sont redéployés vers Https et donc toutes les tentatives. Je vois cette question un peu sur le terrain.

  • Sauvegarde simple en EC2 hors ligne?
  • Jungle Disk vs DiskAgent
  • Configuration du disque dur Question Debian Linux
  • Comment puis-je répertorier les directorys utilisés par unionfs?
  • lier le assembly en lecture seule avec fstab?
  • CloudBerry Backup (Linux) vers Amazon Glacier
  • Existe-t-il un logiciel qui peut m'aider à sauvegarder facilement mes données depuis Amazon S3 vers mes prémisses?
  • Script de pré-assembly FreeBSD pour le périphérique gnop?
  • Instantanés automatisés d'une instance EC2 sauvegardée par EBS avec Ubuntu
  • Sauvegarde automatisée de S3 vers un autre nuage
  • Sauvegarde: la sauvegarde quotidienne a changé les files uniquement sur Amazon S3 / Glacier
  • Les astuces du serveur de linux et windows, tels que ubuntu, centos, apache, nginx, debian et des sujets de réseau.