GlusterFS alternative pour le site de téléchargement de files

J'ai quelques sites de téléchargement de files, avec des files allant de centaines de kilobytes à quelques gigaoctets.

Actuellement, j'ai tous les files dans un volume Gluster Dissortingbution-Réplique sur quelques servers.

Mon plus gros problème avec Gluster est la vitesse.

Par exemple, j'ai un dossier avec ~ 80 000 images en moyenne de 500 Ko chacune et cela m'a pris quelques heures pour changer le propriétaire de l'image.

Pour le moment, tout est plutôt décent, mais je crains d'avoir beaucoup plus de files et le time qu'il faudra pour travailler avec eux.

Quelles alternatives ai-je? Est-ce que je fais quelque chose de mal avec Gluster?

Ceci est ma configuration plus shinye:

performance.cache-size: 1GB performance.cache-refresh-timeout: 60 performance.cache-max-file-size: 100KB cluster.choose-local: true performance.readdir-ahead: on performance.io-thread-count: 16 client.event-threads: 3 server.event-threads: 3 

2 Solutions collect form web for “GlusterFS alternative pour le site de téléchargement de files”

J'ai utilisé le programme lsyncd dans une situation similaire où j'ai besoin de synchroniser le contenu des servers. En interne, il utilise rsync pour synchroniser les files entre les servers.

Cependant, l'inconvénient est que vous devez diriger des téléchargements vers un seul server et synchroniser les files de ce server avec tous les servers.

Tout système de files dissortingbué souffrira lors de l'exécution d'opérations par lot sur un grand nombre de files: après tout, il a dû propager toutes les modifications à une machine distante et un flottement de latence par rapport à l'hôte local uniquement. Cela peut être particulièrement perceptible lors de l'exécution des opérations de modification des métadonnées: ne pas toucher datatables réelles, elles sont très rapides localement; cependant, la réplication à distance sera totalement liée à la latence.

Vous avez fondamentalement deux solutions:

  • utiliser une approche de partage de files, download vos files sur une zone spécifique et les exporter via NFS. Alors que NFS n'est pas une balle d'argent (et ce n'est pas un monstre de vitesse), lorsqu'il est couplé à la caching côté client, il peut effectuer de manière adéquate
  • utilisez un système de réplication de files asynchronous comme lsyncd (ou quelque chose basé sur rsync )
  • Snapshots FS / disque (comme LVM) avec cache partagé
  • GlusterFS est-il un stockage élastique de files?
  • Système de files dissortingbué rapidement pour une grande quantité de données avec des métadonnées dans la database
  • Supprimer extra. en nom de file sur un système OpenVMS
  • Comment countr rapidement le nombre de files dans un dossier?
  • Les EFS peuvent-ils être définis par groupe?
  • Système de files / Options pour les E / S randoms intensives
  • Comment générer une représentation ASCII d'une hiérarchie de files Unix?
  • inodes et profondeur de l'tree dans ext2
  • Aucun système de files après la suppression de RAID
  • Comment puis-je savoir quels filesystems sont sur un disque dans AIX?
  • Les astuces du serveur de linux et windows, tels que ubuntu, centos, apache, nginx, debian et des sujets de rĂ©seau.