Magasin de files: système de files CouchDB vs SQL Server +

Je explore différentes façons de stocker des files téléchargés par l'user (tous sont des documents MS Office ou des alias) sur notre site Web à haute charge. Il est actuellement conçu pour stocker des documents en tant que files et avoir une database SQL stocker toutes les métadonnées pour ces files. Je me préoccupe de sortir du server de stockage et de la performance du server SQL lorsque le nombre de documents atteint des centaines de millions. Je lisais beaucoup de bonnes informations sur CouchDB, y compris son évolutivité et ses performances embeddedes, mais je ne suis pas certain que le stockage de files comme pièces jointes dans CouchDB se compare à l'entreposage de files sur un système de files en termes de performance.

Quelqu'un a-t-il utilisé les grappes CouchDB pour stocker des quantités GRANDES de documents et dans un environnement à forte charge?

4 Solutions collect form web for “Magasin de files: système de files CouchDB vs SQL Server +”

En réponse à Redmumba. L'équipe de développement de CouchDB serait intéressée par les collisions que vous voyez.

En plus de cela: l'architecture complète de CouchDB repose sur le principe de l'échec-début. Tous les sous-systèmes ainsi que le server principal sont conçus de manière à pouvoir se terminer et se rétablir immédiatement lorsqu'une erreur se produit. Les «crashs» ne font qu'une partie de l'opération normale, cela rend un logiciel beaucoup plus fiable (ironiquement, mais c'est toute la philosophie d'Erlang).

En ce qui concerne la question, CouchDB répondra aux exigences assez bonnes. La transmission de pièces jointes de CouchDB est définitivement liée à la vitesse du système de files très proche. Les documents CouchDB vous donnent tout l'espace dont vous avez besoin pour les métadonnées et les pièces jointes aux documents, afin de maintenir datatables binarys proches. Il n'est pas nécessaire d'utiliser différents systèmes pour cela.

Les expériences que nous avons eu avec CouchDB dans un environnement à grande charge n'ont pas été aussi bonnes; nous avons vu beaucoup d'instabilité (crash fréquent), que les lists de diffusion ont tendance à indiquer, peuvent simplement être résolus en installant un démon de moniteur pour le redémarrer s'il échoue. Nous n'utilisons pas de grands sets de valeurs, mais nous l'avons frappé assez fréquemment – mais gardez cela à l'esprit, car les files plus gros signifient des time de connection plus longs. Ce qui veut dire que le décalage vers le milieu des transferts serait encore plus pénible en fonction de la bande passante et de la taille du file.

Je reorderais de regarder MongoDB avec le support GridFS. MongoDB serait sympa pour vous (selon vos spécifications) car il vous semble que vous avez des métadonnées supplémentaires que vous voudrez peut-être stockées à côté du file; car son document est orienté, vous pourrez stocker ces métadonnées aux côtés des files binarys. À cette fin, GridFS vous permet de stocker de gros files dans la database.

La BBC semble utiliser avec succès. Je crois qu'il y a une video sur TED qui discute de ce qu'ils font avec elle.

Je n'ai pas utilisé CouchDB mais j'ai de l'expérience avec SQL Server. Si vous stockez les files dans le server SQL (varbinary (max) est physiquement stocké sur le système de files), je pense que vous allez mieux. Il sera échelonné sur des milliards de lignes et de performances, indépendamment de la database utilisée (oracle, sql server, etc …) dépend de la design de l'application et du matériel. Je pense que c'est la key. Les problèmes de performance sont presque toujours le résultat d'applications ou d'infrastructures mal conçues, et non de la database de class d'entreprise sous-jacente.

  • Existe-t-il une application Web open source pour surveiller l'activité du server sql?
  • Restauration d'une instance MSSQL 2005 propre
  • Les installations Microsoft SQL antérieures sont-elles nécessaires après la mise à niveau de SQL 2012?
  • Quelle est la différence entre 'NT Authority \ Service' et 'NT Authority \ Network Service'?
  • Copier une database de Denali CPT3 vers SQL 2008 R2
  • SQL 2008 SA Mot de passe passé avec le vent
  • SQL Server Bulk insert sur le path d'access UNC défaillant, malgré un access complet
  • Instances et servers SQL
  • Définir une connection avec nom d'user / mot de passe pour SQL Server 2008 Express
  • Comment puis-je activer les alertes par e-mail dans SQLServer?
  • Sauvegarde SQL Server 2005 à partir d'un ordinateur non-domaine?
  • Les astuces du serveur de linux et windows, tels que ubuntu, centos, apache, nginx, debian et des sujets de rĂ©seau.