Cherche nouvelle solu­tion de sauve­garde

J’uti­lise Crash­plan aujourd’­hui pour avoir une sauve­garde hors ligne de ce que contient mon NAS. Les dernières versions sont des goinfres en RAM et j’ai du chan­ger ma barrette récem­ment pour juste faire en sorte que ça ne se crash pas au démar­rage. Malgré tout c’est lent, très lent. Le support lui même dit que rien n’est garan­tit au delà de quelques To.

Pour l’ins­tant ça tient mais je cherche autre chose.

Objec­tif : Sauve­gar­der le petit poste debian qui me sert de NAS et ses 1.5 To de données. Ça peut augmen­ter de 500 à 1 To par an mais une fois posées les données changent peu.

Les pré-requis à priori :

  • Le client doit tour­ner sur un Linux x86
  • Sauve­garde en ligne (pas de mani­pu­la­tion de disque pour faire du hors site)
  • Chif­fre­ment local (ce qui est mis en ligne est chif­fré)
  • Peut stocker 1.5 To aujourd’­hui (versions incluses)
  • Peut évoluer au moins jusqu’à 4 To à terme
  • Permet de récu­pé­rer un fichier ou un groupe de fichiers sans télé­char­ger toute la sauve­garde
  • Permet de récu­pé­rer les versions horaires des fichiers modi­fiés les derniers jours
  • Permet de récu­pé­rer les versions quoti­diennes des fichiers des dernières semaines
  • Permet de récu­pé­rer les versions hebdo­ma­daires des fichiers des derniers mois
  • Permet de récu­pé­rer les versions trimes­trielles des fichiers sur x années (x à déter­mi­ner par moi)
  • Permet de restau­rer le contenu d’un réper­toire à un instant T (modulo les règles de versions plus haut)
  • Perfor­mances correctes (ne mettra pas 2 mois pour envoyer les premiers 1.5 To ni à récu­pé­rer les 4 To si un jour ils crashent)
  • Pas de solu­tion à base de brico­lages de scripts person­nels
  • Budget d’en­vi­ron 5 € TTC mensuels par To stockés en ligne

Pas indis­pen­sable mais je ne crache­rai pas dessus :

  • Pas besoin de GUI locale hors confi­gu­ra­tion (head­less)
  • Compa­tible avec une Debian stable
  • Permet d’éla­guer les versions (ne garde pas les versions quoti­diennes à vie)
  • Permet d’ef­fa­cer les fichiers suppri­més depuis plus de X années (ceux là je veux vrai­ment les effa­cer)
  • Surveillance conti­nue du système de fichier (et pas des scan complets de plusieurs To à chaque fois qu’on veut véri­fier si quelque chose a changé)
  • Inter­face de restau­ra­tion simple
  • Inter­face de restau­ra­tion graphique
  • Email d’aver­tis­se­ment de la part de l’es­pace en ligne si je ne me suis pas synchro­nisé depuis long­temps
  • Inter­face pour savoir quel % est déjà sauve­gardé een ligne et quel % est en attente de trans­fert
  • Fait de la dédu­pli­ca­tion au moins par fichier
  • Si on peut ajou­ter des clients mac orien­tés laptop (donc souvent inter­rom­pus et qui ne doivent pas réduire l’au­to­no­mie ou occu­per le cpu à faire des scan disque inutiles), ce serait top

Si néces­saire, je suis prêt à envi­sa­ger de faire le version­ne­ment en local et avoir unique­ment l’état courant sauve­gardé en ligne (en gros, si mon disque local crash, je perds l’his­to­rique mais je peux récu­pé­rer la dernière version). Si vous avez des solu­tions pas trop chères de ce type là, je suis prêt à étudier.


Je sais, vous voulez des détails. Aujourd’­hui je ne gère qu’un bloc de 1, 5 To mais il pour­rait théo­rique­ment se décou­per ainsi.

  • Une zone d’en­vi­ron 50 Go avec dans les 600 000 fichiers d’email au format mail­dir. C’est de l’im­port. Les fichiers ajou­tés ne sont jamais modi­fiés ou effa­cés ensuite.
    Ça ne montera proba­ble­ment pas de plus de 10% par an.
  • Une zone photo avec 300 Go de jpeg et raw de quelques Mo et quelques vidéos mp4 de quelques dizaines de Mo. Les fichiers ajou­tés peuvent être excep­tion­nel­le­ment dépla­cés mais ne sont quasi­ment jamais modi­fiés.
    Ça ne devrait pas gros­sir de plus de 10 à 20% par an.
  • Une seconde zone photo avec 750 Go avec de gros raw et gros jpeg de quelques dizaines de Mo plus des fichiers de méta­don­nées de quelques ko. Les fichiers ajou­tés peuvent être excep­tion­nel­le­ment dépla­cés mais ne sont quasi­ment jamais modi­fiés. Les fichiers de méta­don­nées seront par contre modi­fiés par périodes, et j’y aime­rais un version­ne­ment au moins à la jour­née.
    Cette zone peut-être amenée à gros­sir de 500 Go à 1 To par an.
  • Une zone d’ar­chi­vage d’en­vi­ron 150 Go de fichiers de quelques Mo qui ne chan­ge­ment jamais ou presque, et qui peut gonfler d’au plus 10% par an.
  • Un zone avec 300 Go de fichiers de travail, essen­tiel­le­ment des images, docu­ments bureau­tiques, mais aussi des archives zip, poten­tiel­le­ment des vidéos. L’écra­sante majo­rité est histo­rique et change peu. C’est toute­fois une zone de travail et les chan­ge­ments doivent être version­nés, idéa­le­ment à l’heure ou à la demie-jour­née. Contrai­re­ment aux autres zones, une partie des docu­ments y sont effa­cés à court ou moyen terme.
    Cette zone ne devrait pas gros­sir de plus de 10% par an.
  • Une zone de synchro de moins de 100 Go, avec des copies des fichiers qui viennent de l’ex­té­rieur et qui sont amenés à toujours chan­ger.
    La taille devrait rester globa­le­ment constante.

Si rien ne ressort, ça peut se termi­ner par « poser un jeu de gros disques chez un tiers qui a la fibre et faire de la sauve­garde chif­frée dedans » mais ça néces­site de trou­ver quelqu’un qui peut effec­ti­ve­ment stocker ça dans sa cave avec une connexion filaire et qui sait faire les redi­rec­tions appro­priées.


Publié

dans

par

Étiquettes :

Commentaires

7 réponses à “Cherche nouvelle solu­tion de sauve­garde”

  1. Avatar de Gibbon
    Gibbon

    J’ai tout basculé en borgbackup il y a environ 2 ans et j’en suis plutôt satisfait.

    Ça répond ptet pas à tout tes critères, mais ça coche pas mal de cases AMHA.

    1. Avatar de Éric
      Éric

      C’est du scan, ce que je préférerais éviter, mais reste le coût du stockage en ligne.

      La plupart des outils que je trouve font des combinaisons de sauvegardes complètes et de sauvegardes différentielles. Quand c’est une complète on envoi tout le contenu du disque sur le réseau. Or pour du stockage en ligne en To on parle généralement de stockage objet qui se payent non seulement au volume stocké mais aussi au volume échangé (S3 et B2 font ça). Ca va me coûter bonbon si je fais un snapshot complet mensuellement.

      Sauf erreur Borg et Restic sont dans cette catégorie (n’hésitez pas à me dire si je me trompe).

      Un des seuls que je vois faire des choses un peu plus smart c’est la v2 de Duplicati mais il a quand même l’air de rebalancer régulièrement ses blocks et j’ai peur de ce que ça peut vouloir dire côté facturation à la bande passante.

    2. Avatar de Éric
      Éric

      Je me réponds à moi-même parce qu’il semble que j’étais dans l’erreur pour Borg. J’ai l’impression qu’il gère en fait les choses de façon similaire à Duplicati.

      On m’a aussi pointé BorgBase.com qui propose une facturation au stockage, 15$ / mois les 2 To puis 6 $ / mois le To supplémentaire.

    3. Avatar de Alexandre
      Alexandre

      Hello,
      En relisant je trouve que ArqBackup correspond assez bien (performance, cryptage de bout en bout, snapshot, prix, …)
      Par contre c’est du scan de disque et pas du temps réel (Mais je pense que le temps réel est gourmand aussi en perf disque).

    4. Avatar de Éric
      Éric

      Arq ne fait pas de Linux à ma connaissance (pour le temps réel, basé sur inotify c’est normalement assez transparent)

  2. Avatar de qsdfqsdf
    qsdfqsdf

    Ce script est vraiment beaucoup plus simple a mettre en place qu’il n’y parait et marche tres bien
    https://github.com/zertrin/duplicity-backup.sh/

  3. Avatar de François
    François

    Ça n’a rien d’optimisé, mais on ne lis son nom nulle part alors… chez moi j’utilise backuppc

    Un jour je ferai mieux… en attendant, il a le mérite d’exister =)

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *