Catégories
Geek

Du backup, encore, et j’ai besoin de vous

Je galère toujours à trou­ver mes solu­tions de stockage et de synchro­ni­sa­tion. Je vous appelle de nouveau à l’aide parce que je sèche tota­le­ment. Toute sugges­tion est bien­ve­nue, même si elle sort du cadre.

J’ai posé plus bas un peu tout ce que j’ai étudié, au cas où ça inté­resse des gens, ou si certains voient quelque chose que j’ai oublié

Ce que je cherche

En gros je cherche une solu­tion de sauve­garde conti­nue (pas en mode snap­shot) avec chif­fre­ment côté client, pour deux portables Mac et un NAS sous Linux, pour un volume total de 1.5 à 2 To à stocker hors les murs.

La dédu­pli­ca­tion n’est pas indis­pen­sable mais reste un vrai critère vu qu’une partie des données sont les mêmes sur diffé­rents postes.

Je suis prêt à payer un service tiers comme à monter une solu­tion custom mais je veux un emmer­de­ment mini­mal et rien de ce qui est en ligne ne doit avoir accès aux données en clair, même indi­rec­te­ment.

Si en plus la même solu­tion sait faire de la synchro­ni­sa­tion sélec­tive entre les diffé­rents appa­reils ou/et du partage à des tiers des données synchro­ni­sées/sauve­gar­dées, ce serait magique (mais comme je n’ar­rive déjà pas à couvrir le besoin de base, n’en deman­dons pas trop).

* * *

Parce qu’on me demande parfois plus de détails

J’ai un portable Mac qui me sert au jour le jour. Dessus j’ai envi­ron 20 Go à demeure et quelques blocs d’une dizaine de Go que je peux ajou­ter d’un coup pour travailler dessus quelques semaines (mois?) avant de  les effa­cer ou trans­fé­rer sur le NAS. Seuls 1 à 2 Go sont vrai­ment modi­fiés couram­ment.

J’uti­lise beau­coup ce poste en situa­tion de mobi­lité, avec beau­coup de connexion et décon­nexions, parfois du mauvais réseau. Je veux donc une sauve­garde conti­nue et pas une sauve­garde par snap­shots.

À côté il y a le portable Mac de ma femme, quasi­ment les mêmes contraintes si ce n’est qu’elle a proba­ble­ment plus de 50 Go à demeure mais aussi moins de chan­ge­ments au jour le jour.

Je peux faire sans mais idéa­le­ment la possi­bi­lité d’avoir chacun ses comptes et l’un ne puisse pas accé­der aux sauve­gardes de l’autre est un vrai critère de choix.

À côté de ça on a un micro-PC sous Linux qui sert de NAS. C’est là qu’on dépose tout ce qui est à archi­ver. Il y a aujourd’­hui 750 Go de données à ne pas perdre. L’es­sen­tiel de ce qui y est ne bouge pas une fois que c’est posé (en fait à part les sauve­gardes de fichiers xmp et cata­logues ligh­troom, je pense que quasi­ment rien ne change) mais ça il faut provi­sion­ner 100 à 200 Go de plus par an.

Je peux ponc­tuel­le­ment lancer une inter­face graphique à distance mais c’est un serveur sans écran. Les éven­tuels logi­ciels de sauve­garde doivent pouvoir tour­ner sans inter­face graphique quand il n’y a pas de chan­ge­ment de confi­gu­ra­tion.

Je n’ai ni le temps ni le courage de main­te­nir la sécu­rité au niveau requis pour expo­ser ce NAS sur Inter­net. C’est quelque chose d’ex­clu.

Il y a poten­tiel­le­ment des dizaines de Go en doublon entre le NAS et un ou l’autre des portables quand on a besoin de travailler dessus. Avoir une dédu­pli­ca­tion permet­trait d’évi­ter de faire travailler inuti­le­ment la sauve­garde.

Idéa­le­ment si je pouvais dire « ce réper­toire de ce portable corres­pond désor­mais à ce réper­toire du NAS, merci d’en­voyer sur le NAS toutes les modi­fi­ca­tions que j’y fais jusqu’à ce que je supprime la liai­son » ce serait même génial. Ça m’évi­te­rait de faire des trans­ferts manuels d’un côté à l’autre, avec les risques d’er­reur que ça implique). Pas indis­pen­sable cepen­dant.

* * *

Ce que j’ai exploré

Les solu­tions « tout inté­gré »

Par le passé j’uti­li­sais Cras­plan Home. Ça ne gère que la sauve­garde (pas de synchro) mais ça le faisait bien, et sans limite de stockage. Ils ont choisi d’ar­rê­ter l’offre pour parti­cu­liers, mon abon­ne­ment prend fin dans quelques mois.

Crash­plan Busi­ness me propose la même chose mais pour 12 $ TTC par appa­reil. Pour trois appa­reils j’en suis déjà à 460 $ TTC par an, pour juste de la sauve­garde. Bref, je cherche soit mieux soit moins cher.

Black­baze et Carbo­nite n’ont pas de client Linux, indis­pen­sable pour moi. 

SpiderOak sait faire du backup comme de la synchro­ni­sa­tion, avec stockage en ligne et chif­fre­ment côté client. On est à 160 $ par an pour 2 To, ce que je peux envi­sa­ger. La version Linux peut faire un head­less assez basique (il faudra l’ar­rê­ter et lancer la GUI si on veut faire des vrais chan­ge­ments) mais pourquoi pas.

Sur les mauvaises surprises, outre l’er­go­no­mie incom­pré­hen­sible, je peux navi­guer dans les versions d’un fichier mais pas dans les réper­toires. Impos­sible donc de récu­pé­rer une réper­toire complet tel qu’il l’était à une date donnée. Pour un outil qui se veut faire du backup, c’est ballot.

Mon vrai blocage se fait au niveau des ressources utili­sées. Sur Linux il occupe en perma­nence un cœur entre 30 et 100% même quand il n’a rien à faire. Sur Mac c’est moins visible côté CPU mais il est respon­sable de 10% de la consom­ma­tion éner­gé­tique – et donc de l’au­to­no­mie – sur les périodes où il n’y a aucun chan­ge­ment à sauve­gar­der. Impos­sible pour autant de lui dire de se stop­per pour quelques heures quand je suis sur batte­rie, il faut le quit­ter tota­le­ment et penser à le relan­cer.

Il reste que c’est ma meilleure piste pour l’heure.

Treso­rit m’a fait une superbe impres­sion. Le logi­ciel est léché, il gère les partages sans mettre à mal le chif­fre­ment. J’ai aussi été agréa­ble­ment surpris par les débits. À 20 Mbps montants soute­nus pendant une jour­née, ma sauve­garde est unique­ment limi­tée par le maxi­mum physique de ma connexion Inter­net (ni par les serveurs Treso­rit, ni par la connec­ti­vité entre mon FAI et treso­rit). C’est assez rare pour être signalé, et appré­ciable.

Il reste que c’est d’abord un logi­ciel de synchro­ni­sa­tion. Il garde les histo­riques (et ne les compte pas dans le quota d’es­pace dispo­nible) mais ne permet pas lui non plus de récu­pé­rer tout un réper­toire tel qu’il était à une date donnée. C’est soit la dernière version d’un réper­toire, soit fichier par fichier.

Comme il ne fait que de la synchro, si jamais il y a un gros bug sur le serveur qui vide mes données, il n’est pas tota­le­ment impos­sible que la suppres­sion se propage chez moi. Le but premier de la sauve­garde étant d’évi­ter juste­ment ce genre de situa­tion…

Enfin, la version Linux ne fonc­tionne qu’en mode graphique, ce qui impose de monter un xpra ou équi­valent (brrr…).

Je suis tombé amou­reux du produit mais à 290 € TTC par an les 2 To, tous les points néga­tifs par rapport à mon besoin initial commencent à être un peu diffi­ciles à avaler.

Les logi­ciels purs (sans offre de stockage)

À asso­cier à une offre de stockage (voir plus bas).

J’avoue que je sèche tota­le­ment. Je n’ai pas trouvé de logi­ciel pur qui sache faire de la sauve­garde en mode continu / temps réel. Tout ce que j’ai trouvé se base sur un mode snap­shot. C’est du moins le cas pour Dupli­city, Baccula et Restic.

Si vous connais­sez quelque chose, faites moi signe.

Seafile sait de la synchro­ni­sa­tion mais en gardant les diffé­rentes versions de chaque fichier et en permet­tant de récu­pé­rer un réper­toire tel qu’il était à une date arbi­traire. On reste avec les défauts d’une synchro­ni­sa­tion histo­ri­sée : Si le serveur dérape et efface tout, il risque non seule­ment de perdre l’his­to­rique mais aussi de propa­ger les suppres­sions à tous les appa­reils.

Risqué, d’au­tant que le logi­ciel m’ins­pire peu confiance (oui, c’est très subjec­tif). Ou alors il faut ajou­ter une sauve­garde de type snap­shot du serveur de synchro lui-même. Oups.

Si on ajoute que ça impose un vrai serveur en face – pas juste une offre de stockage – et que la synchro­ni­sa­tion sélec­tive est limi­tée dans ses capa­ci­tés, j’ai pour l’ins­tant écarté la chose.

Les offres de stockage (sans logi­ciel)

B2 est un des meilleurs marché avec 240 € TTC annuels pour 2 To (0,006 € TTC par Go) sans coût pour l’en­voi des fichiers. Le télé­char­ge­ment est plus cher (0,012 € TTC par Go) mais ça reste accep­table en cas de catas­trophe et il y a une fran­chise de 1 Go par jour qui permet de gérer les petites pétouilles sans raquer à chaque fois.

J’avoue que je suis preneur de feed­back sur les débits réels et sur la fiabi­lité de la solu­tion (mais Black­baze est quand même reconnu donc me sécu­rise un peu).

C14 propose un prix de stockage moitié moins cher que B2 (0,0024 € TTC par Go) pour les volumes que j’en­vi­sage, quitte à me faire payer l’en­voi initial. On parle toute­fois d’ar­chi­vage long terme. Les données ne sont pas direc­te­ment mani­pu­lables une fois stockées.

Finan­ciè­re­ment c’est bien moins cher que B2 mais j’avoue que je ne sais pas quelle fiabi­lité accor­der à Online. Rien que l’au­to­rité de confiance utili­sée pour le TLS du site web n’est pas reconnu par mon Fire­fox à jour. Oui, on en est là.

Cloud Archive d’OVH est plus ou moins un clone de C14, quasi­ment au même prix.

J’ai peut-être un peu plus confiance en OVH qu’en Online, mais on reste sur des choses simi­laires je pense, et je n’ai pas plus de retour d’ex­pé­rience sur leur solu­tion.

Glacier c’est la même chose pour Amazon. À priori ma confiance est plus haute mais les prix aussi (0,0048 $ TTC par Go stocké en Irlande). Le coût de trans­fert n’est là plus négli­geable par contre, on est à 0,108 $ TTC par Go.

Stockage perso : Mine de rien si je parle de backup et non de synchro, je n’ai pas besoin d’une grande garan­tie. Si le backup meure, j’au­rais encore les données. La proba­bi­lité que le backup et les disques prin­ci­paux meurent à la fois est assez faible.

OVH propose via Kimsufi des serveurs cheap avec 2 To de disque pour 240 € TTC par an. Ça reste cher pour une absence de garan­tie, mais si en face j’ai les bons logi­ciels qui gèrent tout parfai­te­ment et des données qui sont chif­frées (donc pas de problème majeur de sécu­rité), ça peut s’en­vi­sa­ger.

 

20 réponses sur « Du backup, encore, et j’ai besoin de vous »

En fait idéalement il te faudrait Time Machine tournant sur les 2 macs (reste le pb linux) avec un serveur TimeMachine ailleurs (OS X Serveur fait ça par exemple), sachant que les dites sauvegardes peuvent être chiffrées et que tu peux remonter un dossier tel qu’il était à un instant t, sachant que les sauvegardes se font incrémentalement tant qu’il reste de la place sur la ou les cibles ; mais tu dois certainement connaître tout ça.

Côté Linux par contre, j’ai pas de solution idéale.

Sauf erreur de ma part le protocole time machine est très consommateur en réseau, fait pour tourner en local. Avoir une sauvegarde hors les murs est un pré requis essentiel

Salut,

Et Time Machine, parfaitement intégré au Mac ?
Certains NAS sont compatibles, pourquoi pas le tien ? Avec une distrib adaptée ?

Ça ne gère pas le Linux, et surtout ça veut dire que mon backup est local. Je tiens à un backup distant. La probabilité qu’on me vole en même temps le Mac et le NAS est assez élevée (vol, incendie, ou autre, peu importe)

Duplicati fonctionne par snapshot programmés. Il sait reprendre là où il en était, peut être que je devrais m’en contenter mais j’avoue que ce n’est pas ce que je cherche à priori

Hello,
J’utilise depuis 2 ans maintenant arq backup. Je ne sais pas s’il répond exactement a tous tes besoins mais il ne consomme quasi pas de ressource et il upload a très grande vitesse (max de ma connexion internet 20Mbits).
Il crypte coté client et tu peux choisir vers qui tu backup (GCP/AWS/…).
Par j’ai des doutes sur la dé-duplication.
Il fonctionne sous Max & Windows.
Alex

J’ai lu beaucoup de bien de arq pour les Mac. J’avoue ne pas avoir testé parce que ça laisserait mes 750go Linux sur le carreau

Hello,

Des collègues m’ont recommandé rclone (https://rclone.org/), c’est du cli mais a priori ça fait le job.

Sinon peut être du coté de duplicati (https://www.duplicati.com/) ?

Mon test pour le moment est bloqué au fait que les endpoints parisien AWS ne sont pas encore supportés.

En attendant je fais laptop > NAS Synology > S3 (via Cloud Sync)

Je ne me vois pas faire des snapshots, il n’aurait jamais le temps de l’uploader sur Glacier/S3/Whatever.

Oui tiens, faire de la synchro vers le NAS et un backup très classique du NAS peut être une solution. Ça limite un peu la résilience en cas de déplacement de plusieurs jours hors de portée du nas mais pourquoi pas

Tu as regardé chez synology ? Dossiers Redmond ésotérisme sens unique. Tu le paramètres chez toi et une fois terminé tu l’installes ailleurs. Utilisation transparente, synchro temps réel des lors qu’il y a du WiFi.

Salut,

après beaucoup d’interrogations, j’ai mis en place une solution qui pourrait répondre à tes besoins.
Une solution de sauvegarde libre, dédupliquée avec chiffrement et compression (BorgBackup) vers un hébergement externe (Hetzner).
Ça fonctionne avec Linux et MacOS, automatisé en crontab, je garde un certain nombre de versions pour un encombrement limité.
J’ai créé un script pour automatiser ça au boulot, il faut que je le modifie un peu pour le rendre publique mais je peux te le filer.

Pour la restoration, un montage fuse te donne accès à ton dépot et tu retrouves les différentes versions un peu à la Time Machine (sans la belle interface graphique).

Salut,

Perso j’ai implémenté un serveur owncloud sur une dedibox online.net (j’avais un Kimsufi de chez ovh mais j’ai fuis et depuis je ne regrette pas). Cella me permets de faire de la synchro + partage de fichier entre plusieurs utilisateurs dans des villes différentes. (Copie en continu des fichiers mirorrés sur mon serveur)
J’ai également un GITLAB en place pour tout ce qui est projet.

Le tout est backupé via l’application Duplicati vers un stockage C14 de chez online à nouveau. (Snapshot du serveur 2x par jour)

Mon niveau de confiance online.net est plus élevé que celui d’OVH, je suis parti d’OVH vers Online.net pour des raisons techniques et de support et je ne regrette pas (serveur up depuis 4+ ans)

Ce commentaire tombe un peu tard mais colle bien a ton use case, n’hésite pas à me contacter pour plus d’infos

J’effectue mes sauvegardes sur NAS synology.
Ce NAS ce situe en France. Plusieurs PCs donc se connecte a ce NAS, soit par le reseau local ou VPN et effectue leurs sauvegardes. Pour vous dire a quel point, cela fonctionne bien, c’est que je suis capable de m’y connecter a distance, du Canada et transferer des centaines de GO grace a rsync qui fait de l’incrementale. Pourtant mon NAS se fait vieux et n’etait pas a l’origine performant.

Selon vos besoins, ensuite, a partir du NAS vous pouvez parametrer des sauvegardes avec rotation vers differentes destinations, le tout encrypter localement avant envoi. J’ai choisi un prestaire Français pour y recevoir mes sauvegardes. Notez bien ce point: le NAS n’est pas une sauvegarde!

Note: j’ai une connexion fibré, ce qui aide…

Perso je fais une sauvegarde locale de 2 PC vers 1 avec BackInTime. Après, je pense faire une synchro (mono-directionnelle) supplémentaire vers un cloud genre Online pour avoir une sauvegarde délocalisée. Ou alors une 2è sauvegarde avec BackInTime vers le cloud (me semble moins efficace).
La déduplication a priori ne m’intéresse pas trop car mes données sont surtout des photos : j’en ai régulièrement des nouvelles, mais je ne modifie pas les anciennes, et encore moins par morceau.

Je voulais quelque chose d’intégré. Je ne veux pas lancer un outil à la main et me poser la question de ce qu’il fait si je me déconnecte au milieu d’un transfert, du fait qu’il recommence encore le même fichier pour la centième fois parce qu’il n’a pas été capable de le transférer entièrement avant que je ne ferme le laptop, de si quand je ne suis pas chez moi il ne va pas épuiser la batterie à force d’essayer de se connecter, de s’il sait se limiter en processeur en bande passante et en io disque quand j’utilise ma machine, de comment je peux détecter quand il n’a pas tourné depuis longtemps, de…

Je ne dis pas qu’on ne peut pas faire tout ça avec rsync, juste que j’ai plein d’interrogations et qu’au mieux ça demande de l’outillage et de la configuration, que je peux mal faire, et qui refait la roue qui existe ailleurs.

J’ai fini avec Syncthing, qui me va très bien.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *