Je galère toujours à trouver mes solutions de stockage et de synchronisation. Je vous appelle de nouveau à l’aide parce que je sèche totalement. Toute suggestion est bienvenue, même si elle sort du cadre.
J’ai posé plus bas un peu tout ce que j’ai étudié, au cas où ça intéresse des gens, ou si certains voient quelque chose que j’ai oublié
Ce que je cherche
En gros je cherche une solution de sauvegarde continue (pas en mode snapshot) avec chiffrement côté client, pour deux portables Mac et un NAS sous Linux, pour un volume total de 1.5 à 2 To à stocker hors les murs.
La déduplication n’est pas indispensable mais reste un vrai critère vu qu’une partie des données sont les mêmes sur différents postes.
Je suis prêt à payer un service tiers comme à monter une solution custom mais je veux un emmerdement minimal et rien de ce qui est en ligne ne doit avoir accès aux données en clair, même indirectement.
Si en plus la même solution sait faire de la synchronisation sélective entre les différents appareils ou/et du partage à des tiers des données synchronisées/sauvegardées, ce serait magique (mais comme je n’arrive déjà pas à couvrir le besoin de base, n’en demandons pas trop).
* * *
Parce qu’on me demande parfois plus de détails
J’ai un portable Mac qui me sert au jour le jour. Dessus j’ai environ 20 Go à demeure et quelques blocs d’une dizaine de Go que je peux ajouter d’un coup pour travailler dessus quelques semaines (mois?) avant de les effacer ou transférer sur le NAS. Seuls 1 à 2 Go sont vraiment modifiés couramment.
J’utilise beaucoup ce poste en situation de mobilité, avec beaucoup de connexion et déconnexions, parfois du mauvais réseau. Je veux donc une sauvegarde continue et pas une sauvegarde par snapshots.
À côté il y a le portable Mac de ma femme, quasiment les mêmes contraintes si ce n’est qu’elle a probablement plus de 50 Go à demeure mais aussi moins de changements au jour le jour.
Je peux faire sans mais idéalement la possibilité d’avoir chacun ses comptes et l’un ne puisse pas accéder aux sauvegardes de l’autre est un vrai critère de choix.
À côté de ça on a un micro-PC sous Linux qui sert de NAS. C’est là qu’on dépose tout ce qui est à archiver. Il y a aujourd’hui 750 Go de données à ne pas perdre. L’essentiel de ce qui y est ne bouge pas une fois que c’est posé (en fait à part les sauvegardes de fichiers xmp et catalogues lightroom, je pense que quasiment rien ne change) mais ça il faut provisionner 100 à 200 Go de plus par an.
Je peux ponctuellement lancer une interface graphique à distance mais c’est un serveur sans écran. Les éventuels logiciels de sauvegarde doivent pouvoir tourner sans interface graphique quand il n’y a pas de changement de configuration.
Je n’ai ni le temps ni le courage de maintenir la sécurité au niveau requis pour exposer ce NAS sur Internet. C’est quelque chose d’exclu.
Il y a potentiellement des dizaines de Go en doublon entre le NAS et un ou l’autre des portables quand on a besoin de travailler dessus. Avoir une déduplication permettrait d’éviter de faire travailler inutilement la sauvegarde.
Idéalement si je pouvais dire « ce répertoire de ce portable correspond désormais à ce répertoire du NAS, merci d’envoyer sur le NAS toutes les modifications que j’y fais jusqu’à ce que je supprime la liaison » ce serait même génial. Ça m’éviterait de faire des transferts manuels d’un côté à l’autre, avec les risques d’erreur que ça implique). Pas indispensable cependant.
* * *
Ce que j’ai exploré
Les solutions « tout intégré »
Par le passé j’utilisais Crasplan Home. Ça ne gère que la sauvegarde (pas de synchro) mais ça le faisait bien, et sans limite de stockage. Ils ont choisi d’arrêter l’offre pour particuliers, mon abonnement prend fin dans quelques mois.
Crashplan Business me propose la même chose mais pour 12 $ TTC par appareil. Pour trois appareils j’en suis déjà à 460 $ TTC par an, pour juste de la sauvegarde. Bref, je cherche soit mieux soit moins cher.
Blackbaze et Carbonite n’ont pas de client Linux, indispensable pour moi.
SpiderOak sait faire du backup comme de la synchronisation, avec stockage en ligne et chiffrement côté client. On est à 160 $ par an pour 2 To, ce que je peux envisager. La version Linux peut faire un headless assez basique (il faudra l’arrêter et lancer la GUI si on veut faire des vrais changements) mais pourquoi pas.
Sur les mauvaises surprises, outre l’ergonomie incompréhensible, je peux naviguer dans les versions d’un fichier mais pas dans les répertoires. Impossible donc de récupérer une répertoire complet tel qu’il l’était à une date donnée. Pour un outil qui se veut faire du backup, c’est ballot.
Mon vrai blocage se fait au niveau des ressources utilisées. Sur Linux il occupe en permanence un cœur entre 30 et 100% même quand il n’a rien à faire. Sur Mac c’est moins visible côté CPU mais il est responsable de 10% de la consommation énergétique – et donc de l’autonomie – sur les périodes où il n’y a aucun changement à sauvegarder. Impossible pour autant de lui dire de se stopper pour quelques heures quand je suis sur batterie, il faut le quitter totalement et penser à le relancer.
Il reste que c’est ma meilleure piste pour l’heure.
Tresorit m’a fait une superbe impression. Le logiciel est léché, il gère les partages sans mettre à mal le chiffrement. J’ai aussi été agréablement surpris par les débits. À 20 Mbps montants soutenus pendant une journée, ma sauvegarde est uniquement limitée par le maximum physique de ma connexion Internet (ni par les serveurs Tresorit, ni par la connectivité entre mon FAI et tresorit). C’est assez rare pour être signalé, et appréciable.
Il reste que c’est d’abord un logiciel de synchronisation. Il garde les historiques (et ne les compte pas dans le quota d’espace disponible) mais ne permet pas lui non plus de récupérer tout un répertoire tel qu’il était à une date donnée. C’est soit la dernière version d’un répertoire, soit fichier par fichier.
Comme il ne fait que de la synchro, si jamais il y a un gros bug sur le serveur qui vide mes données, il n’est pas totalement impossible que la suppression se propage chez moi. Le but premier de la sauvegarde étant d’éviter justement ce genre de situation…
Enfin, la version Linux ne fonctionne qu’en mode graphique, ce qui impose de monter un xpra ou équivalent (brrr…).
Je suis tombé amoureux du produit mais à 290 € TTC par an les 2 To, tous les points négatifs par rapport à mon besoin initial commencent à être un peu difficiles à avaler.
Les logiciels purs (sans offre de stockage)
À associer à une offre de stockage (voir plus bas).
J’avoue que je sèche totalement. Je n’ai pas trouvé de logiciel pur qui sache faire de la sauvegarde en mode continu / temps réel. Tout ce que j’ai trouvé se base sur un mode snapshot. C’est du moins le cas pour Duplicity, Baccula et Restic.
Si vous connaissez quelque chose, faites moi signe.
Seafile sait de la synchronisation mais en gardant les différentes versions de chaque fichier et en permettant de récupérer un répertoire tel qu’il était à une date arbitraire. On reste avec les défauts d’une synchronisation historisée : Si le serveur dérape et efface tout, il risque non seulement de perdre l’historique mais aussi de propager les suppressions à tous les appareils.
Risqué, d’autant que le logiciel m’inspire peu confiance (oui, c’est très subjectif). Ou alors il faut ajouter une sauvegarde de type snapshot du serveur de synchro lui-même. Oups.
Si on ajoute que ça impose un vrai serveur en face – pas juste une offre de stockage – et que la synchronisation sélective est limitée dans ses capacités, j’ai pour l’instant écarté la chose.
Les offres de stockage (sans logiciel)
B2 est un des meilleurs marché avec 240 € TTC annuels pour 2 To (0,006 € TTC par Go) sans coût pour l’envoi des fichiers. Le téléchargement est plus cher (0,012 € TTC par Go) mais ça reste acceptable en cas de catastrophe et il y a une franchise de 1 Go par jour qui permet de gérer les petites pétouilles sans raquer à chaque fois.
J’avoue que je suis preneur de feedback sur les débits réels et sur la fiabilité de la solution (mais Blackbaze est quand même reconnu donc me sécurise un peu).
C14 propose un prix de stockage moitié moins cher que B2 (0,0024 € TTC par Go) pour les volumes que j’envisage, quitte à me faire payer l’envoi initial. On parle toutefois d’archivage long terme. Les données ne sont pas directement manipulables une fois stockées.
Financièrement c’est bien moins cher que B2 mais j’avoue que je ne sais pas quelle fiabilité accorder à Online. Rien que l’autorité de confiance utilisée pour le TLS du site web n’est pas reconnu par mon Firefox à jour. Oui, on en est là.
Cloud Archive d’OVH est plus ou moins un clone de C14, quasiment au même prix.
J’ai peut-être un peu plus confiance en OVH qu’en Online, mais on reste sur des choses similaires je pense, et je n’ai pas plus de retour d’expérience sur leur solution.
Glacier c’est la même chose pour Amazon. À priori ma confiance est plus haute mais les prix aussi (0,0048 $ TTC par Go stocké en Irlande). Le coût de transfert n’est là plus négligeable par contre, on est à 0,108 $ TTC par Go.
Stockage perso : Mine de rien si je parle de backup et non de synchro, je n’ai pas besoin d’une grande garantie. Si le backup meure, j’aurais encore les données. La probabilité que le backup et les disques principaux meurent à la fois est assez faible.
OVH propose via Kimsufi des serveurs cheap avec 2 To de disque pour 240 € TTC par an. Ça reste cher pour une absence de garantie, mais si en face j’ai les bons logiciels qui gèrent tout parfaitement et des données qui sont chiffrées (donc pas de problème majeur de sécurité), ça peut s’envisager.
20 réponses à “Du backup, encore, et j’ai besoin de vous”
En fait idéalement il te faudrait Time Machine tournant sur les 2 macs (reste le pb linux) avec un serveur TimeMachine ailleurs (OS X Serveur fait ça par exemple), sachant que les dites sauvegardes peuvent être chiffrées et que tu peux remonter un dossier tel qu’il était à un instant t, sachant que les sauvegardes se font incrémentalement tant qu’il reste de la place sur la ou les cibles ; mais tu dois certainement connaître tout ça.
Côté Linux par contre, j’ai pas de solution idéale.
Sauf erreur de ma part le protocole time machine est très consommateur en réseau, fait pour tourner en local. Avoir une sauvegarde hors les murs est un pré requis essentiel
Resilio?
Pcloud?
Salut,
Et Time Machine, parfaitement intégré au Mac ?
Certains NAS sont compatibles, pourquoi pas le tien ? Avec une distrib adaptée ?
Ça ne gère pas le Linux, et surtout ça veut dire que mon backup est local. Je tiens à un backup distant. La probabilité qu’on me vole en même temps le Mac et le NAS est assez élevée (vol, incendie, ou autre, peu importe)
Et Duplicati ? https://cyrille-borne.com/pluxml/index.php?article112/vacances-j-sauvegarde-tout
Duplicati fonctionne par snapshot programmés. Il sait reprendre là où il en était, peut être que je devrais m’en contenter mais j’avoue que ce n’est pas ce que je cherche à priori
Hello,
J’utilise depuis 2 ans maintenant arq backup. Je ne sais pas s’il répond exactement a tous tes besoins mais il ne consomme quasi pas de ressource et il upload a très grande vitesse (max de ma connexion internet 20Mbits).
Il crypte coté client et tu peux choisir vers qui tu backup (GCP/AWS/…).
Par j’ai des doutes sur la dé-duplication.
Il fonctionne sous Max & Windows.
Alex
J’ai lu beaucoup de bien de arq pour les Mac. J’avoue ne pas avoir testé parce que ça laisserait mes 750go Linux sur le carreau
Hello,
Des collègues m’ont recommandé rclone (https://rclone.org/), c’est du cli mais a priori ça fait le job.
Sinon peut être du coté de duplicati (https://www.duplicati.com/) ?
Mon test pour le moment est bloqué au fait que les endpoints parisien AWS ne sont pas encore supportés.
En attendant je fais laptop > NAS Synology > S3 (via Cloud Sync)
Je ne me vois pas faire des snapshots, il n’aurait jamais le temps de l’uploader sur Glacier/S3/Whatever.
Oui tiens, faire de la synchro vers le NAS et un backup très classique du NAS peut être une solution. Ça limite un peu la résilience en cas de déplacement de plusieurs jours hors de portée du nas mais pourquoi pas
Tu as regardé chez synology ? Dossiers Redmond ésotérisme sens unique. Tu le paramètres chez toi et une fois terminé tu l’installes ailleurs. Utilisation transparente, synchro temps réel des lors qu’il y a du WiFi.
*Dossiers redondés en sens unique
Salut,
après beaucoup d’interrogations, j’ai mis en place une solution qui pourrait répondre à tes besoins.
Une solution de sauvegarde libre, dédupliquée avec chiffrement et compression (BorgBackup) vers un hébergement externe (Hetzner).
Ça fonctionne avec Linux et MacOS, automatisé en crontab, je garde un certain nombre de versions pour un encombrement limité.
J’ai créé un script pour automatiser ça au boulot, il faut que je le modifie un peu pour le rendre publique mais je peux te le filer.
Pour la restoration, un montage fuse te donne accès à ton dépot et tu retrouves les différentes versions un peu à la Time Machine (sans la belle interface graphique).
Cet(te) Article a été mentionné sur n.survol.fr
Salut,
Perso j’ai implémenté un serveur owncloud sur une dedibox online.net (j’avais un Kimsufi de chez ovh mais j’ai fuis et depuis je ne regrette pas). Cella me permets de faire de la synchro + partage de fichier entre plusieurs utilisateurs dans des villes différentes. (Copie en continu des fichiers mirorrés sur mon serveur)
J’ai également un GITLAB en place pour tout ce qui est projet.
Le tout est backupé via l’application Duplicati vers un stockage C14 de chez online à nouveau. (Snapshot du serveur 2x par jour)
Mon niveau de confiance online.net est plus élevé que celui d’OVH, je suis parti d’OVH vers Online.net pour des raisons techniques et de support et je ne regrette pas (serveur up depuis 4+ ans)
Ce commentaire tombe un peu tard mais colle bien a ton use case, n’hésite pas à me contacter pour plus d’infos
J’effectue mes sauvegardes sur NAS synology.
Ce NAS ce situe en France. Plusieurs PCs donc se connecte a ce NAS, soit par le reseau local ou VPN et effectue leurs sauvegardes. Pour vous dire a quel point, cela fonctionne bien, c’est que je suis capable de m’y connecter a distance, du Canada et transferer des centaines de GO grace a rsync qui fait de l’incrementale. Pourtant mon NAS se fait vieux et n’etait pas a l’origine performant.
Selon vos besoins, ensuite, a partir du NAS vous pouvez parametrer des sauvegardes avec rotation vers differentes destinations, le tout encrypter localement avant envoi. J’ai choisi un prestaire Français pour y recevoir mes sauvegardes. Notez bien ce point: le NAS n’est pas une sauvegarde!
Note: j’ai une connexion fibré, ce qui aide…
Perso je fais une sauvegarde locale de 2 PC vers 1 avec BackInTime. Après, je pense faire une synchro (mono-directionnelle) supplémentaire vers un cloud genre Online pour avoir une sauvegarde délocalisée. Ou alors une 2è sauvegarde avec BackInTime vers le cloud (me semble moins efficace).
La déduplication a priori ne m’intéresse pas trop car mes données sont surtout des photos : j’en ai régulièrement des nouvelles, mais je ne modifie pas les anciennes, et encore moins par morceau.
A ta place je regarderai du côté de rsync et de son interface graphique grsync
Je voulais quelque chose d’intégré. Je ne veux pas lancer un outil à la main et me poser la question de ce qu’il fait si je me déconnecte au milieu d’un transfert, du fait qu’il recommence encore le même fichier pour la centième fois parce qu’il n’a pas été capable de le transférer entièrement avant que je ne ferme le laptop, de si quand je ne suis pas chez moi il ne va pas épuiser la batterie à force d’essayer de se connecter, de s’il sait se limiter en processeur en bande passante et en io disque quand j’utilise ma machine, de comment je peux détecter quand il n’a pas tourné depuis longtemps, de…
Je ne dis pas qu’on ne peut pas faire tout ça avec rsync, juste que j’ai plein d’interrogations et qu’au mieux ça demande de l’outillage et de la configuration, que je peux mal faire, et qui refait la roue qui existe ailleurs.
J’ai fini avec Syncthing, qui me va très bien.