Rsync : Différence entre versions
(→Économie ne rime pas avec sécurité) |
|||
(43 révisions intermédiaires par 7 utilisateurs non affichées) | |||
Ligne 1 : | Ligne 1 : | ||
+ | |||
== Principe de la sauvegarde Rsync sur disque dur USB == | == Principe de la sauvegarde Rsync sur disque dur USB == | ||
L'idée est de profiter de rsync et ses options pour : | L'idée est de profiter de rsync et ses options pour : | ||
+ | |||
1- avoir une sauvegarde 1:1 toujours à jours des dossier à sauvegarder | 1- avoir une sauvegarde 1:1 toujours à jours des dossier à sauvegarder | ||
− | 2- avoir des dossiers de sauvegarde | + | |
+ | 2- avoir des dossiers de sauvegarde secondaires journaliers contenant chacun les fichiers modifiés ou supprimés lors de la sauvegarde journalière | ||
== Plaidoyer pour la sauvegarde rsync == | == Plaidoyer pour la sauvegarde rsync == | ||
Avantages lors de la sauvegarde: | Avantages lors de la sauvegarde: | ||
+ | |||
1- n'est copié que ce qui a changé = gain de place | 1- n'est copié que ce qui a changé = gain de place | ||
+ | |||
2- support disque dur (ou eventuellement DVD-RW) moins couteux que DAT | 2- support disque dur (ou eventuellement DVD-RW) moins couteux que DAT | ||
+ | |||
3- rapidité de la sauvegarde | 3- rapidité de la sauvegarde | ||
− | 4- faible | + | |
+ | 4- faible trafic en écriture | ||
Avantages lors de la restauration | Avantages lors de la restauration | ||
+ | |||
1- rapidité pour rechercher un unique fichier en plusieurs versions sur un seul support | 1- rapidité pour rechercher un unique fichier en plusieurs versions sur un seul support | ||
− | |||
+ | 2- rapidité pour restaurer l'integralité de la sauvegarde par simple rsync inversé ou cp sans décompression, ni lecture lente de bandes magnétiques | ||
− | == | + | == Économie ne rime pas avec sécurité == |
− | Ce n'est pas parce que l'investissement dans des disques dur USB est moins couteux que | + | Ce n'est pas parce que l'investissement dans des disques dur USB est moins couteux que dans des lecteurs DAT avec des bandes magnétiques qu'il faut économiser sur le nombre de disques pour les sauvegardes. |
En effet un disque dur dans un boitier USB peut crasher.... | En effet un disque dur dans un boitier USB peut crasher.... | ||
− | Darrell May, de l'équipe de contribs.org, conseille d' | + | Darrell May, de l'équipe de contribs.org, conseille d'avoir au minimum un jeu de 9 disques durs USB. |
LUNDI | LUNDI | ||
Ligne 44 : | Ligne 52 : | ||
Un archive mensuelle peut venir s'ajouter en 10° disque. | Un archive mensuelle peut venir s'ajouter en 10° disque. | ||
− | Les disques devront êtres | + | Les disques devront êtres renouvelés régulièrement et de façon échelonnée, par des disques provenant d'un fabricant et d'un vendeur sur. |
− | Ces disques devront donc tourner de façon journalière, et être remis dans un lieu sur à l' | + | Ces disques devront donc tourner de façon journalière, et être remis dans un lieu sur à l'abri du vol, du feu, et de tous chocs électriques, mécaniques, thermiques et électromagnétiques. |
+ | |||
+ | Dans la pratique, et dans le cadre d'un soho (qui est le cadre idéal pour une SME): un minimum de 2 disques est indispensable avec le script développé ci dessous et alternés dans leur utilisation. | ||
+ | |||
+ | Ma préférence irait même à 3 : un servant de sauvegarde tous les jours, et les deux autres (2 et 3) de sauvegarde du disque 1 un jour sur 2. | ||
+ | |||
+ | '''Mais en aucun cas un seul disque de sauvegarde n'est une solution fiable! Imaginez le court circuit au moment ou le disque sauvegarde est branché : le serveur grillé et les sauvegardes aussi !''' | ||
+ | |||
+ | '''Attention on peut modifier votre contenu !!''' | ||
== RSYNC vers un site secondaire via un tunnel SSH2 == | == RSYNC vers un site secondaire via un tunnel SSH2 == | ||
à venir | à venir | ||
− | cette méthode | + | cette méthode pourra être une sécurité de plus dans la sauvegarde, attention toutefois au vol des données si le site secondaire n'est pas sur. |
+ | ____ | ||
+ | |||
+ | en attendant voici un embryon | ||
+ | |||
+ | 1- utiliser la méthode du site de grand pa pour obtenir une clef privé sur le serveur "serveur rsync SSH" | ||
+ | copier la dans le fichier /root/.ssh/identity par exemple sur le serveur "client rsync ssh" | ||
+ | |||
+ | 2- utiliser le script suivant | ||
+ | |||
+ | #!/bin/sh | ||
+ | # variable de date | ||
+ | DATE=$(date +%d) | ||
+ | echo "$DATE" >>/tmp/sauvegarde.txt | ||
+ | #rsync des dossiers importants du serveur | ||
+ | SRC1=("/home/e-smith/files/ibays/Primary" "/home/e-smith/files/ibays/cool" "/home/e-smith/files/users/admin" "/etc/cron.daily/sauvemsql") | ||
+ | #destination sur le serveur de sauvegarde | ||
+ | DEST="/home/e-smith/files/users/sauvegardes/home/rsync/" | ||
+ | # -n simulation | ||
+ | OPTIONS=" --force --ignore-errors --delete --delete-excluded -av" | ||
+ | #utilisation d'une clef RSA | ||
+ | rsync -e "ssh -i ~/.ssh/identity" $OPTIONS ${SRC1[@]} root@IP.IP.IP.IP:$DEST >>/tmp/sauvegarde.txt | ||
== RSYNC vers un disque dur USB == | == RSYNC vers un disque dur USB == | ||
Ligne 57 : | Ligne 94 : | ||
Sous SME un disque dur USB est automatiquement monté dans un dossier du type /media/usbdisk1 ... MAis nous n'allons pas utiliser cette fonction. | Sous SME un disque dur USB est automatiquement monté dans un dossier du type /media/usbdisk1 ... MAis nous n'allons pas utiliser cette fonction. | ||
− | La première méthode est d'utiliser un script automatique lancé par le cron, et | + | La première méthode est d'utiliser un script automatique lancé par le cron, et nécessitant que le disque soit connecté toute la nuit par exemple afin d'être utilisé pour la sauvegarde, et remplacé dans la journée par le suivant dans le jeux de disques. |
+ | '''Voici comment mettre en place une sauvegarde journalière a 4h du mat: | ||
+ | ''' | ||
− | + | Reperez et notez l'UUID de votre disque USB (que vous avez préalablement formaté en EXT3), après l'avoir branché | |
+ | |||
+ | blkid | ||
+ | Téléchargez le fichier dans le répertoire /etc/cron.daily ce qui executera automatiquement le script chaque nuit | ||
+ | wget -O /etc/cron.daily/RsyncUSB http://smeserver.pialasse.com/fichiers/RsyncUSB | ||
+ | chmod a+x /etc/cron.daily/RsyncUSB | ||
+ | Editez le contenu du fichier pour l'adapter à vos besoins | ||
+ | mcedit /etc/cron.daily/RsyncUSB | ||
+ | # mettez l'UUID de votre disque | ||
+ | # changez l'adresse mail à prévenir si nécessaire | ||
+ | # ajoutez d'éventuels dossiers à exclure de la sauvegarde | ||
− | + | testez la sauvegarde immediatement comme ceci: | |
+ | sh /etc/cron.daily/RsyncUSB | ||
− | + | Pour facilement gerer les UUID téléchargez ma contrib : [http://distro.ibiblio.org/pub/linux/distributions/smeserver/contribs/jppialasse/SME7/usbdisksmanager/] | |
− | + | ||
− | + | ||
− | + | Alternativement vous pouvez telecharger le ficher dans le dossier root et l'appeler à l'aide de /etc/crontab en editant le fichier en question ... ou en utilisant la contrib crontab manager voir le site de Master Sleepy AKA Vanhees. cette methode aura l'avantage de choisir l'heure a laquelle vous désirez réaliser la sauvegarde | |
− | + | ||
− | + | == Restauration d'un fichier (ou d'un dossier)== | |
− | + | Votre fichier peut se trouver dans le dossier principal (qui contient la dernière version à jour) ou dans une sauvegarde évènementielle (qui contient une version antérieure modifiée depuis) | |
− | + | ||
− | + | L'avantage est de permettre à un utilisateur de retrouver une version saine d'un fichier modifié par inadvertance même après plusieurs semaines. | |
− | + | ||
− | + | ||
− | + | '''Remplacez <UUID> par le UUID correspondant à votre disque, vous pouvez l'obtenir en faisant blkid et un copier coller via putty, ou grace a ma contrib usb disk manager. | |
− | + | ||
− | + | Vous pouvez aussi remplacer la ligne : | |
− | + | mount -U <UUID> /sauvegarde | |
− | + | par : | |
− | + | mount /dev/sda1 /sauvegarde | |
− | + | dans le cas ou le disque USB a pour chemin: /dev/sda1 | |
− | + | ''' | |
− | + | ||
− | + | mkdir /sauvegarde | |
− | + | mount -U <UUID> /sauvegarde # recherche par UUID, plus pertinente si vous avez plusieurs disques | |
− | + | cd /sauvegarde/rsync | |
− | + | mkdir resto | |
− | + | find /sauvegarde/rsync -iname <nomdufichier> |xargs -i -t cp -pfr --parents {} /sauvegarde/rsync/resto | |
− | + | ||
− | + | ||
− | + | Vous avez plus qu'a naviguer dans le dossier resto voir donner son contenu à l'interessé. | |
− | + | ||
− | + | Voici une liste non exhaustive des options que vous pouvez ajouter pour affiner la recherche (man find pour plus): | |
− | + | -daystart ''compter le temps a partir de maintenant et pas 24 h en arriere'' | |
− | + | -atime +1 ''24 dernier accés plus de 24 heures avant le debut du temps de recherche'' | |
− | + | -ctime +1 ''24 dernier changement de status plus de 24 heures avant le debut du temps de recherche'' | |
− | + | -group gname | |
− | + | -user username | |
− | + | -mtime +1 ''24 derniere modification plus de 24 heures avant le debut du temps de recherche'' | |
− | + | -size n[cwbkMG] | |
− | + | -type f ''f= fichier normal , d= dossier ....'' | |
− | + | -wholename ''nom incluant le chemin'' | |
− | + | -iwholename ''meme chose mais insensible a la casse (majuscule/minuscule)'' | |
− | + | ||
− | + | apres: | |
− | + | cd ~ | |
− | + | umount /sauvegarde | |
− | + | ||
− | + | == Restauration de la sauvegarde entière == | |
− | + | ||
− | + | Voici comment en theorie restaurer facilement votre sme intégralement (enfin ce que vous en avez sauvegardé) | |
− | + | sur une installation neuve de SME (avec juste les contribs a réinstaller éventuellement suivant les répertoires exclu de la sauvegarde) | |
− | + | ||
− | + | on monte le disque | |
− | + | mkdir /sauvegarde | |
− | + | mount -U <UUID> /sauvegarde | |
− | + | on se place dans le dossier rsync main | |
− | + | cd /sauvegarde/rsync/main | |
− | + | on lance la restauration | |
− | + | rsync -auvz --exclude=/sauvegarde/ * / | |
− | + | on verifie que tout est bon puis: | |
− | + | cd ~ | |
− | + | umount /sauvegarde | |
− | + | et si vous avez restauré des fichiers de configuration je conseille au minimum : | |
− | + | signal-event post-upgrade; signal-event reboot | |
− | + | ||
− | + | et logiquement tout roule. | |
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
− | + | ||
== Remerciements == | == Remerciements == | ||
Ligne 205 : | Ligne 187 : | ||
http://arnofear.free.fr/linux/rsync-1.php | http://arnofear.free.fr/linux/rsync-1.php | ||
+ | |||
+ | |||
+ | == Notes -- Brouillon == | ||
+ | |||
+ | soit utilisation de udev, grace aux info de : udevinfo -a -p /sys/block/sda | ||
+ | |||
+ | soit appeler le disque en fonction de son uid ou d'un label | ||
+ | |||
+ | tune2fs /dev/sda1 -l | ||
+ | |||
+ | e2label permet de modifier le label du hdd | ||
+ | |||
+ | après il suffit de faire : (sans les <>) | ||
+ | |||
+ | mount -L <label> /sauvegarde | ||
+ | ou | ||
+ | mount -U <UUID> /sauvegarde | ||
+ | |||
+ | /lib/udev/vol_id -u /dev/sda1 | ||
+ | permet de connaitre le uuid de totu disque meme non linux. | ||
+ | mtools peut permettre de renomer un disque http://ubuntu.wordpress.com/2006/03/01/editing-fat32-partition-labels-using-mtools/ | ||
+ | |||
+ | |||
+ | le UID est a préférer (plus unique et évite un blocage du système en cas de branchement de deux disuqes avec le même label) | ||
+ | |||
+ | cette simple commande suffit ensuite à verifier si le disque est connecté, et s'il est déjà monté, ou si le UUID est faux: | ||
+ | |||
+ | :mount: UUID erroné | ||
+ | |||
+ | :mount: /dev/sda1 est déjà monté ou /sauvegarde/ est occupé | ||
+ | :mount: selon mtab /dev/sda1 est monté sur /sauvegarde | ||
+ | |||
+ | :mount: pas de telle partition repérée | ||
+ | |||
+ | PID permettant de savoir si tourne, + fichier indiquant qu'il a fini depuis moins d'une heure à effacer dés que déconnecté. |
Version actuelle en date du 5 décembre 2007 à 09:45
Sommaire
- 1 Principe de la sauvegarde Rsync sur disque dur USB
- 2 Plaidoyer pour la sauvegarde rsync
- 3 Économie ne rime pas avec sécurité
- 4 RSYNC vers un site secondaire via un tunnel SSH2
- 5 RSYNC vers un disque dur USB
- 6 Restauration d'un fichier (ou d'un dossier)
- 7 Restauration de la sauvegarde entière
- 8 Remerciements
- 9 Notes -- Brouillon
Principe de la sauvegarde Rsync sur disque dur USB
L'idée est de profiter de rsync et ses options pour :
1- avoir une sauvegarde 1:1 toujours à jours des dossier à sauvegarder
2- avoir des dossiers de sauvegarde secondaires journaliers contenant chacun les fichiers modifiés ou supprimés lors de la sauvegarde journalière
Plaidoyer pour la sauvegarde rsync
Avantages lors de la sauvegarde:
1- n'est copié que ce qui a changé = gain de place
2- support disque dur (ou eventuellement DVD-RW) moins couteux que DAT
3- rapidité de la sauvegarde
4- faible trafic en écriture
Avantages lors de la restauration
1- rapidité pour rechercher un unique fichier en plusieurs versions sur un seul support
2- rapidité pour restaurer l'integralité de la sauvegarde par simple rsync inversé ou cp sans décompression, ni lecture lente de bandes magnétiques
Économie ne rime pas avec sécurité
Ce n'est pas parce que l'investissement dans des disques dur USB est moins couteux que dans des lecteurs DAT avec des bandes magnétiques qu'il faut économiser sur le nombre de disques pour les sauvegardes. En effet un disque dur dans un boitier USB peut crasher....
Darrell May, de l'équipe de contribs.org, conseille d'avoir au minimum un jeu de 9 disques durs USB.
LUNDI
MARDI
MERCREDI
JEUDI
VENDREDI-WK1
VENDREDI-WK2
VENDREDI-WK3
VENDREDI-WK4
VENDREDI-WK5
Un archive mensuelle peut venir s'ajouter en 10° disque. Les disques devront êtres renouvelés régulièrement et de façon échelonnée, par des disques provenant d'un fabricant et d'un vendeur sur. Ces disques devront donc tourner de façon journalière, et être remis dans un lieu sur à l'abri du vol, du feu, et de tous chocs électriques, mécaniques, thermiques et électromagnétiques.
Dans la pratique, et dans le cadre d'un soho (qui est le cadre idéal pour une SME): un minimum de 2 disques est indispensable avec le script développé ci dessous et alternés dans leur utilisation.
Ma préférence irait même à 3 : un servant de sauvegarde tous les jours, et les deux autres (2 et 3) de sauvegarde du disque 1 un jour sur 2.
Mais en aucun cas un seul disque de sauvegarde n'est une solution fiable! Imaginez le court circuit au moment ou le disque sauvegarde est branché : le serveur grillé et les sauvegardes aussi !
Attention on peut modifier votre contenu !!
RSYNC vers un site secondaire via un tunnel SSH2
à venir
cette méthode pourra être une sécurité de plus dans la sauvegarde, attention toutefois au vol des données si le site secondaire n'est pas sur.
____
en attendant voici un embryon
1- utiliser la méthode du site de grand pa pour obtenir une clef privé sur le serveur "serveur rsync SSH" copier la dans le fichier /root/.ssh/identity par exemple sur le serveur "client rsync ssh"
2- utiliser le script suivant
#!/bin/sh # variable de date DATE=$(date +%d) echo "$DATE" >>/tmp/sauvegarde.txt #rsync des dossiers importants du serveur SRC1=("/home/e-smith/files/ibays/Primary" "/home/e-smith/files/ibays/cool" "/home/e-smith/files/users/admin" "/etc/cron.daily/sauvemsql") #destination sur le serveur de sauvegarde DEST="/home/e-smith/files/users/sauvegardes/home/rsync/" # -n simulation OPTIONS=" --force --ignore-errors --delete --delete-excluded -av" #utilisation d'une clef RSA rsync -e "ssh -i ~/.ssh/identity" $OPTIONS ${SRC1[@]} root@IP.IP.IP.IP:$DEST >>/tmp/sauvegarde.txt
RSYNC vers un disque dur USB
Sous SME un disque dur USB est automatiquement monté dans un dossier du type /media/usbdisk1 ... MAis nous n'allons pas utiliser cette fonction.
La première méthode est d'utiliser un script automatique lancé par le cron, et nécessitant que le disque soit connecté toute la nuit par exemple afin d'être utilisé pour la sauvegarde, et remplacé dans la journée par le suivant dans le jeux de disques.
Voici comment mettre en place une sauvegarde journalière a 4h du mat:
Reperez et notez l'UUID de votre disque USB (que vous avez préalablement formaté en EXT3), après l'avoir branché
blkid
Téléchargez le fichier dans le répertoire /etc/cron.daily ce qui executera automatiquement le script chaque nuit
wget -O /etc/cron.daily/RsyncUSB http://smeserver.pialasse.com/fichiers/RsyncUSB chmod a+x /etc/cron.daily/RsyncUSB
Editez le contenu du fichier pour l'adapter à vos besoins
mcedit /etc/cron.daily/RsyncUSB
- mettez l'UUID de votre disque
- changez l'adresse mail à prévenir si nécessaire
- ajoutez d'éventuels dossiers à exclure de la sauvegarde
testez la sauvegarde immediatement comme ceci:
sh /etc/cron.daily/RsyncUSB
Pour facilement gerer les UUID téléchargez ma contrib : [1]
Alternativement vous pouvez telecharger le ficher dans le dossier root et l'appeler à l'aide de /etc/crontab en editant le fichier en question ... ou en utilisant la contrib crontab manager voir le site de Master Sleepy AKA Vanhees. cette methode aura l'avantage de choisir l'heure a laquelle vous désirez réaliser la sauvegarde
Restauration d'un fichier (ou d'un dossier)
Votre fichier peut se trouver dans le dossier principal (qui contient la dernière version à jour) ou dans une sauvegarde évènementielle (qui contient une version antérieure modifiée depuis)
L'avantage est de permettre à un utilisateur de retrouver une version saine d'un fichier modifié par inadvertance même après plusieurs semaines.
Remplacez <UUID> par le UUID correspondant à votre disque, vous pouvez l'obtenir en faisant blkid et un copier coller via putty, ou grace a ma contrib usb disk manager.
Vous pouvez aussi remplacer la ligne : mount -U <UUID> /sauvegarde par : mount /dev/sda1 /sauvegarde dans le cas ou le disque USB a pour chemin: /dev/sda1
mkdir /sauvegarde mount -U <UUID> /sauvegarde # recherche par UUID, plus pertinente si vous avez plusieurs disques cd /sauvegarde/rsync mkdir resto find /sauvegarde/rsync -iname <nomdufichier> |xargs -i -t cp -pfr --parents {} /sauvegarde/rsync/resto
Vous avez plus qu'a naviguer dans le dossier resto voir donner son contenu à l'interessé.
Voici une liste non exhaustive des options que vous pouvez ajouter pour affiner la recherche (man find pour plus):
-daystart compter le temps a partir de maintenant et pas 24 h en arriere -atime +1 24 dernier accés plus de 24 heures avant le debut du temps de recherche -ctime +1 24 dernier changement de status plus de 24 heures avant le debut du temps de recherche -group gname -user username -mtime +1 24 derniere modification plus de 24 heures avant le debut du temps de recherche -size n[cwbkMG] -type f f= fichier normal , d= dossier .... -wholename nom incluant le chemin -iwholename meme chose mais insensible a la casse (majuscule/minuscule)
apres:
cd ~ umount /sauvegarde
Restauration de la sauvegarde entière
Voici comment en theorie restaurer facilement votre sme intégralement (enfin ce que vous en avez sauvegardé) sur une installation neuve de SME (avec juste les contribs a réinstaller éventuellement suivant les répertoires exclu de la sauvegarde)
on monte le disque
mkdir /sauvegarde mount -U <UUID> /sauvegarde
on se place dans le dossier rsync main
cd /sauvegarde/rsync/main
on lance la restauration
rsync -auvz --exclude=/sauvegarde/ * /
on verifie que tout est bon puis:
cd ~ umount /sauvegarde
et si vous avez restauré des fichiers de configuration je conseille au minimum :
signal-event post-upgrade; signal-event reboot
et logiquement tout roule.
Remerciements
http://www.linuxfocus.org/Francais/March2004/article326.shtml#326lfindex3
http://arnofear.free.fr/linux/rsync-1.php
Notes -- Brouillon
soit utilisation de udev, grace aux info de : udevinfo -a -p /sys/block/sda
soit appeler le disque en fonction de son uid ou d'un label
tune2fs /dev/sda1 -l
e2label permet de modifier le label du hdd
après il suffit de faire : (sans les <>)
mount -L <label> /sauvegarde
ou
mount -U <UUID> /sauvegarde
/lib/udev/vol_id -u /dev/sda1 permet de connaitre le uuid de totu disque meme non linux. mtools peut permettre de renomer un disque http://ubuntu.wordpress.com/2006/03/01/editing-fat32-partition-labels-using-mtools/
le UID est a préférer (plus unique et évite un blocage du système en cas de branchement de deux disuqes avec le même label)
cette simple commande suffit ensuite à verifier si le disque est connecté, et s'il est déjà monté, ou si le UUID est faux:
- mount: UUID erroné
- mount: /dev/sda1 est déjà monté ou /sauvegarde/ est occupé
- mount: selon mtab /dev/sda1 est monté sur /sauvegarde
- mount: pas de telle partition repérée
PID permettant de savoir si tourne, + fichier indiquant qu'il a fini depuis moins d'une heure à effacer dés que déconnecté.