grillé en puissance ;) mais les grands esprits de rencontrent !

2010/11/16 Pierre Gaxatte pierre.gaxatte@gmail.com

Bonjour,

cron + mysqldump ?

Ca me parait le plus simple, après à moins que tu aies d'autres besoins spécifiques en dehors de la sauvegarde de MySQL je vois pas raisons de sortir un seul sous de ta poche :)

Cordialement, Pierre

Le 16/11/2010 15:54, Issa Moussa a écrit :

Bonjour,

...

J'aimerai mettre en place une solution de sauvegarde j'hésite entre Amanda ou Bacula. Mon utilisation sera essentiellement la sauvegarde d'une base MySQL sur disque.

Que me conseillez-vous ? Merci pour votre aide.

---

Liste de diffusion du FRsAG http://www.frsag.org/

Bonjour,

On trouve même des perfectionnistes qui gardent les différents révisions de leur base : http://www.viget.com/extend/backup-your-database-in-git/

S'il n'y a pas trop de différentiel, c'est un bon moyen d'économiser du disque plutôt que d'avoir un dump sql complet par jour.

J'ajouterai un petit 'git gc' dans le cron.

M

Bonjour,

cron + mysqldump ?

Ca me parait le plus simple, après à moins que tu aies d'autres
besoins spécifiques en dehors de la sauvegarde de MySQL je vois pas
raisons de sortir un seul sous de ta poche :)

Merci pour vos réponses. La base que je veux sauvegarder est très grosse plus 300G donc un mysqldump prends bcp de temps. Actuellement je backup avec lvm snapshot + rsync. Je voulais faire du point in time recovery et d'après ce que j'ai lu Amanda permet de le faire pour MySQL. Et je me disais aussi qu'un outil tel Amanda ou Bacula pourrait permettre de faire un backup plus propre et sûr.

On 16/11/2010 16:49, Laurent Druffin wrote:

Le 16/11/2010 16:18, Pierre Gaxatte a écrit :

...

Bonjour,

cron + mysqldump ?

Bonsoir,

J'ai fait ça : #!/bin/sh DOSSIER_TEMPORAIRE_LOCAL=/xxx/xxx/xxx SERVEUR_DEST=xxxxxx DOSSIER_DEST=/xxxx/xxx/xxx UTILISATEUR_DISTANT=xxxxx MOT_DE_PASSE_SQL=xxxxx UTILISATEUR_SQL=admin PREFIX=serveur-xxxx-

for i in $( echo "show databases;" | mysql -uadmin -p$MOT_DE_PASSE_SQL | grep -v "Database" ); do mysqldump $i -u $UTILISATEUR_SQL --password=$MOT_DE_PASSE_SQL > $DOSSIER_TEMPORAIRE_LOCAL/$i.sql gzip $DOSSIER_TEMPORAIRE_LOCAL/$i.sql

# penser avant au certificat SSH et au ~/.ssh/authorized_keys kivabien ! scp $DOSSIER_TEMPORAIRE_LOCAL/$i.sql.gz $UTILISATEUR_DISTANT@$SERVEUR_DEST:$DOSSIER_DEST/$PREFIX$i.sql.gz rm $DOSSIER_TEMPORAIRE_LOCAL/$i.sql.gz done

# restauration avec la commande : # gunzip fichier_sauvegarde.sql.gz # mysql -u root -p NomDeLaBase < fichier_sauvegarde.sql #eof()

et un simple crontab kivabien aussi... :) C'est basique et sûrement améliorable (garder un historique par exemple), mais ça fonctionne et ça répond à mes besoins.

My 2 cents... ^^ _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/

Bonjour,

Sur une grosse DB, il mieux vaut le faire sur un replica afin que les I/O disque et réseau n'impactent pas la disponibilité du service MySQL (voire un replica complètement _dédié_ aux sauvegardes).

Pour ma part, je sauvegarde un serveur MySQL qui occupe environ 120Go sur disque. Pour ce faire : snapshot LVM + Bacula + un script qui se charge de coordonner le tout (création du LVM avant la sauvegarde, suppression du LVM après). Ca prend 2:50 avec la compression côté client (80% de taux de compression). Il s'agit d'un replica quasiment dédié aux sauvegardes.

Le 16 novembre 2010 17:12, Issa Moussa issa.moussa@voltalis.com a écrit :

Merci pour vos réponses. La base que je veux sauvegarder est très grosse plus 300G donc un mysqldump prends bcp de temps. Actuellement je backup avec lvm snapshot + rsync. Je voulais faire du point in time recovery et d'après ce que j'ai lu Amanda permet de le faire pour MySQL. Et je me disais aussi qu'un outil tel Amanda ou Bacula pourrait permettre de faire un backup plus propre et sûr.

On 16/11/2010 16:49, Laurent Druffin wrote:

...

Le 16/11/2010 16:18, Pierre Gaxatte a écrit :

...

Bonjour,

cron + mysqldump ?

Bonsoir,

J'ai fait ça : #!/bin/sh DOSSIER_TEMPORAIRE_LOCAL=/xxx/xxx/xxx SERVEUR_DEST=xxxxxx DOSSIER_DEST=/xxxx/xxx/xxx UTILISATEUR_DISTANT=xxxxx MOT_DE_PASSE_SQL=xxxxx UTILISATEUR_SQL=admin PREFIX=serveur-xxxx-

for i in $( echo "show databases;" | mysql -uadmin -p$MOT_DE_PASSE_SQL | grep -v "Database" ); do mysqldump $i -u $UTILISATEUR_SQL --password=$MOT_DE_PASSE_SQL > $DOSSIER_TEMPORAIRE_LOCAL/$i.sql gzip $DOSSIER_TEMPORAIRE_LOCAL/$i.sql

# penser avant au certificat SSH et au ~/.ssh/authorized_keys kivabien ! scp $DOSSIER_TEMPORAIRE_LOCAL/$i.sql.gz $UTILISATEUR_DISTANT@$SERVEUR_DEST:$DOSSIER_DEST/$PREFIX$i.sql.gz rm $DOSSIER_TEMPORAIRE_LOCAL/$i.sql.gz done

# restauration avec la commande : # gunzip fichier_sauvegarde.sql.gz # mysql -u root -p NomDeLaBase < fichier_sauvegarde.sql #eof()

et un simple crontab kivabien aussi... :) C'est basique et sûrement améliorable (garder un historique par exemple), mais ça fonctionne et ça répond à mes besoins.

My 2 cents... ^^ _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/

-- Cordialement.

---

Liste de diffusion du FRsAG http://www.frsag.org/

Bonsoir,

petite optimisation rapide de ta boucle for, gain de temps et d'espace disque :

for i in $( echo "show databases;" | mysql -uadmin -p$MOT_DE_PASSE_SQL | grep -v "Database" ); do mysqldump $i -u $UTILISATEUR_SQL --password=$MOT_DE_PASSE_SQL | gzip | ssh $UTILISATEUR_DISTANT@$SERVEUR_DEST "cat >$DOSSIER_DEST/$PREFIX$i.sql.gz" done

Et une autre optimisation pour backupper en // (à tester j'ai écris comme ça) :

NB_CORES=$( grep processor /proc/cpuinfo | wc -l ) for db in $( mysql -uadmin -p$MOT_DE_PASSE_SQL -e "show databases" ); do mysql -ABN -uadmin -p$MOT_DE_PASSE_SQL -e "SELECT TABLE_NAME FROM TABLES WHERE TABLE_SCHEMA='$db'" information_schema | xargs -n1 -P$NB_CORES -I{} sh -c "mysqldump -uadmin -p$MOT_DE_PASSE_SQL $db {} | gzip | ssh $UTILISATEUR_DISTANT@$SERVEUR_DEST 'cat

$DOSSIER_DEST/$PREFIX$i.sql.gz'"

done

Le 16/11/2010 16:49, Laurent Druffin a écrit :

#!/bin/sh DOSSIER_TEMPORAIRE_LOCAL=/xxx/xxx/xxx SERVEUR_DEST=xxxxxx DOSSIER_DEST=/xxxx/xxx/xxx UTILISATEUR_DISTANT=xxxxx MOT_DE_PASSE_SQL=xxxxx UTILISATEUR_SQL=admin PREFIX=serveur-xxxx-

for i in $( echo "show databases;" | mysql -uadmin -p$MOT_DE_PASSE_SQL | grep -v "Database" ); do mysqldump $i -u $UTILISATEUR_SQL --password=$MOT_DE_PASSE_SQL > $DOSSIER_TEMPORAIRE_LOCAL/$i.sql gzip $DOSSIER_TEMPORAIRE_LOCAL/$i.sql

# penser avant au certificat SSH et au ~/.ssh/authorized_keys kivabien ! scp $DOSSIER_TEMPORAIRE_LOCAL/$i.sql.gz $UTILISATEUR_DISTANT@$SERVEUR_DEST:$DOSSIER_DEST/$PREFIX$i.sql.gz rm $DOSSIER_TEMPORAIRE_LOCAL/$i.sql.gz done

# restauration avec la commande : # gunzip fichier_sauvegarde.sql.gz # mysql -u root -p NomDeLaBase < fichier_sauvegarde.sql #eof()

et un simple crontab kivabien aussi... :) C'est basique et sûrement améliorable (garder un historique par exemple), mais ça fonctionne et ça répond à mes besoins.

My 2 cents... ^^ _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/

Perso j'utilise backuppc (comme déjà dis sur la liste d'ailleurs). Pour ce qui est des opérations un peu spéciales, j'ai remplacé sur certaines machines le binaire rsync par un script sh, qui fait appel quand il faut au vrai binaire rsync. Ca permet justement de lancer des pré ou post commandes. Hope this help :)

2010/11/16 Greg greg-frsag@duchatelet.net

Bonsoir,

petite optimisation rapide de ta boucle for, gain de temps et d'espace disque :

for i in $( echo "show databases;" | mysql -uadmin -p$MOT_DE_PASSE_SQL | grep -v "Database" ); do mysqldump $i -u $UTILISATEUR_SQL --password=$MOT_DE_PASSE_SQL | gzip | ssh $UTILISATEUR_DISTANT@$SERVEUR_DEST "cat >$DOSSIER_DEST/$PREFIX$i.sql.gz" done

Et une autre optimisation pour backupper en // (à tester j'ai écris comme ça) :

NB_CORES=$( grep processor /proc/cpuinfo | wc -l ) for db in $( mysql -uadmin -p$MOT_DE_PASSE_SQL -e "show databases" ); do mysql -ABN -uadmin -p$MOT_DE_PASSE_SQL -e "SELECT TABLE_NAME FROM TABLES WHERE TABLE_SCHEMA='$db'" information_schema | xargs -n1 -P$NB_CORES -I{} sh -c "mysqldump -uadmin -p$MOT_DE_PASSE_SQL $db {} | gzip | ssh $UTILISATEUR_DISTANT@$SERVEUR_DEST 'cat >$DOSSIER_DEST/$PREFIX$i.sql.gz'" done

Le 16/11/2010 16:49, Laurent Druffin a écrit :

#!/bin/sh

...

DOSSIER_TEMPORAIRE_LOCAL=/xxx/xxx/xxx SERVEUR_DEST=xxxxxx DOSSIER_DEST=/xxxx/xxx/xxx UTILISATEUR_DISTANT=xxxxx MOT_DE_PASSE_SQL=xxxxx UTILISATEUR_SQL=admin PREFIX=serveur-xxxx-

for i in $( echo "show databases;" | mysql -uadmin -p$MOT_DE_PASSE_SQL | grep -v "Database" ); do mysqldump $i -u $UTILISATEUR_SQL --password=$MOT_DE_PASSE_SQL > $DOSSIER_TEMPORAIRE_LOCAL/$i.sql gzip $DOSSIER_TEMPORAIRE_LOCAL/$i.sql

# penser avant au certificat SSH et au ~/.ssh/authorized_keys kivabien ! scp $DOSSIER_TEMPORAIRE_LOCAL/$i.sql.gz $UTILISATEUR_DISTANT@ $SERVEUR_DEST:$DOSSIER_DEST/$PREFIX$i.sql.gz rm $DOSSIER_TEMPORAIRE_LOCAL/$i.sql.gz done

# restauration avec la commande : # gunzip fichier_sauvegarde.sql.gz # mysql -u root -p NomDeLaBase < fichier_sauvegarde.sql #eof()

et un simple crontab kivabien aussi... :) C'est basique et sûrement améliorable (garder un historique par exemple), mais ça fonctionne et ça répond à mes besoins.

My 2 cents... ^^ _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/

-- Greg

---

Liste de diffusion du FRsAG http://www.frsag.org/

Bonjour,

Je n'ai vu personne citer dirvish http://www.dirvish.org/ Proche de backuppc il a l'avantage d'avoir une arborescence en tout point identique à celle de la machine sauvegardée. La possibilité d'exécuter des pré-commandes, etc...

À plus,

Marc.

Le mardi 16 novembre 2010 à 17:21 +0100, Philippe a écrit :

Perso j'utilise backuppc (comme déjà dis sur la liste d'ailleurs).

Pour ce qui est des opérations un peu spéciales, j'ai remplacé sur certaines machines le binaire rsync par un script sh, qui fait appel quand il faut au vrai binaire rsync. Ca permet justement de lancer des pré ou post commandes. Hope this help :)

2010/11/16 Greg greg-frsag@duchatelet.net

    Bonsoir,

    petite optimisation rapide de ta boucle for, gain de temps et
    d'espace disque :



    for i in $( echo "show databases;" | mysql -uadmin -p
    $MOT_DE_PASSE_SQL | grep -v "Database" ); do


     mysqldump $i -u $UTILISATEUR_SQL --password=$MOT_DE_PASSE_SQL
    | gzip | ssh $UTILISATEUR_DISTANT@$SERVEUR_DEST "cat
    >$DOSSIER_DEST/$PREFIX$i.sql.gz"
    done

    Et une autre optimisation pour backupper en // (à tester j'ai
    écris comme ça) :

    NB_CORES=$( grep processor /proc/cpuinfo | wc -l )
    for db in $( mysql -uadmin -p$MOT_DE_PASSE_SQL -e "show
    databases" ); do
     mysql -ABN -uadmin -p$MOT_DE_PASSE_SQL -e "SELECT TABLE_NAME
    FROM TABLES WHERE TABLE_SCHEMA='$db'" information_schema |
    xargs -n1 -P$NB_CORES -I{} sh -c "mysqldump -uadmin -p
    $MOT_DE_PASSE_SQL $db {} | gzip | ssh $UTILISATEUR_DISTANT@
    $SERVEUR_DEST 'cat >$DOSSIER_DEST/$PREFIX$i.sql.gz'"
    done


    Le 16/11/2010 16:49, Laurent Druffin a écrit :




            #!/bin/sh
            DOSSIER_TEMPORAIRE_LOCAL=/xxx/xxx/xxx
            SERVEUR_DEST=xxxxxx
            DOSSIER_DEST=/xxxx/xxx/xxx
            UTILISATEUR_DISTANT=xxxxx
            MOT_DE_PASSE_SQL=xxxxx
            UTILISATEUR_SQL=admin
            PREFIX=serveur-xxxx-

            for i in $( echo "show databases;" | mysql -uadmin -p
            $MOT_DE_PASSE_SQL | grep -v "Database" ); do
             mysqldump $i -u $UTILISATEUR_SQL --password=
            $MOT_DE_PASSE_SQL > $DOSSIER_TEMPORAIRE_LOCAL/$i.sql
             gzip $DOSSIER_TEMPORAIRE_LOCAL/$i.sql

            # penser avant au certificat SSH et au
            ~/.ssh/authorized_keys kivabien !
             scp $DOSSIER_TEMPORAIRE_LOCAL/$i.sql.gz
            $UTILISATEUR_DISTANT@$SERVEUR_DEST:
            $DOSSIER_DEST/$PREFIX$i.sql.gz
             rm $DOSSIER_TEMPORAIRE_LOCAL/$i.sql.gz
            done

            # restauration avec la commande :
            # gunzip fichier_sauvegarde.sql.gz
            # mysql -u root -p NomDeLaBase <
            fichier_sauvegarde.sql
            #eof()

            et un simple crontab kivabien aussi... :)
            C'est basique et sûrement améliorable (garder un
            historique par exemple), mais ça fonctionne et ça
            répond à mes besoins.

            My 2 cents...
            ^^
            _______________________________________________
            Liste de diffusion du FRsAG
            http://www.frsag.org/





    -- 
    Greg




    _______________________________________________
    Liste de diffusion du FRsAG
    http://www.frsag.org/

---

Liste de diffusion du FRsAG http://www.frsag.org/

Pour faire un backup a chaud d'une base utilisant innodb, il faut utiliser le --single-transaction. Ca fait un flush de toutes les tables puis lance le dump dans une transaction. Cette option, plus le --master-data, et vous avez un dump cohérent avec les informations du slave pour reprendre le binlog au bon endroit au cas où (si le dump est fait sur le master).

Generalement pour mes dumps j'utilise donc: mysqldump -qCe --single-transaction --master-data=1 -uroot -pxxx --databases x y z

Avec MyISAM c'est un peu plus chiant...

Ou utiliser les merveilleux outils perconna, xtradbbackup et innobackupex. Parce que ta solution elle lock la base, et ce n'est pas toujours possible.

-- Raphael Mazelier

hello,

Si on a un second serveur en passif qui attends bien au chaud pourquoi ne pas directement pousser les backup et faire la rotation dessus ? Comme ca on supprime l'étape "upload" et on gagne du temps ?

(perso je fais comme ca quand la question est en droit de se poser chez mes clients)

a+

2010/11/16 Greg greg-frsag@duchatelet.net

Le 16/11/2010 16:26, StalkR a écrit :

Bonjour,

...

Pour MySQL j'aime bien automysqlbackup, ça s'occupe de cron+dump chaque table avec rotation jour/semaine/mois site http://sourceforge.net/projects/automysqlbackup/ et package debian squeeze/sid disponible

On peut aussi utiliser mk-parallel-dump http://www.maatkit.org/doc/mk-parallel-dump.html pour backupper plus vite, et surtout restaurer plus vite en utilisant tous les cores du serveurs.

Je résume "ma" solution :

• un master + un slave qui ne sert que pour les backup
• backuppc avec une pre-command

$Conf{DumpPreUserCmd} = "..."

• mk-parallel-dump avec l'option --stop-slave pour avoir des données

intègre et de quoi refaire un slave rapidement

et pour la restauration, une pre-command aussi : $Conf{RestorePreUserCmd} qui fait un appel à mk-parallel-restore

D'après mes tests, on double la vitesse de restauration sur un serveur 4 coeurs en RAID10.

-- Greg

---

Liste de diffusion du FRsAG http://www.frsag.org/