Bonjour a tous, Je solicite votre aide concernant l'import d'un dump Mysql qui nous remonte une erreur "Out of Memory". Voici le déroulement des opérations: Commande d'import: ./mysql -h localhost -u root -p nom_BDD < /usr/local/Dumps/fichier.dump L'import commence et ce pendant plus d'une heure, mais arrivée à une table qui est assez importante (1.4Go), nous observons une grosse consommation de RAM et l'import plante et nous remonte une erreur "./mysql: Out of memory (Needed 2130706344 bytes)" L'erreur étant apparue suite à cette commande et pour la quantité importante de mémoire nécessaire indiquée dans le message d'erreur (Needed 2130706152 bytes), nous avons alors passé cette commande: ./mysql -q --max_allowed_packet=2300M -h localhost -u root -p nom_BDD < /usr/local/Dumps/fichier.dump La même erreur nous est encore remontée. Le dump a été exporté depuis un autre serveur fonctionnant avec les mêmes versions d'OS, et de Mysql que le notre. La taille totale du fichier.dump est de 4.2Go. Ma question: Y aurait il une directive du fichier my.cnf qui serait à modifier ou un paramètre particulier à passer à la commande afin de pouvoir importer ce dump? S'il vous manque quel qu'information que ce soit je suis a votre entière disposition. Merci Cordialement, PS: J'ai déjà sollicité votre aide il y a quelques semaines concernant NFS. Je tenais à vous remercier et à vous dire qu'aucune coupure de connexion NFS n'est apparue à ce jour. Conclusion: Utiliser l'UDP pour les connexions NFS version 3. TCP est entièrement prise en charge qu'à partir de NFS version 4. Merci encore
Le Thu, Mar 10, 2011 at 06:53:53PM +0100, David Le Meur a écrit:
Je solicite votre aide concernant l'import d'un dump Mysql qui nous remonte une erreur "Out of Memory".
[snip] Ça me dit vaguement quelque chose, mais la version de mysql et le(s) OS utilisés, ça pourrait être bien, aussi... Essaye avec un mysqldump -q , pour voir. Arnaud.
Le Thu, Mar 10, 2011 at 08:07:44PM +0100, Arnaud Launay a écrit:
Ça me dit vaguement quelque chose, mais la version de mysql et le(s) OS utilisés, ça pourrait être bien, aussi... Essaye avec un mysqldump -q , pour voir.
Et en plus j'ai lu de traviole, c'est le problème inverse :) Essaye avec l'option -n Arnaud.
Trouvé dans la documentation MySQL pour les grandes tables : Vous pouvez aussi utiliser |mysqldump| et |mysqlimport| pour accomplir cette opération. Pour les grandes tables, c'est bien plus rapide que d'utiliser simplement |mysqldump|. Dans les commandes suivantes, |DUMPDIR| représente le chemin complet du dossier que vous utilisez pour stocker le résultat de |mysqldump|. Premièrement, créez un dossier pour les fichiers d'exportation, puis faites l'export : shell> *|mkdir DUMPDIR|* shell> *|mysqldump --tab=DUMPDIR db_name|* Puis transférez les fichiers du dossier |DUMPDIR| dans un dossier correspondant, dans la machine de destination, puis chargez ces fichiers dans MySQL comme ceci : shell> *|mysqladmin create db_name # Création de la base|* shell> *|cat DUMPDIR/*.sql | mysql db_name # Création des tables dans la base|* shell> *|mysqlimport db_name DUMPDIR/*.txt # Chargement des données dans les tables|* N'oubliez pas non plus de copier le contenu de votre base |mysql| car c'est là que résident les droits (|user|, |db|, |host|). Vous devrez alors exécuter les commandes en tant que |root| MySQL sur la nouvelle machine, jusqu'à ce que vous ayez réinstallé |mysql|. Après l'importation de la base |mysql| sur la nouvelle machine, exécutez la commande |mysqladmin flush-privileges| pour que le serveur relise les droits. MAISONNEUVE Informatique Dépannage sur site PRO et Particulier Vente de matériel informatique Formation / Conseil / Audit Création et maintenance de logiciel RM / RCS BOURG EN BRESSE 519 206 403 Tel: 06 07 81 98 93 Les Couluires / Moulin des Ponts 01270 Villemotier http://www.maisonneuve-info.fr/ Le 10/03/2011 18:53, David Le Meur a écrit :
Bonjour a tous,
Je solicite votre aide concernant l'import d'un dump Mysql qui nous remonte une erreur "Out of Memory". Voici le déroulement des opérations:
Commande d'import: ./mysql -h localhost -u root -p nom_BDD < /usr/local/Dumps/fichier.dump
L'import commence et ce pendant plus d'une heure, mais arrivée à une table qui est assez importante (1.4Go), nous observons une grosse consommation de RAM et l'import plante et nous remonte une erreur "./mysql: Out of memory (Needed 2130706344 bytes)"
L'erreur étant apparue suite à cette commande et pour la quantité importante de mémoire nécessaire indiquée dans le message d'erreur (Needed 2130706152 bytes), nous avons alors passé cette commande: ./mysql -q --max_allowed_packet=2300M -h localhost -u root -p nom_BDD < /usr/local/Dumps/fichier.dump
La même erreur nous est encore remontée.
Le dump a été exporté depuis un autre serveur fonctionnant avec les mêmes versions d'OS, et de Mysql que le notre. La taille totale du fichier.dump est de 4.2Go.
Ma question: Y aurait il une directive du fichier my.cnf qui serait à modifier ou un paramètre particulier à passer à la commande afin de pouvoir importer ce dump? S'il vous manque quel qu'information que ce soit je suis a votre entière disposition. Merci
Cordialement,
PS: J'ai déjà sollicité votre aide il y a quelques semaines concernant NFS. Je tenais à vous remercier et à vous dire qu'aucune coupure de connexion NFS n'est apparue à ce jour. Conclusion: Utiliser l'UDP pour les connexions NFS version 3. TCP est entièrement prise en charge qu'à partir de NFS version 4. Merci encore
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Hello, la question peu sembler idiote, mais vous ne seriez pas en train de transférer depuis un OS 64bits vers un OS 32bits à tout hasard ? Parce que la saturation à 2Go, ce serait quand même une drôle de coïncidence... Olivier Le 10/03/2011 18:53, David Le Meur a écrit :
Bonjour a tous,
Je solicite votre aide concernant l'import d'un dump Mysql qui nous remonte une erreur "Out of Memory". Voici le déroulement des opérations:
Commande d'import: ./mysql -h localhost -u root -p nom_BDD < /usr/local/Dumps/fichier.dump
L'import commence et ce pendant plus d'une heure, mais arrivée à une table qui est assez importante (1.4Go), nous observons une grosse consommation de RAM et l'import plante et nous remonte une erreur "./mysql: Out of memory (Needed 2130706344 bytes)"
L'erreur étant apparue suite à cette commande et pour la quantité importante de mémoire nécessaire indiquée dans le message d'erreur (Needed 2130706152 bytes), nous avons alors passé cette commande: ./mysql -q --max_allowed_packet=2300M -h localhost -u root -p nom_BDD < /usr/local/Dumps/fichier.dump
La même erreur nous est encore remontée.
Le dump a été exporté depuis un autre serveur fonctionnant avec les mêmes versions d'OS, et de Mysql que le notre. La taille totale du fichier.dump est de 4.2Go.
Ma question: Y aurait il une directive du fichier my.cnf qui serait à modifier ou un paramètre particulier à passer à la commande afin de pouvoir importer ce dump? S'il vous manque quel qu'information que ce soit je suis a votre entière disposition. Merci
Cordialement,
PS: J'ai déjà sollicité votre aide il y a quelques semaines concernant NFS. Je tenais à vous remercier et à vous dire qu'aucune coupure de connexion NFS n'est apparue à ce jour. Conclusion: Utiliser l'UDP pour les connexions NFS version 3. TCP est entièrement prise en charge qu'à partir de NFS version 4. Merci encore
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
La limite est 2 147 492 647 octets, mysql demande 2 130 706 152 octets. Je pense plutot que dans son fichier, il n y a qu un seul INSERT, contenant tous les elements les uns a la suite des autres, et que mysqldump essaie de charger toute la requete en ram avant de la traiter. La table faisant 1.4gio, c est un peu lourd. On 11/03/2011 01:56, Olivier Bonvalet wrote:
Hello,
la question peu sembler idiote, mais vous ne seriez pas en train de transférer depuis un OS 64bits vers un OS 32bits à tout hasard ? Parce que la saturation à 2Go, ce serait quand même une drôle de coïncidence...
Olivier
Le 10/03/2011 18:53, David Le Meur a écrit :
Bonjour a tous,
Je solicite votre aide concernant l'import d'un dump Mysql qui nous remonte une erreur "Out of Memory". Voici le déroulement des opérations:
Commande d'import: ./mysql -h localhost -u root -p nom_BDD < /usr/local/Dumps/fichier.dump
L'import commence et ce pendant plus d'une heure, mais arrivée à une table qui est assez importante (1.4Go), nous observons une grosse consommation de RAM et l'import plante et nous remonte une erreur "./mysql: Out of memory (Needed 2130706344 bytes)"
L'erreur étant apparue suite à cette commande et pour la quantité importante de mémoire nécessaire indiquée dans le message d'erreur (Needed 2130706152 bytes), nous avons alors passé cette commande: ./mysql -q --max_allowed_packet=2300M -h localhost -u root -p nom_BDD < /usr/local/Dumps/fichier.dump
La même erreur nous est encore remontée.
Le dump a été exporté depuis un autre serveur fonctionnant avec les mêmes versions d'OS, et de Mysql que le notre. La taille totale du fichier.dump est de 4.2Go.
Ma question: Y aurait il une directive du fichier my.cnf qui serait à modifier ou un paramètre particulier à passer à la commande afin de pouvoir importer ce dump? S'il vous manque quel qu'information que ce soit je suis a votre entière disposition. Merci
Cordialement,
PS: J'ai déjà sollicité votre aide il y a quelques semaines concernant NFS. Je tenais à vous remercier et à vous dire qu'aucune coupure de connexion NFS n'est apparue à ce jour. Conclusion: Utiliser l'UDP pour les connexions NFS version 3. TCP est entièrement prise en charge qu'à partir de NFS version 4. Merci encore
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Bonjour, Sans répondre à la question, ca serait pas plus simple de faire une copie directe des fichiers de la base ? Non parce que envoyer 4Go à l'import, ca va être juste long, error-prone et tout et tout... Sinon, tu peux tenter de faire ton dump en ne mettant pas les extended insert pour limiter la taille d'une même ligne de ton dump, mais va grandement augmenter le temps d'insertion... c'est pour ça que je serai toi, je m'emmerderai pas et je copierai les fichiers de la base directement... en particulier si c'est du MyISAM (LOCK, copie, UNLOCK) et zou, c'est plié. Bon courage, Florian
participants (6)
-
Arnaud Launay -
David Le Meur -
Florian MAURY -
Guillaume Friloux -
Maisonneuve Informatique <contact> -
Olivier Bonvalet