Retour d’expérience VMWare & VSAN
Bonjour, Pour les besoins d’une future archi pour un client qui veut du VSAN, est-ce que certains d’entre-vous ont des retours d’expérience avec VMWare et le VSAN ? De mon côté, chez le seul client où du VSAN est en prod… on a essuyer 4 incidents majeurs en 2 ans… du coup je ne suis pas super rassuré par la techno. Merci d’avance, Aym
bonjour, qu'est ce que tu entends par incident majeurs? Cordialement Le 21 juin 2017 à 18:24, frsag--- via FRsAG <frsag@frsag.org> a écrit :
Bonjour,
Pour les besoins d’une future archi pour un client qui veut du VSAN, est-ce que certains d’entre-vous ont des retours d’expérience avec VMWare et le VSAN ?
De mon côté, chez le seul client où du VSAN est en prod… on a essuyer 4 incidents majeurs en 2 ans… du coup je ne suis pas super rassuré par la techno.
Merci d’avance,
Aym _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
On 21/06/2017 20:31, ay pierre wrote:
bonjour,
qu'est ce que tu entends par incident majeurs?
Pertes ou problème de disque sur un des hosts qui génère des grosses I/O errors sur 80% des VM, pertes de données pour certaines. Pourtant le VSAN est configuré en mode RAID1 donc redondance complète sur 2 hosts mais on a été obligé d’hard reboot l’ESX avec les problèmes disques pour rétablir le VSAN (+ reboot/restauration des VMs). Les 4 incidents ont tous comme point commun une des pertes partielles de disques ou des ralentissements provoquées par un disque d’un host. Même le support VMWare nous répondent « c’est un bug » ça sera corrigé dans le prochain patch.. jusqu’à présent on a appliqué les mises à jours mais ça plante toujours à moment où un autre…. Aym.
Cordialement
Le 21 juin 2017 à 18:24, frsag--- via FRsAG <frsag@frsag.org> a écrit :
Bonjour,
Pour les besoins d’une future archi pour un client qui veut du VSAN, est-ce que certains d’entre-vous ont des retours d’expérience avec VMWare et le VSAN ?
De mon côté, chez le seul client où du VSAN est en prod… on a essuyer 4 incidents majeurs en 2 ans… du coup je ne suis pas super rassuré par la techno.
Merci d’avance,
Aym _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Salut aym, tu es en quelle version ? Le 21 juin 2017 à 23:33, frsag--- via FRsAG <frsag@frsag.org> a écrit :
On 21/06/2017 20:31, ay pierre wrote:
bonjour,
qu'est ce que tu entends par incident majeurs?
Pertes ou problème de disque sur un des hosts qui génère des grosses I/O errors sur 80% des VM, pertes de données pour certaines. Pourtant le VSAN est configuré en mode RAID1 donc redondance complète sur 2 hosts mais on a été obligé d’hard reboot l’ESX avec les problèmes disques pour rétablir le VSAN (+ reboot/restauration des VMs). Les 4 incidents ont tous comme point commun une des pertes partielles de disques ou des ralentissements provoquées par un disque d’un host.
Même le support VMWare nous répondent « c’est un bug » ça sera corrigé dans le prochain patch.. jusqu’à présent on a appliqué les mises à jours mais ça plante toujours à moment où un autre….
Aym.
Cordialement
Le 21 juin 2017 à 18:24, frsag--- via FRsAG <frsag@frsag.org> a écrit :
Bonjour,
Pour les besoins d’une future archi pour un client qui veut du VSAN, est-ce que certains d’entre-vous ont des retours d’expérience avec VMWare et le VSAN ?
De mon côté, chez le seul client où du VSAN est en prod… on a essuyer 4 incidents majeurs en 2 ans… du coup je ne suis pas super rassuré par la techno.
Merci d’avance,
Aym _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Est ce qu'il est possible de nous en dire plus sur la version VSAN et de quand date c'est probleme? Bien a toi Le 21 juin 2017 à 23:33, <frsag@mulx.net> a écrit :
On 21/06/2017 20:31, ay pierre wrote:
bonjour,
qu'est ce que tu entends par incident majeurs?
Pertes ou problème de disque sur un des hosts qui génère des grosses I/O errors sur 80% des VM, pertes de données pour certaines. Pourtant le VSAN est configuré en mode RAID1 donc redondance complète sur 2 hosts mais on a été obligé d’hard reboot l’ESX avec les problèmes disques pour rétablir le VSAN (+ reboot/restauration des VMs). Les 4 incidents ont tous comme point commun une des pertes partielles de disques ou des ralentissements provoquées par un disque d’un host.
Même le support VMWare nous répondent « c’est un bug » ça sera corrigé dans le prochain patch.. jusqu’à présent on a appliqué les mises à jours mais ça plante toujours à moment où un autre….
Aym.
Cordialement
Le 21 juin 2017 à 18:24, frsag--- via FRsAG <frsag@frsag.org> a écrit :
Bonjour,
Pour les besoins d’une future archi pour un client qui veut du VSAN, est-ce que certains d’entre-vous ont des retours d’expérience avec VMWare et le VSAN ?
De mon côté, chez le seul client où du VSAN est en prod… on a essuyer 4 incidents majeurs en 2 ans… du coup je ne suis pas super rassuré par la techno.
Merci d’avance,
Aym _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
On 2017-06-22 09:51, ay pierre wrote:
Est ce qu'il est possible de nous en dire plus sur la version VSAN et de quand date c'est probleme?
On a eu 2 problèmes cette année (dont un la semaine dernière) et 2 l’année dernière. Version VMWare/VSAN 5.5. Aym.
Bien a toi
Le 21 juin 2017 à 23:33, <frsag@mulx.net> a écrit :
On 21/06/2017 20:31, ay pierre wrote:
bonjour,
qu'est ce que tu entends par incident majeurs?
Pertes ou problème de disque sur un des hosts qui génère des grosses I/O errors sur 80% des VM, pertes de données pour certaines. Pourtant le VSAN est configuré en mode RAID1 donc redondance complète sur 2 hosts mais on a été obligé d’hard reboot l’ESX avec les problèmes disques pour rétablir le VSAN (+ reboot/restauration des VMs). Les 4 incidents ont tous comme point commun une des pertes partielles de disques ou des ralentissements provoquées par un disque d’un host.
Même le support VMWare nous répondent « c’est un bug » ça sera corrigé dans le prochain patch.. jusqu’à présent on a appliqué les mises à jours mais ça plante toujours à moment où un autre….
Aym.
Cordialement
Le 21 juin 2017 à 18:24, frsag--- via FRsAG <frsag@frsag.org> a écrit :
Bonjour,
Pour les besoins d’une future archi pour un client qui veut du VSAN, est-ce que certains d’entre-vous ont des retours d’expérience avec VMWare et le VSAN ?
De mon côté, chez le seul client où du VSAN est en prod… on a essuyer 4 incidents majeurs en 2 ans… du coup je ne suis pas super rassuré par la techno.
Merci d’avance,
Aym _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Hello,
On a eu 2 problèmes cette année (dont un la semaine dernière) et 2 l’année dernière. Version VMWare/VSAN 5.5.
Quelqu'un m'as dis que la version 5.5 étais pas sèche et que la version 6.0 serait bullet proof. Voila... voila... Xavier
'jour.
Quelqu'un m'as dis que la version 5.5 étais pas sèche et que la version 6.0 serait bullet proof.
Je n'ai pas tous les détails mais une plateforme 6.0 chez un client (trois serveurs, montée par son presta de l'époque) a planté violemment deux fois en un an. A chaque fois, le stockage devenait inaccessible, tout ce qui était sur un des serveurs avait "disparu" mais ce qui était sur les autres serveurs ne suffisait pas à conserver le service up... La première fois le support vmware a réussi à récupérer les données. La seconde fois... Les serveurs sont toujours éteints depuis plusieurs mois. Il en est ressorti (confirmé par des choses lues ici ou sur frsag) qu'il faut _absolument_ avoir les bonnes versions de firmwares/drivers (au hasard pour les H730) pour que ça soit stable. David
C’est gratuit VSAN ?
Le 22 juin 2017 à 10:48, David Touitou <david@network-studio.com> a écrit :
'jour.
Quelqu'un m'as dis que la version 5.5 étais pas sèche et que la version 6.0 serait bullet proof.
Je n'ai pas tous les détails mais une plateforme 6.0 chez un client (trois serveurs, montée par son presta de l'époque) a planté violemment deux fois en un an.
A chaque fois, le stockage devenait inaccessible, tout ce qui était sur un des serveurs avait "disparu" mais ce qui était sur les autres serveurs ne suffisait pas à conserver le service up...
La première fois le support vmware a réussi à récupérer les données. La seconde fois... Les serveurs sont toujours éteints depuis plusieurs mois.
Il en est ressorti (confirmé par des choses lues ici ou sur frsag) qu'il faut _absolument_ avoir les bonnes versions de firmwares/drivers (au hasard pour les H730) pour que ça soit stable.
David _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Ah, ok. Vu les problèmes rencontrés, je pensais que c’était un produit gratuit en phase Beta. J’espère qu’ils dédommagent dans ces cas là… Ou alors ils s’en sortent en prétextant que tu n’as pas pris leur Professional Services à 2000€/jour pour la mise en service ?
Le 22 juin 2017 à 10:58, David Touitou <david@network-studio.com> a écrit :
C’est gratuit VSAN ?
Non, pas là non.
C'est pas gratuit et ça fonctionne plutot bien. Comme tous les produits un peu complexe (on parle de stockage objet) il faut une bonne connaissance de ce qu'il y a en dessous et des mécanismes de fonctionnement. Lire les docs. Relire les docs. Respecter la HCL qui est extremement contraignante. Il faut aussi connaitre les points forts et les points faibles de la techno. Dans mon job precedent, on a fait tourner des clusters VSAN pendant plus de 3 ans sans soucis majeurs. Dans celui-ci on fait tourner des stretched VSAN full ssd et ça fonctionne bien aussi. Sinon, vous pouvez faire du VPLEX d'EMC² c'est encore mieux mais c'est pas le meme prix.. Cordialement Le 22 juin 2017 à 10:50, David Ponzone <david.ponzone@gmail.com> a écrit :
Ah, ok. Vu les problèmes rencontrés, je pensais que c’était un produit gratuit en phase Beta. J’espère qu’ils dédommagent dans ces cas là… Ou alors ils s’en sortent en prétextant que tu n’as pas pris leur Professional Services à 2000€/jour pour la mise en service ?
Le 22 juin 2017 à 10:58, David Touitou <david@network-studio.com> a écrit :
C’est gratuit VSAN ?
Non, pas là non.
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Ceph ! Ceph ! Ceph ! On 23/06/2017 10:22, Sébastien FOUTREL wrote:
C'est pas gratuit et ça fonctionne plutot bien. Comme tous les produits un peu complexe (on parle de stockage objet) il faut une bonne connaissance de ce qu'il y a en dessous et des mécanismes de fonctionnement. Lire les docs. Relire les docs. Respecter la HCL qui est extremement contraignante. Il faut aussi connaitre les points forts et les points faibles de la techno.
Dans mon job precedent, on a fait tourner des clusters VSAN pendant plus de 3 ans sans soucis majeurs. Dans celui-ci on fait tourner des stretched VSAN full ssd et ça fonctionne bien aussi.
Sinon, vous pouvez faire du VPLEX d'EMC² c'est encore mieux mais c'est pas le meme prix..
Cordialement
Le 22 juin 2017 à 10:50, David Ponzone <david.ponzone@gmail.com> a écrit :
Ah, ok. Vu les problèmes rencontrés, je pensais que c’était un produit gratuit en phase Beta. J’espère qu’ils dédommagent dans ces cas là… Ou alors ils s’en sortent en prétextant que tu n’as pas pris leur Professional Services à 2000€/jour pour la mise en service ?
Le 22 juin 2017 à 10:58, David Touitou <david@network-studio.com> a écrit :
C’est gratuit VSAN ?
Non, pas là non.
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
-- "UNIX was not designed to stop its users from doing stupid things, as that would also stop them from doing clever things." – Doug Gwyn
En parlant de Ceph, c'est stable ? Niveau target, ISCSI et NFS sont t'ils fonctionnels ? + __ *Jean-Baptiste COUPIAC* Le 23 juin 2017 à 11:22, <frsag@jack.fr.eu.org> a écrit :
Ceph ! Ceph ! Ceph !
On 23/06/2017 10:22, Sébastien FOUTREL wrote:
C'est pas gratuit et ça fonctionne plutot bien. Comme tous les produits un peu complexe (on parle de stockage objet) il faut une bonne connaissance de ce qu'il y a en dessous et des mécanismes de fonctionnement. Lire les docs. Relire les docs. Respecter la HCL qui est extremement contraignante. Il faut aussi connaitre les points forts et les points faibles de la techno.
Dans mon job precedent, on a fait tourner des clusters VSAN pendant plus de 3 ans sans soucis majeurs. Dans celui-ci on fait tourner des stretched VSAN full ssd et ça fonctionne bien aussi.
Sinon, vous pouvez faire du VPLEX d'EMC² c'est encore mieux mais c'est pas le meme prix..
Cordialement
Le 22 juin 2017 à 10:50, David Ponzone <david.ponzone@gmail.com> a écrit :
Ah, ok. Vu les problèmes rencontrés, je pensais que c’était un produit gratuit en phase Beta. J’espère qu’ils dédommagent dans ces cas là… Ou alors ils s’en sortent en prétextant que tu n’as pas pris leur Professional Services à 2000€/jour pour la mise en service ?
Le 22 juin 2017 à 10:58, David Touitou <david@network-studio.com> a écrit :
C’est gratuit VSAN ?
Non, pas là non.
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
-- "UNIX was not designed to stop its users from doing stupid things, as that would also stop them from doing clever things." – Doug Gwyn _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
On 23/06/2017 11:32, Jean-Baptiste COUPIAC wrote:
En parlant de Ceph, c'est stable ? Sans l'ombre d'un doute
Niveau target, ISCSI et NFS sont t'ils fonctionnels ? Aucune idée, je ne met pas en place ce genre d'infra pour mettre du NFS par dessus ensuite :)
/me utilise qemu avec librbd pour causer directement à Ceph et ainsi maximiser l'utilisation des ressources
+
__
*Jean-Baptiste COUPIAC*
Le 23 juin 2017 à 11:22, <frsag@jack.fr.eu.org> a écrit :
Ceph ! Ceph ! Ceph !
On 23/06/2017 10:22, Sébastien FOUTREL wrote:
C'est pas gratuit et ça fonctionne plutot bien. Comme tous les produits un peu complexe (on parle de stockage objet) il faut une bonne connaissance de ce qu'il y a en dessous et des mécanismes de fonctionnement. Lire les docs. Relire les docs. Respecter la HCL qui est extremement contraignante. Il faut aussi connaitre les points forts et les points faibles de la techno.
Dans mon job precedent, on a fait tourner des clusters VSAN pendant plus de 3 ans sans soucis majeurs. Dans celui-ci on fait tourner des stretched VSAN full ssd et ça fonctionne bien aussi.
Sinon, vous pouvez faire du VPLEX d'EMC² c'est encore mieux mais c'est pas le meme prix..
Cordialement
Le 22 juin 2017 à 10:50, David Ponzone <david.ponzone@gmail.com> a écrit :
Ah, ok. Vu les problèmes rencontrés, je pensais que c’était un produit gratuit en phase Beta. J’espère qu’ils dédommagent dans ces cas là… Ou alors ils s’en sortent en prétextant que tu n’as pas pris leur Professional Services à 2000€/jour pour la mise en service ?
Le 22 juin 2017 à 10:58, David Touitou <david@network-studio.com> a écrit :
C’est gratuit VSAN ?
Non, pas là non.
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
-- "UNIX was not designed to stop its users from doing stupid things, as that would also stop them from doing clever things." – Doug Gwyn _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
-- "UNIX was not designed to stop its users from doing stupid things, as that would also stop them from doing clever things." – Doug Gwyn
Le 23/06/2017 à 11:32, Jean-Baptiste COUPIAC a écrit :
En parlant de Ceph, c'est stable ?
C'est stable et plutôt robuste d'ailleurs. Notre cluster de 3 noeud (4 OSD par noeud) sous Ceph Kraken a résisté sans pb à une maintenance sauvage d'un UPS dans une baie, un noeud par terre par coupure courant, ça a continué tranquillement à fonctionner et ça c'est recontruit tout seul quand le noeud est remonté. On héberge le stockage des VM dessus, tout a continué à tourner sans ralentissement visible.
Niveau target, ISCSI et NFS sont t'ils fonctionnels ?
Il n'y a pas de target iSCSI ni NFS sur Ceph mais un client natif (rbd) et une gateway objet qui fait S3 et swift. La solution, en attendant que XenServer par exemple propose de brancher les SR en rbd natif, est de mapper le rbd comme un block device sur chaque noeud Ceph OSD (fonction native de Ceph) et de mettre un tartget ISCSI ou NFS dessus comme n'importe quel disque standard. Ensuite on peut carrément faire du multipath IO en iSCSI depuis Xenserver en se connectant sur tous les targets à la fois, ce qui donne de la haute dispo niveau connectivité et stockage. -- Laurent CLIGNY Responsable Exploitation IT
Ok, merci Et niveau performance ça donne quoi ceph si on utilise librbd /qemu ? (si on se compare à un autre système distribué genre Refs, ocfs2,...) + Le 23 juin 2017 12:02 PM, "Laurent Cligny" <lcligny@neocom.fr> a écrit : Le 23/06/2017 à 11:32, Jean-Baptiste COUPIAC a écrit : En parlant de Ceph, c'est stable ? C'est stable et plutôt robuste d'ailleurs. Notre cluster de 3 noeud (4 OSD par noeud) sous Ceph Kraken a résisté sans pb à une maintenance sauvage d'un UPS dans une baie, un noeud par terre par coupure courant, ça a continué tranquillement à fonctionner et ça c'est recontruit tout seul quand le noeud est remonté. On héberge le stockage des VM dessus, tout a continué à tourner sans ralentissement visible. Niveau target, ISCSI et NFS sont t'ils fonctionnels ? Il n'y a pas de target iSCSI ni NFS sur Ceph mais un client natif (rbd) et une gateway objet qui fait S3 et swift. La solution, en attendant que XenServer par exemple propose de brancher les SR en rbd natif, est de mapper le rbd comme un block device sur chaque noeud Ceph OSD (fonction native de Ceph) et de mettre un tartget ISCSI ou NFS dessus comme n'importe quel disque standard. Ensuite on peut carrément faire du multipath IO en iSCSI depuis Xenserver en se connectant sur tous les targets à la fois, ce qui donne de la haute dispo niveau connectivité et stockage. -- Laurent CLIGNYResponsable Exploitation IT _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Aucune idée, je n'ai jamais utilisé les deux projets dont tu parles Attention cependant, Ceph n'a pas vraiment le même usage que les deux fs que tu cites (qui sont des fs, alors que Ceph fait du stockage object, stockage de block dans le cas de rbd) Niveau performance, je trouve cela très confortable en lecture, un poil moins en écriture (le fix qui corrige ce problème de design arrive dans la prochaine release, dont la RC1 est sortie aujourd'hui) Cela dépends également du matériel que tu utilises (j'ai la version du pauvre, c'est à dire que les journaux ne sont pas sur SSD) On 23/06/2017 13:34, Jean-Baptiste COUPIAC wrote:
Ok, merci
Et niveau performance ça donne quoi ceph si on utilise librbd /qemu ? (si on se compare à un autre système distribué genre Refs, ocfs2,...)
+
Le 23 juin 2017 12:02 PM, "Laurent Cligny" <lcligny@neocom.fr> a écrit :
Le 23/06/2017 à 11:32, Jean-Baptiste COUPIAC a écrit :
En parlant de Ceph, c'est stable ?
C'est stable et plutôt robuste d'ailleurs. Notre cluster de 3 noeud (4 OSD par noeud) sous Ceph Kraken a résisté sans pb à une maintenance sauvage d'un UPS dans une baie, un noeud par terre par coupure courant, ça a continué tranquillement à fonctionner et ça c'est recontruit tout seul quand le noeud est remonté. On héberge le stockage des VM dessus, tout a continué à tourner sans ralentissement visible.
Niveau target, ISCSI et NFS sont t'ils fonctionnels ?
Il n'y a pas de target iSCSI ni NFS sur Ceph mais un client natif (rbd) et une gateway objet qui fait S3 et swift. La solution, en attendant que XenServer par exemple propose de brancher les SR en rbd natif, est de mapper le rbd comme un block device sur chaque noeud Ceph OSD (fonction native de Ceph) et de mettre un tartget ISCSI ou NFS dessus comme n'importe quel disque standard.
Ensuite on peut carrément faire du multipath IO en iSCSI depuis Xenserver en se connectant sur tous les targets à la fois, ce qui donne de la haute dispo niveau connectivité et stockage.
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
-- "UNIX was not designed to stop its users from doing stupid things, as that would also stop them from doing clever things." – Doug Gwyn
Bonjour à tous, pour éviter de me "coincer" avec VSAN de vmware, un presta me propose de passer par StorMagic qui semble plus souple que VSAN surtout pour la partie accés disques (direct, FC, ISCSI ...), certain d'entre vous on un retour d'expérience la dessus ? merci par avance jerome :) Le 23 juin 2017 à 18:55, <frsag@jack.fr.eu.org> a écrit :
Aucune idée, je n'ai jamais utilisé les deux projets dont tu parles
Attention cependant, Ceph n'a pas vraiment le même usage que les deux fs que tu cites (qui sont des fs, alors que Ceph fait du stockage object, stockage de block dans le cas de rbd)
Niveau performance, je trouve cela très confortable en lecture, un poil moins en écriture (le fix qui corrige ce problème de design arrive dans la prochaine release, dont la RC1 est sortie aujourd'hui)
Cela dépends également du matériel que tu utilises (j'ai la version du pauvre, c'est à dire que les journaux ne sont pas sur SSD)
On 23/06/2017 13:34, Jean-Baptiste COUPIAC wrote:
Ok, merci
Et niveau performance ça donne quoi ceph si on utilise librbd /qemu ? (si on se compare à un autre système distribué genre Refs, ocfs2,...)
+
Le 23 juin 2017 12:02 PM, "Laurent Cligny" <lcligny@neocom.fr> a écrit :
Le 23/06/2017 à 11:32, Jean-Baptiste COUPIAC a écrit :
En parlant de Ceph, c'est stable ?
C'est stable et plutôt robuste d'ailleurs. Notre cluster de 3 noeud (4 OSD par noeud) sous Ceph Kraken a résisté sans pb à une maintenance sauvage d'un UPS dans une baie, un noeud par terre par coupure courant, ça a continué tranquillement à fonctionner et ça c'est recontruit tout seul quand le noeud est remonté. On héberge le stockage des VM dessus, tout a continué à tourner sans ralentissement visible.
Niveau target, ISCSI et NFS sont t'ils fonctionnels ?
Il n'y a pas de target iSCSI ni NFS sur Ceph mais un client natif (rbd) et une gateway objet qui fait S3 et swift. La solution, en attendant que XenServer par exemple propose de brancher les SR en rbd natif, est de mapper le rbd comme un block device sur chaque noeud Ceph OSD (fonction native de Ceph) et de mettre un tartget ISCSI ou NFS dessus comme n'importe quel disque standard.
Ensuite on peut carrément faire du multipath IO en iSCSI depuis Xenserver en se connectant sur tous les targets à la fois, ce qui donne de la haute dispo niveau connectivité et stockage.
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
-- "UNIX was not designed to stop its users from doing stupid things, as that would also stop them from doing clever things." – Doug Gwyn _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
participants (11)
-
ay pierre -
Aym -
David Ponzone -
David Touitou -
frsag＠jack.fr.eu.org -
frsag＠mulx.net
-
Jean-Baptiste COUPIAC -
Jerome Lien -
Laurent Cligny -
Sébastien FOUTREL -
Xavier Beaudouin