Bonjour,
j'aurais besoin de conseils pour un soucis concernant une redondance physique pfsense avec CARP.
La boite dans laquelle je travaille n'avait qu'un firewall sous pfsense, j'ai donc proposé de faire un firewall slave pour redonder celui ci en cas de problème.
J'ai donc remis un place un second pfsense à l'identique du premier (ou presque). Des interfaces CARP ont été déclarées sur toutes les interfaces des firewall, j'ai réussi à faire fonctionner la synchronisation des firewall, et le slave est bien en statut backup sur toutes les interfaces. Enfin, toutes sauf pour le WAN...
Je n'arrive pas à trouver pourquoi la CARP sur l'interface WAN ne fonctionne pas correctement, mais je ne peux pas tester avec le firewall slave branché car celui ci se déclare MASTER en WAN, sans possibilité d'accèder à internet (alors qu'il le devrait), et fait planter tout notre réseau.
La CARP sur la partie WAN est déclarée sur une IP de type réseau privé, l'interface WAN possède quand à elle l'IP publique de la boite.
On a aussi des alias d'interface sur l'interface WAN qui correspondent aux deux autres IP publiques de la boite.
Lors de mes précédents tests, brancher les deux firewall a eu pour effet de faire planter tout le réseau (plus d'accès à internet), et les alias d'interfaces ont plantés, redant inaccessible des sites web clients (on utilise les ip publiques pour faire du port forwarding selon les services en gros)
Quelqu'un aurait des conseils, des retours d'expérience ou une piste que je pourrais explorer? je suis à court d'idées
On lundi 10 avril 2017 11 h 20 min 50 s CEST Tactical butterflyop wrote:
Bonjour,
j'aurais besoin de conseils pour un soucis concernant une redondance physique pfsense avec CARP.
La boite dans laquelle je travaille n'avait qu'un firewall sous pfsense, j'ai donc proposé de faire un firewall slave pour redonder celui ci en cas de problème.
J'ai donc remis un place un second pfsense à l'identique du premier (ou presque). Des interfaces CARP ont été déclarées sur toutes les interfaces des firewall, j'ai réussi à faire fonctionner la synchronisation des firewall, et le slave est bien en statut backup sur toutes les interfaces. Enfin, toutes sauf pour le WAN...
Je n'arrive pas à trouver pourquoi la CARP sur l'interface WAN ne fonctionne pas correctement, mais je ne peux pas tester avec le firewall slave branché car celui ci se déclare MASTER en WAN, sans possibilité d'accèder à internet (alors qu'il le devrait), et fait planter tout notre réseau.
La CARP sur la partie WAN est déclarée sur une IP de type réseau privé, l'interface WAN possède quand à elle l'IP publique de la boite.
On a aussi des alias d'interface sur l'interface WAN qui correspondent aux deux autres IP publiques de la boite.
Lors de mes précédents tests, brancher les deux firewall a eu pour effet de faire planter tout le réseau (plus d'accès à internet), et les alias d'interfaces ont plantés, redant inaccessible des sites web clients (on utilise les ip publiques pour faire du port forwarding selon les services en gros)
Quelqu'un aurait des conseils, des retours d'expérience ou une piste que je pourrais explorer? je suis à court d'idées
Salut,
On dirait que les deux firewall ne se voient pas sur le WAN. Si tu fait un tcpdump sur le second (sans configurer le carp dessus pour qu'il ne devienne pas master), est-ce que tu vois bien le multicast carp du premier firewall ?
Si tu vois bien le carp, est-ce que tu as bien la même configuration sur le carp (même password, même demote (ou demote inférieur sur le premier), même ordre pour définir les alias) ?
Salut,
Pour que le CARP fonctionne : - Quand tu déclares tes interfaces, elles doivent être déclarées dans le même ordre sur les deux serveurs (bugs ?). Ne pas hésiter à reconfigurer le slave et à modifier les fichiers de configuration à la main si besoin, - Il faut que les deux pfsense communiquent, ce qui suppose de mettre les rules qui vont bien
A+
-----Message d'origine----- De : FRsAG [mailto:frsag-bounces@frsag.org] De la part de Xavier Claude Envoyé : lundi 10 avril 2017 17:50 À : frsag@frsag.org Objet : Re: [FRsAG] Aide firewall pfsense
On lundi 10 avril 2017 11 h 20 min 50 s CEST Tactical butterflyop wrote:
Bonjour,
j'aurais besoin de conseils pour un soucis concernant une redondance physique pfsense avec CARP.
La boite dans laquelle je travaille n'avait qu'un firewall sous pfsense, j'ai donc proposé de faire un firewall slave pour redonder celui ci en cas de problème.
J'ai donc remis un place un second pfsense à l'identique du premier (ou presque). Des interfaces CARP ont été déclarées sur toutes les interfaces des firewall, j'ai réussi à faire fonctionner la synchronisation des firewall, et le slave est bien en statut backup sur toutes les interfaces. Enfin, toutes sauf pour le WAN...
Je n'arrive pas à trouver pourquoi la CARP sur l'interface WAN ne fonctionne pas correctement, mais je ne peux pas tester avec le firewall slave branché car celui ci se déclare MASTER en WAN, sans possibilité d'accèder à internet (alors qu'il le devrait), et fait planter tout notre réseau.
La CARP sur la partie WAN est déclarée sur une IP de type réseau privé, l'interface WAN possède quand à elle l'IP publique de la boite.
On a aussi des alias d'interface sur l'interface WAN qui correspondent aux deux autres IP publiques de la boite.
Lors de mes précédents tests, brancher les deux firewall a eu pour effet de faire planter tout le réseau (plus d'accès à internet), et les alias d'interfaces ont plantés, redant inaccessible des sites web clients (on utilise les ip publiques pour faire du port forwarding selon les services en gros)
Quelqu'un aurait des conseils, des retours d'expérience ou une piste que je pourrais explorer? je suis à court d'idées
Salut,
On dirait que les deux firewall ne se voient pas sur le WAN. Si tu fait un tcpdump sur le second (sans configurer le carp dessus pour qu'il ne devienne pas master), est-ce que tu vois bien le multicast carp du premier firewall ?
Si tu vois bien le carp, est-ce que tu as bien la même configuration sur le carp (même password, même demote (ou demote inférieur sur le premier), même ordre pour définir les alias) ? -- Xavier Claude contact@xavierclaude.be _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
--- L'absence de virus dans ce courrier électronique a été vérifiée par le logiciel antivirus Avast. https://www.avast.com/antivirus
Hello,
Le 10/04/2017 à 17:49, Xavier Claude a écrit :
On dirait que les deux firewall ne se voient pas sur le WAN. Si tu fait un tcpdump sur le second (sans configurer le carp dessus pour qu'il ne devienne pas master), est-ce que tu vois bien le multicast carp du premier firewall ?
Si tu vois bien le carp, est-ce que tu as bien la même configuration sur le carp (même password, même demote (ou demote inférieur sur le premier), même ordre pour définir les alias) ?
Profite du tcpdump que Xavier te suggère de faire pour checker qu'il n'y a pas déjà du trafic type VRRP ou CARP qui serait sur le même ID que celui des pfsense...
C'est un truc bête mais cela peut arriver surtout quand on débarque dans un environnement qu'on ne connait pas encore bien. Et ça pourrait expliquer pour cela a tout planté !
Pour info, j'ai plusieurs sites avec du pfsense en redondance, tous tournent comme des horloges depuis des années. La solution est vraiment fiable et robuste.
Cldt,
Tant qu'on est dans les problèmes de switch. Si je ne me trompe pas, la mac du carp est dérivée du carp id. S'il y a deux fois le même carp id sur le même switch sur des interfaces différentes, ça peut faire des comportement bizarre.
Bonjour,
Merci à vous pour toutes ces pistes, je vais essayer de regarder tout ça quand je pourrai.
Il y a des choses que je ne connais pas dans vos réponses, par exemple VRRP. Je vais creuser
Pour info, les firewall sont branchés sur le même switch, du coup la réponse de Xavier avec la mac des carp dérivée du CARP ID pourrait bien être le problème, mais dans ce cas je me demande pourquoi n'avoir le problème que pour l'interface WAN? cela fonctionne avec toutes les autres interfaces/CARP et tout est branché sur le même switch à chaque fois (merci les vlan).
Au passage, le switch chez nous pour info c'est du netgear, et j'ai bien ajouté les règles pour la communication des firewall (à revérifier pour WAN du coup, puisque pour cette interface ça plante)
J'apporterai les réponses dès que j'aurai regardé.
A bientot
Le 11 avril 2017 à 11:31, Xavier Claude contact@xavierclaude.be a écrit :
Tant qu'on est dans les problèmes de switch. Si je ne me trompe pas, la mac du carp est dérivée du carp id. S'il y a deux fois le même carp id sur le même switch sur des interfaces différentes, ça peut faire des comportement bizarre. -- Xavier Claude contact@xavierclaude.be _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Bonjour,
as tu dédié une interface physique par pfsence pour le trafic CARP ? de souvenir le trafic CARP circule en clair
il est vrai que sur les switch HP il faut attendre une minute pour que l'adresse mac passe d'un port à un autre.
pour info on utilise ce protocole avec des openbsd depuis 2007 sans problème mais il y a qlq limitations.
Salutations Hugues
Le 11/04/2017 à 14:30, Tactical butterflyop a écrit :
Bonjour,
Merci à vous pour toutes ces pistes, je vais essayer de regarder tout ça quand je pourrai.
Il y a des choses que je ne connais pas dans vos réponses, par exemple VRRP. Je vais creuser
Pour info, les firewall sont branchés sur le même switch, du coup la réponse de Xavier avec la mac des carp dérivée du CARP ID pourrait bien être le problème, mais dans ce cas je me demande pourquoi n'avoir le problème que pour l'interface WAN? cela fonctionne avec toutes les autres interfaces/CARP et tout est branché sur le même switch à chaque fois (merci les vlan).
Au passage, le switch chez nous pour info c'est du netgear, et j'ai bien ajouté les règles pour la communication des firewall (à revérifier pour WAN du coup, puisque pour cette interface ça plante)
J'apporterai les réponses dès que j'aurai regardé.
A bientot
Le 11 avril 2017 à 11:31, Xavier Claude <contact@xavierclaude.be mailto:contact@xavierclaude.be> a écrit :
Tant qu'on est dans les problèmes de switch. Si je ne me trompe pas, la mac du carp est dérivée du carp id. S'il y a deux fois le même carp id sur le même switch sur des interfaces différentes, ça peut faire des comportement bizarre. -- Xavier Claude contact@xavierclaude.be <mailto:contact@xavierclaude.be> _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Liste de diffusion du FRsAG http://www.frsag.org/
Bonsoir,
Qu'entendez vous par dédier une interface physique pour le trafic carp?
J'ai toutes mes interfaces physiques utilisées, et les carp sont déclarées sur les interfaces physiques et virtuelles (pour nos différents vlan), mais il ne me semble pas que les carp utilisent une interface physique en particulier.
Je n'ai toujours pas pu faire de tests à ce jour pour voir d'où venait le problème ou même le corriger, mon supérieur n'est pas vraiment chaud pour tester et faire planter le réseau (disponibilité des serveurs et services clients oblige) , et nous manquons malheureusement de temps.
Si je parviens à my mettre et à trouver, je ferai un retour détaillé.
Bonne soirée
Le 11 avr. 2017 14:41, "Hugues" hugues@max4mail.com a écrit :
Bonjour,
as tu dédié une interface physique par pfsence pour le trafic CARP ? de souvenir le trafic CARP circule en clair
il est vrai que sur les switch HP il faut attendre une minute pour que l'adresse mac passe d'un port à un autre.
pour info on utilise ce protocole avec des openbsd depuis 2007 sans problème mais il y a qlq limitations.
Salutations Hugues
Le 11/04/2017 à 14:30, Tactical butterflyop a écrit :
Bonjour,
Merci à vous pour toutes ces pistes, je vais essayer de regarder tout ça quand je pourrai.
Il y a des choses que je ne connais pas dans vos réponses, par exemple VRRP. Je vais creuser
Pour info, les firewall sont branchés sur le même switch, du coup la réponse de Xavier avec la mac des carp dérivée du CARP ID pourrait bien être le problème, mais dans ce cas je me demande pourquoi n'avoir le problème que pour l'interface WAN? cela fonctionne avec toutes les autres interfaces/CARP et tout est branché sur le même switch à chaque fois (merci les vlan).
Au passage, le switch chez nous pour info c'est du netgear, et j'ai bien ajouté les règles pour la communication des firewall (à revérifier pour WAN du coup, puisque pour cette interface ça plante)
J'apporterai les réponses dès que j'aurai regardé.
A bientot
Le 11 avril 2017 à 11:31, Xavier Claude contact@xavierclaude.be a écrit :
Tant qu'on est dans les problèmes de switch. Si je ne me trompe pas, la mac du carp est dérivée du carp id. S'il y a deux fois le même carp id sur le même switch sur des interfaces différentes, ça peut faire des comportement bizarre. -- Xavier Claude contact@xavierclaude.be _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
_______________________________________________ Liste de diffusion du FRsAGhttp://www.frsag.org/
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Yop,
Oui, ton setup m'étonne un petit peu. De mon coté, j'aurai choisi donc de connecter les deux pfsense a wan et a ton lan, et j'aurai rajouté un lien DIRECT entre les deux firewall, avec un réseau IP dédié, sur lequel tu ferais passer ton traffic CARP. Les avantages sont les suivants: - Ton setup CARP est plus résilient - Il ne dépends pas de l'infra de ton FAI (normalement tu dois pouvoir rajouter des checks type nagios pour tester ta connexion upstream, et en fonction de faire la bascule) - Plus simple a diagnostiquer - Tu mélange pas les pommes et les poires (en terme de traffic) - Ces protocoles de type CARP et VRRP ne sont pas super sécurisé (ou du moins de manière assez basique), donc t'a miuex interret a mettre ça sur réseau isolé si tu peux le faire
Les inconvénients: - C'est toujours un setup un peu complexe
Autre note: - J'ai beaucoup joué avec Keepalived (c'est du VRRP, pas du CARP), mais tu peux vraiment tout centraliser ta config avec ca, en evitant de faire trop de scripts customs, etc ... Je ne sais pas si Keepalived est dispo sous PfSence par contre ... Mais tu devrait pouvoir retrouver les memes fonctionnalités par contre :)
My 2 cents
-- MrJK Website: http://jeznet.org/
Le 8 juin 2017 à 16:51, Tactical butterflyop tacticalbutterflyop@gmail.com a écrit :
Bonsoir,
Qu'entendez vous par dédier une interface physique pour le trafic carp?
J'ai toutes mes interfaces physiques utilisées, et les carp sont déclarées sur les interfaces physiques et virtuelles (pour nos différents vlan), mais il ne me semble pas que les carp utilisent une interface physique en particulier.
Je n'ai toujours pas pu faire de tests à ce jour pour voir d'où venait le problème ou même le corriger, mon supérieur n'est pas vraiment chaud pour tester et faire planter le réseau (disponibilité des serveurs et services clients oblige) , et nous manquons malheureusement de temps.
Si je parviens à my mettre et à trouver, je ferai un retour détaillé.
Bonne soirée
Le 11 avr. 2017 14:41, "Hugues" hugues@max4mail.com a écrit :
Bonjour,
as tu dédié une interface physique par pfsence pour le trafic CARP ? de souvenir le trafic CARP circule en clair
il est vrai que sur les switch HP il faut attendre une minute pour que l'adresse mac passe d'un port à un autre.
pour info on utilise ce protocole avec des openbsd depuis 2007 sans problème mais il y a qlq limitations.
Salutations Hugues
Le 11/04/2017 à 14:30, Tactical butterflyop a écrit :
Bonjour,
Merci à vous pour toutes ces pistes, je vais essayer de regarder tout ça quand je pourrai.
Il y a des choses que je ne connais pas dans vos réponses, par exemple VRRP. Je vais creuser
Pour info, les firewall sont branchés sur le même switch, du coup la réponse de Xavier avec la mac des carp dérivée du CARP ID pourrait bien être le problème, mais dans ce cas je me demande pourquoi n'avoir le problème que pour l'interface WAN? cela fonctionne avec toutes les autres interfaces/CARP et tout est branché sur le même switch à chaque fois (merci les vlan).
Au passage, le switch chez nous pour info c'est du netgear, et j'ai bien ajouté les règles pour la communication des firewall (à revérifier pour WAN du coup, puisque pour cette interface ça plante)
J'apporterai les réponses dès que j'aurai regardé.
A bientot
Le 11 avril 2017 à 11:31, Xavier Claude contact@xavierclaude.be a écrit :
Tant qu'on est dans les problèmes de switch. Si je ne me trompe pas, la mac du carp est dérivée du carp id. S'il y a deux fois le même carp id sur le même switch sur des interfaces différentes, ça peut faire des comportement bizarre. -- Xavier Claude contact@xavierclaude.be _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Liste de diffusion du FRsAGhttp://www.frsag.org/
Liste de diffusion du FRsAG http://www.frsag.org/
Liste de diffusion du FRsAG http://www.frsag.org/
-
Hugues -
Mrjk -
Nico -
Olivier Le Cam -
Tactical butterflyop -
Xavier Claude