Re: [FRnOG] [TECH] Outil d'analyse pour IP mix

2018-06-12 Par sujet Timothé Perez 
Plop,

Dans une précédente vie on a utilisé la solution de télémétrie de
Pragma Innovation qui permet d'ingest les flows des routeurs + les
infos BGP et de balancer tout ça dans une grosse bdd pour ensuite
pouvoir être exploité dans une UI et construire des graphes.
Ça permet d'avoir quelques visu sympathiques - voir la page de démo
http://www.pragma-innovation.fr/cas-dusage-telemetrie-ip/ - et ça
marchait pas trop mal.
C'est basé sur de l'open source et une bonne dose de motivation pour
faire fonctionner toutes les briques ensemble: un barbu compétent et
avec du temps peut tout à fait se lancer dans l'aventure.


--
Timothé Perez
Le mar. 12 juin 2018 à 21:47, Fabien VINCENT (FrNOG)
 a écrit :
>
> Le 2018-06-12 17:17, Arnaud BRAND a écrit :
>
> > Merci à tous pour vos réponses !
> >
> > On a donc :
> > - AS-Stats : simple et efficace
> > - Stack ELK + Grafana : plus compliqué mais puissant
> > - Elastiflow : qui semble être une version packagée et plutôt sexy du 
> > précédent, mais avec des besoins en ressources importants
> > - Flowanalyzer : version packagée, mais semble disposer de moins de 
> > fonctionnalités, aucune idée des besoins.
> >
> > Apparemment Elastiflow a la bonté de permettre en plus de faire des AS 
> > Lookups.
> > Quelqu'un a essayé / sait comment le lookup est fait / sait si c'est 
> > efficace ?
> >
> > Sinon, comment faites-vous quand vos f. routeurs ne remplissent pas les 
> > AS dans les flows (alors qu'ils ont une full-table en mémoire...) ?
> >
> > Le 2018-05-30 12:24, Arnaud BRAND a écrit :
> >
> >> Bonjour la liste,
> >>
> >> Je viens puiser dans ton infinie expérience J
> >>
> >> Je cherche des outils/méthodes pour identifier les AS qui constituent
> >> le gros mon transit.
> >> Ce pour ajuster au mieux mon mix et fournir le meilleur service au
> >> meilleur prix.
> >>
> >> Bêtement, je partais sur des flow.
> >> Pour la partie export des flows c'est trivial.
> >> Mais pour la collecte/agrégation/classification, ça l'est nettement moins.
> >>
> >> Quels outils/méthodes utilisez-vous ?
> >>
> >> Merci pour vos retours et belle journée !
> >> Arnaud
> >>
> >> ---
> >> Liste de diffusion du FRnOG
> >> http://www.frnog.org/
> >
> > ---
> > Liste de diffusion du FRnOG
> > http://www.frnog.org/
>
> Perso j'utilise nfacctd de pmacct. Ca rocks des ours et ca fait le job.
> Suivant ton volume, un petit script qui parse la data agrégée in memory
> et sort / structure les infos qui t'intéressent et tu pousses dans un
> graphite + dashboard grafana pour le kikoulol. Ca marche mais le scale
> est compliqué dès que tu balances du lourd niveau flows. L'avantage :
> j'ai redémarré nfacctd qu'après chaque compil du master ;) c'est fiable
> / stable et Paolo Lucente qui dév le truc est toujours dispo pour aider.
> Et ca fix les problèmes d'asn puisque le démon bgp fourni avec le
> package complète les infos que je flag dans graphite (communities bgp
> par exemple). Donc je fais confiance à nfacctd pour les netflows, et une
> petite session BGP pour les data BGP.
>
> J'ai pas encore creusé mais ils ont add un démon bmp qui permettrait
> encore de pousser le bouchon.
>
> Il faut quelques skills s/sysadmin/devops/ge pour s'en sortir mais
> franchement c'est à la porté de n'importe quel barbu qui aime le
> cambouis ;)
>
> Sinon faut demander à Monsieur Maunier si Kentik marche on premise
> maintenant :p
>
> --
> FABIEN VINCENT
> _@beufanet_
> ---
> Liste de diffusion du FRnOG
> http://www.frnog.org/


---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [TECH] Outil d'analyse pour IP mix

2018-06-12 Par sujet Fabien VINCENT (FrNOG) 
Le 2018-06-12 17:17, Arnaud BRAND a écrit :

> Merci à tous pour vos réponses !
> 
> On a donc :
> - AS-Stats : simple et efficace
> - Stack ELK + Grafana : plus compliqué mais puissant
> - Elastiflow : qui semble être une version packagée et plutôt sexy du 
> précédent, mais avec des besoins en ressources importants
> - Flowanalyzer : version packagée, mais semble disposer de moins de 
> fonctionnalités, aucune idée des besoins.
> 
> Apparemment Elastiflow a la bonté de permettre en plus de faire des AS 
> Lookups.
> Quelqu'un a essayé / sait comment le lookup est fait / sait si c'est efficace 
> ?
> 
> Sinon, comment faites-vous quand vos f. routeurs ne remplissent pas les 
> AS dans les flows (alors qu'ils ont une full-table en mémoire...) ?
> 
> Le 2018-05-30 12:24, Arnaud BRAND a écrit : 
> 
>> Bonjour la liste,
>> 
>> Je viens puiser dans ton infinie expérience J
>> 
>> Je cherche des outils/méthodes pour identifier les AS qui constituent
>> le gros mon transit.
>> Ce pour ajuster au mieux mon mix et fournir le meilleur service au
>> meilleur prix.
>> 
>> Bêtement, je partais sur des flow.
>> Pour la partie export des flows c'est trivial.
>> Mais pour la collecte/agrégation/classification, ça l'est nettement moins.
>> 
>> Quels outils/méthodes utilisez-vous ?
>> 
>> Merci pour vos retours et belle journée !
>> Arnaud
>> 
>> ---
>> Liste de diffusion du FRnOG
>> http://www.frnog.org/
> 
> ---
> Liste de diffusion du FRnOG
> http://www.frnog.org/

Perso j'utilise nfacctd de pmacct. Ca rocks des ours et ca fait le job.
Suivant ton volume, un petit script qui parse la data agrégée in memory
et sort / structure les infos qui t'intéressent et tu pousses dans un
graphite + dashboard grafana pour le kikoulol. Ca marche mais le scale
est compliqué dès que tu balances du lourd niveau flows. L'avantage :
j'ai redémarré nfacctd qu'après chaque compil du master ;) c'est fiable
/ stable et Paolo Lucente qui dév le truc est toujours dispo pour aider.
Et ca fix les problèmes d'asn puisque le démon bgp fourni avec le
package complète les infos que je flag dans graphite (communities bgp
par exemple). Donc je fais confiance à nfacctd pour les netflows, et une
petite session BGP pour les data BGP. 

J'ai pas encore creusé mais ils ont add un démon bmp qui permettrait
encore de pousser le bouchon. 

Il faut quelques skills s/sysadmin/devops/ge pour s'en sortir mais
franchement c'est à la porté de n'importe quel barbu qui aime le
cambouis ;) 

Sinon faut demander à Monsieur Maunier si Kentik marche on premise
maintenant :p

-- 
FABIEN VINCENT 
_@beufanet_
---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [TECH] Outil d'analyse pour IP mix

2018-06-12 Par sujet r...@futomaki.net 
Pmacct avec le backend que tu veux. Mon matos ne mets pas les ASn mais pmactt fait un lookup à la volée. Sent from my Mobile Original Message Subject: Re: [FRnOG] [TECH] Outil d'analyse pour IP mixFrom: Julien Escario To: frnog@frnog.orgCC: -BEGIN PGP SIGNED MESSAGE-Hash: SHA512Le 12/06/2018 à 17:17, Arnaud BRAND a écrit :> Merci à tous pour vos réponses !> > On a donc : - AS-Stats : simple et efficace - Stack ELK + Grafana : plus> compliqué mais puissant - Elastiflow : qui semble être une version packagée> et plutôt sexy du précédent, mais avec des besoins en ressources> importants - Flowanalyzer : version packagée, mais semble disposer de moins> de fonctionnalités, aucune idée des besoins.> > Apparemment Elastiflow a la bonté de permettre en plus de faire des AS> Lookups. Quelqu'un a essayé / sait comment le lookup est fait / sait si> c'est efficace ?> > Sinon, comment faites-vous quand vos f. routeurs ne remplissent pas les> AS dans les flows (alors qu'ils ont une full-table en mémoire...) ?Toi tu fais du Mikrotik ;-)Chez nous, on a simplement rajouté "-m /var/lib/as-stats/ip2asn.json" à as-statsd.Le création du fichier json est un peu relou, surtout qu'il faudraitactualiser régulièrement mais ca marche.Avec d'abord ça :https://github.com/manuelkasper/AS-Stats/raw/master/www/asinfo.txtBref, c'est lourd et ca prend du temps.Du coup, si Elastiflow le fait naturellement, c'est un plus.Ou alors, il faudrait un repository git pour mettre une version à jour àdisposition, générée chaque semaine par exemple. Pas encore eu le temps maisca se trouve peut être déjà.Julien-BEGIN PGP SIGNATURE-iQIcBAEBCgAGBQJbH+cHAAoJEOWv2Do/MctuiJ8P/1FFuqeHU1L693DDfhehYjnLd69ABGVk5cqA8lGaSVTzeb3CnEVf32l9OvjPnQWN0jOHaphmjjDu/Rcw5QhnY15PPB66FgHJC6wiRANdOkc22BpgrMrnGdjHXkJv09MxH98hE6wtzmSOjZpAavYJ4Cn4Jb6ViI9vO33eqks6YqMvv/QwAdf5hhzLdioqMllB5udCvE4qLDsZU6nKISSMDkmnjCUi+4mMI/mvjLZOezbGnKX2sIU+oDaZILYKxZ9MQgulqodn4uqXp2PImEdsnqqSI66D/HLieDgeV23TMvcZ714BWibbiPmFM2d0UHHzKvLCOGtqDTlGFxl0IZ9hl04ykrizQL44FIIrA2vRYu2oaPWFkFMxrIS2oLRxNI/MuKxLFMZweAznP3gq3atA+G8QikpEBHU/+d+GbJWMOTVnxYOgGY7byDppAxMExSydV5uLXE8ZnVLdiqEEwvQtV42ubKWAbQRMqUZeq4rNTwEtYb3aAGcxKHQhn9FcvAOn68nk5cX5fO/5K131cBLOVf3lm+vtzdrg7hoxHFD1oMF26IiXbYOyx5nD0Fn66TngnsPxPIlzyQkVHqIflhyb/iUekCuSfObM3INIBMQ/doglvdu7vPOZqdplOIBimjSeQGF8wz7woxE9f1zXMo4O4P5UzW/ID4vC2MGFOPHQpIzU=tkUH-END PGP SIGNATUREListe de diffusion du FRnOGhttp://www.frnog.org/

Re: [FRnOG] [TECH] Outil d'analyse pour IP mix

2018-06-12 Par sujet Romain De Rasse 
Le 12/06/2018 à 17:17, Arnaud BRAND a écrit :
> Merci à tous pour vos réponses !
>
> On a donc :
> - AS-Stats : simple et efficace
> - Stack ELK + Grafana : plus compliqué mais puissant
> - Elastiflow : qui semble être une version packagée et plutôt sexy du
> précédent, mais avec des besoins en ressources importants
> - Flowanalyzer : version packagée, mais semble disposer de moins de
> fonctionnalités, aucune idée des besoins.
>
> Apparemment Elastiflow a la bonté de permettre en plus de faire des AS
> Lookups.
> Quelqu'un a essayé / sait comment le lookup est fait / sait si c'est
> efficace ?
>
> Sinon, comment faites-vous quand vos f. routeurs ne remplissent
> pas les AS dans les flows (alors qu'ils ont une full-table en
> mémoire...) ?

Bonsoir,
Ici un mirroring du trafic vers une VM avec pmacct, qui génère les flows
en ajoutant les AS grâce à une session BGP avec un routeur qui a une
full view, puis forwarde les flows.

>
> Le 2018-05-30 12:24, Arnaud BRAND a écrit :
>> Bonjour la liste,
>>
>> Je viens puiser dans ton infinie expérience J
>>
>> Je cherche des outils/méthodes pour identifier les AS qui constituent
>> le gros mon transit.
>> Ce pour ajuster au mieux mon mix et fournir le meilleur service au
>> meilleur prix.
>>
>> Bêtement, je partais sur des flow.
>> Pour la partie export des flows c'est trivial.
>> Mais pour la collecte/agrégation/classification, ça l'est nettement
>> moins.
>>
>> Quels outils/méthodes utilisez-vous ?
>>
>> Merci pour vos retours et belle journée !
>> Arnaud
>>
>>
>> ---
>> Liste de diffusion du FRnOG
>> http://www.frnog.org/
>
>
> ---
> Liste de diffusion du FRnOG
> http://www.frnog.org/


---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [TECH] Outil d'analyse pour IP mix

2018-06-12 Par sujet Julien Escario 
-BEGIN PGP SIGNED MESSAGE-
Hash: SHA512

Le 12/06/2018 à 17:17, Arnaud BRAND a écrit :
> Merci à tous pour vos réponses !
> 
> On a donc : - AS-Stats : simple et efficace - Stack ELK + Grafana : plus
> compliqué mais puissant - Elastiflow : qui semble être une version packagée
> et plutôt sexy du précédent, mais avec des besoins en ressources
> importants - Flowanalyzer : version packagée, mais semble disposer de moins
> de fonctionnalités, aucune idée des besoins.
> 
> Apparemment Elastiflow a la bonté de permettre en plus de faire des AS
> Lookups. Quelqu'un a essayé / sait comment le lookup est fait / sait si
> c'est efficace ?
> 
> Sinon, comment faites-vous quand vos f. routeurs ne remplissent pas les
> AS dans les flows (alors qu'ils ont une full-table en mémoire...) ?

Toi tu fais du Mikrotik ;-)

Chez nous, on a simplement rajouté "-m /var/lib/as-stats/ip2asn.json" à as-stats
d.

Le création du fichier json est un peu relou, surtout qu'il faudrait
actualiser régulièrement mais ca marche.
Avec d'abord ça :
https://github.com/manuelkasper/AS-Stats/raw/master/www/asinfo.txt

Bref, c'est lourd et ca prend du temps.

Du coup, si Elastiflow le fait naturellement, c'est un plus.

Ou alors, il faudrait un repository git pour mettre une version à jour à
disposition, générée chaque semaine par exemple. Pas encore eu le temps mais
ca se trouve peut être déjà.

Julien
-BEGIN PGP SIGNATURE-

iQIcBAEBCgAGBQJbH+cHAAoJEOWv2Do/MctuiJ8P/1FFuqeHU1L693DDfhehYjnL
d69ABGVk5cqA8lGaSVTzeb3CnEVf32l9OvjPnQWN0jOHaphmjjDu/Rcw5QhnY15P
PB66FgHJC6wiRANdOkc22BpgrMrnGdjHXkJv09MxH98hE6wtzmSOjZpAavYJ4Cn4
Jb6ViI9vO33eqks6YqMvv/QwAdf5hhzLdioqMllB5udCvE4qLDsZU6nKISSMDkmn
jCUi+4mMI/mvjLZOezbGnKX2sIU+oDaZILYKxZ9MQgulqodn4uqXp2PImEdsnqqS
I66D/HLieDgeV23TMvcZ714BWibbiPmFM2d0UHHzKvLCOGtqDTlGFxl0IZ9hl04y
krizQL44FIIrA2vRYu2oaPWFkFMxrIS2oLRxNI/MuKxLFMZweAznP3gq3atA+G8Q
ikpEBHU/+d+GbJWMOTVnxYOgGY7byDppAxMExSydV5uLXE8ZnVLdiqEEwvQtV42u
bKWAbQRMqUZeq4rNTwEtYb3aAGcxKHQhn9FcvAOn68nk5cX5fO/5K131cBLOVf3l
m+vtzdrg7hoxHFD1oMF26IiXbYOyx5nD0Fn66TngnsPxPIlzyQkVHqIflhyb/iUe
kCuSfObM3INIBMQ/doglvdu7vPOZqdplOIBimjSeQGF8wz7woxE9f1zXMo4O4P5U
zW/ID4vC2MGFOPHQpIzU
=tkUH
-END PGP SIGNATURE-


---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [TECH] Outil d'analyse pour IP mix

2018-06-12 Par sujet Arnaud BRAND 

Merci à tous pour vos réponses !

On a donc :
- AS-Stats : simple et efficace
- Stack ELK + Grafana : plus compliqué mais puissant
- Elastiflow : qui semble être une version packagée et plutôt sexy du 
précédent, mais avec des besoins en ressources importants
- Flowanalyzer : version packagée, mais semble disposer de moins de 
fonctionnalités, aucune idée des besoins.


Apparemment Elastiflow a la bonté de permettre en plus de faire des AS 
Lookups.
Quelqu'un a essayé / sait comment le lookup est fait / sait si c'est 
efficace ?


Sinon, comment faites-vous quand vos f. routeurs ne remplissent pas 
les AS dans les flows (alors qu'ils ont une full-table en mémoire...) ?


Le 2018-05-30 12:24, Arnaud BRAND a écrit :

Bonjour la liste,

Je viens puiser dans ton infinie expérience J

Je cherche des outils/méthodes pour identifier les AS qui constituent
le gros mon transit.
Ce pour ajuster au mieux mon mix et fournir le meilleur service au
meilleur prix.

Bêtement, je partais sur des flow.
Pour la partie export des flows c'est trivial.
Mais pour la collecte/agrégation/classification, ça l'est nettement 
moins.


Quels outils/méthodes utilisez-vous ?

Merci pour vos retours et belle journée !
Arnaud


---
Liste de diffusion du FRnOG
http://www.frnog.org/



---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [TECH] Outil d'analyse pour IP mix

2018-05-30 Par sujet Loic Chabert 
Environ 70/s et j'ai pas le netflow actif sur tous les ports, uniquement
sur les peering/transits.

Le 30 mai 2018 à 14:50, Hugues Voiturier  a
écrit :

> Ok, merci pour ce retour !
> C’est rassurant, t’as combien de flows par seconde si c’est pas indiscret
> ?
>
> Je vais tester ça aussi, je ferais un retour :)
>
> Hugues
> AS50628 - AS57199
>
> On 30 May 2018, at 14:40, Loic Chabert  wrote:
>
> J'en ai un en test et je tourne sur 2 CPU/4G RAM/38G de stockage utilisé.
>
> Je stocke actuellement 4,8 millions de flows.
>
> C'est pas ce qu'il y a de plus rapide quand je demande des graphs, mais
> c'est fonctionnel.
>
> Le 30 mai 2018 à 14:25, Hugues Voiturier  a
> écrit :
>
> Clairement, sur MilkyWan, petit AS sans prétention (moins d’1G de trafic
> pic) je suis à 1k flows en pic.
>
> Selon leur tableau, il me faudrait 8 coeurs, 32Go de RAM et 1,2To de
> stockage par mois.
> Pour monitorer 500Mbit/s de trafic… Ca sent le truc mal codé si ça se
> confirme.
> Finalement mon nfdump/sen ne consomme pas tant :)
>
> Hugues
> AS50628 - AS57199
>
> On 30 May 2018, at 14:21, Olivier Lange  wrote:
>
> Oui, super sympa comme outils.
>
> Par contre, 24Go de RAM pour 250 flow / s ??? Outch. Je vais tenter une
>
> installe sur une VM avec 8/16Go, on verra ce que ca donne!
>
>
> Olivier
>
> Le mer. 30 mai 2018 à 14:18, Hugues Voiturier 
> > a écrit :
>
> En effet, merci !
>
> Par contre les configs minimales… C’est vraiment sérieux ? Ça me semble
>
> énorme et pas vraiment a portée de main de tout le monde. Quelqu’un a des
> retours de ce que ça bouffe réellement ?
>
>
>
> Hugues
> AS50628 - AS57199
>
>
> On 30 May 2018, at 13:38, David Ponzone 
> > wrote:
>
>
> Sinon y a ça qui a l’air sympa aussi:
> https://github.com/robcowart/elastiflow 
> elastiflow>
>
>
>
>
> Le 30 mai 2018 à 13:33, Olivier Lange 
> olang...@gmail.com>> a écrit :
>
>
> Le mer. 30 mai 2018 à 13:04, Hugues Voiturier <
>
> hugues-lis...@milkywan.fr  >> a
>
> écrit :
>
> Salut !
>
> Version simple mais efficace : AS-Stats
> Version compliquée mais puissance : Stack ELK + Grafana.
> Faut que je m’y mette… :)
>
>
> Moi aussi... C'est dans le pipe, c'est juste qu'il y a jamais le
>
> temps de
>
> le faire...
>
> Faudrait trouver quelqu'un de motiver, qui fasse une conf type VM avec
> cette archi, et qu'il la revende, par exemple, ce serait top ;). Ou la
> mette sous licence libre, ca me va aussi, lol!
>
> Olivier
>
> ---
> Liste de diffusion du FRnOG
> http://www.frnog.org/ 
>
>
>
> ---
> Liste de diffusion du FRnOG
> http://www.frnog.org/ 
>
>
>
>
> ---
> Liste de diffusion du FRnOG
> http://www.frnog.org/
>
>
> ---
> Liste de diffusion du FRnOG
> http://www.frnog.org/
>
>
>

---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [TECH] Outil d'analyse pour IP mix

2018-05-30 Par sujet Hugues Voiturier 
Ok, merci pour ce retour !
C’est rassurant, t’as combien de flows par seconde si c’est pas indiscret ? 

Je vais tester ça aussi, je ferais un retour :)

Hugues
AS50628 - AS57199

> On 30 May 2018, at 14:40, Loic Chabert  wrote:
> 
> J'en ai un en test et je tourne sur 2 CPU/4G RAM/38G de stockage utilisé.
> 
> Je stocke actuellement 4,8 millions de flows.
> 
> C'est pas ce qu'il y a de plus rapide quand je demande des graphs, mais
> c'est fonctionnel.
> 
> Le 30 mai 2018 à 14:25, Hugues Voiturier  > a
> écrit :
> 
>> Clairement, sur MilkyWan, petit AS sans prétention (moins d’1G de trafic
>> pic) je suis à 1k flows en pic.
>> 
>> Selon leur tableau, il me faudrait 8 coeurs, 32Go de RAM et 1,2To de
>> stockage par mois.
>> Pour monitorer 500Mbit/s de trafic… Ca sent le truc mal codé si ça se
>> confirme.
>> Finalement mon nfdump/sen ne consomme pas tant :)
>> 
>> Hugues
>> AS50628 - AS57199
>>> On 30 May 2018, at 14:21, Olivier Lange  wrote:
>>> 
>>> Oui, super sympa comme outils.
>>> 
>>> Par contre, 24Go de RAM pour 250 flow / s ??? Outch. Je vais tenter une
>> installe sur une VM avec 8/16Go, on verra ce que ca donne!
>>> 
>>> Olivier
>>> 
>>> Le mer. 30 mai 2018 à 14:18, Hugues Voiturier > >> a 
>> écrit :
>>> En effet, merci !
>>> 
>>> Par contre les configs minimales… C’est vraiment sérieux ? Ça me semble
>> énorme et pas vraiment a portée de main de tout le monde. Quelqu’un a des
>> retours de ce que ça bouffe réellement ?
>>> 
>>> 
>>> Hugues
>>> AS50628 - AS57199
>>> 
>>> 
 On 30 May 2018, at 13:38, David Ponzone >>> 
>> >> wrote:
 
 Sinon y a ça qui a l’air sympa aussi:
 https://github.com/robcowart/elastiflow 
  
>> elastiflow>
 
 
 
> Le 30 mai 2018 à 13:33, Olivier Lange   > olang...@gmail.com >> a écrit :
> 
> Le mer. 30 mai 2018 à 13:04, Hugues Voiturier <
>> hugues-lis...@milkywan.fr  
>> >> a
> écrit :
> 
>> Salut !
>> 
>> Version simple mais efficace : AS-Stats
>> Version compliquée mais puissance : Stack ELK + Grafana.
>> Faut que je m’y mette… :)
>> 
> 
> Moi aussi... C'est dans le pipe, c'est juste qu'il y a jamais le
>> temps de
> le faire...
> 
> Faudrait trouver quelqu'un de motiver, qui fasse une conf type VM avec
> cette archi, et qu'il la revende, par exemple, ce serait top ;). Ou la
> mette sous licence libre, ca me va aussi, lol!
> 
> Olivier
> 
> ---
> Liste de diffusion du FRnOG
> http://www.frnog.org/   >
 
 
 ---
 Liste de diffusion du FRnOG
 http://www.frnog.org/  >
>>> 
>> 
>> 
>> ---
>> Liste de diffusion du FRnOG
>> http://www.frnog.org/ 
>> 
> 
> ---
> Liste de diffusion du FRnOG
> http://www.frnog.org/ 

---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [TECH] Outil d'analyse pour IP mix

2018-05-30 Par sujet Loic Chabert 
J'en ai un en test et je tourne sur 2 CPU/4G RAM/38G de stockage utilisé.

Je stocke actuellement 4,8 millions de flows.

C'est pas ce qu'il y a de plus rapide quand je demande des graphs, mais
c'est fonctionnel.

Le 30 mai 2018 à 14:25, Hugues Voiturier  a
écrit :

> Clairement, sur MilkyWan, petit AS sans prétention (moins d’1G de trafic
> pic) je suis à 1k flows en pic.
>
> Selon leur tableau, il me faudrait 8 coeurs, 32Go de RAM et 1,2To de
> stockage par mois.
> Pour monitorer 500Mbit/s de trafic… Ca sent le truc mal codé si ça se
> confirme.
> Finalement mon nfdump/sen ne consomme pas tant :)
>
> Hugues
> AS50628 - AS57199
> > On 30 May 2018, at 14:21, Olivier Lange  wrote:
> >
> > Oui, super sympa comme outils.
> >
> > Par contre, 24Go de RAM pour 250 flow / s ??? Outch. Je vais tenter une
> installe sur une VM avec 8/16Go, on verra ce que ca donne!
> >
> > Olivier
> >
> > Le mer. 30 mai 2018 à 14:18, Hugues Voiturier  > a écrit :
> > En effet, merci !
> >
> > Par contre les configs minimales… C’est vraiment sérieux ? Ça me semble
> énorme et pas vraiment a portée de main de tout le monde. Quelqu’un a des
> retours de ce que ça bouffe réellement ?
> >
> >
> > Hugues
> > AS50628 - AS57199
> >
> >
> > > On 30 May 2018, at 13:38, David Ponzone  > wrote:
> > >
> > > Sinon y a ça qui a l’air sympa aussi:
> > > https://github.com/robcowart/elastiflow  elastiflow>
> > >
> > >
> > >
> > >> Le 30 mai 2018 à 13:33, Olivier Lange  olang...@gmail.com>> a écrit :
> > >>
> > >> Le mer. 30 mai 2018 à 13:04, Hugues Voiturier <
> hugues-lis...@milkywan.fr > a
> > >> écrit :
> > >>
> > >>> Salut !
> > >>>
> > >>> Version simple mais efficace : AS-Stats
> > >>> Version compliquée mais puissance : Stack ELK + Grafana.
> > >>> Faut que je m’y mette… :)
> > >>>
> > >>
> > >> Moi aussi... C'est dans le pipe, c'est juste qu'il y a jamais le
> temps de
> > >> le faire...
> > >>
> > >> Faudrait trouver quelqu'un de motiver, qui fasse une conf type VM avec
> > >> cette archi, et qu'il la revende, par exemple, ce serait top ;). Ou la
> > >> mette sous licence libre, ca me va aussi, lol!
> > >>
> > >> Olivier
> > >>
> > >> ---
> > >> Liste de diffusion du FRnOG
> > >> http://www.frnog.org/ 
> > >
> > >
> > > ---
> > > Liste de diffusion du FRnOG
> > > http://www.frnog.org/ 
> >
>
>
> ---
> Liste de diffusion du FRnOG
> http://www.frnog.org/
>

---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [TECH] Outil d'analyse pour IP mix

2018-05-30 Par sujet Hugues Voiturier 
Clairement, sur MilkyWan, petit AS sans prétention (moins d’1G de trafic pic) 
je suis à 1k flows en pic. 

Selon leur tableau, il me faudrait 8 coeurs, 32Go de RAM et 1,2To de stockage 
par mois.
Pour monitorer 500Mbit/s de trafic… Ca sent le truc mal codé si ça se confirme. 
Finalement mon nfdump/sen ne consomme pas tant :)

Hugues
AS50628 - AS57199
> On 30 May 2018, at 14:21, Olivier Lange  wrote:
> 
> Oui, super sympa comme outils.
>  
> Par contre, 24Go de RAM pour 250 flow / s ??? Outch. Je vais tenter une 
> installe sur une VM avec 8/16Go, on verra ce que ca donne!
> 
> Olivier
> 
> Le mer. 30 mai 2018 à 14:18, Hugues Voiturier  > a écrit :
> En effet, merci !
> 
> Par contre les configs minimales… C’est vraiment sérieux ? Ça me semble 
> énorme et pas vraiment a portée de main de tout le monde. Quelqu’un a des 
> retours de ce que ça bouffe réellement ?
> 
> 
> Hugues
> AS50628 - AS57199
> 
> 
> > On 30 May 2018, at 13:38, David Ponzone  > > wrote:
> > 
> > Sinon y a ça qui a l’air sympa aussi:
> > https://github.com/robcowart/elastiflow 
> > 
> > 
> > 
> > 
> >> Le 30 mai 2018 à 13:33, Olivier Lange  >> > a écrit :
> >> 
> >> Le mer. 30 mai 2018 à 13:04, Hugues Voiturier  >> > a
> >> écrit :
> >> 
> >>> Salut !
> >>> 
> >>> Version simple mais efficace : AS-Stats
> >>> Version compliquée mais puissance : Stack ELK + Grafana.
> >>> Faut que je m’y mette… :)
> >>> 
> >> 
> >> Moi aussi... C'est dans le pipe, c'est juste qu'il y a jamais le temps de
> >> le faire...
> >> 
> >> Faudrait trouver quelqu'un de motiver, qui fasse une conf type VM avec
> >> cette archi, et qu'il la revende, par exemple, ce serait top ;). Ou la
> >> mette sous licence libre, ca me va aussi, lol!
> >> 
> >> Olivier
> >> 
> >> ---
> >> Liste de diffusion du FRnOG
> >> http://www.frnog.org/ 
> > 
> > 
> > ---
> > Liste de diffusion du FRnOG
> > http://www.frnog.org/ 
> 


---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [TECH] Outil d'analyse pour IP mix

2018-05-30 Par sujet Olivier Lange 
Oui, super sympa comme outils.

Par contre, 24Go de RAM pour 250 flow / s ??? Outch. Je vais tenter une
installe sur une VM avec 8/16Go, on verra ce que ca donne!

Olivier

Le mer. 30 mai 2018 à 14:18, Hugues Voiturier  a
écrit :

> En effet, merci !
>
> Par contre les configs minimales… C’est vraiment sérieux ? Ça me semble
> énorme et pas vraiment a portée de main de tout le monde. Quelqu’un a des
> retours de ce que ça bouffe réellement ?
>
>
> Hugues
> AS50628 - AS57199
>
>
> > On 30 May 2018, at 13:38, David Ponzone  wrote:
> >
> > Sinon y a ça qui a l’air sympa aussi:
> > https://github.com/robcowart/elastiflow
> >
> >
> >
> >> Le 30 mai 2018 à 13:33, Olivier Lange  a écrit :
> >>
> >> Le mer. 30 mai 2018 à 13:04, Hugues Voiturier <
> hugues-lis...@milkywan.fr> a
> >> écrit :
> >>
> >>> Salut !
> >>>
> >>> Version simple mais efficace : AS-Stats
> >>> Version compliquée mais puissance : Stack ELK + Grafana.
> >>> Faut que je m’y mette… :)
> >>>
> >>
> >> Moi aussi... C'est dans le pipe, c'est juste qu'il y a jamais le temps
> de
> >> le faire...
> >>
> >> Faudrait trouver quelqu'un de motiver, qui fasse une conf type VM avec
> >> cette archi, et qu'il la revende, par exemple, ce serait top ;). Ou la
> >> mette sous licence libre, ca me va aussi, lol!
> >>
> >> Olivier
> >>
> >> ---
> >> Liste de diffusion du FRnOG
> >> http://www.frnog.org/
> >
> >
> > ---
> > Liste de diffusion du FRnOG
> > http://www.frnog.org/
>
>

---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [TECH] Outil d'analyse pour IP mix

2018-05-30 Par sujet Hugues Voiturier 
En effet, merci !

Par contre les configs minimales… C’est vraiment sérieux ? Ça me semble énorme 
et pas vraiment a portée de main de tout le monde. Quelqu’un a des retours de 
ce que ça bouffe réellement ?


Hugues
AS50628 - AS57199


> On 30 May 2018, at 13:38, David Ponzone  wrote:
> 
> Sinon y a ça qui a l’air sympa aussi:
> https://github.com/robcowart/elastiflow
> 
> 
> 
>> Le 30 mai 2018 à 13:33, Olivier Lange  a écrit :
>> 
>> Le mer. 30 mai 2018 à 13:04, Hugues Voiturier  a
>> écrit :
>> 
>>> Salut !
>>> 
>>> Version simple mais efficace : AS-Stats
>>> Version compliquée mais puissance : Stack ELK + Grafana.
>>> Faut que je m’y mette… :)
>>> 
>> 
>> Moi aussi... C'est dans le pipe, c'est juste qu'il y a jamais le temps de
>> le faire...
>> 
>> Faudrait trouver quelqu'un de motiver, qui fasse une conf type VM avec
>> cette archi, et qu'il la revende, par exemple, ce serait top ;). Ou la
>> mette sous licence libre, ca me va aussi, lol!
>> 
>> Olivier
>> 
>> ---
>> Liste de diffusion du FRnOG
>> http://www.frnog.org/
> 
> 
> ---
> Liste de diffusion du FRnOG
> http://www.frnog.org/


---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [TECH] Outil d'analyse pour IP mix

2018-05-30 Par sujet David Ponzone 
Sinon y a ça qui a l’air sympa aussi:
https://github.com/robcowart/elastiflow



> Le 30 mai 2018 à 13:33, Olivier Lange  a écrit :
> 
> Le mer. 30 mai 2018 à 13:04, Hugues Voiturier  a
> écrit :
> 
>> Salut !
>> 
>> Version simple mais efficace : AS-Stats
>> Version compliquée mais puissance : Stack ELK + Grafana.
>> Faut que je m’y mette… :)
>> 
> 
> Moi aussi... C'est dans le pipe, c'est juste qu'il y a jamais le temps de
> le faire...
> 
> Faudrait trouver quelqu'un de motiver, qui fasse une conf type VM avec
> cette archi, et qu'il la revende, par exemple, ce serait top ;). Ou la
> mette sous licence libre, ca me va aussi, lol!
> 
> Olivier
> 
> ---
> Liste de diffusion du FRnOG
> http://www.frnog.org/


---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [TECH] Outil d'analyse pour IP mix

2018-05-30 Par sujet Olivier Lange 
Le mer. 30 mai 2018 à 13:04, Hugues Voiturier  a
écrit :

> Salut !
>
> Version simple mais efficace : AS-Stats
> Version compliquée mais puissance : Stack ELK + Grafana.
> Faut que je m’y mette… :)
>

Moi aussi... C'est dans le pipe, c'est juste qu'il y a jamais le temps de
le faire...

Faudrait trouver quelqu'un de motiver, qui fasse une conf type VM avec
cette archi, et qu'il la revende, par exemple, ce serait top ;). Ou la
mette sous licence libre, ca me va aussi, lol!

Olivier

---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [TECH] Outil d'analyse pour IP mix

2018-05-30 Par sujet Hugues Voiturier 
Salut !

Version simple mais efficace : AS-Stats
Version compliquée mais puissance : Stack ELK + Grafana. 
Faut que je m’y mette… :)

Hugues
AS50628 - AS57199

> On 30 May 2018, at 12:24, Arnaud BRAND  wrote:
> 
> Bonjour la liste,
> 
> Je viens puiser dans ton infinie expérience J
> 
> Je cherche des outils/méthodes pour identifier les AS qui constituent le gros 
> mon transit.
> Ce pour ajuster au mieux mon mix et fournir le meilleur service au meilleur 
> prix.
> 
> Bêtement, je partais sur des flow.
> Pour la partie export des flows c'est trivial.
> Mais pour la collecte/agrégation/classification, ça l'est nettement moins.
> 
> Quels outils/méthodes utilisez-vous ?
> 
> Merci pour vos retours et belle journée !
> Arnaud
> 
> 
> ---
> Liste de diffusion du FRnOG
> http://www.frnog.org/


---
Liste de diffusion du FRnOG
http://www.frnog.org/

[FRnOG] [TECH] Outil d'analyse pour IP mix

2018-05-30 Par sujet Arnaud BRAND 

Bonjour la liste,

Je viens puiser dans ton infinie expérience J

Je cherche des outils/méthodes pour identifier les AS qui constituent le 
gros mon transit.
Ce pour ajuster au mieux mon mix et fournir le meilleur service au 
meilleur prix.


Bêtement, je partais sur des flow.
Pour la partie export des flows c'est trivial.
Mais pour la collecte/agrégation/classification, ça l'est nettement 
moins.


Quels outils/méthodes utilisez-vous ?

Merci pour vos retours et belle journée !
Arnaud


---
Liste de diffusion du FRnOG
http://www.frnog.org/