Re: [FRsAG] Nginx et son invalidation de cache
On 10/02/2015 16:19, Manu wrote: Le 10/02/2015 16:14, Luc Didry a écrit : Je m'inscris en faux: on peut tout à fait demander à Varnish de cacher sur disque. Je crois même que l'exemple est dans le /etc/default/varnish de Debian, commenté en bas du fichier. Mais y'a une perte de performance non ? acceptable ? Par rapport à Varnish en Ram ? Un poil, mais très acceptable (sans compter que c'est varnish ou plus de site vu qu'il s'écroulait sous la charge). De toute façon, vu que varnish accélere à mort le site qui était derrière, ram ou disque, c'est kif kif. Au passage : Hello, je suis Luc/Sky/Framasky, tous en coeur Bonjour Luc /tous en coeur Au passage, je suis Manu, AdminSys et réseau (tant qu'à faire) pour une asso développant l'usage des TIC et basée dans le Bas-Rhin :-) Hello Manu :-) -- Luc http://www.fiat-tux.fr/ Internet n'est pas compliqué, Internet est ce que vous en faites. signature.asc Description: OpenPGP digital signature ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Presta pour maintenance informatique (petite structure) ?
je suis en train de monter une structure associative pour justement s'occuper de ce genre de besoins. Ca ne te dérange pas d'annoncer sur une liste de prestas que tu vas monter une structure associative (donc non soumise à tout un tas de charges) pour faire concurrence à des prestataires ? Il faudrait arrêter avec les assos non lucratives, y'a un moment, on va commencer à parler de concurrence déloyale là. Bref, il y a vraiment une ligne floue là dessus : ça peut être fait avec les meilleures intentions du monde et détruire quand même de l'emploi au final. Effectivement en structure associative c est a la limite de la concurrence deloyale, et possiblement a la limite de la legalite, les associations ne sont pas vraiement faites pour vendre des services. Par contre la mutualisation de competences et l elimination des intermediaires trop avides restent un but interessant, et pour cela une structure de type SCIC ( Societe Cooperative d Interet collectif ) serait parfaite et c est justement une piste que j explore depuis pas loin de 10 ans, j en profite donc pour vous donner quelques liens sur le sujet SCIC et le projet neoskills : http://www.les-scic.coop/sites/fr/les-scic/les-scic/qu-est-ce-qu-une-scic.html La proposition de status ( lire surtout les objectifs et le systeme de fonctionnement en colleges, le reste est essentiellement du blabla standard ).: http://xena.ww7.be/neoskills/html/BP/statuts/statuts.html#id3397471 http://xena.ww7.be/neoskills/html/BP/statuts/statuts.html#id3397682 ainsi que quelques elements de business plan pour ceux que ca interesse : http://xena.ww7.be/neoskills/html/BP/ Le projet n est toujours qu un projet en discussion,meme si les status ont ete valides par un avocat specialise, et un premier tour de table il y a environ 5 ans avait reuni environ 20 keur de souscriptions, le nombre de partenaires n etait pas suffisant pour se lancer en toute securite; de plus, si en tant que porteur principal du projet, j acceptai d etre cogerant, je ne souhaite en aucun cas etre gerant majoritaire. Un autre point est qu il me semble necessaire d avoir au minimum une collectivite territoriale dans les partenaires pour demarrer le projet dans de bonnes conditions. Actuellement on pense ( notamment ) a ajouter dans le business plan des aspects crowdfunding. Le projet est ouvert a toutes suggestions et ameliorations; pour ceux d entre vous qui sont deja sur freenode #frsag , n hesite pas a rejoindre le canal #neoskills pour en causer si le projet vous interesse ( c est un repaire de geeks., devs et sysadmins philosophes ). ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Postfix relayhost : bounce et champ from vide
Bon j'ai pas regardé totalement les choses mais si tu ne faisais pas de SMTP Auth et que ton serveur SMTP interne se comportais comme un MX standard tu n'aurais pas ce pb. Clairement ! Mais ma connexion ne me permet pas d'être un MX standard, je risque trop d'être pris pour un spammeur (2 machin box en répartition de charge, pas d'ip fixe...) Et d'ailleurs un mail from: = bounce, peut-être qu'il faudrait regarder pourquoi ton serveur de mail interne génére ce genre de choses ? (En général c'est quand un il y a une erreur ou un truc comme ça)... Autant que j'ai pu pister, se sont majoritairement des erreurs dans le champs to que mes utilisateurs produisent exemple : toto...@domaine.com Exemple : Feb 10 10:15:12 srvtoto postfix/smtp[9443]: A5AF113D47C4: to=totot...@domaine.com, relay=smtp.domaine.com[213.186.33.20]:25, delay=0.68, delays=0.13/0/0.38/0.18, dsn=5.0.0, status=bounced (host smtp.domaine.com[213.186.33.20] said: 555 syntax error (#5.5.4) (in reply to RCPT TO command)) J'étais en train de me dire que la solution serait peut être de désactiver la vérification de syntax sur mon postfix et laisser le SMTP d'OVH répondre... Sauf que j'ai l'impression que c'est déjà lui qui dit syntax error !? ça cause quand vers OVH quand je fais un tcpdump au moment de la syntax error. Sinon il faudrait que ça soit mon relay smtp qui vérifie la syntax avant même d'accepter le message ? Belle journée, Xavier Beaudouin k...@oav.net a écrit : Hello, (...) Je viens de tester en mettant host.domaine.com, domaine.com dans toutes les combinaisons possible avec le myhostname myorigin... Pas mieux, toujours un champs from vide... (...) smtp.domaine.com[213.186.33.20] said: 555 sorry, invalid MAIL FROM for smtpauth session (http://travaux.ovh.net/?do=detailsid=5510) Enfin, clairement le ticket OVH est assez clair la dessus : un champ mail from: et SMTP Auth sont interdit... Bon j'ai pas regardé totalement les choses mais si tu ne faisais pas de SMTP Auth et que ton serveur SMTP interne se comportais comme un MX standard tu n'aurais pas ce pb. Et d'ailleurs un mail from: = bounce, peut-être qu'il faudrait regarder pourquoi ton serveur de mail interne génére ce genre de choses ? (En général c'est quand un il y a une erreur ou un truc comme ça)... My 0,02€ /Xavier ___ Liste de diffusion du FRsAG http://www.frsag.org/ ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Postfix relayhost : bounce et champ from vide
Le 2015-02-10 08:53, Xavier Beaudouin a écrit : Hello, (...) Je viens de tester en mettant host.domaine.com, domaine.com dans toutes les combinaisons possible avec le myhostname myorigin... Pas mieux, toujours un champs from vide... (...) smtp.domaine.com[213.186.33.20] said: 555 sorry, invalid MAIL FROM for smtpauth session (http://travaux.ovh.net/?do=detailsid=5510) Enfin, clairement le ticket OVH est assez clair la dessus : un champ mail from: et SMTP Auth sont interdit... Bon j'ai pas regardé totalement les choses mais si tu ne faisais pas de SMTP Auth et que ton serveur SMTP interne se comportais comme un MX standard tu n'aurais pas ce pb. Et d'ailleurs un mail from: = bounce, peut-être qu'il faudrait regarder pourquoi ton serveur de mail interne génére ce genre de choses ? (En général c'est quand un il y a une erreur ou un truc comme ça)... My 0,02€ Le problème ne se situe-t-il pas au niveau des champs entre l'adresse au niveau de l'enveloppe et l'adresse au niveau du message lui-même qui ne sont pas tous les deux identiques ? Cordialement, JYL ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Presta pour maintenance informatique (petite structure) ?
Le 10/02/2015 11:39, Alexandre Legrix a écrit : Salut. On 02/10/15 11:09, Xavier Beaudouin wrote: Tiens en parlant d'association, il y a des asso loi 1901, qui jouent aussi dans le lucratif avec des montages particuliers: France IX en est une... Pourtant là personne viens ronchonner. Quid des Hébergeurs Associatifs, ils concurrencent OVH ? Quid des FAI associatif, C'est vrai que FDN concurrence les agrumes et les frites ? ;-) Ben ma foi, à un moment, on peut se poser la question. C'est pour ça que je parle de 'ligne floue'. Rien n'est illégal, on est d'accords mais à quel moment la ligne est franchie, c'est toujours une question d'interprétation. Concernant FranceIX, ils occupent selon moi une niche qui n'est pas adressée par le business traditionnel. Donc dans un cas comme celui-ci ou quand l'offre ne répond pas à la demande, ça ne pose pas de problème. Concernant les hébergeurs associatifs, oui, on a eu le cas : ils nous piquent du marché avec des moyens souvent douteux et le président (parce qu'en général, ce sont des assoces avec juste un président) se rémunère en nature voir au black. C'est du vécu et là, clairement, la ligne est franchie pour moi. Encore une fois, un groupement de prestas qui s'unissent et font un GIE, c'est cohérent. Une assoce qui se monte en disant : on va fédérer un réseau national de prestas, communiquer, facturer, reverser, avoir des salariés, etc ... on sort du cadre non lucratif au sens de la loi et ça pue. Bref, faites des assoces, c'est une bonne chose mais gardez toujours à l'esprit qu'il y a des boites en face qui ont aussi besoin de payer leurs salariés, leurs frais et leurs charges ... Il est très facile de glisser et les DDCCRF devraient, selon moi, être garantes de ce genre de problèmes. Julien ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Postfix relayhost : bounce et champ from vide
Salut, Bon j'ai pas regardé totalement les choses mais si tu ne faisais pas de SMTP Auth et que ton serveur SMTP interne se comportais comme un MX standard tu n'aurais pas ce pb. Clairement ! Mais ma connexion ne me permet pas d'être un MX standard, je risque trop d'être pris pour un spammeur (2 machin box en répartition de charge, pas d'ip fixe...) Ha bah, mauvais ISP: changer d'ISP comme on dirais sur FRnOG. Et d'ailleurs un mail from: = bounce, peut-être qu'il faudrait regarder pourquoi ton serveur de mail interne génére ce genre de choses ? (En général c'est quand un il y a une erreur ou un truc comme ça)... Autant que j'ai pu pister, se sont majoritairement des erreurs dans le champs to que mes utilisateurs produisent exemple : toto...@domaine.com Exemple : Feb 10 10:15:12 srvtoto postfix/smtp[9443]: A5AF113D47C4: to=totot...@domaine.com, relay=smtp.domaine.com[213.186.33.20]:25, delay=0.68, delays=0.13/0/0.38/0.18, dsn=5.0.0, status=bounced (host smtp.domaine.com[213.186.33.20] said: 555 syntax error (#5.5.4) (in reply to RCPT TO command)) Et heu... Activer justement cette syntaxe sur ton postfix local, ne serait-il pas mieux ? Accessoirement éduquer aussi tes utilisateurs ... (je suis quasi sûr que ce sont des outlook users...). J'étais en train de me dire que la solution serait peut être de désactiver la vérification de syntax sur mon postfix et laisser le SMTP d'OVH répondre... Sauf que j'ai l'impression que c'est déjà lui qui dit syntax error !? ça cause quand vers OVH quand je fais un tcpdump au moment de la syntax error. Sinon il faudrait que ça soit mon relay smtp qui vérifie la syntax avant même d'accepter le message ? La *clairement*. Xavier ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Presta pour maintenance informatique (petite structure) ?
Salut. On 02/10/15 11:09, Xavier Beaudouin wrote: Tiens en parlant d'association, il y a des asso loi 1901, qui jouent aussi dans le lucratif avec des montages particuliers: France IX en est une... Pourtant là personne viens ronchonner. Quid des Hébergeurs Associatifs, ils concurrencent OVH ? Quid des FAI associatif, C'est vrai que FDN concurrence les agrumes et les frites ? ;-) Moi je trouve ça bien qu'une structure associative se monte pour aider les étudiants a se faire rémunérer leurs prestations informatique. Lorsque j'ai démarré l'informatique il y a très longtemps, tout le monde me demandait des coups de mains. Je ne savais plus comment refuser ... Si une association de ce type avait existé a l’époque, j'aurai pu rediriger tout mon surplus vers elle, et j'aurai pu me faire rémunérer (a l’époque ou j’étais étudiant j'aurai bien aimé pouvoir me faire un peu payer) autrement qu'en apéritif. Et comme le souligne Xavier, de toute façon les structures qui vont s'aider de cette association pour manager leurs outils informatique ne vont pas forcement avoir les moyens de payer un professionnel. De plus, lorsque tu fais appels a un prestataire associatif tu t'attends a y trouver des solutions plus Green et/ou plus engagées éthiquement parlant, qu'en faisant appel a un professionnel qui doit bien entendu garder a l'esprit sa marge. (et c'est normal) Le fait de monter ce type de structure ne peut que renforcer l'offre, la demande étant tellement énorme que tous les petits cousins et cousins de vos cousins s'y connaissant un peu en informatique pourrait passer l’intégralité de leurs week end a ne faire que ça ! Cordialement. ___ Liste de diffusion du FRsAG http://www.frsag.org/
[FRsAG] Nginx et son invalidation de cache
Bonjour, Maintenant que je parviens à gérer la durée de vie du cache nginx, je me heurte à un nouveau problème : son invalidation conditionnelle. Je m'explique : nous avons mis en place un frontal qui ne fait que du cache de ressources statiques avec nginx. Ca soulage les backend web et c'est plus rapide (on met le cache en ramdisk et on regarde pour du memcached). Tous contents, on est partis sur des valeurs astronomiques de cache des ressources statiques (genre 7 jours). Rapidement, on s'est fait engueulés parce que machin qui avait rajouté trois couleurs sur son bandeau de pub devait attendre 7 jours pour que ce soit visible. Alors on a rajouté la directive proxy_cache_bypass qui permet d'invalider une ressource cachées via une requête spécifique. Très bien, sauf qu'un jour on nous a demandé de pouvoir invalider le cache d'un grand nombre de fichiers d'un coup et on a dû scripter le truc avec du curl. J'aimerais bien passer la seconde là dessus en invalidant le cache d'un fichier statique automatiquement lorsque le fichier change sur le disque. La première qui me vient en tête est inotify : on monitore le filesystem et on génère une requête d'invalidation à chaque fois qu'un fichier statique change (avec le timestamp unix). Ca paraît faisable sur le papier mais je me demande si mon idée ne va pas se transformer en usine à gaz. Pour le moment, on a mis un cache à 5 min mais du coup, le cache commence gentiment à perdre de son intérêt, à part en cas de pic de consultation des sites. Du coup, est-ce quelqu'un a déjà rencontré/résolu ce type de problématique et peut partager ses conclusions ? Merci d'avance, Julien ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Presta pour maintenance informatique (petite structure) ?
Le 10/02/2015 11:58, Julien Escario a écrit : Bref, faites des assoces, c'est une bonne chose mais gardez toujours à l'esprit qu'il y a des boites en face qui ont aussi besoin de payer leurs salariés, leurs frais et leurs charges ... Tu cites les asso, mais peut être peut on aussi évoquer des cas où des très gros cassent un tarif juste pour entrer sur un marché/dans une boîte ? :-) -- Manu Jacquet ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Nginx et son invalidation de cache
On 02/10/2015 02:33 PM, Julien Escario wrote: Le 10/02/2015 12:21, Pierre DOLIDON a écrit : Pourquoi monter du cache Nginx dans un ramdisk ? Pourquoi ne pas plutôt utiliser Varnish (-s malloc,12G par exemple), puis utiliser son ACL purge et/ou son secret... C'est quand même plus prévu pour que NginX (et il m'avait semblé lire que varnish était plus performant que nginx pour du cache statique)... J'ai d'assez mauvais souvenirs sur mes premiers essais avec Varnish. Rien d'insurmontable mais bien écrire les règles de cache m'avait paru particulièrement compliqué. Après, en terme de perf, je n'ai pas de benchmark mais à mon avis, on joue dans le %. Et sur l'invalidation, on en revient toujours à la même chose : comment informer automatiquement le cache qu'il faut qu'il invalide tel ou tel fichier ? Automatiquement, je sais pas trop, par contre, dans Varnish il y a une command line: varnishadm. http://opensourcehacker.com/2013/02/07/varnish-shell-singleliners-reload-config-purge-cache-and-test-hits/ https://www.varnish-cache.org/docs/3.0/tutorial/purging.html#bans Julien ___ Liste de diffusion du FRsAG http://www.frsag.org/ ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Presta pour maintenance informatique (petite structure) ?
Oui, le fonctionnement d'une asso n'est pas si différent d'une entreprise dès qu'on s'astreint à un résultat commercial Curieusement je suis sûr que des entreprises présentent sur cette ML ont des associations dans leur clientèle. Ca ne semble pas leur poser de difficultés, du moment que ça paie :) Et puis, en passant, de nos jours, il n'y a pas que les étudiants, jeunes diplômés qu'il faut aider. Il y a aussi des jeunes seniors sur la touche. Régis Le 10 février 2015 12:32, Mihamina RAKOTOMANDIMBY mihamina.rakotomandi...@rktmb.org a écrit : On 02/10/2015 12:56 PM, Julien Escario wrote: Ca ne te dérange pas d'annoncer sur une liste de prestas que tu vas monter une structure associative (donc non soumise à tout un tas de charges) pour faire concurrence à des prestataires ? Bonjour, Eh bien... On en est encore là ? :-) Je me rappelle que ce type de débat avait eu lieu dans quasiment toutes les ML de sysadmin Fr (oui, les assos 1901 sont typiques du pays) que j'ai fréquenté. Il y avait le RHIEN, et les autres... C'était quoi... dans les années 2000!? Il y a des traditions qui perdurent, dites donc. Restons cools ;-) ___ Liste de diffusion du FRsAG http://www.frsag.org/ ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Nginx et son invalidation de cache
Bonjour, As-tu envisager de prendre le problème à l'envers ? :-) Au lieu de partir dans le développement d'une usine à gaz, tu ne pourrais pas demander à tes clients de versionner leur bandeau de pub / images / fichiers statiques ? Tout est possible à ce niveau, rajouter -vXXX à la fin du fichier, le md5 du fichier etc etc... Comme ça tu leur laisse gérer totalement leur cache via une mise à jour de leur code / CSS. Le problème de vider le cache est que ça peut prendre un temps fou, lors de l'action, mais aussi pour la validation de ton script. Personnellement, c'est ce qu'on fait ici chez Watchever (service de SVOD allemand, concurrent européen de Netflix), donc autant te dire que la gestion du cache, c'est une partie de mon quotidien. Au final avec cette solution on a gagné du temps et de la souplesse ! Hésite pas si tu as des questions. ++ Le 10 février 2015 11:47, Julien Escario esca...@azylog.net a écrit : Bonjour, Maintenant que je parviens à gérer la durée de vie du cache nginx, je me heurte à un nouveau problème : son invalidation conditionnelle. Je m'explique : nous avons mis en place un frontal qui ne fait que du cache de ressources statiques avec nginx. Ca soulage les backend web et c'est plus rapide (on met le cache en ramdisk et on regarde pour du memcached). Tous contents, on est partis sur des valeurs astronomiques de cache des ressources statiques (genre 7 jours). Rapidement, on s'est fait engueulés parce que machin qui avait rajouté trois couleurs sur son bandeau de pub devait attendre 7 jours pour que ce soit visible. Alors on a rajouté la directive proxy_cache_bypass qui permet d'invalider une ressource cachées via une requête spécifique. Très bien, sauf qu'un jour on nous a demandé de pouvoir invalider le cache d'un grand nombre de fichiers d'un coup et on a dû scripter le truc avec du curl. J'aimerais bien passer la seconde là dessus en invalidant le cache d'un fichier statique automatiquement lorsque le fichier change sur le disque. La première qui me vient en tête est inotify : on monitore le filesystem et on génère une requête d'invalidation à chaque fois qu'un fichier statique change (avec le timestamp unix). Ca paraît faisable sur le papier mais je me demande si mon idée ne va pas se transformer en usine à gaz. Pour le moment, on a mis un cache à 5 min mais du coup, le cache commence gentiment à perdre de son intérêt, à part en cas de pic de consultation des sites. Du coup, est-ce quelqu'un a déjà rencontré/résolu ce type de problématique et peut partager ses conclusions ? Merci d'avance, Julien ___ Liste de diffusion du FRsAG http://www.frsag.org/ -- Ludovic Cartier ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Presta pour maintenance informatique (petite structure) ?
Le 10/02/2015 12:01, Manu a écrit : Le 10/02/2015 11:58, Julien Escario a écrit : Bref, faites des assoces, c'est une bonne chose mais gardez toujours à l'esprit qu'il y a des boites en face qui ont aussi besoin de payer leurs salariés, leurs frais et leurs charges ... Tu cites les asso, mais peut être peut on aussi évoquer des cas où des très gros cassent un tarif juste pour entrer sur un marché/dans une boîte ? :-) Ce n'est guère reluisant non plus mais c'est une stratégie, un business model qui leur appartient et ils payent ce qu'ils doivent à la société (hum, en théorie du moins). Mon expérience a montrée que généralement, ce n'est pas très viable à long terme sauf quand tu es vraiment très gros. Julien ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Presta pour maintenance informatique (petite structure) ?
Le 10/02/2015 12:01, Damien MICHAUDET a écrit : Qui te dit que nous prendrions une com ? Les buts sont de laisser les petites structures se focaliser sur leur travail et non leurs outils, et de permettre à des étudiants bidouilleurs de gagner en expérience, et se faire un peu de blé. Je ne connais aucune entreprise tournée vers les profits qui a ces objectifs, donc je ne vois pas à quel moment on entre en concurrence. On vous laisse le terrain de l'argent, on occupe celui de l'aide aux petites structures à avoir de l'informatique utile et à bas coût. Si une structure dont on s'occupe grossit, et a des besoins en terme de SLA, support, astreinte, etc, eh bien je pense qu'elle n'aurait plus besoin d'une asso comme nous. On ne vient donc pas en concurrence directe, au contraire on fait en sorte que les petites boites se focalisent sur leur métier :) Bah, écoute, on ne va pas épiloguer. A la lecture de ton message, j'avais tendance à penser que les objectifs étaient limite-limite par rapport au marché. Maintenant, c'est dans le diable que se cache le diable donc il ne tient qu'à vous de faire les choses dans de bonnes conditions au démarrage mais surtout à faire attention à un glissement vers des pratiques plus douteuses. Mais je ne suis pas au bureau, c'est lui qui devra gérer ça. Je voulais juste t'interpeller sur cet aspect. Après, longue vie à votre association si elle permet de combler un manque ! Julien ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Presta pour maintenance informatique (petite structure) ?
Le 10/02/2015 12:08, Julien Escario a écrit : Maintenant, c'est dans le diable que se cache le diable donc il ne tient qu'à Moui moui moui, ça tout le monde l'aurait deviné. Je voulais dire détail, bien entendu ... Julien ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Nginx et son invalidation de cache
Bonjour, il n'y a pas moyen d'integrer un API pour flusher le cache NGINX, pour que ca soit intégré au CMS de ton client des qu'il y'a une modification d'image ? Sinon la modification par inotify doit etre faisable, on y a pensé dans le cas ou on hébergerait l'origine CDN de nos clients. Cordialement, Damien Wetzel Ludovic Cartier writes: Bonjour, As-tu envisager de prendre le problème à l'envers ? :-) Au lieu de partir dans le développement d'une usine à gaz, tu ne pourrais pas demander à tes clients de versionner leur bandeau de pub / images / fichiers statiques ? Tout est possible à ce niveau, rajouter -vXXX à la fin du fichier, le md5 du fichier etc etc... Comme ça tu leur laisse gérer totalement leur cache via une mise à jour de leur code / CSS. Le problème de vider le cache est que ça peut prendre un temps fou, lors de l'action, mais aussi pour la validation de ton script. Personnellement, c'est ce qu'on fait ici chez Watchever (service de SVOD allemand, concurrent européen de Netflix), donc autant te dire que la gestion du cache, c'est une partie de mon quotidien. Au final avec cette solution on a gagné du temps et de la souplesse ! Hésite pas si tu as des questions. ++ Le 10 février 2015 11:47, Julien Escario esca...@azylog.net a écrit : Bonjour, Maintenant que je parviens à gérer la durée de vie du cache nginx, je me heurte à un nouveau problème : son invalidation conditionnelle. Je m'explique : nous avons mis en place un frontal qui ne fait que du cache de ressources statiques avec nginx. Ca soulage les backend web et c'est plus rapide (on met le cache en ramdisk et on regarde pour du memcached). Tous contents, on est partis sur des valeurs astronomiques de cache des ressources statiques (genre 7 jours). Rapidement, on s'est fait engueulés parce que machin qui avait rajouté trois couleurs sur son bandeau de pub devait attendre 7 jours pour que ce soit visible. Alors on a rajouté la directive proxy_cache_bypass qui permet d'invalider une ressource cachées via une requête spécifique. Très bien, sauf qu'un jour on nous a demandé de pouvoir invalider le cache d'un grand nombre de fichiers d'un coup et on a dû scripter le truc avec du curl. J'aimerais bien passer la seconde là dessus en invalidant le cache d'un fichier statique automatiquement lorsque le fichier change sur le disque. La première qui me vient en tête est inotify : on monitore le filesystem et on génère une requête d'invalidation à chaque fois qu'un fichier statique change (avec le timestamp unix). Ca paraît faisable sur le papier mais je me demande si mon idée ne va pas se transformer en usine à gaz. Pour le moment, on a mis un cache à 5 min mais du coup, le cache commence gentiment à perdre de son intérêt, à part en cas de pic de consultation des sites. Du coup, est-ce quelqu'un a déjà rencontré/résolu ce type de problématique et peut partager ses conclusions ? Merci d'avance, Julien ___ Liste de diffusion du FRsAG http://www.frsag.org/ -- Ludovic Cartier -- ___ Liste de diffusion du FRsAG http://www.frsag.org/ -- Pour une bonne sante en 2015 visitez http://www.sereni.tv/ ~ Damien WETZEL (ATANAR TECHNOLOGIES)(`-/)_.-'``-._ http://www.atanar.com . . `; -._)-;-,_`) (v_,)' _ )`-.\ ``-' Phone:+33 9 67 35 09 05_.- _..-_/ / ((.' - So much to do, so little time - ((,.-' ((,/ ~ ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Presta pour maintenance informatique (petite structure) ?
Qui te dit que nous prendrions une com ? Les buts sont de laisser les petites structures se focaliser sur leur travail et non leurs outils, et de permettre à des étudiants bidouilleurs de gagner en expérience, et se faire un peu de blé. Je ne connais aucune entreprise tournée vers les profits qui a ces objectifs, donc je ne vois pas à quel moment on entre en concurrence. On vous laisse le terrain de l'argent, on occupe celui de l'aide aux petites structures à avoir de l'informatique utile et à bas coût. Si une structure dont on s'occupe grossit, et a des besoins en terme de SLA, support, astreinte, etc, eh bien je pense qu'elle n'aurait plus besoin d'une asso comme nous. On ne vient donc pas en concurrence directe, au contraire on fait en sorte que les petites boites se focalisent sur leur métier :) ++ 2015-02-10 11:58 GMT+01:00 Julien Escario esca...@azylog.net: Le 10/02/2015 11:39, Alexandre Legrix a écrit : Salut. On 02/10/15 11:09, Xavier Beaudouin wrote: Tiens en parlant d'association, il y a des asso loi 1901, qui jouent aussi dans le lucratif avec des montages particuliers: France IX en est une... Pourtant là personne viens ronchonner. Quid des Hébergeurs Associatifs, ils concurrencent OVH ? Quid des FAI associatif, C'est vrai que FDN concurrence les agrumes et les frites ? ;-) Ben ma foi, à un moment, on peut se poser la question. C'est pour ça que je parle de 'ligne floue'. Rien n'est illégal, on est d'accords mais à quel moment la ligne est franchie, c'est toujours une question d'interprétation. Concernant FranceIX, ils occupent selon moi une niche qui n'est pas adressée par le business traditionnel. Donc dans un cas comme celui-ci ou quand l'offre ne répond pas à la demande, ça ne pose pas de problème. Concernant les hébergeurs associatifs, oui, on a eu le cas : ils nous piquent du marché avec des moyens souvent douteux et le président (parce qu'en général, ce sont des assoces avec juste un président) se rémunère en nature voir au black. C'est du vécu et là, clairement, la ligne est franchie pour moi. Encore une fois, un groupement de prestas qui s'unissent et font un GIE, c'est cohérent. Une assoce qui se monte en disant : on va fédérer un réseau national de prestas, communiquer, facturer, reverser, avoir des salariés, etc ... on sort du cadre non lucratif au sens de la loi et ça pue. Bref, faites des assoces, c'est une bonne chose mais gardez toujours à l'esprit qu'il y a des boites en face qui ont aussi besoin de payer leurs salariés, leurs frais et leurs charges ... Il est très facile de glisser et les DDCCRF devraient, selon moi, être garantes de ce genre de problèmes. Julien ___ Liste de diffusion du FRsAG http://www.frsag.org/ -- // Damien Michaudet # open systems engineer @ RedHat|eNovance // +33 (0)6 76 74 46 50 ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Nginx et son invalidation de cache
Le 10/02/2015 12:01, Ludovic Cartier a écrit : Bonjour, As-tu envisager de prendre le problème à l'envers ? :-) Au lieu de partir dans le développement d'une usine à gaz, tu ne pourrais pas demander à tes clients de versionner leur bandeau de pub / images / fichiers statiques ? Tout est possible à ce niveau, rajouter -vXXX à la fin du fichier, le md5 du fichier etc etc... Comme ça tu leur laisse gérer totalement leur cache via une mise à jour de leur code / CSS. Moui, ca serait la solution rêvée si on avait un temps soit peu de contact avec les devs des sites. Hors, là, il s'agit de plusieurs centaines de sites qui sont eux même clients de nos clients. Le temps de faire l'éducation de tout ce monde, j'aurais des cheveux blancs. Mais merci de ton idée mais dans notre cas précis, elle est difficilement applicable. Julien ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Presta pour maintenance informatique (petite structure) ?
On 02/10/2015 12:56 PM, Julien Escario wrote: Ca ne te dérange pas d'annoncer sur une liste de prestas que tu vas monter une structure associative (donc non soumise à tout un tas de charges) pour faire concurrence à des prestataires ? Bonjour, Eh bien... On en est encore là ? :-) Je me rappelle que ce type de débat avait eu lieu dans quasiment toutes les ML de sysadmin Fr (oui, les assos 1901 sont typiques du pays) que j'ai fréquenté. Il y avait le RHIEN, et les autres... C'était quoi... dans les années 2000!? Il y a des traditions qui perdurent, dites donc. Restons cools ;-) ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Nginx et son invalidation de cache
Bonjour. Je trouve que passer de 7 jours à 5 minutes c'est beaucoup de différence. Est-ce que des règles plus moyennes peuvent pas fonctionner ? (Etre ok pour les devs (même si pour eux ça sera toujours trop long) et être ok pour toi (ça dégomme pas trop tes backends)). Bon, sinon oui, versionning des fichiers ça pourrait être pas mal quand même. Pour inotify, j'ai des très bon retour en usage perso, mais vu que tu dis que tu as des devs de partout, je pense que tu dois avoir beaucoup de sites et du coup ça pourrait devenir vite une usine (à tester, ça peut toutefois être assez simple). Sinon autre piste : Si tu connais les IP des devs = pas de cache pour eux, seulement pour les visiteurs. Tu peux éventuellement faire des checks sur cookies je pense. http://nginx.com/resources/admin-guide/caching/ La dernière partie me semble adaptée à tes besoins. Tu leurs fais mettre un cookie à eux/à toi et eux n'ont pas de cache. Le 10/02/2015 11:47, Julien Escario a écrit : Bonjour, Maintenant que je parviens à gérer la durée de vie du cache nginx, je me heurte à un nouveau problème : son invalidation conditionnelle. Je m'explique : nous avons mis en place un frontal qui ne fait que du cache de ressources statiques avec nginx. Ca soulage les backend web et c'est plus rapide (on met le cache en ramdisk et on regarde pour du memcached). Tous contents, on est partis sur des valeurs astronomiques de cache des ressources statiques (genre 7 jours). Rapidement, on s'est fait engueulés parce que machin qui avait rajouté trois couleurs sur son bandeau de pub devait attendre 7 jours pour que ce soit visible. Alors on a rajouté la directive proxy_cache_bypass qui permet d'invalider une ressource cachées via une requête spécifique. Très bien, sauf qu'un jour on nous a demandé de pouvoir invalider le cache d'un grand nombre de fichiers d'un coup et on a dû scripter le truc avec du curl. J'aimerais bien passer la seconde là dessus en invalidant le cache d'un fichier statique automatiquement lorsque le fichier change sur le disque. La première qui me vient en tête est inotify : on monitore le filesystem et on génère une requête d'invalidation à chaque fois qu'un fichier statique change (avec le timestamp unix). Ca paraît faisable sur le papier mais je me demande si mon idée ne va pas se transformer en usine à gaz. Pour le moment, on a mis un cache à 5 min mais du coup, le cache commence gentiment à perdre de son intérêt, à part en cas de pic de consultation des sites. Du coup, est-ce quelqu'un a déjà rencontré/résolu ce type de problématique et peut partager ses conclusions ? Merci d'avance, Julien ___ Liste de diffusion du FRsAG http://www.frsag.org/ ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Nginx vs Varnish
Le Tue, Feb 10, 2015 at 04:01:21PM +0100, Wallace [wall...@morkitu.org] a écrit: Le 10/02/2015 12:21, Pierre DOLIDON a écrit : Pourquoi monter du cache Nginx dans un ramdisk ? Pourquoi ne pas plutôt utiliser Varnish (-s malloc,12G par exemple), puis utiliser son ACL purge et/ou son secret... C'est quand même plus prévu pour que NginX (et il m'avait semblé lire que varnish était plus performant que nginx pour du cache statique)... Varnish et Nginx en reverse proxy cache c'est équivalent pour 90% des cas. Les avantages de Nginx sur Varnish c'est : - storage persistant possible (disk, redis, ...) On peut faire du stockage sur disque avec Varnish (c'est pas le but, mais on peut :) - configuration bien plus simples pour 90% des cas Plus simple, je sais pas. Mais plus naturelle, car pas dispersé dans les différentes fonctions vcl_* - un côté sysadmin friendly bien plus fiable d'expérience - une manipulation des headers / reponse plus simple à mettre en place Bof. Varnish permet la manipulation de tous les entetes qu'on veut, dans le sens requete et dans le sens réponse. Avec nginx, il est facile d'ajouter des entetes, mais nettement plus compliqué de modifier les entetes existants. - configuration ssl facile pas eu l'occasion de tester. Mais le support de SSL est jeune dans Varnish, oui. L'avantage de Varnish pour les 10% restants : - pouvoir scripter des règles assez complexes Si le visiteur vient de tel endroit avec tel ou tel cookie ayant telle valeur alors il va sur tel backend et on réduit le cache à temps de secondes ou pas du tout sur telle ou telle ressource, ... Là où j'ajouterai un gros plus à nginx, c'est qu'il est simple d'effectuer des modifications (oui, c'est mal(TM)) du contenu qui transite, avec sub_filter Avec Varnish, il faut un module tiers pas stable, et à compiler en plus... -- Dominique Rousseau Neuronnexion, Prestataire Internet Intranet 21 rue Frédéric Petit - 8 Amiens tel: 03 22 71 61 90 - fax: 03 22 71 61 99 - http://www.neuronnexion.coop ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] cherche cas usage des regex dans la vraie vie
Bonjour Mihamina, Peut-être que de jouer avec **logcheck** serait intéressant et concret (créer des règles personnalisées). Sinon en bash ma préféré, mais c'est pour un fichier de conf : Supprimer tous les commentaires ligne vide d'un fichier : grep -E -v '''^(#|$|;)''' /etc/mysql/my.cnf Sympa à mettre en alias : alias nocomment='grep -E -v '\''^(#|$|;)'\''' Très bon site pour apprendre / tester des regex : https://www.regex101.com/ Belle journée, Mihamina RAKOTOMANDIMBY mihamina.rakotomandi...@rktmb.org a écrit : Bonjour, Je dois faire un mini exposé sur les regex. Ca m'interesserait de pouvoir donner des exemples sur les recherches dans les logs. Je cherche donc des cas d'usage, dans lesquels il faut utiliser des regex pour trouver ce qu'on veut. Les truc du genre $grep Error access.log me semblent inutile pour ce coup là :-) du fait de la trop facilité du pattern. Le public: des sysadmins juniors *et* des devs web à qui on souhaite introduire à la recherche des erreurs dans les fichiers d'erreur (Apache, Tomcat, MySQL, PGSQL, Postfix, Exim,...) Auriez-vous des cas d'usage (bonus: avec la résolution et un sample)? Merci bien. ___ Liste de diffusion du FRsAG http://www.frsag.org/
[FRsAG] cherche cas usage des regex dans la vraie vie
Bonjour, Je dois faire un mini exposé sur les regex. Ca m'interesserait de pouvoir donner des exemples sur les recherches dans les logs. Je cherche donc des cas d'usage, dans lesquels il faut utiliser des regex pour trouver ce qu'on veut. Les truc du genre $grep Error access.log me semblent inutile pour ce coup là :-) du fait de la trop facilité du pattern. Le public: des sysadmins juniors *et* des devs web à qui on souhaite introduire à la recherche des erreurs dans les fichiers d'erreur (Apache, Tomcat, MySQL, PGSQL, Postfix, Exim,...) Auriez-vous des cas d'usage (bonus: avec la résolution et un sample)? Merci bien. ___ Liste de diffusion du FRsAG http://www.frsag.org/
