Après les premiers retours (ici, sur irc et twitter), j'ai avancé avec:
- l'ajout de "web seed" dans les torrents
- la mise en route de mon propre tracker (avec opentracker)
- la création d'un nouveau torrent pour le planet historique (80Go) avec
web seed et nouveau tracker
- le bon content-type pour les .torrent sur osm.cquest.org
- des liens symboliques "latest" vers le torrent de la dernière version
A ajouter maintenant, un flux RSS...
Avec plusieurs "web seed", j'ai constaté que l'on réparti bien par la
même occasion le téléchargement en HTTP, ce qui permet là aussi de
répartir la charge en bande passante.
J'ai aussi testé ces torrents avec lftp (en ligne de commande) et ça
fonctionne très bien, ce qui est utile pour scripter si besoin le
download ;)
Le 29/01/2020 à 09:52, Philippe Verdy a écrit :
Traqueurs vides de tous clients connectés dessus, donc pas de
téléchargement du tout. Les deux traqueurs n'annoncent personne
(statut torrent : non annoncé, sur opentracker.org
<http://opentracker.org> bien que marqué "activé" et "traqueur
principal"; sur le second traqueur sur openbittorrent.com
<http://openbittorrent.com> il l'est même pas pas activé, donc pas
annoncé non plus).
Bref des traqueurs où il n'y a pas assez de persistance avec au moins
un client stable pour rétablir les connexions, qui deviennent des
traqueurs morts, 12 heures après.
L'idéal serait d'inclure dans le traqueur au moins comme repli l'URL
de téléchargement sur le site openstreetmap.org
<http://openstreetmap.org> (et qu'OSM lui-même devienne traqueur
principal pour que les mises à jour suivent: au moins là le fichier
est disponible, même si c'est avec des limitations de trafic, mais ça
permettrait justement de lever les problèmes de disponibilité. Mais
évidemment ça impose d'installer un traqueur torrent sur les serveurs
d'OSM, et veiller à ce qu'ils soient à jour pour les nouveaux
fichiers, et sinon ne désinscrivent les anciens fichiers que si ces
serveurs n'ont plus la possibilité de les garder (il faudrait un délai
pour avoir au moins deux versions dont la plus récente et celle
d'avant; pour ~50Go par fichier planet, il faut donc ~100Go de
stockage plus les quelques Ko pour les deux fichiers traqueurs
.torrent; je ne pense pas que cela nécessite beaucoup plus d'espace
que ce qui est déjà nécessaire et qui tient compte aussi d'un espace
de quelques % gardé libre pour la croissance régulière de la taille de
ces fichiers Planet; les fichiers .torrent eux ne changeront quasiment
pas de taille, mai il en faut un par fichier planet).
C'est ce que font les principales distribs Linux (y compris pour les
mises à jour de paquets pour certaines): au moins une URL normale,
d'autres en miroirs comples par RSYNC, et sinon leur propre traqueur
torrent qui soulage le tout côté serveurs en ajoutant une partie de la
bande passante partagée des clients connectés, et permet de
télécharger encore plus vite depuis plusieurs sources simultanées
incluant le site principal et les miroirs volontaires qui veulent
aussi inscrire leurs fichiers sur les mêmes traqueurs.
Le mar. 28 janv. 2020 à 20:48, Christian Quest
<cqu...@openstreetmap.fr <mailto:cqu...@openstreetmap.fr>> a écrit :
J'ai remis au propre le torrent sur https://osm.cquest.org/torrents/
Vous pouvez participer au test en téléchargeant ce fichier planet à
l'aide du client BitTorrent de votre choix.
Attention... il fait dans les 50Go, donc il faut de la place sur
disque ;)
J'ai 3 "seed" actifs:
- 1 depuis ma freebox (avec le bittorrent intégré à celle-ci),
connecté
par fibre
- 1 depuis ma "Tour Nord", connectée sur une autre fibre (OVH)
- 1 depuis une dédibox
Donc théoriquement il y a dans les 2Gbps de bande passante cumulée ;)
Si vous pouvez notez le temps de transfert complet et/ou le débit
moyen
ça serait super cool pour se faire une idée de l'efficacité pour
proposer ce type de distribution dans l'avenir. Indiquez aussi votre
type de connexion internet et éventuellement le client bittorrent
utilisé.
Merci d'avance !
--
Christian Quest - OpenStreetMap France
_______________________________________________
Talk-fr mailing list
Talk-fr@openstreetmap.org <mailto:Talk-fr@openstreetmap.org>
https://lists.openstreetmap.org/listinfo/talk-fr
--
Ce message a été vérifié par *MailScanner* <http://www.mailscanner.info/>
pour des virus ou des polluriels et rien de
suspect n'a été trouvé.
_______________________________________________
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr
--
Christian Quest - OpenStreetMap France
_______________________________________________
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr
