J'ai mis 3 jours à charger la version 200120 du 23 janvier avec le
torrent... Une fois fini, c'est la version 200127 du 30 janvier qui est là.

Sans automatisation, ce sera difficile de rendre cela fiable pour toujours
avoir la version  "latest", à moins d'ajouter sur les serveurs HTTP miroirs
le support aussi de trackers "WebTorrent" (pour les clients web sans
application, mais ne supporte pas le DHT ou PEX) et "BitTorrent
announce/scrape" (avec le support du DHT et de PEX), ce qui nécessite
d'héberger non seulement les fichiers .pbf et le petit .md5, mais aussi un
fichier .pbf.torrent contenant le cache des hachages SHA1 des fragments et
les URL d'annonces (chaque fragment devrait faire 512 Kio, valeur standard,
ou 1 Mio, mais moins fiable et les clients ne peuvent pas facilement
charger en "swarm" des fragments si gros sans recevoir un "choking", ou
juste un fichier  .pbf.par avec les clés SHA-1 et un fichier séparé pour
les URLs d'annonces.

Je suggère de garder des fragments de 512 Kio plutôt que 1 Mio qui provoque
de très gros ralentissements sur presque tous les logiciel clients torrent
dans leur config par défaut, qui se mettent en pause pendant plus d'une
minute puis ne chargent qu'à 5Kio/s. Ca double le nombre de fragments et la
taille du fichier .torrent (Pour un  fichier planet.pbf de ~49 Gio
actuellement, cela donne un fichier .torrent de ~2 Mio ou lieu de ~1 Mio,
ce qui reste très supportable mais améliorera les performances et la
capacité de supporter plus de clients Torrent avec des configs mémoire plus
réduites, pour le fichier history de ~81Gio, cela donne un fichier torrent
de ~3,3 Mio au lieu de 1,6 Mio, là encore ça passe bien).

Il est dommage que le protocole Bittorrent "standard" ne supporte que des
fragments de taille fixe en une seule liste linéaire, au lieu d'un arbre
binaire (comme Tiger Tree Hash, basé plus ou moins sur une composition de
type HMAC, qui permet aussi une mise en ligne plus rapide pour les très
gros fichiers, et plus de parallélisme pour la mise en ligne "à la
demande", et plus d'adaptabilité à des tailles de fragments demandés
variables de façon exponentielle: les clients ayant une bande passante plus
réduite voudront des fragments plus petits, ceux ayant une connexion THD
voudront des fragments plus grands; les arbres de hachage binaires
permettent aussi de repérer les fragments partiellement en erreur sans
avoir à les recharger en entier, ils économisent donc de la bande passante
pour les serveurs "seeders").




Le sam. 1 févr. 2020 à 11:18, Christian Quest <cqu...@openstreetmap.fr> a
écrit :

> Le 30/01/2020 à 13:46, Philippe Verdy a écrit :
> > Par curiosité j'ai essayé d'ajouter des .torrent fiables de
> > distributions linux, et là aussi la Freebox Server Revolution v6 (pas
> > la v7=Delta, ni la Freebox One) ne se connecte plus, ça reste "en
> > attente" là aussi et le statut affiche "déconnecté" (il indique de
> > vérifier que les ports et le VPN sont bien activés et "ouverts" aux
> > connexion entrantes).
> >
> > J'avais fait des téléchargements de torrents Linux avant et ça
> > marchait sans problème.
> >
> > J'ai bien l'impression que Free a viré le client torrent de son
> > firmware de mi-janvier (mais il ne l'a pas dit dans son site de
> > support, qui indique seulement l'ajout des clients Netflix et Youtube
> > Kids, annoncé aussi dans les cartouches du menu TV du Freebox Player)
> >
> > J'ai aussi essayé de redémarrer la box, et pas plus de résultat. il va
> > falloir que je signale l'anomalie à Free pour au moins avoir une
> > explication si le service est effectivement retiré (mais l'interface
> > Freebox OS affiche toujours les paramètres et la liste des
> > téléchargements; ce téléchargeur intégré en revanche fonctionne avec
> > le téléchargement simple en FTP ou HTTP, mais il n'y a plus de support
> > des protocoles Torrent/PEX/DHT).
> >
> Depuis mon passage à la fibre, c'est une freebox Delta qui a remplacé ma
> Révolution.
>
> Le client BitTorrent y fonctionne parfaitement. J'ai constaté que
> d'autres clients "Freebox BitTorrent 2.0" avait échangé avec mes seeds,
> mais sans savoir quelle type de box ils avaient.
>
> Sinon...
>
> - j'ai mis en place 2 trackers maison (opentracker)
>
> - le planet du 27/01/2020 est dispo (sa récupération depuis
> planet.osm.org prend quand même plus de 3h)
>
> - j'ai ajouté un flux RSS pour permettre le download automatique pour
> les seeds supplémentaires
>
> Il ne reste plus qu'à automatiser tout ça et à publier les torrents sur
> planet.openstreetmap.org
>
>
> --
> Christian Quest - OpenStreetMap France
>
>
> _______________________________________________
> Talk-fr mailing list
> Talk-fr@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-fr
>
_______________________________________________
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Répondre à