Pour la liste des langues, j'ai hard-codé la liste se tous les Wikipedia de
plus 100 000 articles. Si quelqu'un trouve une page plus précise sur un
élément dans un Wikipedia de moins de 100 000 pages, il sera encore temps
de l'ajouter.
Pour les remarques sur les tags Name:lang elles sont hors sujet de mon
patch qui ne s'interresse qu'au tag Wikipedia
Cdt
Black Myst
Le 7 janv. 2013 17:49, Philippe Verdy verd...@wanadoo.fr a écrit :
Déjà un tag comme wikipedia:name ne devrait pas pouvoir être
interprété comme contenant un code langue valide (name n'est pas un
code langue ISO 639 ou même BCP47 valide).
Pour tous tags traduits comme tag:lang=* une chose à faire avant
est de vérifier qu'il s'agit bien d'un code langue valide.
Note : pour Wikipedia, les codes langue ne sont pas tout à fait
conformes à BCP 47, puisque ce sont en fait des labels de
sous-domaines dans le domaine wikipedia.org. Normalement maintenant
tous les codes langues Wikipedia devraient être conformes à BCP 47
(préférablement un code ISO 639-1, sinon ISO 639-2T, sinon ISO 639-3;
mais on a parfois des extensions à ces codes, qui devraient être
conformes à BCP 47 pour indiquer une écriture ISO 15924, une région
ISO 3166-1 ou UN-M.49, ou un code variante enregistré dans la base
IANA pour BCP47). Cependant il persiste encore quelques codes langues
utilisés sur Wikipédia qui ne sont pas conformes à BCP47
- par exemple nrm pour le normand, qui n'a pas de code dans BCP 47
ni dans ISO 639, mais est utilisé pourtant pour coder le jériais ou le
guernésiais qui sont considérés comme des langues avec un statut
officiel à Jersey et Guernesey ; ces langues sont en fait des variétés
dialectales du normand, lequel est encore considéré comme une variante
du français, ce qui ferais du jériais ou du guernésiais des variantes
du français, ce que réfute les Etats de ces îles ; malheureusement au
lieu d'utiliser un code privé sur Wikipédia, le normand a été codé
nrm et est en conflit avec une autre langue codée dans ISO 639-3 et
dans BCP 47.
- autres exemples avec le serbo-croate, qui a été déprécié dans ISO
639, persiste encore n'est plus recommandé dans BCP47, mais y est
conservé et encore utilisé pour Wikipédia. Techniquement ce n'est pas
incompatible et ne crée pas de conflit.
Bref le code langue à mettre dans wikipedia:lang=* doit être un
label de sous-domaine existant dans Wikipedia. Il serait bon qu'Osmose
en maintienne une liste exhaustive (ce n'est pas une longue liste).
Mais tous les autres codes langue des autres tags (par exemple
name:lang=*) doivent être conformes à BCP 47, si possible non
dépréciés (utiliser le code recommandé dans la base IANA, qu'Osmose
devrait apprendre à lire et décoder correctement), mais on accepte les
aussi les codes de macrolangues (comme zh pour le chinois, sans
préciser la langue individuelle), et les extensions pour mentionner
d'autres écritures (par exemple zh-Bpmf pour une translitération en
alphabet Bopomofo, ou zh-Latn utilisé pour une romanisation à priori
en pinyin en Rép. Pop. de Chine, ou ja-Kana pour mentionner une
translitération dans les syllabaires Hiragana/Katakana, de noms
préférablement écrits en sinogrammes Kanji, ou ja-Hani pour
mentionner une orthographe traditionnelle en sinogrammes Kanjis de
noms aujourd'hui plutôt écrit en Hiragan/Katakana voir romanisés).
Mais pour qu'Osmose vérifie les codes langues de ces derniers tags
(sauf wikipedia:lang=*) il lui télécharger et utiliser la base IANA
pour BCP 47, afin que d'une part il les décode correctement (selon RFC
5446) pour en vérifier d'abord la syntaxe (sinon ce n'est pas un code
langue valide), puis pour vérifier dans la base IANA les codes
inexistants (à signaler), et les codes dépréciés à remplacer par ceux
indiqués dans la base IANA (attention tous les codes langues
dépréciés, y compris les anciens codes n'ont pas toujours un code de
remplacement comme jw-jv ou iw-'he, car le remplacement est
ambigu entre plusieurs codes candidats). Osmose devrait aussi signaler
les codes langues d'usage spécial (comme mul ou und) ou privés
(x-*) dont on n'a pas défini de règle d'usage sur OSM. Il devrait
aussi signaler les codes de familles/collections de langues (dans ISO
639-2 la plupart, plus un seul dans ISO 639-1) qui ne sont PAS des
macro-langues (par exemple le code pour apache n'est pas assez
précis).
Les codes qui n'ont pas de traduction claire dans BCP 47, bien que
partiellement conformes, mais qui ont un usage défini dans Wikipédia
(tels que roa-rup pour le francique ripuaire) devraient aussi être
remplacés par le code préféré et standard dans BCP 47 pour tous les
tags AUTRES que wikipedia:lang=*.
Petit à petit, Wikipédia met à jour ses codes pour les mettre en
conformité avec BCP 47 (pour ne pas casser les liens externes, il
transforme ces anciens codes en alias CNAME sur ses noms de domaines,
et il met à jour sa liste de préfixes interwikis pour traduire les
alias ; cela
