Re: recherche sur le web par ligne de commande ?

[ptilou]

bonsoir,

vous allez dire que je suis prolixes ..
ce soir j’ai trouvé ça :

https://www.blogdumoderateur.com/tools/flusio/
le blog présente 5 logiciels mais rien en ligne de commandes ?
le plus dur est donc de trouver quelqu’un qui la fait et le partage en gpl .


Le mercredi 29 décembre 2021 à 09:20:04 UTC+1, ptilou a écrit :
> Slt, 
> 
> https://cours.univ-paris1.fr/mod/page/view.php?id=594895 
> 
> J’ai trouvé ça ! Bon ça fait avancer  
> Je n’ai pas le’ temps pour faire le script, mais je me demande si la’ machine 
> n’a pas un problème, enfin et donc j’avais lancer une demande pour obtenir le 
> dvd’ au 6000 script, il m’en semble que cette année le magazine a fait une 
> publication avec mille, j’ai pas eu de réponse’ du lug de Renne c’est la’ 
> biblio de’ l’inra a Renne d’après Sudoc. 
> 
> Comme c’est gpl et fêtes  
> J’ai chercher dans les bases de données modèle et dessins et rien d’en 
> concluant ? 
> Mais se que j’ai dit plus haut, la veille était fêtes avant les fil rss, et 
> donc je m’en demande si elle passait par un moteur de recherche, ou s’il elle 
> attaque pas’ direct la base de bind ? 
> (Faut trouver quelqu’un qui partage ) 
> 
> Merci
> Le jeudi 23 décembre 2021 à 10:50:03 UTC+1, Erwann Le Bras a écrit : 
> > bonjour 
> > 
> > Si j'ai bien compris, tu veux récupérer les images d'un site web? 
> > Plusieurs cas : 
> > -> wget -spider  qui permet de tout récupérer et faire le tri sur ce 
> > qui est intéressant. 
> > -> faire un script qui récupérer la page d'accueil et la parcourt à la 
> > recherche des balises intéressantes pour y récupérer le contenu. 
> > 
> > amitiés 
> > 
> > Erwann 
> > 
> > Le Tue, 14 Dec 2021 07:26:45 -0800 (PST) 
> > ptilou  a écrit : 
> > > bonsoir, 
> > > 
> > > je veux savoir si lynx peut permettre l’automatisation de recherche ? 
> > > je cherche des plans de pièces d’hélicoptère, tél le plateau cyclique, et 
> > > donc je veux orienter ma recherche sur patent, et faire un wget -m quand 
> > > il y a un dessin, une image. 
> > > 
> > > avez vous connaissance de recherche, veille sur ce type de fichiers ? 
> > > 
> > > merci 
> > > 
> > > — 
> > > ptilou 
> > > 
> > -- 
> > amiti_s, 
> > 
> > --  
> > 
> > Erwann
> — 
> Ptilou

Re: recherche sur le web par ligne de commande ?

[ptilou]

Slt,

https://cours.univ-paris1.fr/mod/page/view.php?id=594895

J’ai trouvé ça ! Bon ça fait avancer 
Je n’ai pas le’ temps pour faire le script, mais je me demande si la’ machine 
n’a pas un problème, enfin et donc j’avais lancer une demande pour obtenir le 
dvd’ au 6000 script, il m’en semble que cette année le magazine a fait une 
publication avec mille, j’ai pas eu de réponse’ du lug de Renne c’est la’ 
biblio de’ l’inra a Renne d’après Sudoc.

Comme c’est gpl et fêtes 
J’ai chercher dans les bases de données modèle et dessins et rien d’en 
concluant ?
Mais se que j’ai dit plus haut, la veille était fêtes avant les fil rss, et 
donc je m’en demande si elle passait par un moteur de recherche, ou s’il elle 
attaque pas’ direct la base de bind ?
(Faut trouver quelqu’un qui partage )

Merci


Le jeudi 23 décembre 2021 à 10:50:03 UTC+1, Erwann Le Bras a écrit :
> bonjour 
> 
> Si j'ai bien compris, tu veux récupérer les images d'un site web? 
> Plusieurs cas : 
> -> wget -spider  qui permet de tout récupérer et faire le tri sur ce qui 
> est intéressant. 
> -> faire un script qui récupérer la page d'accueil et la parcourt à la 
> recherche des balises intéressantes pour y récupérer le contenu. 
> 
> amitiés 
> 
> Erwann 
> 
> Le Tue, 14 Dec 2021 07:26:45 -0800 (PST) 
> ptilou  a écrit :
> > bonsoir, 
> > 
> > je veux savoir si lynx peut permettre l’automatisation de recherche ? 
> > je cherche des plans de pièces d’hélicoptère, tél le plateau cyclique, et 
> > donc je veux orienter ma recherche sur patent, et faire un wget -m quand il 
> > y a un dessin, une image. 
> > 
> > avez vous connaissance de recherche, veille sur ce type de fichiers ? 
> > 
> > merci 
> > 
> > — 
> > ptilou 
> >
> -- 
> amiti_s, 
> 
> --  
> 
> Erwann

— 
Ptilou

Re: recherche sur le web par ligne de commande ?

[Erwann Le Bras]

bonjour

Si j'ai bien compris, tu veux récupérer les images d'un site web?
Plusieurs cas : 
-> wget -spider  qui permet de tout récupérer et faire le tri sur ce qui 
est intéressant.
-> faire un script qui récupérer la page d'accueil et la parcourt à la 
recherche des balises intéressantes pour y récupérer le contenu.

amitiés

Erwann

Le Tue, 14 Dec 2021 07:26:45 -0800 (PST)
ptilou  a écrit :

> bonsoir,
> 
> je veux savoir si lynx peut permettre l’automatisation de recherche ?
> je cherche des plans de pièces d’hélicoptère, tél le plateau cyclique, et 
> donc je veux orienter ma recherche sur patent, et faire un wget -m quand il y 
> a un dessin, une image.
> 
> avez vous connaissance de recherche, veille sur ce type de fichiers ?
> 
> merci
> 
> — 
> ptilou
> 


-- 
amiti_s,

-- 

Erwann

Re: recherche sur le web par ligne de commande ?

[ptilou]

slt,

je remets une réponse envoyé a quelqu’un qui m’a écrit et conclut que c’est 
quelque chose de compliquer pour nous :
(moi cela m’a semblé être du niveau techniciens à posteriori du baccalauréat , 
il faut compter quel niveau scolaire ?)
bonjour,

je voudrai modéliser un ulm de classe 6 et je regarde ce qui est déjà fabriqué, 
tombé  dans le domaine public de facto utilisable, pour ça entre autre je vais 
dans des musées.

celui de la RAF à Londres expose un hélicoptère de la société cités!
Je cherche le jeux d’engrenage planète sur plateau cyclique.
le plateau cyclique de l’alouette 3
la boîte de pas d’avance du fenestron
etc …

mais j’aurai aimer faire de la veille avec la ligne de commandes, un genre de 
rss, et et donc à Orsay en 2003, j’en entendu un enseignant dire que cela 
marche bien , et donc j’aimerai savoir qu’est-ce qui est mise en place pour le 
faire ?

par exemple c’est la conversation entendu, faire de la veille juridique.
merci d’avance 

Le jeudi 16 décembre 2021 à 07:10:03 UTC+1, ptilou a écrit :
> Slt,
> Le jeudi 16 décembre 2021 à 03:00:03 UTC+1, Haricophile a écrit : 
> > Le Tue, 14 Dec 2021 17:35:00 +0100, 
> > nicolas...@gmail.com a écrit : 
> > > Tu peux te faire une moulinette en shell ou en Python qui parcourt le 
> > > site que tu veux et qui exécute un wget -m si nécessaire. 
> > > 
> > > nicolas patrois : pts noir asocial 
> > C'était pas justement l'idée de Weboob de faire un navigateur-robot 
> > scriptable pour récupérer des choses et des infos ?
> Je ne connais pas mais à la grande époque y en avait en sécu informatique qui 
> administrait la base dns de bind maison sur chaque entité, et je me demande 
> puisqu’il s’agit d’une concordance entre des chiffres et de l’ACSII, si il 
> pas mieux d’attaquer de ce côté ? 
> 
> Y a eu beautifulsoup en python 
> 
> Donc le mieux est de dl les sites puis de faire le trie ... 
> ( pourtant si tu connais le fonctionnement d’internet avec ses data-center 
> qui font ds miroir pour des histoires de gestion de bandes passante, ça 
> m’étonnerait que quelqu’un Le face à la main ?) 
> 
> — 
> Ptilou

Re: recherche sur le web par ligne de commande ?

[ptilou]

Slt,

Le jeudi 16 décembre 2021 à 03:00:03 UTC+1, Haricophile a écrit :
> Le Tue, 14 Dec 2021 17:35:00 +0100, 
> nicolas...@gmail.com a écrit :
> > Tu peux te faire une moulinette en shell ou en Python qui parcourt le 
> > site que tu veux et qui exécute un wget -m si nécessaire. 
> > 
> > nicolas patrois : pts noir asocial
> C'était pas justement l'idée de Weboob de faire un navigateur-robot 
> scriptable pour récupérer des choses et des infos ?

Je ne connais pas mais à la grande époque  y en avait en sécu informatique qui 
administrait la base dns de bind maison sur chaque entité, et je me demande 
puisqu’il s’agit d’une concordance entre des chiffres et de l’ACSII, si il pas 
mieux d’attaquer de ce côté ?

Y a eu beautifulsoup en python

Donc le mieux est de dl les sites puis de faire le trie ...
( pourtant si tu connais le fonctionnement d’internet avec ses data-center qui 
font ds miroir pour des histoires de gestion de bandes passante, ça 
m’étonnerait que quelqu’un Le face à la main ?)

— 
Ptilou 

Re: recherche sur le web par ligne de commande ?

[Haricophile]

Le Tue, 14 Dec 2021 17:35:00 +0100,
nicolas.patr...@gmail.com a écrit :

> Tu peux te faire une moulinette en shell ou en Python qui parcourt le
> site que tu veux et qui exécute un wget -m si nécessaire.
> 
> nicolas patrois : pts noir asocial

C'était pas justement l'idée de Weboob de faire un navigateur-robot
scriptable pour récupérer des choses et des infos ?

Re: recherche sur le web par ligne de commande ?

[Jean-Michel OLTRA]

Bonjour,


Le mardi 14 décembre 2021, ptilou a écrit...


> sinon où trouver ou comment trouver les archives des sociétés qui n’existe
> plus ?  par exemple Bristol aéroplane ?

Tu peux essayer les archives du web

web.archive.org (wayback machine)

J'ai vu qu'il y avait des choses sur Bristol Aeroplane, mais je ne sais pas
si tu y trouveras ton bonheur.

-- 
jm

Re: recherche sur le web par ligne de commande ?

[ptilou]

bonsoir,

j’ai le souvenir d’une veilles informatique dans les années 2003, par un maître 
de conférence!

donc google photo + recherche par image, avec dés opérateur bolén, donne de 
très bon résultat!

le problème est que je ne sais pas le faire en ligne de commande …

sinon où trouver ou comment trouver les archives des sociétés qui n’existe plus 
?
par exemple Bristol aéroplane ?


Le mardi 14 décembre 2021 à 18:50:03 UTC+1, Basile Starynkevitch a écrit :
> On 14/12/2021 16:26, ptilou wrote:
> bonsoir,
> 
> je veux savoir si lynx peut permettre l’automatisation de recherche ?
> je cherche des plans de pièces d’hélicoptère, tél le plateau cyclique, et 
> donc je veux orienter ma recherche sur patent, et faire un wget -m quand il y 
> a un dessin, une image.
> 
> avez vous connaissance de recherche, veille sur ce type de fichiers ?
> A mon avis le problème est beaucoup plus complexe qu'on ne le croit, et 
> pourrait faire l'objet d'une thèse de doctorat voire plusieurs d'entre eux 
> (ou au moins un an de travail à temps plein).
> En plus, le volume de données est important (Big Data, problèmatique de 
> passage à l'échelle). Et les formats d'image sont nombreux (JPEG, PNG, SVG, 
> etc etc etc...), et certaines sont générées en JavaScript.
> 
> D'une part, les offices de brevets ont des équipes là dessus
> 
> D'autre part, on pourrait utiliser un client HTTPS (libcurl) suivi d'une 
> analyse d'image.
> 
> En France, je connais Mohamed Daoudi, professeur d'informatique à l'IMT Lille 
> Douai, https://mohammeddaoudi.github.io/ spécialiste de ces questions.
> Il faut bien sûr faire du deep learning.
> 
> Une possibilité serait de monter un consortium HorizonEurope sur ces 
> questions. Je pourrais/voudrais y contribuer avec RefPerSys.. Contactez moi 
> alors sur ma boîte professionnelle au CEA, LIST en basile.sta...@cea.fr
> Il faut envisager une soumission HorizonEurope, avec un budget de plusieurs 
> millions d'€ sur 2 ou 3 ans.
> 
> 
> merci
> 
—  
ptilou

Re: recherche sur le web par ligne de commande ?

[Basile Starynkevitch]

On 14/12/2021 16:26, ptilou wrote:

bonsoir,

je veux savoir si lynx peut permettre l’automatisation de recherche ?
je cherche des plans de pièces d’hélicoptère, tél le plateau cyclique, et donc 
je veux orienter ma recherche sur patent, et faire un wget -m quand il y a un 
dessin, une image.

avez vous connaissance de recherche, veille sur ce type de fichiers ?



A mon avis le problème est *_beaucoup_ plus complexe* qu'on ne le croit, 
et pourrait faire l'objet d'une thèse de doctorat voire plusieurs 
d'entre eux (ou au moins un an de travail à temps plein).


En plus, le volume de données est important (Big Data, problèmatique de 
passage à l'échelle). Et les formats d'image sont nombreux (JPEG, PNG, 
SVG, etc etc etc...), et certaines sont générées en JavaScript.



D'une part, les offices de brevets ont des équipes là dessus


D'autre part, on pourrait utiliser un client HTTPS (libcurl) suivi d'une 
analyse d'image.



En France, je connais Mohamed Daoudi, professeur d'informatique à l'IMT 
Lille Douai, https://mohammeddaoudi.github.io/ spécialiste de ces questions.


Il faut bien sûr faire du deep learning.


Une possibilité serait de monter un consortium HorizonEurope 
 sur ces questions. Je 
pourrais/voudrais y contribuer avec RefPerSys .. 
Contactez moi alors sur ma boîte professionnelle au CEA, LIST 
 en basile.starynkevi...@cea.fr


Il faut envisager une soumission HorizonEurope, avec un budget de 
plusieurs millions d'€ sur 2 ou 3 ans.




merci

—
ptilou


--
Basile Starynkevitch
(only mine opinions / les opinions sont miennes uniquement)
92340 Bourg-la-Reine, France
web page: starynkevitch.net/Basile/

Re: Re : recherche sur le web par ligne de commande ?

[ptilou]

bonsoir,

Le mardi 14 décembre 2021 à 17:40:03 UTC+1, nicolas...@gmail.com a écrit :
> Le 14/12/2021 16:26:45, ptilou a écrit : 
> 
> > je veux savoir si lynx peut permettre l’automatisation de recherche ? 
> > je cherche des plans de pièces d’hélicoptère, tél le plateau cyclique, 
> > et donc je veux orienter ma recherche sur patent, et faire un wget -m 
> > quand il y a un dessin, une image. 
> 
> > avez vous connaissance de recherche, veille sur ce type de fichiers ?
> Tu peux te faire une moulinette en shell ou en Python qui parcourt le site 
> que tu veux et qui exécute un wget -m si nécessaire. 
> 

je cherche quelqu’un qui a déjà fait la moulinette, et un qui me donne le 
.wgetrc !
(dans le home …)

le problème est que la littérature web …
moi je veux *.pdf, jpg, png, etc …
pour te faire une idée 30 Go , avec 300 k fichier donne moins de 4 Go 
exploitable, que j’ai pas encore trié, faut virer les photos de complaisance et 
la construction des sites ….

> nicolas patrois : pts noir asocial 
> -- 
> RÉALISME 
> 
> M : Qu'est-ce qu'il nous faudrait pour qu'on nous considère comme des humains 
> ? Un cerveau plus gros ? 
> P : Non... Une carte bleue suffirait...

Re : recherche sur le web par ligne de commande ?

[nicolas . patrois]

Le 14/12/2021 16:26:45, ptilou a écrit :

> je veux savoir si lynx peut permettre l’automatisation de recherche ?
> je cherche des plans de pièces d’hélicoptère, tél le plateau cyclique,
> et donc je veux orienter ma recherche sur patent, et faire un wget -m
> quand il y a un dessin, une image.

> avez vous connaissance de recherche, veille sur ce type de fichiers ?

Tu peux te faire une moulinette en shell ou en Python qui parcourt le site que 
tu veux et qui exécute un wget -m si nécessaire.

nicolas patrois : pts noir asocial
-- 
RÉALISME

M : Qu'est-ce qu'il nous faudrait pour qu'on nous considère comme des humains ? 
Un cerveau plus gros ?
P : Non... Une carte bleue suffirait...

recherche sur le web par ligne de commande ?

[ptilou]

bonsoir,

je veux savoir si lynx peut permettre l’automatisation de recherche ?
je cherche des plans de pièces d’hélicoptère, tél le plateau cyclique, et donc 
je veux orienter ma recherche sur patent, et faire un wget -m quand il y a un 
dessin, une image.

avez vous connaissance de recherche, veille sur ce type de fichiers ?

merci

— 
ptilou