Re: [Python] Genropy import error

[Giovanni Porcari]

> Il giorno 30 lug 2017, alle ore 12:49, BATTISTELLA GIANMARIA 
>  ha scritto:
> 
> Buon giorno sto cercando di installare genropy su window7 
> Ho installato virtualenv
> E seguito la procedura indicata sul sito genropy
> Quando lancio lo script gnrmkproject mi da un import error no module named 
> devel.commands
> Help please
> Grazie


Ciao

ti suggerisco di scrivere alla lista di genropy:

puoi scrivere un email a genropy-requ...@freelists.org  con subject ‘subscribe’ 
oppure 
vai su : http://www.freelists.org/list/genropy

Per quanto riguarda il tuo problema ti suggerisco di verificare se hai l'ultima 
versione
che trovi su bitbucket  nel branch develop

Comunque le istruzioni da seguire sono queste :

http://www.genropy.org/docu/index/rst/first_steps/framework_installation/virtualenv/linux

Se non risolvi ti aspetto sulla lista di genropy per ulteriori chiarimenti


Ciao


G


___
Python mailing list
Python@lists.python.it
https://lists.python.it/mailman/listinfo/python

Re: [Python] sito statico da mezzanine

[Maurizio Noris]

Il giorno 30 luglio 2017 00:43, salvatore monaco  ha scritto:

> Ho fatto un lavoro per un gruppo italiano importante e ho fatto
> l'infrastruttura in AWS multi server
> e creato uno staticizzatore con httracks e le rewrite le metti su apache
> in modo da non presentare index.html per ogni foglia
> cron che gira ogni ora... e siti veloci veloci
>
>
mi accodo alla domanda di Karim :D

mi è stato anche suggerito di usare cactus nelle fasi iniziali, per poi
portare il progetto in mezzanine in caso di espansione.
non ho ancora avuto modo di usarlo, a tuo avviso quale potrebbe essere la
strada migliore?


grazie mille!
m


Mail
priva di virus. www.avast.com

<#DAB4FAD8-2DD7-40BB-A1B8-4E2AA1F9FDF2>
___
Python mailing list
Python@lists.python.it
https://lists.python.it/mailman/listinfo/python

Re: [Python] NLTK memory error.

[Massimiliano Modena]

Il 31/07/2017 12:08, Valerio Maggio ha scritto:



2017-07-31 11:07 GMT+02:00 Massimiliano Modena >:




Il 31/07/2017 10:58, Valerio Maggio ha scritto:

Oppure: se capisco bene quello che persisti è l'oggetto
"classificatore" - aka: oggetto Python con i parametri risultanti
dal training.
Cosa più leggera potrebbe essere salvarti esclusivamente i valori
dei parametri e ogni volta ricreare oggetto con i parametri
giusti.. per questo basterebbe un formato qualsiasi a tua
scelta.. da csv a JSON a whatever ;)

HTH
Valerio


Il problema si presenta ben prima di arrivare a fare
/pickle.dump(classifier, f).
/


ok, allora non ho capito io il problema... oppure non ti sei spiegato :D

La procedura e':
Ottengo i dati dal database:
trainbase=[]
for item in 
session.query(Nltrainingdatum).filter(Nltrainingdatum.group==pcategory).order_by(Nltrainingdatum.category):

tokens = nltk.word_tokenize(item.description)
words_filtered = [e.lower() for e in tokens if len(e) >= 1]
trainbase.append((words_filtered, item.category))

che costruisce il trainbase.
Terminato questo, applico i calcoli statistici:
training_set = nltk.classify.apply_features(extract_features, trainbase)
extract_features e' un metodo.

in ultimo creo l'oggetto classificatore:
classifier = nltk.NaiveBayesClassifier.train(training_set)
quest'ultima operazione e' quella che va in errore. L'ho appena 
terminata su una workstation piu' performante, ci ha messo 30 minuti 
generando un oggetto di 1.5gb. L'uso della ram si attestava attorno ai 
20gb per tutto il tempo. \

Dopo di questa operazione ne effettuo il pickle ma non ci arrivo.
f = open(config[categoria], 'wb')
pickle.dump(classifier, f)
f.close()
che mi permette di NON rieffettuare il training, dato che i dati hanno 
validita' di una settimana (ed infatti, anche i 30 minuti di 
elaborazione, non sono un problema).




//Json non e' un formato adatto, troppo overhead, potrei provare
jsonB. Ma al momento, non e' questa l'urgenza.


Io sto parlando della memorizzazione dei **soli** parametri (e valori) 
non dell'oggetto Python... per cui, non capisco JSONB... parliamo di 
cose che starebbero in un file di testo...

Questi stanno gia' su database, e cosi' mi basta.


Vedo se riesco a creare un mokup del programma che ho fatto e
postarlo (devo stare attento perché sui dati ho firmato un NDA).


direi che non serve, se ci spieghi *bene* quale sia il tuo problema 
allora.. leggendo avevo capito che il tuo problema era con Pickle 
(cosa alquanto probabile...)

Ciao,
Valerio

P.s. Manteniamo la discussione sulla ML.
scusa, ho fatto rispondi senza guardare, convinto che rispondesse in 
automatico alla mailing list. Mea culpa.


___
Python mailing list
Python@lists.python.it
https://lists.python.it/mailman/listinfo/python

Re: [Python] NLTK memory error.

[Valerio Maggio]

2017-07-31 11:07 GMT+02:00 Massimiliano Modena :

>
>
> Il 31/07/2017 10:58, Valerio Maggio ha scritto:
>
> Oppure: se capisco bene quello che persisti è l'oggetto "classificatore" -
> aka: oggetto Python con i parametri risultanti dal training.
> Cosa più leggera potrebbe essere salvarti esclusivamente i valori dei
> parametri e ogni volta ricreare oggetto con i parametri giusti.. per questo
> basterebbe un formato qualsiasi a tua scelta.. da csv a JSON a whatever ;)
>
> HTH
> Valerio
>
>
> Il problema si presenta ben prima di arrivare a fare
> *pickle.dump(classifier, f).*
>

ok, allora non ho capito io il problema... oppure non ti sei spiegato :D


> Json non e' un formato adatto, troppo overhead, potrei provare jsonB. Ma
> al momento, non e' questa l'urgenza.
>

Io sto parlando della memorizzazione dei **soli** parametri (e valori) non
dell'oggetto Python... per cui, non capisco JSONB... parliamo di cose che
starebbero in un file di testo...


> Vedo se riesco a creare un mokup del programma che ho fatto e postarlo
> (devo stare attento perché sui dati ho firmato un NDA).
>

direi che non serve, se ci spieghi *bene* quale sia il tuo problema
allora.. leggendo avevo capito che il tuo problema era con Pickle (cosa
alquanto probabile...)

Ciao,
Valerio

P.s. Manteniamo la discussione sulla ML.

-- 
# valerio
___
Python mailing list
Python@lists.python.it
https://lists.python.it/mailman/listinfo/python

Re: [Python] NLTK memory error.

[Valerio Maggio]

Ciao Massimiliano.

2017-07-31 10:53 GMT+02:00 Massimiliano Modena :

> Il mio programma prende circa 300.000 voci gia' classificate (300 per ogni
> categoria) e crea un file di apprendimento (che persisto con pickle).
>
> Stando alla documentazione di NLTK su windows dice esplicitamente AVOID
> Python 64 bit. Il problema e' che (provando comunque col 64 bit) raggiungo
> un utilizzo di ram di circa 7Gb (che col 32 bit sono ovviamente un
> problema).
>
> Esiste qualche workaround o qualche ottimizzazione possibile, che voi
> sappiate?
>
il workaround è evitare pickle :)
Perché non utilizzare un altro formato ? Ad esempio, HDF5:
http://www.h5py.org
Oppure: se capisco bene quello che persisti è l'oggetto "classificatore" -
aka: oggetto Python con i parametri risultanti dal training.
Cosa più leggera potrebbe essere salvarti esclusivamente i valori dei
parametri e ogni volta ricreare oggetto con i parametri giusti.. per questo
basterebbe un formato qualsiasi a tua scelta.. da csv a JSON a whatever ;)

HTH
Valerio
___
Python mailing list
Python@lists.python.it
https://lists.python.it/mailman/listinfo/python

[Python] NLTK memory error.

[Massimiliano Modena]

Buongiorno a tutti.

Premetto le limitazioni che ho (leggasi chi paga vuole cosi).

Piattaforma : WIndows 7 64 bit.

Ho implementato un programma che, a partire da un database di frasi 
classificate ne effettua l'apprendimento per poi provare ad indovinare 
la classificazione per nuove frasi inserite dall'utente.


P.e.

/Il computer non si accende, lo schermo rimane nero/ - CLASSE: alimentazione

/Il computer continua a dare schermata blu/ - CLASSE: avaria driver


etc.

Il mio programma prende circa 300.000 voci gia' classificate (300 per 
ogni categoria) e crea un file di apprendimento (che persisto con pickle).


Stando alla documentazione di NLTK su windows dice esplicitamente AVOID 
Python 64 bit. Il problema e' che (provando comunque col 64 bit) 
raggiungo un utilizzo di ram di circa 7Gb (che col 32 bit sono 
ovviamente un problema).


Esiste qualche workaround o qualche ottimizzazione possibile, che voi 
sappiate?


Massimiliano.



___
Python mailing list
Python@lists.python.it
https://lists.python.it/mailman/listinfo/python