Ah! tenes razon... es que tu codigo se parecia tanto a java (getters/setters)
que no pudo evitarlo... :)
Definitivamente leer uno o varios archivos de 1.5gb a memoria va a resultar
extremadamente lento.... esa es la razon de que valla tan lento
"q por ejemplo no se fije si esta el md5 cuando el hashmap esta vacio"
no entendi :)
Saludos!
Martin Sagastume <[EMAIL PROTECTED]> escribió: Me gustó la idea de "tirar" la
lista estatica dentro de la clase..de todos modos el código tuyo mejorado no
toma en cuenta muchas cosas a la hora de agregar las md5 y rutas del archivo en
el Hash...q por ejemplo no se fije si esta el md5 cuando el hashmap esta vacio
y otras cosas...pero eso no es lo importante aca..agradezco q te tomaste la
molestia de modificarlo y ver como mejorarlo, ya adapte el mio con algunas
ideas tuyas..de todos modos la eficiencia sigue siendo la misma y tendría que
ponerme a probar...pueden ser 2 cosas
1) Ineficiencia a la hora de recorrer los directorios de forma recursiva
2) Ineficiencia al calcular el MD5 de los archivos, ya que requiere leerlos
(ME LA JUEGO POR ESTA)
Entonces me planteo...como calcular el MD5 de un archivo sin tener que acudir
al supongo yo ineficiente método read de la clase File que incluye el Core de
Ruby ?
Cuando se lee un archivo de gran tamaño se muere el procesador...
Hay alguna alternativa a todo esto ? DEBERIA haber...puedo usar otro checksum
pero no creo que sea ese el drama.
On 9/1/07, Martin Sagastume <[EMAIL PROTECTED]> wrote: Je si vi que la estaba
creando con cada llamada...horror!
Lo de la linea de comandos lo tuve en cuenta pero primero quiero solucionar el
tema de la eficiancia :P ...estuve mirando pero con el update de MD5 tambien
es necesario leer el archivo, osea por lo que vi no se puede obtener el md5 si
primero no haces el File.read ...que es lo que mata el procesador y sobre
todo cuando el archivo es medianamente grande. 1.5GB = 4 minutos aprox ...ya
saque lo de la lista pero igual sigue re "lento" el asunto =S voy a ver si
comparo con tu código
On 9/1/07, Emmanuel Oga < [EMAIL PROTECTED]> wrote:
Martin: Quize revisar tu programa y termine modificandolo un poco... te mando
lo que hice para que compares. Igual, no creo que levante mucho la performance
solo por estos cambios.
require 'find'
require 'digest/md5'
class Dupes
# Creamos el array solo una vez, no cada vez que llamas al metodo
esExtensionPermitida?
# CONSTANTE
LISTA_EXTENSIONES= %w{ .iso .img .mp3 .wav .wma .ogg .rb
.jpg .gif .png .jpeg .bmp .avi
.mpg .wmv .cue .bin .rar .tar
.jar .zip .7z .gz .bz2 .cpkg
.deb .rpm .pdf .spx .xcf .odt
.rtf .odg .odp .ods .exe .msi
.doc .pps .ppt .xls .nrg .tmp
.dat .bak .sfv .m3u }
def initialize
# Guardamos nombre_archivo => hash
@file_hashes= { }
end
def buscarDupes(rutas)
for ruta in rutas
Find.find(ruta) do |file|
if (File.ftype(file) != "directory") &&
(File.ftype(file) != "link") &&
LISTA_EXTENSIONES.include?( File.extname(file))
key= file.intern # Convierte String a Symbol => Cadena
inmutable, digamos...
digest = Digest::MD5.hexdigest(File.read(file))
if @file_hashes.has_key? key
puts "El archivo ya estaba presente"
else
puts "Se coloca el archivo #{key} con hash: #{digest}"
@file_hashes[key]= digest
end
end
end
end
end
end
# "IDIOM", si en vez de requerir el archivo lo llamas directamente de linea de
comando, ejecuta lo que esta dentro del if
if __FILE__ == $0 then
Dupes.new.buscarDupes(ARGV)
end
Martin Sagastume < [EMAIL PROTECTED]> escribió: Hola Luis, primero que nada
agradezco tu tiempo por probarlo y por venir a responderme :-D ...como dije
anteriormente soy muy nuevo....voy a revisar eso porq la verdad es que si veo
la ineficiencia de los algoritmos...me gustaría saber como usar el ruby-prof
para poder testear todo eso yo mismo sin tener que joder por aca para q lo
prueben.
Voy a leer la alternativa a FileRead supuse que eso era lo q me estaba matando
:P ...pero no se como "leer" de una manera menos costosa los archivos, por lo
cual voy a ver chuncks como me dijiste y el update al MD5.
Cambiaría el método entonces por una lista global como me aconsejas.
Pruebo y veo que onda...
Nuevamente.. mil gracias!!
On 9/1/07, Luis Lavena <[EMAIL PROTECTED]> wrote: On 9/1/07, Martin
Sagastume <[EMAIL PROTECTED]> wrote:
> Masomenos ya esta terminado...solo un pequeño problema jajaj demora mas de
> 15 minutos en scannear mi carpeta personal /home/martin y encima se re
> funde el micro..no puedo hacer mas nada!!! Siempre me canso y mato el
> proceso ruby antes de dejarlo terminar...mi notebook es un celeron M de
> 1.43ghz con 1GB DDR ...estaría bueno que alguien lo pruebe, es demasiado
> ineficiente esto jeje
>
Martin, aunque en mi maquina (Windows) no se produce esto (por alguna
razon el GC es mas eficiente) te hago unas sugerencias.
Ya que podes encontrarte con archivos gigantezcos, te recomiendo no
hagas File.read(), sino busques una alternativa streamlined.
(leer chuncks y usar #update de la clase MD5).
Segun ruby-prof:
0.37 0.11 0.11 0.00 0.00 65730 <Class::File>#extname
0.05 0.02 0.02 0.00 0.00 74947 String#==
65730 llamadas a extname! eso si que es expensive (y otras tantas a
#== de String).
En lugar de construir la lista de extensiones validas, podrias:
class Dupes
@@extensiones = %w{ .iso .img .mp3 .wav .wma .ogg .jpg .gif .png
.jpeg .bmp .avi .mpg .wmv .cue .bin .rar .tar .jar .zip .7z .gz .bz2
.cpkg .deb .rpm .pdf .spx .xcf .odt .rtf .odg .odp .ods .exe .msi .doc
.pps .ppt .xls .nrg .tmp .dat .bak .sfv .m3u }
y luego reemplazar todo el metodo esExtensionPermitida? por esto:
def esExtensionPermitida?(dir)
@@extensiones.include?(File.extname(dir))
end
Voy a correr unos benchs cuando tenga un tiempito y tiro otras sugerencias.
--
Luis Lavena
Multimedia systems
-
Leaders are made, they are not born. They are made by hard effort,
which is the price which all of us must pay to achieve any goal that
is worthwhile.
Vince Lombardi
_______________________________________________
Ruby mailing list
[email protected]
http://lista.rubyargentina.com.ar/listinfo.cgi/ruby-rubyargentina.com.ar
--
Martín Sagastume
094-575846
Montevideo - Uruguay
http://musicapastillera.blogspot.com
_______________________________________________
Ruby mailing list
[email protected]
http://lista.rubyargentina.com.ar/listinfo.cgi/ruby-rubyargentina.com.ar
---------------------------------
¡Sé un mejor besador!
Compartí todo lo que sabés sobre besos en
http://ar.yahoo.com/promos/mejorbesador.html
_______________________________________________
Ruby mailing list
[email protected]
http://lista.rubyargentina.com.ar/listinfo.cgi/ruby-rubyargentina.com.ar
--
Martín Sagastume
094-575846
Montevideo - Uruguay
http://musicapastillera.blogspot.com
--
Martín Sagastume
094-575846
Montevideo - Uruguay
http://musicapastillera.blogspot.com
_______________________________________________
Ruby mailing list
[email protected]
http://lista.rubyargentina.com.ar/listinfo.cgi/ruby-rubyargentina.com.ar
---------------------------------
¡Sé un mejor fotógrafo!
Perfeccioná tu técnica y encontrá las mejores fotos.
Visitá http://ar.yahoo.com/promos/mejorfotografo.html_______________________________________________
Ruby mailing list
[email protected]
http://lista.rubyargentina.com.ar/listinfo.cgi/ruby-rubyargentina.com.ar
