Hi all,
Sometimes during the GIZA++ step of the moses training script, I see
many "nan" pop up with big "ERROR:" labels in front of them. I have
appended an excerpt of some typical error-ful output.
Has anybody seen errors like "ERROR: nan nan nan 22 7" during the
GIZA++ step? It might be that they are benign (trained systems that
complained of nan errors during training *seem* to work okay but I
can't really tell).
In my current training runs, I have one run going with --parts=1 and
one run with --parts=1. Surprisingly, the --parts=1 run is going fine,
with no nan problems. However, the --parts=10 run has an extreme
amount of these nan errors, and in a few hours had amassed 15G of
stderr output. Maybe there is a bug with the --parts flag
implementation?
Thank you for any aidant hints about GIZA++ exhibiting too much
delicious Indian paneity!
--Jason
Excerpt of bad GIZA++ output:
A:
Vector(22){ 0: nan ; 1: nan ; 2: nan ; 3: nan ; 4: nan ; 5: nan ; 6:
nan ; 7: nan ; 8: nan ; 9: nan ; 10: nan ; 11: nan ; 12: nan ; 13: nan
; 14: nan ; 15: nan ; 16: nan ; 17: nan ; 18: nan ; 19: nan ; 20: nan
; 21: nan ;}
B:
Vector(22){ 0: nan ; 1: nan ; 2: nan ; 3: nan ; 4: nan ; 5: nan ; 6:
nan ; 7: nan ; 8: nan ; 9: nan ; 10: nan ; 11: nan ; 12: nan ; 13: nan
; 14: nan ; 15: nan ; 16: nan ; 17: nan ; 18: nan ; 19: nan ; 20: nan
; 21: nan ;}
ERROR: nan nan nan 22 7
ERROR: nan nan nan 22 7
ERROR: nan nan nan 22 7
ERROR: nan nan nan 22 7
ERROR: nan nan nan 22 7
ERROR: nan nan nan 22 7
ERROR: nan nan nan 22 7
E:
Vector(1){ 0: nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nERROR2: nan nan nanN:
0.18167 0.311971 4.28515e-06 0.719789 6.441e-05 3.53336e-06 0.13179
6.441e-05 2.74958e-07 0.00066815 3.43012e-07 3.34919e-07 3.35459e-07
0.0252534 0.000218483 4.28515e-06 5.97254e-05 0.0906972 0.00560102
0.00359106 0.0906972 2.74958e-07 0.0776639 4.07089e-07 9.31847e-07
3.91661e-06
1.68136e-06 2.84269e-06 0.0260347 7.64752e-05 0.0657941 0.181233
0.56715 0.0657941 0.937505 0.000381905 3.43012e-07 3.34919e-07
3.35459e-07
0.0252534 0.000218483 4.28515e-06 5.97254e-05 0.0906972 0.00560102
0.00359106 0.0906972 2.74958e-07 0.0776639 4.07089e-07 9.31847e-07
3.91661e-06
0.00813886 0.0348505 4.28515e-06 0.00400295 0.00690617 0.000166631
0.00129169 0.00690617 2.74958e-07 0.0553763 7.09248e-06 0.000195682
0.000257649
0.156602 0.646065 0.973897 0.20006 0.0137982 0.803036 0.270064
0.0137982 0.0624904 0.0170849 0.0779573 0.076118 0.0762408
0.477816 0.00493121 4.28515e-06 0.0758116 0.00476521 3.51421e-05
0.00304271 0.00476521 2.74958e-07 0.0126308 3.43012e-07 3.34919e-07
1.46907e-06
0.0707309 4.0822e-06 4.28515e-06 8.80265e-07 6.07122e-08 3.53336e-06
1.18828e-06 6.07122e-08 2.74958e-07 6.25681e-06 0.922028 0.92368
0.923467
0.00510189 9.98322e-05 4.28515e-06 9.08998e-07 0.000452105 1.98901e-05
1.85141e-05 0.000452105 2.74958e-07 0.738784 3.43012e-07 3.34919e-07
2.18163e-05
0.00549243 0.000182062 4.28515e-06 1.54279e-05 0.0807584 0.000477852
0.00216214 0.0807584 2.74958e-07 0.00219336 6.45937e-07 3.34919e-07
3.35459e-07
0.00549243 0.000182062 4.28515e-06 1.54279e-05 0.0807584 0.000477852
0.00216214 0.0807584 2.74958e-07 0.00219336 6.45937e-07 3.34919e-07
3.35459e-07
0.00549243 0.000182062 4.28515e-06 1.54279e-05 0.0807584 0.000477852
0.00216214 0.0807584 2.74958e-07 0.00219336 6.45937e-07 3.34919e-07
3.35459e-07
0.00549243 0.000182062 4.28515e-06 1.54279e-05 0.0807584 0.000477852
0.00216214 0.0807584 2.74958e-07 0.00219336 6.45937e-07 3.34919e-07
3.35459e-07
0.00549243 0.000182062 4.28515e-06 1.54279e-05 0.0807584 0.000477852
0.00216214 0.0807584 2.74958e-07 0.00219336 6.45937e-07 3.34919e-07
3.35459e-07
0.00549243 0.000182062 4.28515e-06 1.54279e-05 0.0807584 0.000477852
0.00216214 0.0807584 2.74958e-07 0.00219336 6.45937e-07 3.34919e-07
3.35459e-07
0.00549243 0.000182062 4.28515e-06 1.54279e-05 0.0807584 0.000477852
0.00216214 0.0807584 2.74958e-07 0.00219336 6.45937e-07 3.34919e-07
3.35459e-07
0.00549243 0.000182062 4.28515e-06 1.54279e-05 0.0807584 0.000477852
0.00216214 0.0807584 2.74958e-07 0.00219336 6.45937e-07 3.34919e-07
3.35459e-07
0.00549243 0.000182062 4.28515e-06 1.54279e-05 0.0807584 0.000477852
0.00216214 0.0807584 2.74958e-07 0.00219336 6.45937e-07 3.34919e-07
3.35459e-07
E:
Vector(1){ 0: nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
;}
_______________________________________________
Moses-support mailing list
[email protected]
http://mailman.mit.edu/mailman/listinfo/moses-support
