Hello,
I am using the tokenizer.perl script which I found on
https://github.com/moses-smt/mosesdecoder/blob/master/scripts/tokenizer/tokenizer.perlI
have tried to make it work for Indic languages which use the same punctuation
markers with the exception of the full-stop which is a
। U+0964 DEVANAGARI DANDA
My main issue is that Hindi and other languages using the character also
use the full-stop as an abbreviation marker. How do I manage to
keep both characters as tokenising elements? I would really appreciate if
someone could take some time off and propose modifications to the perl
script to accommodate also the Devanagari danda as well as the full-stop. I
work in C and hence the issue.
I am appending the a small sample of Hindi <raw.txt> for testing
Many thanks for your help
Best regards,
Raymond
थरूर से कड़ी पूछताछ, अमेरिका भेजा सुनंदा का विसरा
नई दिल्ली, शुक्रवार, 13 फ़रवरी 2015 (09:23 IST)
नई दिल्ली। कांग्रेस सांसद शशि थरूर से उनकी पत्नी सुनंदा पुष्कर की रहस्यमय
परिस्थिति में हुई मौत के मामले में एसआईटी ने गुरुवार को लगभग सात घंटे तक पूछताछ
की। इस दौरान उन्हें विशेष रूप से आईपीएल विवाद को लेकर कुछ कड़े सवालों का सामना
करना पड़ा।
थरूर से यह पूछताछ पांच सदस्यीय एसआईटी की टीम ने दक्षिण दिल्ली के वसंत विहार
स्थित ‘एंटी ऑटो थेप्ट स्कवायड’ कार्यालय में की गई।
दिल्ली पुलिस ने इससे पहले पूर्व केंद्रीय मंत्री से गत 19 जनवरी को पूछताछ की थी।
थरूर को रात में पूछताछ के बाद अपने वकील के साथ जाते देखा गया।
पुलिस सूत्रों ने बताया कि थरूर से चौथे दौर की पूछताछ सप्ताहांत में हो सकती है
क्योंकि उनके बयानों में कुछ विरोधाभास है।
थरूर के शुक्रवार को तिरूवनंतपुरम रवाना होने की संभावना है। उनसे पूछताछ ऐसे दिन
हुई है जब आगे की जांच के लिए सुनंदा का विसरा अमेरिका में एफबीआई की प्रयोगशाला
को भेजा गया है।
पुलिस सूत्रों के अनुसार थरूर ने दिन के समय पूछताछ के दौरान कुछ समय का विराम
मांगा। उनका कहना था कि उन्हें यहां स्थित इंडिया हैबिटेट सेंटर में एक कार्यक्रम
में हिस्सा लेना है।
एसआईटी की पांच सदस्यीय टीम ने यहां थरूर के साथ उनके घरेलू नौकर बजरंगी और नारायण
सिंह, थरूर दंपती के मित्र संजय दीवान, गंगा राम अस्पताल के हृदय रोग विशेषज्ञ डॉ.
रजत मोहन तथा निजी सहायक प्रवीण कुमार से भी पूछताछ की। इन लोगों से अलग से भी
पूछताछ की गई।
सूत्रों ने बताया कि थरूर को आईपीएल विवाद पर सख्त सवालों का सामना करना पड़ा। यह
विवाद 2010 की शुरुआत में उस वक्त सामने आया था जब वह विदेश राज्य मंत्री थे।
ये आरोप हैं कि उन्होंने सुनंदा को 70 करोड़ रुपए अदा कराने के लिए अपने पद का
दुरूपयोग किया। यह रकम आईपीएल कोच्चि फ्रेंचाइजी रेंडेजवस स्पोर्ट्स में 19 फीसदी
हिस्सेदारी के बराबर है। हालांकि, उन्होंने इन आरोपों को सिरे से खारिज कर दिया।
सूत्रों ने बताया कि एसआईटी के सदस्य एवं एक शीर्ष पुलिस अधिकारी एफबीआई को सुनंदा
का विसरा का नमूना देने के लिए अमेरिका रवाना हो गए हैं। पुलिस इस बात की पुष्टि
करना चाहती है कि क्या जहर रेडियोएक्टिव आइसोटोप था, जिसका पता भारतीय
प्रयोगशालाओं में नहीं चल सकता। (भाषा)
_______________________________________________
Moses-support mailing list
[email protected]
http://mailman.mit.edu/mailman/listinfo/moses-support
