Re: [OSM-ja] キャッシュデータの分割

2010-03-22 スレッド表示 Mage Whopper
Mage Whopperです。

南関西-四国東(114240,52064) - (115040,52704)、
回収完了しました。
36.2Gほどです。いまから外部HDDに退避させます。

吸い出すのが後になりますが、DLとwms2tile
もう1線使えるようにしました。
外部HDDの空きは正確に把握していませんが
200Gはあります。

Mage Whopper
magewhop...@gmail.com

2010年3月22日10:14 Shun N. Watanabe sh...@ics.uci.edu:
 nazotoko の渡邊です。

 2010/3/21 山下 一郎 ich...@ca2.so-net.ne.jp:
 神奈川、栃木、富士山キャッシング担当の山下です

 (10/03/19 5:18), Shun N. Watanabe wrote:
 (115968,50848)-(116096,51872)
 をよろしくお願いします。新潟から富士くらいまでの細長い領域です。
 やっぱり富士山は取得しとかなきゃいけないだろうと、思いました。
 メンテナンス作業前には終わると思ってます。

 終わりました。
 後半スピードが落ちて、131072タイルにほぼ3日かかりました。

 トータルで、330752タイル、38119124KBです。
 まだディスク容量にも余裕があり、あと9日なので、40万タイル弱はいけると思
 います。

 早いですね。
 メンテナンスまであと37時間ほどしかないので、2万タイルほどの領域
 (115808,51168)-(115968,51296)
 をよろしくお願いします。
 長野県上田あたりです。

  Shun N. Watanabe

 ___
 Talk-ja mailing list
 Talk-ja@openstreetmap.org
 http://lists.openstreetmap.org/listinfo/talk-ja


___
Talk-ja mailing list
Talk-ja@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ja


Re: [OSM-ja] キャッシュデータの分割

2010-03-22 スレッド表示 Shun N. Watanabe
nazotoko の渡邊です。

2010/3/22 Mage Whopper magewhop...@gmail.com:
 Mage Whopperです。

 南関西-四国東(114240,52064) - (115040,52704)、
 回収完了しました。
 36.2Gほどです。いまから外部HDDに退避させます。

早いですね。
他のところに移る前に、WMS が返答しないために
穴が開いているところがないか確認してください。
同じ範囲を指定して、何のエラーもなく数秒で終わってしまったら、
その範囲は完全です。
あと、wms2tile に低レベルズームで存在箇所を示す機能をつけました。
svn update した後に、tile.json に
12:{method:existence,zoom:17},
13:{method:existence,zoom:17},
とか入れて、OpenLayers などで見ると、
存在箇所が半透明赤で表示されます。

Mage Whopper さんの北32 タイルは、
私が全部持ってるので、いま穴空きでも構いません。
WMSメンテナンス時に、私もサーバーの再編成をするので、
それ以降に埋めてます。

 Shun N. Watanabe

___
Talk-ja mailing list
Talk-ja@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ja


Re: [OSM-ja] キャッシュデータの分割

2010-03-22 スレッド表示 Shun N. Watanabe
nazotoko の渡邊です。

2010/3/22 Mage Whopper magewhop...@gmail.com:
 Mage Whopperです

 WMS無反応その他のエラーは再取得を終了しています。
 マシンがしょぼいので数分かかりますが
 エラー無く終了します。

 $ php range.php MLITJ 17 114240 52064 115040 52704
 !DOCTYPE HTML PUBLIC -//W3C//DTD HTML 4.01//EN
 htmlhead
  meta http-equiv=Content-Language content=en /
  meta http-equiv=Content-Type CONTENT=text/html; charset=UTF-8 /
  meta http-equiv=Content-Style-Type content=text/css /
  titleAdd rendering requests by range/title
 /head
 body
 h1Add rendering requests by range/h1
 layer: MLITJ
 zoom: 17
 (114240,52064) - (115040,52704)
 ul/ulpdone/p/body
 /html

これだと取りこぼしてないと思います。
ご苦労さまです。

ただ、心配事なのですが、
瀬戸内海あたりは変なことが起きてます。
私も広島がやたら早く終わってしまったので、内容を確認したら、
真っ白だったのでビックリでした。

もしかしたらWMS のメンテナンスは、この辺を管理しているファイルか
サーバーが壊れたからなのかもしれません。

北海道や小笠原諸島みたいに、初めからないなら問題ないんですが、
ちょっとメンテナンス後に確認して
やっぱり白かったら、もう何もしませんが、
治っていた場合は、Mage Whopperさんにも作業してもらいます。

 ls-Rが必要であれば送ります。
 Uploadでやたらエラーがでていたようです。

 Warning: fopen(http://38.127.225.239/Request/upload.php): failed to
 open stream:
 HTTP request failed!  in ...

 というログがたくさんあります。

これは、私が調子乗って、たくさんwms2tile を走らせてしまったときに
よく起こります。
メタデータは後でも取れるので、今はいいです。

メンテナンスまで時間がある場合は、
(114976,51904) - (115040,51936) 滋賀大津
をよろしくお願いします。たぶん4時間くらいです。

 Shun N. Watanabe

___
Talk-ja mailing list
Talk-ja@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ja


Re: [OSM-ja] キャッシュデータの分割

2010-03-22 スレッド表示 Mage Whopper
Mage Whopperです。

2010年3月23日8:27 Shun N. Watanabe sh...@ics.uci.edu:
 nazotoko の渡邊です。

 2010/3/22 Mage Whopper magewhop...@gmail.com:
 Mage Whopperです

 WMS無反応その他のエラーは再取得を終了しています。
 マシンがしょぼいので数分かかりますが
 エラー無く終了します。

 $ php range.php MLITJ 17 114240 52064 115040 52704
 !DOCTYPE HTML PUBLIC -//W3C//DTD HTML 4.01//EN
 htmlhead
  meta http-equiv=Content-Language content=en /
  meta http-equiv=Content-Type CONTENT=text/html; charset=UTF-8 /
  meta http-equiv=Content-Style-Type content=text/css /
  titleAdd rendering requests by range/title
 /head
 body
 h1Add rendering requests by range/h1
 layer: MLITJ
 zoom: 17
 (114240,52064) - (115040,52704)
 ul/ulpdone/p/body
 /html

 これだと取りこぼしてないと思います。
 ご苦労さまです。

 ただ、心配事なのですが、
 瀬戸内海あたりは変なことが起きてます。
 私も広島がやたら早く終わってしまったので、内容を確認したら、
 真っ白だったのでビックリでした。

広島は以前から真っ白でした。
昨年広島城を書こうと思ったのですが
少なくともWMSにはデータがありませんでした。
おそらくは国防関連での対応作業が発生していたのではないかと思います。

 もしかしたらWMS のメンテナンスは、この辺を管理しているファイルか
 サーバーが壊れたからなのかもしれません。

現状わかっている情報的には高負荷対策かと思います。
DLしてるのはOSM周りだけではないでしょうし、
現状の負荷ケースに対応する対策で何をしてくるかは
おおよそ想像できます。
個人的にはメンテ後は並列DLを絶望視しといた方が
ショックが少ないのではないかと考えています。
まあ、なってみてから考えましょう。

 北海道や小笠原諸島みたいに、初めからないなら問題ないんですが、
 ちょっとメンテナンス後に確認して
 やっぱり白かったら、もう何もしませんが、
 治っていた場合は、Mage Whopperさんにも作業してもらいます。

了解しました。

 ls-Rが必要であれば送ります。
 Uploadでやたらエラーがでていたようです。

 Warning: fopen(http://38.127.225.239/Request/upload.php): failed to
 open stream:
 HTTP request failed!  in ...

 というログがたくさんあります。

 これは、私が調子乗って、たくさんwms2tile を走らせてしまったときに
 よく起こります。
 メタデータは後でも取れるので、今はいいです。

了解しました。

 メンテナンスまで時間がある場合は、
 (114976,51904) - (115040,51936) 滋賀大津
 をよろしくお願いします。たぶん4時間くらいです。

仕掛けておきました。
もう出かけます。

Mage Whopper
magewhop...@gmail.com

___
Talk-ja mailing list
Talk-ja@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ja


Re: [OSM-ja] キャッシュデータの分割

2010-03-22 スレッド表示 山下 一郎
神奈川、栃木キャッシング担当の山下です

(10/03/22 10:14), Shun N. Watanabe wrote:
 メンテナンスまであと37時間ほどしかないので、2万タイルほどの領域
 (115808,51168)-(115968,51296)
 をよろしくお願いします。
 長野県上田あたりです。

終わりました。
20480タイル、2370444KBです。
今回は、スピードがかなり落ちていて、18時間ほどかかりましたので、1時間当
たり1100タイルになってしまいました。

あと、富士山あたりは吸い上げていただいたようですね。
--
山下一郎

___
Talk-ja mailing list
Talk-ja@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ja


Re: [OSM-ja] キャッシュデータの分割

2010-03-22 スレッド表示 Shun N. Watanabe
nazotoko の渡邊です

2010/3/22 Mage Whopper magewhop...@gmail.com:
 Mage Whopperです。

 2010年3月23日8:27 Shun N. Watanabe sh...@ics.uci.edu:
 nazotoko の渡邊です。

 ただ、心配事なのですが、
 瀬戸内海あたりは変なことが起きてます。
 私も広島がやたら早く終わってしまったので、内容を確認したら、
 真っ白だったのでビックリでした。

 広島は以前から真っ白でした。
 昨年広島城を書こうと思ったのですが
 少なくともWMSにはデータがありませんでした。
 おそらくは国防関連での対応作業が発生していたのではないかと思います。

初めから無いなら、ある意味安心です。
国防関連はないでしょう。カラー空中写真は呉・因島・江田島もありますから。
北海道と同じく単にオルソ化が間に合ってないか、
忘れられたかだと思います。

 もしかしたらWMS のメンテナンスは、この辺を管理しているファイルか
 サーバーが壊れたからなのかもしれません。

 現状わかっている情報的には高負荷対策かと思います。
 DLしてるのはOSM周りだけではないでしょうし、
 現状の負荷ケースに対応する対策で何をしてくるかは
 おおよそ想像できます。
 個人的にはメンテ後は並列DLを絶望視しといた方が
 ショックが少ないのではないかと考えています。
 まあ、なってみてから考えましょう。

一応ほぼ全部取得する気でいることは伝えてあるのですが、
ここまで高負荷とは思ってなかったかもしれません。

 Shun N. Watanabe

___
Talk-ja mailing list
Talk-ja@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ja


Re: [OSM-ja] キャッシュデータの分割

2010-03-22 スレッド表示 山下 一郎
神奈川、栃木キャッシング担当の山下です。

(10/03/23 10:43), Shun N. Watanabe wrote:
 もし、まだメンテナンス時まで余裕があれば2048 タイルの、
 (115776,51424)-(115840,51456) 諏訪湖
 をよろしくお願いします。

終了しました。

 重点式にすると、範囲指定が細かくなってわけ
 わからなくなってしまいますね。
 一応記録は取ってあります。

キャッシュするときには特に困らないので、大丈夫です。
--
山下一郎

___
Talk-ja mailing list
Talk-ja@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ja


Re: [OSM-ja] キャッシュデータの分割

2010-03-21 スレッド表示 山下 一郎
神奈川、栃木、富士山キャッシング担当の山下です

(10/03/19 5:18), Shun N. Watanabe wrote:
 (115968,50848)-(116096,51872)
 をよろしくお願いします。新潟から富士くらいまでの細長い領域です。
 やっぱり富士山は取得しとかなきゃいけないだろうと、思いました。
 メンテナンス作業前には終わると思ってます。

終わりました。
後半スピードが落ちて、131072タイルにほぼ3日かかりました。

トータルで、330752タイル、38119124KBです。
まだディスク容量にも余裕があり、あと9日なので、40万タイル弱はいけると思
います。

--
山下一郎

___
Talk-ja mailing list
Talk-ja@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ja


Re: [OSM-ja] キャッシュデータの分割

2010-03-19 スレッド表示 山下 一郎
(10/03/19 5:18), Shun N. Watanabe wrote:
 とりあえず
 (115968,50848)-(116096,51872)
 をよろしくお願いします。新潟から富士くらいまでの細長い領域です。
 やっぱり富士山は取得しとかなきゃいけないだろうと、思いました。
 メンテナンス作業前には終わると思ってます。

半分くらい終わりました。
1時間当たり2000タイル処理していますので、あと33時間くらいです。

ディスク容量は、一時的であればまだまだ余裕がありますので、この調子で月末
まで行けそうです。
あと50万タイルくらいは引き受けられるかと思います。

--
山下一郎

___
Talk-ja mailing list
Talk-ja@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ja


Re: [OSM-ja] キャッシュデータの分割

2010-03-18 スレッド表示 SHIBATA Akira
柴田(あ)です。

bfa292781003172223g329d2e48n559e58d06ffab...@mail.gmail.com の、
   Re: [OSM-ja]キャッシュデータの分割 において、
   Wed, 17 Mar 2010 22:23:23 -0700 発信のメイルで
   Shun N. Watanabeさんは書きました:

 実は、もうそのスクリプト止めてくれと言うところだったので。

もう、止めましょうか?
Ctrl+C するとスクリプトが暴走するっぽいので
自然停止をとも思いまして…概算で 14 時間分(一回目)、
確認分は一回目よりも早いハズなのでその分早くということで
日本時間明朝 3/29 には自然終了します。


 ls -R か、 find でリストをもらえませんか。
 メールで送る前に gzip などしてください。

ということで別メイルにて、送ります。
ls -R と find では結果が違うので両方を送ります。
  o...@saba:~/public_html$ wc -l ls-R.txt
  241791 ls-R.txt
  o...@saba:~/public_html$ wc -l find.txt
  236861 find.txt

-rw-r--r--1 osm osm467873 2010-03-18 14:34 filenames.tar.bz2


  wget するスクリプト(downdoad.sh)について下のように記述
   #!/bin/sh
   bash ./download.sh X+(32x0) Y X+(32x0)+32 Y+32 
   bash ./download.sh X+(32x1) Y X+(32x1)+32 Y+32 
:
 
 自分は、perl のfor文を使うことが多いです。
 こんな感じ、
 perl -e 'for($i=1560;$i1600;$i++){print `perl level12.pl 3646 $i `;}'

♪もしも〜 perl が使〜え〜れば〜
sh をちょっとしかわかってませんので、
魔法の呪文のようです (^^;ゞ


 柴田さんがwget をかけるとこんな感じになってました。
 
 wget - wms2tile (0.1秒)
 wms2tile - WMS (0.1秒)
 (0.5 秒待ち)
 WMS - wms2tile (4 秒)
 (optipng  2秒)
 wms2tile - wget (6 秒) (ここまでwget は待ってるだけ)

なるほど、こりゃ効率悪いですね。
過ぎたるはなお及ばざるが如しを地でいく感じと見ました。


  この週末に自転車の遠乗りのイベントのためです。
  ですので、少なくとも 24 時間は触らなくても黙って稼動する
  ことを期待しているわけです。
 
 とりあえず触らなくてもいいです。
 たぶん週明けに、今度は違うスクリプトで、wget を指示しますが、
 こいつは並列などしなくても、帯域全部使って10 時くらい勝手に動いているはずです。
 その日はメール読めないかもしれません。覚悟しといてください。

なんという刺激的な響き!
帯域がボトルネックになるか、サーバがボトルネックになるか…
家庭用 BB ルータがボトルネックになるか…


一時的に B フレッツ回線使っちゃおうかな〜 (笑
VPN 接続にしか使ってないので、本気で帯域が必要なら
B フレッツのほうは CATV 回線の二倍以上の 30Mbps 以上が
期待できますから、ぶん回す時間によってはセッティングを
変えて B フレッツからやるかもしれません。

ま、いずれにしてもスクリプトお待ちしております。

-- 
あまねく生命に、あまねく知性に、最大の幸福を願う
h...@eva.gr.jp  http://www.psychoscape.net/

___
Talk-ja mailing list
Talk-ja@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ja


Re: [OSM-ja] キャッシュデータの分割

2010-03-18 スレッド表示 ikiya
ikiyaです。
キャッシングお疲れさまです。
システム停止のお知らせです。

「メンテナンス作業実施のため、下記時間帯はシステムを停止致します。
3月23日(火)22:00〜3月24日(水)24:00
利用者の皆様にはご迷惑をお掛け致しますが、ご了承ください」

山下 一郎 ich...@ca2.so-net.ne.jp wrote: 神奈川、栃木キャッシング担当の山下です

以下の担当分終了しました。
199680タイル、22,136,336KBになりました。

神奈川県全域 (17,116096,51648) - (17,116512,51872)
http://www.osm.org/?minlon=138.86856079maxlat=35.6026021608maxlon=140.011138916minlat=35.1008105185box=yes
栃木県全域 (17,116256,50944)  - (17,116512,51360)
http://www.osm.org/?maxlat=37.159222minlon=139.30801minlat=36.243166maxlon=140.011139box=yes

渡邊さんへ
何かやることがあれば、ご指示ください。
--
山下一郎

___
Talk-ja mailing list
Talk-ja@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ja

 

 
-
VANCOUVER 2010 PARALYMPIC GAMES News
___
Talk-ja mailing list
Talk-ja@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ja


Re: [OSM-ja] キャッシュデータの分割

2010-03-18 スレッド表示 Shun N. Watanabe
nazotoko の渡邊です。

2010/3/18 山下 一郎 ich...@ca2.so-net.ne.jp:
 神奈川、栃木キャッシング担当の山下です

 以下の担当分終了しました。
 199680タイル、22,136,336KBになりました。

 神奈川県全域 (17,116096,51648) - (17,116512,51872)
 http://www.osm.org/?minlon=138.86856079maxlat=35.6026021608maxlon=140.011138916minlat=35.1008105185box=yes
 栃木県全域 (17,116256,50944)  - (17,116512,51360)
 http://www.osm.org/?maxlat=37.159222minlon=139.30801minlat=36.243166maxlon=140.011139box=yes

ご苦労さまですと同時に、
やっぱり一県10GB の予想は正しく、最悪430 GB が全部かも。

 何かやることがあれば、ご指示ください。

とりあえず
(115968,50848)-(116096,51872)
をよろしくお願いします。新潟から富士くらいまでの細長い領域です。
やっぱり富士山は取得しとかなきゃいけないだろうと、思いました。
メンテナンス作業前には終わると思ってます。

 Shun N. Watanabe

___
Talk-ja mailing list
Talk-ja@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ja


Re: [OSM-ja] キャッシュデータの分割

2010-03-17 スレッド表示 Shun N. Watanabe
nazotoko の渡邊です。

2010/3/16 SHIBATA Akira h...@eva.gr.jp:
 柴田(あ)です。

 ということで書き換えて実行しましたところ、
 リダイレクトの効果がでていたようであらかた取得が
 終わっていたようです。
 が、ミョーなエラーもでているのですが

 以下抜粋

 x=115390 done
 rm: cannot remove `17/115389/52029': No such file or directory
 x=115391 done
 x=114879 done
 x=115110 done

私は、wget がリダイレクトできるかどうかしらないですが、
たぶんできなかったと思います。
このメッセージをみると、
PNG ファイルがダウンローできなかった時は削除する
機構がちゃんと働いているようなので、
何も考えず例の繰り返しを実行してください。

 閑話休題

 別メイルでの渡邊さんの懸念(集中による力の強大化等)は
 理解できます。
 P2P のようにみんなが得たデータを相互補完できたら〜と
 いう程度の考えなので、なんかいいアイデアありましたら
 そのときはヨロシクです。

それよりも、法人化の話に決着をつけて、
そのコンピューター資源を誰の所持物にするかが先ですよね。
私はOpenStreetMap Japan 法人化に反対しているんじゃなくて、
権力集中的な法人に反対しているだけです。
NPO 法人なんて、資金と共有財産の管理をするためだけに建てられるもので、
実際の活動は、社員と関係ない・関係したらいかんと思ってますので。

あと三浦さんがちょっと書いてますが、
P2Pもオープンソースな世界や最前線研究の世界では
善良テクノロジー扱いでも、
クローズドな世界や政府関連の世界では、
邪道扱いだったりと、いいことばかりでもないですよ。
悪いのはP2P ネットワークの利用目的次第なんですけどね。

 Shun N. Watanabe

___
Talk-ja mailing list
Talk-ja@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ja


Re: [OSM-ja] キャッシュデータの分割

2010-03-17 スレッド表示 yasunari
山下康成@京都府向日市と申します。

In message bfa292781003161545v66fb28a4r1304210a697f5...@mail.gmail.com
Shun N. Watanabe sh...@ics.uci.edu writes

  関西あたりも分散したほうがいいと思っているところです。

関西でお手伝いすることがあれば、申し付け下さい。

・wget 可能(Linux)
・テラバイトオーダのストレージを用意可能
・CPU は非力(PPC 200MHz とか ARM 400MHz とか)
・固定IP
・http は既に開いている
・別のポートを開けることも可能

良くわかっていないので _o_
具体的に指示をいただければ幸いです。
よろしくお願いします。
--
山下康成@京都府向日市

___
Talk-ja mailing list
Talk-ja@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ja


Re: [OSM-ja] キャッシュデータの分割

2010-03-17 スレッド表示 SHIBATA Akira
柴田(あ)%わかってないけど wget 中です

20100317.224035.42408919.yasun...@yamasita.jp の、
   Re: [OSM-ja]キャッシュデータの分割 において、
   Wed, 17 Mar 2010 22:40:35 +0900 (JST) 発信のメイルで
   yasun...@yamasita.jpさんは書きました:

   関西あたりも分散したほうがいいと思っているところです。
 
 関西でお手伝いすることがあれば、申し付け下さい。
 
 ・wget 可能(Linux)

これって当方のところから wget でコピー可能だと
思うのですが、コピーであってオルソ写真として
利用可能な形なのかがわかりません。


 ・テラバイトオーダのストレージを用意可能

もし、単純 wget 可能なら
o...@saba:~/public_html$ date ; df
Wed Mar 17 23:53:29 JST 2010
Filesystem   1K-blocks  Used Available Use% Mounted on
/dev/sdd11922858352  20487756 1804694996   2% /home/osm/public_html
と 20GB ほどなら手元にあります。

えっと、思ったほど wget が進まないので数十〜
数百 GB 程度で充分ですね。
当方も 300GB にビビって参加が遅れ、 2TB な
HDD を購入するまで手を挙げられませんでした。


 ・CPU は非力(PPC 200MHz とか ARM 400MHz とか)
 ・固定IP
 ・http は既に開いている
 ・別のポートを開けることも可能

ということで、既に引き出してあるデータのコピーが
いいのかどうかは当方ではわかりかねますが、
それでよかったときにはよろしくお願いいたします。
上りがほっそいので、 wget 時には時間がかかる
かもしれませんけど…


-- 
あまねく生命に、あまねく知性に、最大の幸福を願う
h...@eva.gr.jp  http://www.psychoscape.net/

___
Talk-ja mailing list
Talk-ja@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ja


Re: [OSM-ja] キャッシュデータの分割

2010-03-17 スレッド表示 Shun N. Watanabe
nazotoko の渡邊です。

2010/3/17 SHIBATA Akira h...@eva.gr.jp:
 柴田(あ)です。

 で、
 http://38.127.225.239:8080/?MLITJ …
 のパフォーマンスがめっちゃ落ちているように見えます。
 反対に
 http://184.73.236.108/wms2tile/?
 が良好なパフォーマンスを出してくれているので、
 昨晩よりはちょっと劣りますが wget しています。

38.127.225.239 の方は、計算などさせるべきでないような安いサーバーで、
しかも一緒にトラッカーが走っており、せいぜい2,3 しかwms2tile をはしらせられ
ません。その2,3はいま東北と北海道を集めています。
昨日柴田さんの負荷がきつすぎて、サーバーの持ち主から強制的にリセットを
かけられました。柴田さんのIPアドレスが、ブラックリスト入りすると、
いろいろこまるので、これをもう使わないでください。

逆に184.73.236.108 は、かなりの負荷に耐えられるタイプのサーバーです。
こっちはまだ暇で、千葉茨城が終わったらやること無いので、
こっちに回してください。

 Shun N. Watanabe

___
Talk-ja mailing list
Talk-ja@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ja


Re: [OSM-ja] キャッシュデータの分割

2010-03-17 スレッド表示 SHIBATA Akira
柴田(あ)です。

bfa29278100317k20214bcfg9e49f51d40c76...@mail.gmail.com の、
   Re: [OSM-ja]キャッシュデータの分割 において、
   Wed, 17 Mar 2010 11:11:27 -0700 発信のメイルで
   Shun N. Watanabeさんは書きました:

 nazotoko の渡邊です。
 
 2010/3/17 SHIBATA Akira h...@eva.gr.jp:
  柴田(あ)です。
  http://38.127.225.239:8080/?MLITJ …
  のパフォーマンスがめっちゃ落ちているように見えます。
 
 昨日柴田さんの負荷がきつすぎて、サーバーの持ち主から強制的にリセットを
 かけられました。柴田さんのIPアドレスが、ブラックリスト入りすると、
 いろいろこまるので、これをもう使わないでください。

教えてくださってありがとうございます。

当方あせっていて…
この週末にイベントがあって、少なくとも 24 時間は
まったく PC に触れない時間がありそうと考えていて
いない間でも wget を継続できるようにと仕込みの
方法を模索していました。

手動だとずっと張り付いていないといけないので…

で、いろいろ実験させてもらってやっと安定的に
並列状態を維持できるようにする方法を見つけました。
わかるまで 48 時間くらいかかったということでも
ありますが…


 逆に184.73.236.108 は、かなりの負荷に耐えられるタイプのサーバーです。
 こっちはまだ暇で、千葉茨城が終わったらやること無いので、
 こっちに回してください。

現在安定的に 8 〜 12 ほど並列に回っていると思います。
これ以上増やしてもしょうがない気がしますがいかがでしょう?


ということで下に二点ほど…

○並列 wget の数を制限する方法について

wget するスクリプト(downdoad.sh)について下のように記述
  #!/bin/sh
  bash ./download.sh X+(32x0) Y X+(32x0)+32 Y+32 
  bash ./download.sh X+(32x1) Y X+(32x1)+32 Y+32 
   :
  bash ./download.sh X+(32x6) Y X+(32x6)+32 Y+32 
  bash ./download.sh X+(32x7) Y X+(32x7)+32 Y+32
  bash ./download.sh X+(32x8) Y X+(32x0)+32 Y+32 
  bash ./download.sh X+(32x9) Y X+(32x1)+32 Y+32 
   :
  bash ./download.sh X+(32x14) Y X+(32x14)+32 Y+32 
  bash ./download.sh X+(32x15) Y X+(32x15)+32 Y+32
ってな感じに並列に動かしたいスクリプトをいくつか書いて
行末のアンパサンド「  」で「バックグラウンドに移し、
何行かに一つアンパサンドを抜くという方法です。

前提は wget するスクリプトがだいたい同じペースで動いて
くれることです。
特に行末にアンパサンドがついていない行がさっさと終わると
次のアンパサンドが付いている行が動き出して負荷が
急激に上がります。

実験で sleep とか使ってみたりしましたが、
この方法のほうが簡単でかつ途切れがないようにおもいます。
あと親プロセスの kill の仕方によってはゾンビになって
wget のスクリプトが急激にたくさん動いたりして、これまた
面倒なことになりました。
多分強制的リセットがかかったのはその辺の並列実験をしていた
ためだろうと思います。
# ってわかっているひとには当然のことかもしれませんが、
# 当方のような wget 初心者には負荷のかけ方がわかって
# いませんで、他の方の益になればと思います。


○遺言のような (笑
多分そうなりませんが、万一のときにはということで…
先述の内容にて少なくとも 24 時間は PC に触れない予定なのは
この週末に自転車の遠乗りのイベントのためです。
ですので、少なくとも 24 時間は触らなくても黙って稼動する
ことを期待しているわけです。

3/19 の宵の口くらいには測定経験から 36 時間分くらいの
エリア指定を投入しようと思います。
# 疲労困憊したあとゆっくり寝られる期待 (^^;

まぁ、それはおいといて、万一帰ってこなかったときに、
当方が wget したデータについて永続的に見える状態とは
いえませんので、当方のサーバから抜いていっていただけると
ありがたいです。
当方のサーバから wget で抜く方法は多分渡邊さんなら
範囲と方法をご存知ですので、ソのときにはヨロシクです>各位

や、還ってくるつもりですけど、永久にというのは一番避けたくて
何日かとかいうのも次善(笑)ということで、継続性をと思います。
要は「ソの場合」に親族にサーバの電源を落とされるまでに
回収していってもらえればと。

-- 
あまねく生命に、あまねく知性に、最大の幸福を願う
h...@eva.gr.jp  http://www.psychoscape.net/

___
Talk-ja mailing list
Talk-ja@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ja


Re: [OSM-ja] キャッシュデータの分割

2010-03-16 スレッド表示 Shun N. Watanabe
nazotoko の渡邊です。

2010/3/15  caes...@mbp.nifty.com:
 たぐちです。

 大変出遅れてしまいましたが、わたしにも対応できそうです。

 nazotoko の渡邊です。

 多分最後の割り当てです。

 渡邊
 北日本 (116096,47696) - (118248,50944)

 http://www.osm.org/?minlon=138.868561maxlat=43.928561maxlon=144.779205minla
 t=37.159222box=yes

 この範囲ですと北海道の一部(道北・道東地方)が欠けてしまうと
 思いますので、出身者としてできたら北海道の全域または一部を
 受け持ちたいと思います。

ごめんなさいね。
何かそれを見ると、「渡邊が容量不足を理由に北海道を捨てた!」
と見えたかもしれませんが、
それは単に本当にその範囲しか写真が無いだけです。
詳しくは、
http://orthophoto.mlit.go.jp/
提供範囲を見てください。
ここの最後の北海道の追加は少し奇妙です。
だってWMS 中止の宣告のあとに追加されてますから。
私はこれを国土計画局職員の
「うわー。北海道のオルソ化終わって無いのに、発表の場を奪われた。
 不完全ながら、最後の成果受け取ってください。」
と思ってます。
ぜひ受け取って見てください。

 ディスクの容量は、自宅に帰ってから再度確認しますが2〜300GBぐらいは
 おそらく大丈夫だと思います。
 ただ、回線はADSLです。交換局からは近いですが上りの帯域は
 少々細くなります、、、

ディスクの容量には、あんまり困ってはいませんが、
帯域は不足がちなので、帯域の分散の意味では、
分ければ分けるほどいいです。
あとで作るTurtleEggs ピアというやつは、
使う人のディスクの容量への貢献を期待してませんが、
帯域の貢献度を期待してます。

あと、私は中央集権が嫌いで、地方分権派なので、
もちろん地方への貢献のために欲しいのなら、いくらでも分割します。

 Shun N. Watanabe

___
Talk-ja mailing list
Talk-ja@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ja


Re: [OSM-ja] キャッシュデータの分割

2010-03-16 スレッド表示 Takahisa TAGUCHI
たぐちです。

 ここの最後の北海道の追加は少し奇妙です。
 だってWMS 中止の宣告のあとに追加されてますから。
 私はこれを国土計画局職員の
 「うわー。北海道のオルソ化終わって無いのに、発表の場を奪われた。
 不完全ながら、最後の成果受け取ってください。」
 と思ってます。

たしかに、言われてみれば中途半端な形で公開せざる得ない
状況だった感が出ていますね、、、
事業仕分けで北海道は一部切り捨てられたのでしょうか、、、(いい過ぎ?

 あと、私は中央集権が嫌いで、地方分権派なので、
 もちろん地方への貢献のために欲しいのなら、いくらでも分割します。

了解しました。
容量は300GBほどありましたので北海道を分を
分けさせてもらってもよいでしょうか。

受け取りはできればわたしのほうからダウンロードさせていただく
方式にしたいです。

___
Talk-ja mailing list
Talk-ja@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ja


Re: [OSM-ja] キャッシュデータの分割

2010-03-16 スレッド表示 Shun N. Watanabe
柴田さんへ

2010/3/16 Shun N. Watanabe sh...@ics.uci.edu:
 nazotoko の渡邊です。

 スクリプトを「一本回し」でやってると回線もサーバもヒマなので
 上記の帯の地域について、スクリプトを最大 37 本並列稼動して
 回しています。
 が、下の df の結果のように一時間で 1GB も行きません。
 ちょー遅くてゲンナリです。
 並列度を 76 とかにするとか考えましたが、
 DoS になりそうな気がするので、控えてます。
 あと取得しにいくサーバーを、
 http://184.73.232.228:8080/wms2tile/?MLITJ..
 に書き直してください。
 これは、関東があらかた片付いてこっちのサーバーの方が暇になったからです。

まったく何を見て書いたんだか。
正しくは、
http://184.73.236.108/wms2tile/?
です。

超負荷ぎみで、強制リセットを管理側でかけられてしまったので、
柴田さんのリクエストを強制的にリダイレクトしました。
うまく行ってないようなので、ちょっとやり直してください。
日本時間で午前6時くらいのことです。

  Shun N. Watanabe

___
Talk-ja mailing list
Talk-ja@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ja


Re: [OSM-ja] キャッシュデータの分割

2010-03-16 スレッド表示 Shun N. Watanabe
nazotoko の渡邊です。

2010/3/16 Mage Whopper magewhop...@gmail.com:
 Mage Whopperです

 現状、ポートを恒常的にあけられる環境はないのですが
 短期間であれば両方向で協力できます。(関西)
 wgetは可能(MacOSX)です。
 50G程度は空いてます。
 DL一方向であればもう一カ所(東京のIP)使えます。

もちろんOK です。
関西あたりも分散したほうがいいと思っているところです。
あと、国内でタイル作った方が早いとも。

 Shun N. Watanabe

___
Talk-ja mailing list
Talk-ja@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ja


Re: [OSM-ja] キャッシュデータの分割

2010-03-16 スレッド表示 SHIBATA Akira
柴田(あ)です。

夜中にリクエストが尽きて二時間ほどサーバが
ヒマしていたのがもったいない
と三時ごろに気づいてリクエスト投入したり…

bfa292781003161535n58333edl324bc7e731b65...@mail.gmail.com の、
   Re: [OSM-ja]キャッシュデータの分割 において、
   Tue, 16 Mar 2010 15:35:07 -0700 発信のメイルで
   Shun N. Watanabeさんは書きました:

 柴田さんへ
 
  http://184.73.232.228:8080/wms2tile/?MLITJ..
  に書き直してください。
  これは、関東があらかた片付いてこっちのサーバーの方が暇になったからです。
 
 正しくは、
 http://184.73.236.108/wms2tile/?

ということで書き換えて実行しましたところ、
リダイレクトの効果がでていたようであらかた取得が
終わっていたようです。
が、ミョーなエラーもでているのですが
これは
・時々その範囲のスクリプトをまわしてみ
・気にするな、あきらめろ
・昨日のように何か指示するから、ソレをヤれ
・その他
のいずれでしょうか?

以下抜粋

rm: cannot remove `17/115166/52004': No such file or directory
x=115166 done
x=115379 done
x=115167 done
x=115380 done
x=115676 done
x=115381 done
x=115382 done
x=115383 done
x=115384 done
x=115385 done
x=115386 done
x=115387 done
x=115388 done
x=115389 done
x=115390 done
rm: cannot remove `17/115389/52029': No such file or directory
x=115391 done
x=114879 done
x=115110 done
x=115389 done
x=115142 done
rm: cannot remove `17/115677/52019': No such file or directory
x=115615 done
rm: cannot remove `17/115615/52005': No such file or directory
rm: cannot remove `17/115742/52007': No such file or directory
x=115775 done
rm: cannot remove `17/115775/52007': No such file or directory
x=115678 done


閑話休題

別メイルでの渡邊さんの懸念(集中による力の強大化等)は
理解できます。
P2P のようにみんなが得たデータを相互補完できたら〜と
いう程度の考えなので、なんかいいアイデアありましたら
そのときはヨロシクです。

今回のオルソ写真の件、スッタモンダが終わったら
バックアップ用に回す予定なので… (^^;

-- 
あまねく生命に、あまねく知性に、最大の幸福を願う
h...@eva.gr.jp  http://www.psychoscape.net/

___
Talk-ja mailing list
Talk-ja@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ja


Re: [OSM-ja] キャッシュデータの分割

2010-03-15 スレッド表示 Shun N. Watanabe
nazotoko の渡邊です。

多分最後の割り当てです。

渡邊
北日本 (116096,47696) - (118248,50944)
http://www.osm.org/?minlon=138.868561maxlat=43.928561maxlon=144.779205minlat=37.159222box=yes
西南日本 (110272,51872) - (17,113664,56512)
http://www.osm.org/?box=yesmaxlat=35.100811minlon=122.872467minlat=24.04521maxlon=132.188873

ribbon さん、約10 GB (終了)
東京都全域 (17,116096,51488) - (17,116512,51648)
http://www.osm.org/?minlon=138.86856079maxlat=35.9591113856maxlon=140.011138916minlat=35.6026021608box=yes

鎌倉シチズンネットの山下さん、 約50 GB 1/3 終了
神奈川県全域 (17,116096,51648) - (17,116512,51872)
http://www.osm.org/?minlon=138.86856079maxlat=35.6026021608maxlon=140.011138916minlat=35.1008105185box=yes
栃木県全域 (17,116256,50944)  - (17,116512,51360) 1/6 終了
http://www.osm.org/?maxlat=37.159222minlon=139.30801minlat=36.243166maxlon=140.011139box=yes

秋山智朗さん
埼玉県残り 5.4GB (17,116096,51360) - (17,116512,51488) 終了
http://www.osm.org/?minlon=138.868561maxlat=36.243166maxlon=140.011139minlat=35.959111box=yes
群馬県 10GB (17,116096,50944)  - (17,116256,51360) 終了
http://www.osm.org/?box=yesminlon=138.868561minlat=36.243166maxlon=139.30801maxlat=37.159222

Nahainecさん
千葉県・茨城県 約 15GB 西半分終了
http://www.osm.org/?minlon=140.011139maxlat=37.159222maxlon=141.065826minlat=35.100811box=yes
伊豆諸島(小笠原諸島はまったくなし) 3GB
http://www.osm.org/?maxlat=35.100811minlon=138.868560minlat=33.796268maxlon=140.186920box=yes

柴田(あ)さん
中国四国から中部 (113664,50400) - (116096,52928)
http://www.osm.org/?minlon=132.188873maxlat=38.340579maxlon=138.86856minlat=32.693710box=yes

つなぎ目のことが気になるひとへ、
つなぎ目はこんな感じになります。
http://38.127.225.239/Browse/map.html?lat=35.60362lon=139.76535zoom=17layers=000FB

普通にはわからないと思います。

 Shun N. Watanabe

___
Talk-ja mailing list
Talk-ja@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ja


Re: [OSM-ja] キャッシュデータの分割

2010-03-15 スレッド表示 caesium
たぐちです。

大変出遅れてしまいましたが、わたしにも対応できそうです。

 nazotoko の渡邊です。

 多分最後の割り当てです。

 渡邊
 北日本 (116096,47696) - (118248,50944)

http://www.osm.org/?minlon=138.868561maxlat=43.928561maxlon=144.779205minla
t=37.159222box=yes

この範囲ですと北海道の一部(道北・道東地方)が欠けてしまうと
思いますので、出身者としてできたら北海道の全域または一部を
受け持ちたいと思います。

ディスクの容量は、自宅に帰ってから再度確認しますが2〜300GBぐらいは
おそらく大丈夫だと思います。
ただ、回線はADSLです。交換局からは近いですが上りの帯域は
少々細くなります、、、



___
Talk-ja mailing list
Talk-ja@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ja


Re: [OSM-ja] キャッシュデータの分割

2010-03-15 スレッド表示 Shun N. Watanabe
nazotoko の渡邊です。

2010/3/15 SHIBATA Akira h...@eva.gr.jp:
 柴田(あ)です。

 bfa292781003151125i36a34807pd01d551b204e2...@mail.gmail.com の、
   Re: [OSM-ja]キャッシュデータの分割 において、
   Mon, 15 Mar 2010 11:25:20 -0700 発信のメイルで
   Shun N. Watanabeさんは書きました:

 質問が二つあります。


 柴田(あ)さん
 中国四国から中部 (113664,50400) - (116096,52928)
 http://www.osm.org/?minlon=132.188873maxlat=38.340579maxlon=138.86856minlat=32.693710box=yes

 ○その1
 スクリプトの数値範囲について…
 (116096-113664)/32 * (52928-50400)/32 → 76 * 79 → 6004
 数値を変化させて約六千回スクリプトを
 回すってことでよいでしょうか?

おしいです。柴田さんの領域は海が多いので、実際は2000回ほどです
後で、その二千回を自動で回す何かをあげるので、とりあえず
京阪神をうめておいてください。

 ○その2
 画像がダウンロードされないところについて
 うまくイカン事こともあろうから、何度かスクリプトを
 回せとの指示だと理解しました。
 ところが、下の URL のようにたぶん 10 回くらいはやってみましたが、
 画像がとれないところがあるようで、これは
 ・時々その範囲のスクリプトをまわしてみ
 ・気にするな、あきらめろ
 ・その他
 などのどれが対処としてよいでしょうか?
 http://38.127.225.239/Browse/map.html?lat=34.6978lon=135.50897zoom=17layers=000FB

調べたらすごいレアケースで、タイルを作ったサーバー側のファイルが壊れてました。
直したので、柴田さんもそのファイルをいっぺん決して取り直してください。
17/114873/52051 です。

 P.S.
 開始後約 10 時間で全容量 1.8TB 中 2.4GB のダウンロードが
 終わっているようです。
 荒野に掘っ立て小屋みたいな感じ…

私的には、全容量より、残り時間の方が気になって仕方ないです。
http://38.127.225.239/User/
の記録が確かなら、まだ39GB しかタイルを作ってません。
あと、370 時間ほどで、300 GB の予想が正しいなら、
一時間800 MB ほど作らないと間に合わない気がします。

これを見ていると、山下さんのサーバー早い。
やっぱり、データの太平洋海外往復はダメですね。
最後には山下さんに柴田さんに渡すためデータを作ってもらうかもしれません。

 Shun N. Watanabe

___
Talk-ja mailing list
Talk-ja@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ja


Re: [OSM-ja] キャッシュデータの分割

2010-03-15 スレッド表示 SHIBATA Akira
柴田(あ)です。

bfa292781003152227g7fabea2bgd209a73e70fdc...@mail.gmail.com の、
   Re: [OSM-ja]キャッシュデータの分割 において、
   Mon, 15 Mar 2010 22:27:20 -0700 発信のメイルで
   Shun N. Watanabeさんは書きました:

 nazotoko の渡邊です。
 
 2010/3/15 SHIBATA Akira h...@eva.gr.jp:
  柴田(あ)です。
 
  bfa292781003151125i36a34807pd01d551b204e2...@mail.gmail.com の、
Re: [OSM-ja]キャッシュデータの分割 において、
Mon, 15 Mar 2010 11:25:20 -0700 発信のメイルで
Shun N. Watanabeさんは書きました:
 
  質問が二つあります。
  柴田(あ)さん
  中国四国から中部 (113664,50400) - (116096,52928)
  http://www.osm.org/?minlon=132.188873maxlat=38.340579maxlon=138.86856minlat=32.693710box=yes
 
  ○その1
  スクリプトの数値範囲について…
  (116096-113664)/32 * (52928-50400)/32 → 76 * 79 → 6004
  数値を変化させて約六千回スクリプトを
  回すってことでよいでしょうか?
 
 おしいです。柴田さんの領域は海が多いので、実際は2000回ほどです
 後で、その二千回を自動で回す何かをあげるので、とりあえず
 京阪神をうめておいてください。

かしこまりました。
ただ、早さを追求するなら、許される限り並列度を
上げたほうがいいように思います。

というのも、現在のところ
113664  52032   113696  52064
から
116064  52032   116096  52064
スクリプトを「一本回し」でやってると回線もサーバもヒマなので
上記の帯の地域について、スクリプトを最大 37 本並列稼動して
回しています。
が、下の df の結果のように一時間で 1GB も行きません。
ちょー遅くてゲンナリです。
並列度を 76 とかにするとか考えましたが、
DoS になりそうな気がするので、控えてます。

やっても良さそうならやっちまいます。
ご指示いただけますればと思います。

一応下りの実力は 15Mbps くらいあるハズなのに
2Mbps くらいしか占有してませんからもっと
いけるはずです。
munin で見る限り CPU もまだまだヒマです。

h...@saba:~$ date ; df
Tue Mar 16 13:05:42 JST 2010
Filesystem   1K-blocks  Used Available Use% Mounted on
/dev/sdd11922858352   4566556 1820616196   1% /home/osm/public_html
h...@saba:~$ date ; df
Tue Mar 16 14:07:51 JST 2010
Filesystem   1K-blocks  Used Available Use% Mounted on
/dev/sdd11922858352   5438072 1819744680   1% /home/osm/public_html
h...@saba:~$ date ; df
Tue Mar 16 14:42:37 JST 2010
Filesystem   1K-blocks  Used Available Use% Mounted on
/dev/sdd11922858352   5811032 1819371720   1% /home/osm/public_html


  ○その2
  画像がダウンロードされないところについて
  うまくイカン事こともあろうから、何度かスクリプトを
  回せとの指示だと理解しました。
  ところが、下の URL のようにたぶん 10 回くらいはやってみましたが、
  画像がとれないところがあるようで、これは
  ・時々その範囲のスクリプトをまわしてみ
  ・気にするな、あきらめろ
  ・その他
  などのどれが対処としてよいでしょうか?
  http://38.127.225.239/Browse/map.html?lat=34.6978lon=135.50897zoom=17layers=000FB
 
 調べたらすごいレアケースで、タイルを作ったサーバー側のファイルが壊れてました。
 直したので、柴田さんもそのファイルをいっぺん決して取り直してください。
 17/114873/52051 です。

かしこまりました。
これから工事に出かける予定なので、後ほど作業します。
これはいただいたスクリプトをつかって眺めていたら
偶然発見したものでした。


  P.S.
  開始後約 10 時間で全容量 1.8TB 中 2.4GB のダウンロードが
  終わっているようです。
  荒野に掘っ立て小屋みたいな感じ…
 
 私的には、全容量より、残り時間の方が気になって仕方ないです。

同意します。


 http://38.127.225.239/User/
 の記録が確かなら、まだ39GB しかタイルを作ってません。
 あと、370 時間ほどで、300 GB の予想が正しいなら、
 一時間800 MB ほど作らないと間に合わない気がします。
 これを見ていると、山下さんのサーバー早い。
 やっぱり、データの太平洋海外往復はダメですね。
 最後には山下さんに柴田さんに渡すためデータを作ってもらうかもしれません。

最終引き受けを当方にして、山下さんのところを
キャッシュみたいな感じでもいいです。
まずは、限られた時間で引き出せるだけ引き出して
おきたいですね。
# 銀行の取り付け騒ぎのようで… (^^;


あとで OSM のサーバに移してみんなで使えるように
するときに智恵をお貸しください。 m(_|_)m

-- 
あまねく生命に、あまねく知性に、最大の幸福を願う
h...@eva.gr.jp  http://www.psychoscape.net/

___
Talk-ja mailing list
Talk-ja@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ja


Re: [OSM-ja] キャッシュデータの分割

2010-03-13 スレッド表示 SHIBATA Akira
柴田(あ)です。

842577f81003121918w73c9f0fj669504192f78e...@mail.gmail.com の、
   Re: [OSM-ja]キャッシュデータの分割 において、
   Sat, 13 Mar 2010 12:18:05 +0900 発信のメイルで
   秋山智朗さんは書きました:

  埼玉県はちょっと大きいです。12GB くらいと思います。
  可能そうな容量を教えてください。
 
  バックアップに使っているハードディスクが27GBほど空いています。利用状況は
-snip-
 が予備でありますし、今は1.5TBで1万円切ってますからねえ。

本日 2TB 買ってきました。
えっと、いろいろとってもシロートなので、
容量だけ協力できますので、他の部分を
お助けいただけますでしょうか?
# うち、自宅分は 500GB くらい予定(現状 250GB 使用)なので
# 1.5TB はいけます。


これから組み込みますので、希望的には
明朝には 1.5TB が使えるようになって、
アサッテの朝にはインターネット側からのアクセスが
可能になるようにルータに設定をいれようと思います。

-- 
あまねく生命に、あまねく知性に、最大の幸福を願う
h...@eva.gr.jp  http://www.psychoscape.net/

___
Talk-ja mailing list
Talk-ja@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ja


Re: [OSM-ja] キャッシュデータの分割

2010-03-13 スレッド表示 Shun N. Watanabe
nazotoko の渡邊です。

新割り当てです。

ribbon さん、約10 GB
東京都全域 (17,116096,51488) - (17,116512,51648)
http://www.osm.org/?minlon=138.86856079maxlat=35.9591113856maxlon=140.011138916minlat=35.6026021608box=yes

鎌倉シチズンネットの山下さん、 約50 GB
神奈川県全域 (17,116096,51648) - (17,116512,51872)
http://www.osm.org/?minlon=138.86856079maxlat=35.6026021608maxlon=140.011138916minlat=35.1008105185box=yes
栃木県全域 (17,116256,50944)  - (17,116512,51360)
http://www.osm.org/?maxlat=37.159222minlon=139.30801minlat=36.243166maxlon=140.011139box=yes
長野県(栃木県も大きいのでもういいです)

秋山智朗さん
埼玉県残り 5.4GB (17,116096,51360) - (17,116512,51488)
http://www.osm.org/?minlon=138.868561maxlat=36.243166maxlon=140.011139minlat=35.959111box=yes
群馬県 10GB (17,116096,50944)  - (17,116256,51360)
http://www.osm.org/?box=yesminlon=138.868561minlat=36.243166maxlon=139.30801maxlat=37.159222

Nahainecさん
千葉県・茨城県 約 15GB
http://www.osm.org/?minlon=140.011139maxlat=37.159222maxlon=141.065826minlat=35.100811box=yes
伊豆諸島(小笠原諸島はまったくなし) 3GB
http://www.osm.org/?maxlat=35.100811minlon=138.868560minlat=33.796268maxlon=140.186920box=yes

柴田(あ)さん
さすがにopemstreetmap.jp の運営者はやることが違いますね。
上の人たちで、関東の長方形領域を埋め尽くしたので、
そこから西側で、中国四国ぐらいまで頼むと思います。

あと、たぶん一生懸命に他の方法でキャッシュをしようとする人もいて、
WMS がかなりつらいはめにあっているようです。
すこしづつ公開しているので、TurtleEggs もうあるものは、
WMSからキャッシュしないようにしてください。
このタイルからWMSを再構築するのも可能です。

たとえば、
http://38.127.225.239/TurtleEggs/?MLITJ/!/!/!
をPotlatch に入力すると、もうRibon さんの公開している
東京23区がでます。Level 17 のみですが。
あと、JOSM には、slippymap プラグインを設定すれば、
今すぐ使える可能性があります。
前にも言いましたが、TurleEggs プラグインが登場したら、
そちらでお願いします。

あと、著作権と利用規約は国土交通省国土計画局ですから、
編集時は必ず例のタグを書いてください。

あと、TurtleEggs トラッカーは前回から引っ越してます。
http://38.127.225.239/Browse/map.html?lat=35.68223lon=139.76129zoom=17layers=00BF0

 Shun N. Watanabe

___
Talk-ja mailing list
Talk-ja@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ja


Re: [OSM-ja] キャッシュデータの分割

2010-03-13 スレッド表示 SHIBATA Akira
柴田(あ)です。

bfa292781003131136n5cea7195oebb10b482001d...@mail.gmail.com の、
   Re: [OSM-ja]キャッシュデータの分割 において、
   Sat, 13 Mar 2010 11:36:26 -0800 発信のメイルで
   Shun N. Watanabeさんは書きました:

 柴田(あ)さん
 さすがにopemstreetmap.jp の運営者はやることが違いますね。
 上の人たちで、関東の長方形領域を埋め尽くしたので、
 そこから西側で、中国四国ぐらいまで頼むと思います。

箱を置く場所を提供しているに過ぎませんで、
三浦さんがソフトウェアの面を運用しています。

で、今回は自宅の何でもサーバに、という話なので
独力でどうにかせんといかん話であります。
キャッシュのエリアが必要ということしかわかってなくて、
 HDD 買ってきただけの状態です。
そういうわけで、スクリプトなどいただくことに
なろうかと思いますので、よろしくお願いいたします。
目論見としては、既にどなたかが拾えたエリアも
あとで統合できるとやりやすいかなと思ってます。


ちょいと用事が渋谷と池袋にあったので、
比較的近い秋葉原までアシを伸ばして HDD を
買ってきたという次第です。


ところがっ!
SATA のケーブルが見当たりません orz
よって、ドコからか、チョロまかしてくるか、
買ってくるかしないといけないので、
インターネット側から見えるようにするには、
もう二日ほどお時間を頂くことになります。
組み込んで、 fdisk して mkfs なので…


自宅の何でもサーバに組み込みますので、
不定期に落ちていたりするかもしれませんし、
ddns などを使わずに、別の方法でアプローチ
いただくと思います。
自宅の何でもサーバはそもそも公開用では
ないので、見せるようにするにはいろいろ
ハードルがありまして…



以下余談

今や大きめの HDD って SATA しかないのですね。
OSM のサーバは PATA しかインターフェースが
ないので、突っ込めません。
自宅の何でもサーバは動かし初めて五年くらい
ではありますが SATA が使えるので、
今回の HDD 衝動買いにつながりました。

-- 
あまねく生命に、あまねく知性に、最大の幸福を願う
h...@eva.gr.jp  http://www.psychoscape.net/

___
Talk-ja mailing list
Talk-ja@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ja


Re: [OSM-ja] キャッシュデータの分割

2010-03-13 スレッド表示 S.Higashi
nazotokoの渡邊さん、こんにちは。東です。

ドメインだけ取って中味が無かった
UniversalDesignMap.org
に60GB割り当てました。
安い共有レンタルサーバなので酷な使い方はできませんが。。

私は地元の鹿児島や沖縄あたりを希望します。
wgetは使えるかどうか分からないので
データ受け渡しはftpを希望します。
当方がダウンロードして受け取るやり方方が良いのかな。

必要な情報を直メールでお知らせ頂ければ幸いです。

___
Talk-ja mailing list
Talk-ja@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ja


Re: [OSM-ja] キャッシュデータの分割

2010-03-12 スレッド表示 秋山智朗
ribbonさんへ。

2010年3月12日6:15 ribbon o...@ns.ribbon.or.jp:
 On Thu, Mar 11, 2010 at 01:07:04PM -0800, Shun N. Watanabe wrote:

 それでは、私が都内を受け持って、秋山さんにそれ以外を
 お願いしてよろしいでしょうか。

 了解です。では私は埼玉県を受け持ちます。

-- 
   Tomoaki Akiyama 秋山 智朗
mailto:tomo...@akiyama.nu
http://tomoaki.akiyama.nu/
  http://tomoaki.akiyama.nu/publickey.html
CA7F A8D1 B146 8FC4 922C  94E0 6C17 A056 A96C 0829

___
Talk-ja mailing list
Talk-ja@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ja


Re: [OSM-ja] キャッシュデータの分割

2010-03-12 スレッド表示 Shun N. Watanabe
nazotoko の渡邊です。
ちょっと整理します。

ribbon さん、約10 GB
東京都全域 (17,116096,51488) - (17,116512,51648)
http://www.openstreetmap.org/?minlon=138.86856079maxlat=35.9591113856maxlon=140.011138916minlat=35.6026021608box=yes

鎌倉シチズンネットの山下さん、 約50 GB
神奈川県全域 (17,116096,51648) - (17,116512,51872)
http://www.openstreetmap.org/?minlon=138.86856079maxlat=35.6026021608maxlon=140.011138916minlat=35.1008105185box=yes
栃木県(もうちょっと後で、)
長野県(もうちょっと後で、)
山口県(長野県が大きいので、もう無理な気がします)

秋山智朗さん
埼玉県はちょっと大きいです。12GB くらいと思います。
可能そうな容量を教えてください。
多分ribbonさんの山下さんの栃木県の間を頼むと思います。

Nahainecさん
神奈川県と湾内は全域頼んでしまったので、
千葉県とかどうです?
あとは、小笠原諸島とか。
ただ、硫黄島から南は無かったです。

 Shun N. Watanabe

2010/3/12 Nahainec nahai...@nahainec.org:
 Nahainecです。

 出遅れましたが、私のほうでもできそうです。
 やはり都内在住ですが、勤務先のある神奈川県あたり持ちましょうか?

 回線は ADSL 8M と細いですが、容量は余裕があります。

 (2010/03/12 19:05), 秋山智朗 wrote:
 ribbonさんへ。

 2010年3月12日6:15 ribbono...@ns.ribbon.or.jp:
 On Thu, Mar 11, 2010 at 01:07:04PM -0800, Shun N. Watanabe wrote:

 それでは、私が都内を受け持って、秋山さんにそれ以外を
 お願いしてよろしいでしょうか。

 了解です。では私は埼玉県を受け持ちます。

___
Talk-ja mailing list
Talk-ja@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ja


Re: [OSM-ja] キャッシュデータの分割

2010-03-12 スレッド表示 Nahainec
Nahainecです。

(2010/03/13 3:13), Shun N. Watanabe wrote:

 Nahainecさん
 神奈川県と湾内は全域頼んでしまったので、
 千葉県とかどうです?
 あとは、小笠原諸島とか。
 ただ、硫黄島から南は無かったです。

それでは小笠原諸島いきます。
容量によりますが千葉県も...

とりあえず 30GB は確保できます。
ディスク整理中なのでまだ増やせそうです。

-- 
OpenPowerLineMap計画推進中
http://wiki.openstreetmap.org/wiki/User:Nahainec/PowerLine

___
Talk-ja mailing list
Talk-ja@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ja