Re: [OSM-ja] オルソ化空中写真( キャッシュ終盤)
Tomです 115968 まで、了解しました。 From iPhone with love! Tom Hayakawa AKA Tom_G3X On 2010/03/29, at 14:32, "Shun N. Watanabe" wrote: nazotoko の渡邊です。 2010/3/28 山下 一郎 : 神奈川、栃木キャッシング担当の山下です。 (10/03/29 3:45), Shun N. Watanabe wrote: 高山まで近いのでつなげてしまいましょう。 (115296,51264)-(115584,51392) と (115520,51392)-(115584,51500) 終わりました。 すぐ終わると思うので、その後能登半島の内側をお願いします。 座標は後で。 (115328,50848)-(115424,51136) 能登半島 現在、時間4000タイルのペースで取得中ですので、このままい けば夕方には終わ りそうです。 それはすぐ終わりそうですね。その次は、 (115040,51936)-(115296,52000) 伊賀・四日市 と(115744,50976)-(115808,51424) 北部長野 これで、 岡山から静岡 東京から諏訪湖までつながります。 あとは槍ヶ岳辺りを埋めたら、北陸側はほとんど終わりです。 Tom さん、 三河あたりは東は、115968 まででいいです。 その先は富士山で、終わっています。 Shun N. Watanabe ___ Talk-ja mailing list Talk-ja@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-ja ___ Talk-ja mailing list Talk-ja@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-ja
Re: [OSM-ja] オルソ化空中写真( キャッシュ終盤)
nazotoko の渡邊です。 2010/3/28 山下 一郎 : > 神奈川、栃木キャッシング担当の山下です。 > > (10/03/29 3:45), Shun N. Watanabe wrote: >>> 高山まで近いのでつなげてしまいましょう。 >>> (115296,51264)-(115584,51392) と >>> (115520,51392)-(115584,51500) > > 終わりました。 > >>> すぐ終わると思うので、その後能登半島の内側をお願いします。 >>> 座標は後で。 >> >> (115328,50848)-(115424,51136) 能登半島 > > 現在、時間4000タイルのペースで取得中ですので、このままいけば夕方には終わ > りそうです。 それはすぐ終わりそうですね。その次は、 (115040,51936)-(115296,52000) 伊賀・四日市 と(115744,50976)-(115808,51424) 北部長野 これで、 岡山から静岡 東京から諏訪湖までつながります。 あとは槍ヶ岳辺りを埋めたら、北陸側はほとんど終わりです。 Tom さん、 三河あたりは東は、115968 まででいいです。 その先は富士山で、終わっています。 Shun N. Watanabe ___ Talk-ja mailing list Talk-ja@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-ja
Re: [OSM-ja] オルソ化空中写真( キャッシュ終盤)
nazotoko の渡邊です。 2010/3/28 Mage Whopper : > Mage Whopperです。 > > 2010年3月29日2:24 Shun N. Watanabe : >> nazotoko の渡邊です。 >> >> そんな初めからだせよ的な最終兵器を >> http://72.44.54.189/ >> でお待ちしてます。 >> >> 何を出したいいか？ >> >> 国土計画局のオルソ化写真は２つの方法でダウンロードできます。 >> 一つはWMS で、もう一つはメッシュと呼ばれているtiff ファイルの >> タイルです。たぶんWMS はこのタイルを使って構成されてます。 >> そのtiff ファイルをダウンロードする時に、zip ファイル化されてて >> xml のメタデータがついているzip ファイルをアップロードします。 >> それ以外は受付られません。 >> そしたら、とりあえずメタデータで範囲を表示して、裏でタイルを作ります。 >> wms2tile を仕掛ける人は、ここの地図もみておいてください。 > > 一つも試せていませんが > ダウンロードシステムからDLしたzipをuploadすると > タイルを生成してくれるシステムということですね。 > ikiyaさんの出番ですね。 > 一気に試すのは公開停止後の方がいいのかもしれませんが。 実際にタイルを作るのは停止後にしようと思います。 理由は、はっしこのタイルを完成させるには隣接タイルがいるからです。 単にこの正式タイルを持っている人は結構いて、 たぶん何万枚かあるけど、誰がどこを持ってるかはわかりません。 そのページにアップロードすると、とりあえず範囲を示して 地図を埋めていくので、とりあえず溜め込んでおいてください。 また、他者がアップロードしたのをダウンロードできるので、 交換目的で使ってもいいです。 > tiffのDL方法はわかってはいるのですが 私もわかっているのですが、私にはすごく面倒くさい。 > この白い部分のファイルのメタ情報のうち > 作成年、撮影年、作成月、メッシュ番号をもとに > ファイル名が決定されていて、 > C""+作成年西暦の下2桁+""-""+撮影年西暦の下2桁+""-""+作成月+メッシュ番号 > というファイルをダウンロードすればいよいので、 > 全体の形と、それぞれの行での左右の端のメタ情報がわかれば > 楽にDLできるはずではあります。 > メッシュ番号は8桁の整数で > 上4桁が緯度、下4桁が経度のようです。 > これらの数値が割り出せればいいのですが 私もファイル名がメタ情報由来なのはわかったのですが、 メタ情報に規則性がないので、こっちからファイル名を予測することができません。 故にダウンロードを自動化できません。 > 1. 大きな絵は作成年/作成月ごとの単位となり、規則性はない > 2. 複数の絵が重なり合っているので手動で端を見つける作業は > 泣けてくるほど辛い（かさなりが不明+全体として矩形ではない） > 3. ほとんどの箇所において、地図の右端と左端では > ことなる絵の端が見えているため重なりの解析は不可欠。 1. は初めからそうだから、用意されたダウンロードシステムがかえす 検索結果しか使いようがありません。 2. は大して困りません。とりあえず検索結果は見えている範囲すべてを 返すので、すべてダウンロードしきったら、あとは自動化することが可能です。 ただ、私はかなりの率で、ダウンロードに失敗しました。 ダウンロードしたファイルがちゃんとしたzip ファイルであることを 確認した方がいいです。 3. も困りません。xml のメタ情報は、tiff ファイルの地理的な位置を的確にしてしており、それを使えば隣接関係がわかります。逆に言うと、xml のメタ情報は、非常に重要です。 一応に言っておきますと、wms とこのtiff は形式こそ違うものの、 基本的に同じ物です。OpenLayers 形式のタイルをいくつか生成して、 色も位置も一致することを確認してあります。 もしかしたら、カラー空中写真と勘違いしている人がいるかもしれません。 カラー空中写真は、オルソ化する前準備としてわざと重なりを多く作ってます。 また、カラー空中写真の公開は停止されないようです。 そっちを急いでダウンロードする必要はありません。 自分たちでオルソ化する話は、またあとで。 > DL方法は > NAME=ortho > VISITED=T > というcookieを渡して、download.html をreferにしつつ、以下の引数で (略) > > curl --cookie ./cookie.txt -d CSD_TYPE=2 -d SEARCH_TYPE=1 -d > IMAGE_TYPE=1 -d GROUP_ID=00 -d FILE_NAME=C07-xx-xx- --url > http://orthophoto.mlit.go.jp/PhotoDownloadServlet -e > http://orthophoto.mlit.go.jp/download.html -o "out3.zip" -S よくそこまで、調べましたね。 ただ、私はダウンロード速度がwms と変わらなかったので、 積極的にこれをするのをやめました。 集めるのは、もうダウンロードしてしまった人の物 (私がこのプロジェクトを始める前に多くの人がしていたと思ってます)と、 wms2tile をしていない地域で、 php なんて使えないけど、このダウンロードシステムは使えるといった人向きです。 > しかし時間的にはきびしすぎますね。。 > ここから先既に解析完了されている方が今の時点でいなければ > 手動*人海戦術の方が速いとおもいます。 wms2tile が使える人は、絶対にその方が早いので、 続けてください。 ただ、このtiff タイルの方が、 国土計画局が作ったオリジナルに近いので、 オリジナル主義の人は、そっちにしてもいいです。 私的には、本当のソースは空中写真で今後も公開されているので、 このtiff に興味がないです。 Shun N. Watanabe ___ Talk-ja mailing list Talk-ja@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-ja
Re: [OSM-ja] オルソ化空中写真( キャッシュ終盤)
神奈川、栃木キャッシング担当の山下です。 (10/03/29 3:45), Shun N. Watanabe wrote: >> 高山まで近いのでつなげてしまいましょう。 >> (115296,51264)-(115584,51392) と >> (115520,51392)-(115584,51500) 終わりました。 >> すぐ終わると思うので、その後能登半島の内側をお願いします。 >> 座標は後で。 > > (115328,50848)-(115424,51136) 能登半島 現在、時間4000タイルのペースで取得中ですので、このままいけば夕方には終わ りそうです。 ___ Talk-ja mailing list Talk-ja@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-ja
Re: [OSM-ja] オルソ化空中写真( キャッシュ終盤)
Mage Whopperです。 2010年3月29日2:24 Shun N. Watanabe : > nazotoko の渡邊です。 > > もうあと70 時間ほどです。 > 記録によると4人で、180 GB ほどはタイルを作ったらしいです。 > たぶん半分位は埋まったんだと思います。 > 日本って広いですね。 > > 劇的な展開だと、 > 「もうアレを使うしかない」とか > 「この紋所が目に入らぬか」とか、 > いや最初からそれを出せよと突っ込みたい展開があったりしますが、 > そんな初めからだせよ的な最終兵器を > http://72.44.54.189/ > でお待ちしてます。 > > 何を出したいいか？ > > 国土計画局のオルソ化写真は２つの方法でダウンロードできます。 > 一つはWMS で、もう一つはメッシュと呼ばれているtiff ファイルの > タイルです。たぶんWMS はこのタイルを使って構成されてます。 > そのtiff ファイルをダウンロードする時に、zip ファイル化されてて > xml のメタデータがついているzip ファイルをアップロードします。 > それ以外は受付られません。 > そしたら、とりあえずメタデータで範囲を表示して、裏でタイルを作ります。 > wms2tile を仕掛ける人は、ここの地図もみておいてください。 > > なんで最終兵器化したか、 > 私が、メタデータが情報不足過ぎると勝手に思っていたからです。 > xml ファイルの存在に気づいてなく、中央座標小数点以下4桁じゃ > 役に立たないと思ったからです。 > xml ファイルには四辺の座標が中央座標小数点以下15桁でかかれていました。 > おまけで、このtiff ファイルはgeo tiff なのじゃないかと思って、 > 中に何か書かれてないか調べていたら、 > geo tiff ではなく、 > 国土計画局のサーバーはWindows で動いているというどうでもいいことを知りました。 > > 2010/3/25 Shun N. Watanabe : >> 次のタイプのキャッシュを作ってる人は、かなり参加可能性が高いです。 >> GeoWebCache のひと >> http://geowebcache.org/trac >> >> 次のタイプのキャッシュを作ってる人は、解像度不足など難がありますが、 >> 可能性があります。 >> www ローカルプロキシなどに、bbox の値が記録されている人。 >> JOSM でレイヤーの保存をしてxml の記録がある人。 > > 引き続きこの最終兵器の保持者も募集中です。 > 一つも試せていませんが ダウンロードシステムからDLしたzipをuploadすると タイルを生成してくれるシステムということですね。 ikiyaさんの出番ですね。 一気に試すのは公開停止後の方がいいのかもしれませんが。 tiffのDL方法はわかってはいるのですが データが足りていません。 時間がないのでわかっていることだけ書きます。 tiffはWMSのように1枚の大きな絵が公開されているのではなく 何百枚かの巨大な写真が ずれて重なり合って公開されています。 それぞれの写真も矩形ではなく、一定ではありません。 ■■□□ □□□■ □□□■ ■■□□ 白い部分が写真で、こんな形で一枚だったりしており、 さらにいろいろな形の物が重なり合っています。 DLのページでメッシュの幅が等間隔ではないように見えるのは 複数の格子が重なっているためです。 この白い部分のファイルのメタ情報のうち 作成年、撮影年、作成月、メッシュ番号をもとに ファイル名が決定されていて、 C""+作成年西暦の下2桁+""-""+撮影年西暦の下2桁+""-""+作成月+メッシュ番号 というファイルをダウンロードすればいよいので、 全体の形と、それぞれの行での左右の端のメタ情報がわかれば 楽にDLできるはずではあります。 メッシュ番号は8桁の整数で 上4桁が緯度、下4桁が経度のようです。 これらの数値が割り出せればいいのですが 1. 大きな絵は作成年/作成月ごとの単位となり、規則性はない 2. 複数の絵が重なり合っているので手動で端を見つける作業は 泣けてくるほど辛い（かさなりが不明+全体として矩形ではない） 3. ほとんどの箇所において、地図の右端と左端では ことなる絵の端が見えているため重なりの解析は不可欠。 などで時間的に無理とあきらめていました。 DL方法は NAME=ortho VISITED=T というcookieを渡して、download.html をreferにしつつ、以下の引数で PhotoDownloadServletにファイル名をpostすると、 ファイルを返してきます。 ダウンロードシステムでダウンロードの一覧を右クリックできない、 かつ、リンクではなくボタンになっていて DL済みがブラウザの機能ではなく表示するようになっているのは このファイル名偽装を見えなくするためと思われます。 cookieはテキストで指定しています。 curl --cookie ./cookie.txt -d CSD_TYPE=2 -d SEARCH_TYPE=1 -d IMAGE_TYPE=1 -d GROUP_ID=00 -d FILE_NAME=C07-xx-xx- --url http://orthophoto.mlit.go.jp/PhotoDownloadServlet -e http://orthophoto.mlit.go.jp/download.html -o "out3.zip" -S FILENAMEのところに正しいファイル名を入れることができれば zipをDLできます。しかし 前述の通り、ファイル名の生成規則が不明なのです。 作成年代や公開月がはいっているため 適当に生成するにしてもハズレが多すぎます。 ダウンロードシステムではこのファイル名を 今開いている画面のlat/lonをPhotoInfoServletにPOSTして 問い合わせるのですが、その詳細が追えていません。 今見ている画面に表示できそうな範囲の一覧を返してきており 一括DLには不向きということもあります。 動作はindex.html内のJSなのですが それぞれの細かい処理は http://orthophoto.mlit.go.jp/service/getScript?cpid=9000+&svid=ORTHO の中に関数化されていて、 メンテナンス後は単独で取得もできなくなったようですね。 もともとgoogleのJS程度に空白圧縮してあるので ブラウザで実行されているのであれば tcpdumpで読めるはずではあります。 しかし時間的にはきびしすぎますね。。 ここから先既に解析完了されている方が今の時点でいなければ 手動*人海戦術の方が速いとおもいます。 Mage Whopper magewhop...@gmail.com ___ Talk-ja mailing list Talk-ja@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-ja
Re: [OSM-ja] オルソ化空中写真( キャッシュ終盤)
柴田(あ)％ノーミソというリソースは無いです。 の、 "Re: [OSM-ja] オルソ化空中写真( キャッシュ終盤)" において、 "Sun, 28 Mar 2010 10:24:34 -0700" 発信のメイルで "Shun N. Watanabe"さんは書きました： > nazotoko の渡邊です。 > > もうあと70 時間ほどです。 > 記録によると4人で、180 GB ほどはタイルを作ったらしいです。 > たぶん半分位は埋まったんだと思います。 まだ、終わってませんが…いろいろお疲れ様です。 > 日本って広いですね。 世界はもっと広いですね。 google のパワーを感じました。 > そんな初めからだせよ的な最終兵器を > http://72.44.54.189/ > でお待ちしてます。 -snip- > 引き続きこの最終兵器の保持者も募集中です。 読んでもちっともわかりませんでした。 が、ディスクエリアというリソースだけはもってます。 どういうリソースが必要なのかは読み取れませんでした。 そんな状態ですが当方で出来ることであれば手伝いたいです。 -- あまねく生命に、あまねく知性に、最大の幸福を願う h...@eva.gr.jp http://www.psychoscape.net/ ___ Talk-ja mailing list Talk-ja@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-ja
Re: [OSM-ja] オルソ化空中写真( キャッシュ終盤)
nazotoko の渡邊です。 2010/3/27 Shun N. Watanabe : > nazotoko の渡邊です。 > > 2010/3/27 山下 一郎 : >> 神奈川、栃木キャッシング担当の山下です。 >> >> (10/03/27 13:27), Shun N. Watanabe wrote: >>> それじゃ、次は金沢・富山あたりをお願いします。 >>> (115296,51136)-(115584,51264) >> >> 終わりました。 >> 1時間当たり3000タイル弱でした。 > > ご苦労さまです。 > 高山まで近いのでつなげてしまいましょう。 > (115296,51264)-(115584,51392) と > (115520,51392)-(115584,51500) > で、 > > すぐ終わると思うので、その後能登半島の内側をお願いします。 > 座標は後で。 (115328,50848)-(115424,51136) 能登半島 Shun N. Watanabe ___ Talk-ja mailing list Talk-ja@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-ja
Re: [OSM-ja] オルソ化空中写真( キャッシュ終盤)
nazotoko の渡邊です。 もうあと70 時間ほどです。 記録によると4人で、180 GB ほどはタイルを作ったらしいです。 たぶん半分位は埋まったんだと思います。 日本って広いですね。 劇的な展開だと、 「もうアレを使うしかない」とか 「この紋所が目に入らぬか」とか、 いや最初からそれを出せよと突っ込みたい展開があったりしますが、 そんな初めからだせよ的な最終兵器を http://72.44.54.189/ でお待ちしてます。 何を出したいいか？ 国土計画局のオルソ化写真は２つの方法でダウンロードできます。 一つはWMS で、もう一つはメッシュと呼ばれているtiff ファイルの タイルです。たぶんWMS はこのタイルを使って構成されてます。 そのtiff ファイルをダウンロードする時に、zip ファイル化されてて xml のメタデータがついているzip ファイルをアップロードします。 それ以外は受付られません。 そしたら、とりあえずメタデータで範囲を表示して、裏でタイルを作ります。 wms2tile を仕掛ける人は、ここの地図もみておいてください。 なんで最終兵器化したか、 私が、メタデータが情報不足過ぎると勝手に思っていたからです。 xml ファイルの存在に気づいてなく、中央座標小数点以下4桁じゃ 役に立たないと思ったからです。 xml ファイルには四辺の座標が中央座標小数点以下15桁でかかれていました。 おまけで、このtiff ファイルはgeo tiff なのじゃないかと思って、 中に何か書かれてないか調べていたら、 geo tiff ではなく、 国土計画局のサーバーはWindows で動いているというどうでもいいことを知りました。 2010/3/25 Shun N. Watanabe : > 次のタイプのキャッシュを作ってる人は、かなり参加可能性が高いです。 > GeoWebCache のひと > http://geowebcache.org/trac > > 次のタイプのキャッシュを作ってる人は、解像度不足など難がありますが、 > 可能性があります。 > www ローカルプロキシなどに、bbox の値が記録されている人。 > JOSM でレイヤーの保存をしてxml の記録がある人。 引き続きこの最終兵器の保持者も募集中です。 Shun N. Watanabe ___ Talk-ja mailing list Talk-ja@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-ja
Re: [OSM-ja] オルソ化空中写真( キャッシュ終盤)
柴田(あ)です。 の、 "Re: [OSM-ja] オルソ化空中写真( キャッシュ終盤)" において、 "Sun, 28 Mar 2010 02:08:00 -0700" 発信のメイルで "Shun N. Watanabe"さんは書きました： > nazotoko の渡邊です。 > > 2010/3/27 SHIBATA Akira : > > 柴田(あ)です。 > > > > 現在こんな手法で作業しています。 > > (115040,52000)-(116096,52064) > > に対しての作業は… > > > > ダウンロードして、壊れファイルがあるかもで、 > > delete.sh を実行して、もう一回ダウンロードという > > 作業をしています。 > > こんな感じ。↓ > > bash ./download0322.sh 115040 52000 116096 52064 > > bash ./delete.sh 115040 52000 116096 52064 > > bash ./download0322.sh 115040 52000 116096 52064 > > delete.sh はもうだめ。 教えてくださってありがとうございました。 これからは delete.sh は使わないようにします。 毎度やっていました。 > いまはすべてのタイルを消し去る大量破壊コマンドなので使用禁止です。 > その範囲は、その「昔の」ばかりだからいいものの、 > これからの範囲は全部ダウンロードしたものを消し去ってしまうので > ダメです。 恐ろしいものを使っていたのですね。 > 柴田さんは最初から参加しているので、 > 再度するのが当たり前に感じているかもしれませんが、 > それは初期の不具合の話で、 > 大量の改良を加えたので、いまや再度するのは完全に時間のむだです。 ということで、一回だけ実行するようにします。 最初の頃は取りこぼし対応のために複数回実行せよだったと 思いますが、完全に過去のものということと理解します。 さらに delete.sh についても大量破壊兵器状態で、 使用禁止と理解しました。 これからは最後に頂いたスクリプトを一回だけ実行して 山下さんの後追いをする方向とします。 -- あまねく生命に、あまねく知性に、最大の幸福を願う h...@eva.gr.jp http://www.psychoscape.net/ ___ Talk-ja mailing list Talk-ja@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-ja
Re: [OSM-ja] オルソ化空中写真( キャッシュ終盤)
nazotoko の渡邊です。 2010/3/27 SHIBATA Akira : > 柴田(あ)です。 > > えっと、誤解があったら指摘お願いいたします。 > 現在こんな手法で作業しています。 > (115040,52000)-(116096,52064) > に対しての作業は… > download0322.sh というスクリプトについて > > ダウンロードして、壊れファイルがあるかもで、 > delete.sh を実行して、もう一回ダウンロードという > 作業をしています。 > こんな感じ。↓ > bash ./download0322.sh 115040 52000 116096 52064 > bash ./delete.sh 115040 52000 116096 52064 > bash ./download0322.sh 115040 52000 116096 52064 delete.sh はもうだめ。 それは、昔使っていたpng 再圧縮ソフトが正しく処理したタイルが消えないコマンドで、 いまはすべてのタイルを消し去る大量破壊コマンドなので使用禁止です。 その範囲は、その「昔の」ばかりだからいいものの、 これからの範囲は全部ダウンロードしたものを消し去ってしまうので ダメです。 本当にすべてを消し去りたい理由がある時は使ってもいいですが、 柴田さんは最初から参加しているので、 再度するのが当たり前に感じているかもしれませんが、 それは初期の不具合の話で、 大量の改良を加えたので、いまや再度するのは完全に時間のむだです。 Shun N. Watanabe ___ Talk-ja mailing list Talk-ja@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-ja
