現在は、避難所検索@伊勢 で利用するオフラインマップの作成処理は、OpenStreetMap のタイルサーバーに同居しています。当初、この処理を作った際の記事にも書きましたが、タイルサーバー上に常に最新のデータがあるのでそれを流用したかったため、このような構成にしてました。が、それができないうえに、どちらも地図データを処理するため、同じライブラリを利用していたりして、相互にメンテナンスをしていくのがちょっと面倒だったりしました。
少し時間的な余裕ができたので、しばらく放置していた 避難所検索@伊勢 がまだベータ版だったのを正式リリースにしようと思い立ったのを機に、オフラインマップの作成処理も既存のサーバーから分離して、別サーバー上にセットアップしようと思います。
以前、オフラインマップ処理について不具合対応した際に、途中まで作業していたので、その際のメモをまとめた感じになります(なので、記事中の作業日時とか結構前後してたりしますが、ご容赦ください)。
EC2 の立ち上げと初期設定
オフラインマップ処理ですが、若干重いこともありますが、伊勢近辺だけであればなんとかなるので、今回も EC2 で動かすことにします。
EC2 のインスタンスは、若干処理が重いのもあるため、
t3a.medium, 2 vcpu, 4GB メモリ
にして、OS は Ubuntu 20.04 にしました(タイムゾーン、日本語環境の設定などはこちらの記事を参照)。
各種ソフトウェアのインストール
mapsforge-creator の説明に従って、必要なソフトウェアをインストールしていきます。
github.com
以前こちらの記事で行ったのと基本的には同じですが、最新版の mapsforge-creator では、 graphhopper のファイルも同時に作成できるようになってそのあたりが便利になってます。
mapsforge-creator のインストール
オフラインマップは mapsforge-creator を利用して生成します。
ただし、オリジナルの mapsforge-creator は任意の領域に切り取る処理がありません。そこで、オリジナルのリポジトリを fork して、こちらの記事で追加した任意の領域に切り取る処理を追加したブランチを作成しましたので、今回はそれを使います。
ubuntu@ip-172-30-3-185:~$ mkdir bin
ubuntu@ip-172-30-3-185:~$ cd bin/
ubuntu@ip-172-30-3-185:~/bin$ git clone https://github.com/junichim/mapsforge-creator.git
Cloning into 'mapsforge-creator'...
remote: Enumerating objects: 378, done.
remote: Counting objects: 100% (38/38), done.
remote: Compressing objects: 100% (31/31), done.
remote: Total 378 (delta 13), reused 22 (delta 7), pack-reused 340
Receiving objects: 100% (378/378), 112.85 KiB | 9.40 MiB/s, done.
Resolving deltas: 100% (234/234), done.
ubuntu@ip-172-30-3-185:~/bin$
ブランチを trim に切り替えます。
ubuntu@ip-172-30-3-185:~/bin$ cd mapsforge-creator
ubuntu@ip-172-30-3-185:~/bin/mapsforge-creator$ git checkout trim
Branch 'trim' set up to track remote branch 'trim' from 'origin'.
Switched to a new branch 'trim'
ubuntu@ip-172-30-3-185:~/bin/mapsforge-creator$
graphhopper のインストール
clone した mapsforge-creator の map-creator.sh をみると、 graphhopper まわりでは Graphhopper の jar ファイルと設定ファイルの config.yml があればいいようです。それぞれダウンロードします。
ubuntu@ip-172-30-3-185:~$ cd bin/
ubuntu@ip-172-30-3-185:~/bin$ mkdir graphhopper
ubuntu@ip-172-30-3-185:~/bin$ cd graphhopper
ubuntu@ip-172-30-3-185:~/bin/graphhopper$
ubuntu@ip-172-30-3-185:~/bin/graphhopper$ wget https://graphhopper.com/public/releases/graphhopper-web-1.0.jar
--2021-04-15 17:32:14-- https://graphhopper.com/public/releases/graphhopper-web-1.0.jar
(中略)
2021-04-15 17:32:42 (1.05 MB/s) - `graphhopper-web-1.0.jar' へ保存完了 [29603807/29603807]
ubuntu@ip-172-30-3-185:~/bin/graphhopper$
ubuntu@ip-172-30-3-185:~/bin/graphhopper$ wget https://raw.githubusercontent.com/graphhopper/graphhopper/1.0/config-example.yml
--2021-04-15 17:34:03-- https://raw.githubusercontent.com/graphhopper/graphhopper/1.0/config-example.yml
(中略)
2021-04-15 17:34:03 (25.6 MB/s) - `config-example.yml' へ保存完了 [9556/9556]
ubuntu@ip-172-30-3-185:~/bin/graphhopper$
graphhopper 自体はすでに 2.x までバージョンが進んでますが、 map-creator.sh が 1.0 を使っていたのでそれに準じています。
map-write /poi-writer のインストール
Osmosis のプラグインとしてインストールするには、
~/.openstreetmap/osmosis/plugins
に jar ファイルを置けばOKです(こちら参照)。
ubuntu@ip-172-30-3-185:~$ mkdir -p .openstreetmap/osmosis/plugins
ubuntu@ip-172-30-3-185:~$
ubuntu@ip-172-30-3-185:~$ cd .openstreetmap/osmosis/plugins/
ubuntu@ip-172-30-3-185:~/.openstreetmap/osmosis/plugins$ wget https://search.maven.org/remotecontent?filepath=org/mapsforge/mapsforge-map-writer/0.15.0/mapsforge-map-writer-0.15.0-jar-with-dependencies.jar -O mapsforge-map-writer-0.15.0-jar-with-dependencies.jar
--2021-04-16 09:34:10-- https://search.maven.org/remotecontent?filepath=org/mapsforge/mapsforge-map-writer/0.15.0/mapsforge-map-writer-0.15.0-jar-with-dependencies.jar
(中略)
2021-04-16 09:34:27 (449 KB/s) - `mapsforge-map-writer-0.15.0-jar-with-dependencies.jar' へ保存完了 [6711875/6711875]
ubuntu@ip-172-30-3-185:~/.openstreetmap/osmosis/plugins$
ubuntu@ip-172-30-3-185:~/.openstreetmap/osmosis/plugins$ wget https://search.maven.org/remotecontent?filepath=org/mapsforge/mapsforge-poi-writer/0.15.0/mapsforge-poi-writer-0.15.0-jar-with
-dependencies.jar -O mapsforge-poi-writer-0.15.0-jar-with-dependencies.jar
--2021-04-16 09:35:15-- https://search.maven.org/remotecontent?filepath=org/mapsforge/mapsforge-poi-writer/0.15.0/mapsforge-poi-writer-0.15.0-jar-with-dependencies.jar
(中略)
2021-04-16 09:35:25 (1.29 MB/s) - `mapsforge-poi-writer-0.15.0-jar-with-dependencies.jar' へ保存完了 [11649486/11649486]
ubuntu@ip-172-30-3-185:~/.openstreetmap/osmosis/plugins$
その他
ドキュメントに従って、インストールしていきます。
Java ランタイムのインストール
ubuntu@ip-172-30-3-185:~/bin$ sudo apt install default-jre
osmosis
ubuntu@ip-172-30-3-185:~/bin$ sudo apt install osmosis
GDAL
ubuntu@ip-172-30-3-185:~/bin$ sudo apt install gdal-bin
このとき、python3-gdal も一緒にインストールされてました。
確認してみます。
ubuntu@ip-172-30-3-185:~$ python3
Python 3.8.5 (default, Jan 27 2021, 15:41:15)
[GCC 9.3.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> from osgeo import ogr
>>>
ubuntu@ip-172-30-3-185:~$
エラー出ませんね。
zip
ubuntu@ip-172-30-3-185:~$ sudo apt install zip
最後に、 aws-cli (バージョン 2 )もインストールしておきます。
ubuntu@ip-172-30-3-185:~/$ cd tmp/
ubuntu@ip-172-30-3-185:~/tmp$ curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
ubuntu@ip-172-30-3-185:~/tmp$ unzip awscliv2.zip
ubuntu@ip-172-30-3-185:~/tmp$ sudo ./aws/install
ubuntu@ip-172-30-3-185:~/tmp$ aws --version
aws-cli/2.1.38 Python/3.8.8 Linux/5.4.0-1028-aws exe/x86_64.ubuntu.20 prompt/off
ubuntu@ip-172-30-3-185:~/tmp$
これで、インストール関係は終了です。
graphhopper 用の設定ファイル
graphhopper のファイルも同時に作成できるようになったため、 graphhopper 用の設定ファイルも用意します。今回は下記のようにしました。
今回作成するオフラインマップは 避難所検索@伊勢 で使うため、 vehicle (移動手段を指す)として foot を指定します。
graph.flag_encoders: foot
以前の記事で述べた設定ファイルとは異なり、graphhopper 1.0 では、 profile という形で、どの vehicle に対してどのような優先順位で経路検索を行うかを設定します。
profile の名前は任意でつけることができます(graphhopper 利用時にこの profile 名などを指定します)。
profiles:
- name: escape_by_foot
vehicle: foot
weighting: fastest
weighting が何を優先して、検索するかを指定するものです。今回は一番速いものを検索するようにしました。可能な選択肢はドキュメントをご覧ください。
graphhopper では経路検索を行う際に3つのモード(Speed mode, Hybrid mode, Flexible mode)があるようです(こちらのドキュメントなどを参照)。設定ファイルでは、 Speed mode を適用する profile 名を指定します(Hybrid mode は使わないので、指定していません)。
profiles_ch:
- profile: escape_by_foot
なお、どのモードを用いるかは経路検索時に指定可能です(ドキュメントを見ると、経路検索時のリクエストに ch.disable = true や lm.disable = true を追加することで指定するようです)。
その他はデフォルトのままとしておきます。
スクリプトの調整
以前のオフラインマップサーバーのセットアップと同様に、各種スクリプトを調整します。
mapsforge-creator
前回と同様に、 map-creator.sh はシェルスクリプトになっており、先頭部分に各種ディレクトリなど設定情報を記入する形になっていますので、スクリプトを修正します。
まずは作業ディレクトリを作成します。
ubuntu@ip-172-30-3-185:~$ mkdir -p work/offlinemap
下記のように map-creator.sh の Configuration 部分を設定します(この部分は実行環境に合わせる形になると思います)。
[ $MAP_CREATION ] || MAP_CREATION="true"
[ $POI_CREATION ] || POI_CREATION="false"
[ $GRAPH_CREATION ] || GRAPH_CREATION="true"
[ $OSMOSIS_HOME ] || OSMOSIS_HOME="/usr"
[ $WORK_DIR ] || WORK_DIR="$HOME/work/offlinemap"
[ $DATA_PATH ] || DATA_PATH="$WORK_DIR/data"
[ $MAPS_PATH ] || MAPS_PATH="$WORK_DIR/maps"
[ $POIS_PATH ] || POIS_PATH="$WORK_DIR/pois"
[ $GRAPHHOPPER_FILE ] || GRAPHHOPPER_FILE="$HOME/bin/graphhopper/graphhopper-web-1.0.jar"
[ $GRAPHHOPPER_CONFIG ] || GRAPHHOPPER_CONFIG="$WORK_DIR/gh_config.yml"
[ $GRAPHS_PATH ] || GRAPHS_PATH="$WORK_DIR/graphs"
[ $DAYS ] || DAYS="30"
[ $TAG_VALUES ] || TAG_VALUES="false"
[ $COMMENT ] || COMMENT="Map data (c) OpenStreetMap contributors"
[ $PROGRESS_LOGS ] || PROGRESS_LOGS="true"
上記の WORK_DIR は新たに追加したものになります。
graphhopper用のzipファイルを作成する部分を下記のように修正します。これは、Android側の graphhopper ライブラリで解凍する場合は、フォルダがひとつ余分に入るための措置です。
@@ -263,7 +264,9 @@ if [ "$GRAPH_CREATION" = "true" ]; then
- cd "$WORK_PATH" && zip -r "$GRAPHS_PATH/$NAME.zip" "$NAME" && cd -
+
+
+ cd "$WORK_PATH/$NAME" && zip -r "$GRAPHS_PATH/$NAME.zip" "./" && cd -
fi
起動スクリプト
次に、 map-creator.sh を起動するスクリプト、および全体を制御するスクリプトを作成します。 bin/offlinemap に以下のファイルを作成しました。
- bin/offlinemap/createOfflineMap : 全体を実行
- bin/offlinemap/doMapCreator : map-creator 実行
- bin/offlinemap/uploadS3 : S3 へのアップロードを実行
前回作成したオフラインサーバー用のスクリプトからほとんど変わっていませんが、 graphhopper ファイルの作成を自分で呼び出さなくてよくなった点など、若干修正しています。
一応、まとめて gist に上げておきますので、ご参考にしてください。 これで、一連のファイルを自動で作ることができます。
2021/4/17 追記
オフラインマップの生成処理が失敗したとき、 Amazon SNS にメッセージを投げることで通知を行うようにしました。 gist もこれに合わせて更新しました。
動作確認
最後に、動作確認をします。
ubuntu@ip-172-30-3-185:~$ cd bin/offlinemap/
ubuntu@ip-172-30-3-185:~/bin/offlinemap$ ./createOfflineMap
所定のディレクトリ(今回は ~/work/offlinemap/result )にファイルが作成されており、 S3 にもアップロードされていればOKです。
ubuntu@ip-172-30-3-185:~/work/offlinemap/result$ ls -l
合計 9312
-rw-rw-r-- 1 ubuntu ubuntu 4599179 4月 16 14:37 ise.ghz
-rw-rw-r-- 1 ubuntu ubuntu 4928105 4月 16 14:36 ise.map
-rw-rw-r-- 1 ubuntu ubuntu 26 4月 16 15:30 map_timestamp
ubuntu@ip-172-30-3-185:~/work/offlinemap/result$
cron に登録
ここまでできたら、 cron に登録して、定期的に実行させます。
ubuntu@ip-172-30-3-185:~$ cd /etc/cron.d
ubuntu@ip-172-30-3-185:/etc/cron.d$ cat offlinemap
PATH=/usr/sbin:/usr/bin:/sbin:/bin:/usr/local/bin:/home/ubuntu/bin:/home/ubuntu/.local/bin
xx yy * * * ubuntu /home/ubuntu/bin/offlinemap/createOfflineMap >> /home/ubuntu/work/offlinemap/log/run.log 2>&1
ubuntu@ip-172-30-3-185:/etc/cron.d$
上記は毎日実行になってますが、そんなに頻繁に実行する必要はないでしょう。最終的な頻度は様子をみながら調整します。
なお、ログファイル出力先のディレクトリは事前に用意しておきます。
今後
今回、オフラインマップ処理を EC2 上に作成しましたが常時動かす必要はありません。なので、最終的には普段はインスタンスを停止しておいて、定期的に呼び出して処理を行い、終わったらシャットダウンするようにしたいと思います。それはまた別記事にまとめようと思います。
参考
今回 mapsforge-creator を fork して、自分用のブランチを用意しました。
その中で追加した multipolygon2polygons.py というファイルは、こちらの記事で触れた multipolygon を polygon に変換するスクリプトを、下記などを参考にして、新たに書き直したものになります。
python-gdal のコードの例
特に前者のサンプルをいろいろと眺めているとなんとなく使い方がわかってくる
OGC 単純地物モデル
OGR の元になっているモデルは OGC 単純地物モデルという話