避難所検索＠伊勢 v1.0 をリリースしました

以前ベータ版としてリリースしていた 避難所検索＠伊勢 ですが、オフラインマップ回りの問題などが解決できたので、若干手を入れて 1.0 としてリリースしました。

play.google.com

v1.0 リリースに関する作業で、気に合ったところをメモしておきます。

β版からの修正点

機能的な変更はほとんどありません。主な修正点としては、

• 経路検索時に現在位置が地図の中心に来るように変更
• 各種ライブラリを更新
• オフラインマップの更新確認をメニューに追加

というあたりになります。

ライブラリの更新について

今回、v1.0としてリリースするにあたり、各種ライブラリを更新しています。

Android support Library

ご存知の方も多いと思いますが、サポートライブラリはすでに非推奨になっていて、 AndroidX を使うことが推奨されています。

なので、この機に、AndroidXに移行しました。

AndroidX への移行  |  Android デベロッパー  |  Android Developers

移行作業はトラブルもなく、上記のURLの説明通りに AndroidStudio の機能を使って作業すれば、すぐに完了しました。

Graphhopper

こちらのオフラインマップサーバーの記事でも触れたように、オフラインマップ生成時に作成する graphhopper 用ファイル（経路データ）が v1.0 から新しいものになりました。

それに伴い、クライアント側の経路検索時の処理も若干変更になっています（詳しくは graphhopper のドキュメントなどを調べてみてください）。

最初にgrahhopperを初期化する部分ですが、このアプリの場合 com.mori_soft.escape.model.GraphHopperWrapper クラスにて、初期化していますが、

0.13.0 の時は

    private static GraphHopper prepareGraphHopper(Context context) {
        Log.d(TAG, "prepareGraphHopper");
        try {
            GraphHopper tmp = new GraphHopper().forMobile();
            tmp.load(getGraphHopperFolder(context));
            return tmp;
        } catch (Exception e) {
            Log.e(TAG, "Graphhopper file load failed" , e);
            // 読み込みに失敗した場合は、ファイルを消去する
            clearGhzFiles(context);
            return null;
        }
    }

としていたのを 1.0 では、

    // graphhopper ファイルを作成した際に config.yaml で指定した情報
    //   ファイルから読み込んだだけでは設定されない
    public static final String GH_PROFILE = "escape_by_foot";
    private static final String GH_PROFILE_VEHICLE = "foot";
    private static final String GH_PROFILE_WEIGHTING = "fastest";

    （略）

    private static GraphHopper prepareGraphHopper(Context context) {
        Log.d(TAG, "prepareGraphHopper");
        try {
            GraphHopper tmp = new GraphHopper().forMobile();
            tmp.setProfiles(new Profile(GH_PROFILE).setVehicle(GH_PROFILE_VEHICLE).setWeighting(GH_PROFILE_WEIGHTING));
            tmp.getCHPreparationHandler().setCHProfiles(new CHProfile(GH_PROFILE));
            tmp.load(getGraphHopperFolder(context));
            return tmp;
        } catch (Exception e) {
            Log.e(TAG, "Graphhopper file load failed" , e);
            // 読み込みに失敗した場合は、ファイルを消去する
            clearGhzFiles(context);
            return null;
        }
    }

のように、プロファイルを指定する必要があります。コメントにも書いてありますが、ここで指定する profile 名は graphhopper の経路データを作成する際に config.yaml に設定した profile 名になります。

また、経路検索時も 0.13.0 の時は

    private PathWrapper calcPath(double lat1, double lon1, double lat2, double lon2) {

        GHRequest req = new GHRequest(lat1, lon1, lat2, lon2).setAlgorithm(Parameters.Algorithms.DIJKSTRA_BI); // TODO アルゴリズム
        req.getHints().put(Parameters.Routing.INSTRUCTIONS, "false");

のように呼び出していたところが、

    private ResponsePath calcPath(double lat1, double lon1, double lat2, double lon2) {

        GHRequest req = new GHRequest(lat1, lon1, lat2, lon2).setProfile(GraphHopperWrapper.GH_PROFILE);
        req.getHints().putObject(Parameters.Routing.INSTRUCTIONS, "false");

のように、profile 名を追加で指定する必要がありました。

これは勝手な推測なのですが、たぶん、経路データ作成時は、いくつかのパターンで経路データ（それらを区別するために profile 名を与えます）を作成し、初期化時および経路検索時に、どれを使うか指定するような使い方になったように思えます。

また、そのほかに、経路検索結果を扱っていた PathWrapper クラスの名前が、 ResponsePath に代わっていたりします。

そのあたりを修正することで v1.0 で動作するようになりました。

Play App Signing

ライブラリではありませんが、今回のリリースに合わせて、 Play App Signing を使うようにしました。

ポイントになるのは、今までは単にアプリに署名して Google Play にアップロードしていたものが、Play App Signing では、

• アプリを公開する際の署名鍵（アプリ署名鍵）
• アプリを Google Play にアップロードする際に署名する鍵（アップロード鍵）

の２つの鍵が必要になるという点です。

で、既存アプリの場合は、開発者の手元にあるキーストアを使って署名して公開している（はずな）ので、これを Play App Signing のアプリ署名鍵として登録してやる必要がある、というのがポイントになります（アプリ公開時の鍵は変更できませんからね）。

そのうえで、別途、アップロード鍵を用意して、それで署名したアプリを Google Play にアップロードする、という形になります。なお、このアップロード鍵はアプリ署名鍵と同一でもよいらしいのですが、せっかく Play App Signing を使うなら分けたほうが無難かと思います。

Google への連絡が必要ですが、アップロード鍵は交換することも可能ですからね。

上記の点だけ理解しておけば、実際の作業は詳しいドキュメントも公開されているので、それに従って作業するだけです。

最後に

最初のβ版リリースからずいぶんと時間が経ちましたが、ある程度形になったかと思います。 まだ、避難所情報の更新がおこなえないので、その機能だけおいおい追加したいと思います。

その他、気になる点などありましたら、ご意見いただければと思います。

OpenStreetMap オフラインマップ作成用サーバーの再セットアップ

現在は、避難所検索＠伊勢 で利用するオフラインマップの作成処理は、OpenStreetMap のタイルサーバーに同居しています。当初、この処理を作った際の記事にも書きましたが、タイルサーバー上に常に最新のデータがあるのでそれを流用したかったため、このような構成にしてました。が、それができないうえに、どちらも地図データを処理するため、同じライブラリを利用していたりして、相互にメンテナンスをしていくのがちょっと面倒だったりしました。

少し時間的な余裕ができたので、しばらく放置していた 避難所検索＠伊勢 がまだベータ版だったのを正式リリースにしようと思い立ったのを機に、オフラインマップの作成処理も既存のサーバーから分離して、別サーバー上にセットアップしようと思います。

以前、オフラインマップ処理について不具合対応した際に、途中まで作業していたので、その際のメモをまとめた感じになります（なので、記事中の作業日時とか結構前後してたりしますが、ご容赦ください）。

EC2 の立ち上げと初期設定

オフラインマップ処理ですが、若干重いこともありますが、伊勢近辺だけであればなんとかなるので、今回も EC2 で動かすことにします。

EC2 のインスタンスは、若干処理が重いのもあるため、

t3a.medium, 2 vcpu, 4GB メモリ

にして、OS は Ubuntu 20.04 にしました（タイムゾーン、日本語環境の設定などはこちらの記事を参照）。

各種ソフトウェアのインストール

mapsforge-creator の説明に従って、必要なソフトウェアをインストールしていきます。

github.com

以前こちらの記事で行ったのと基本的には同じですが、最新版の mapsforge-creator では、 graphhopper のファイルも同時に作成できるようになってそのあたりが便利になってます。

mapsforge-creator のインストール

オフラインマップは mapsforge-creator を利用して生成します。

ただし、オリジナルの mapsforge-creator は任意の領域に切り取る処理がありません。そこで、オリジナルのリポジトリを fork して、こちらの記事で追加した任意の領域に切り取る処理を追加したブランチを作成しましたので、今回はそれを使います。

ubuntu@ip-172-30-3-185:~$ mkdir bin
ubuntu@ip-172-30-3-185:~$ cd bin/
ubuntu@ip-172-30-3-185:~/bin$ git clone https://github.com/junichim/mapsforge-creator.git
Cloning into 'mapsforge-creator'...
remote: Enumerating objects: 378, done.
remote: Counting objects: 100% (38/38), done.
remote: Compressing objects: 100% (31/31), done.
remote: Total 378 (delta 13), reused 22 (delta 7), pack-reused 340
Receiving objects: 100% (378/378), 112.85 KiB | 9.40 MiB/s, done.
Resolving deltas: 100% (234/234), done.
ubuntu@ip-172-30-3-185:~/bin$ 

ブランチを trim に切り替えます。

ubuntu@ip-172-30-3-185:~/bin$ cd mapsforge-creator
ubuntu@ip-172-30-3-185:~/bin/mapsforge-creator$ git checkout trim
Branch 'trim' set up to track remote branch 'trim' from 'origin'.
Switched to a new branch 'trim'
ubuntu@ip-172-30-3-185:~/bin/mapsforge-creator$ 

graphhopper のインストール

clone した mapsforge-creator の map-creator.sh をみると、 graphhopper まわりでは Graphhopper の jar ファイルと設定ファイルの config.yml があればいいようです。それぞれダウンロードします。

ubuntu@ip-172-30-3-185:~$ cd bin/
ubuntu@ip-172-30-3-185:~/bin$ mkdir graphhopper
ubuntu@ip-172-30-3-185:~/bin$ cd graphhopper
ubuntu@ip-172-30-3-185:~/bin/graphhopper$ 
ubuntu@ip-172-30-3-185:~/bin/graphhopper$ wget https://graphhopper.com/public/releases/graphhopper-web-1.0.jar
--2021-04-15 17:32:14--  https://graphhopper.com/public/releases/graphhopper-web-1.0.jar
（中略）
2021-04-15 17:32:42 (1.05 MB/s) - `graphhopper-web-1.0.jar' へ保存完了 [29603807/29603807]

ubuntu@ip-172-30-3-185:~/bin/graphhopper$ 
ubuntu@ip-172-30-3-185:~/bin/graphhopper$ wget https://raw.githubusercontent.com/graphhopper/graphhopper/1.0/config-example.yml
--2021-04-15 17:34:03--  https://raw.githubusercontent.com/graphhopper/graphhopper/1.0/config-example.yml
（中略）
2021-04-15 17:34:03 (25.6 MB/s) - `config-example.yml' へ保存完了 [9556/9556]

ubuntu@ip-172-30-3-185:~/bin/graphhopper$ 

graphhopper 自体はすでに 2.x までバージョンが進んでますが、 map-creator.sh が 1.0 を使っていたのでそれに準じています。

map-write /poi-writer のインストール

Osmosis のプラグインとしてインストールするには、

~/.openstreetmap/osmosis/plugins

に jar ファイルを置けばOKです（こちら参照）。

ubuntu@ip-172-30-3-185:~$ mkdir -p .openstreetmap/osmosis/plugins
ubuntu@ip-172-30-3-185:~$ 
ubuntu@ip-172-30-3-185:~$ cd .openstreetmap/osmosis/plugins/
ubuntu@ip-172-30-3-185:~/.openstreetmap/osmosis/plugins$ wget https://search.maven.org/remotecontent?filepath=org/mapsforge/mapsforge-map-writer/0.15.0/mapsforge-map-writer-0.15.0-jar-with-dependencies.jar -O mapsforge-map-writer-0.15.0-jar-with-dependencies.jar
--2021-04-16 09:34:10--  https://search.maven.org/remotecontent?filepath=org/mapsforge/mapsforge-map-writer/0.15.0/mapsforge-map-writer-0.15.0-jar-with-dependencies.jar
（中略）
2021-04-16 09:34:27 (449 KB/s) - `mapsforge-map-writer-0.15.0-jar-with-dependencies.jar' へ保存完了 [6711875/6711875]

ubuntu@ip-172-30-3-185:~/.openstreetmap/osmosis/plugins$ 
ubuntu@ip-172-30-3-185:~/.openstreetmap/osmosis/plugins$ wget https://search.maven.org/remotecontent?filepath=org/mapsforge/mapsforge-poi-writer/0.15.0/mapsforge-poi-writer-0.15.0-jar-with
-dependencies.jar -O mapsforge-poi-writer-0.15.0-jar-with-dependencies.jar
--2021-04-16 09:35:15--  https://search.maven.org/remotecontent?filepath=org/mapsforge/mapsforge-poi-writer/0.15.0/mapsforge-poi-writer-0.15.0-jar-with-dependencies.jar
（中略）
2021-04-16 09:35:25 (1.29 MB/s) - `mapsforge-poi-writer-0.15.0-jar-with-dependencies.jar' へ保存完了 [11649486/11649486]

ubuntu@ip-172-30-3-185:~/.openstreetmap/osmosis/plugins$ 

その他

ドキュメントに従って、インストールしていきます。

Java ランタイムのインストール

ubuntu@ip-172-30-3-185:~/bin$ sudo apt install default-jre

osmosis

ubuntu@ip-172-30-3-185:~/bin$ sudo apt install osmosis

GDAL

ubuntu@ip-172-30-3-185:~/bin$ sudo apt install gdal-bin

このとき、python3-gdal も一緒にインストールされてました。 確認してみます。

ubuntu@ip-172-30-3-185:~$ python3
Python 3.8.5 (default, Jan 27 2021, 15:41:15) 
[GCC 9.3.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> from osgeo import ogr
>>> 
ubuntu@ip-172-30-3-185:~$ 

エラー出ませんね。

zip

ubuntu@ip-172-30-3-185:~$ sudo apt install zip

最後に、 aws-cli （バージョン 2 ）もインストールしておきます。

ubuntu@ip-172-30-3-185:~/$ cd tmp/
ubuntu@ip-172-30-3-185:~/tmp$ curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
ubuntu@ip-172-30-3-185:~/tmp$ unzip awscliv2.zip 
ubuntu@ip-172-30-3-185:~/tmp$ sudo ./aws/install 
ubuntu@ip-172-30-3-185:~/tmp$ aws --version
aws-cli/2.1.38 Python/3.8.8 Linux/5.4.0-1028-aws exe/x86_64.ubuntu.20 prompt/off
ubuntu@ip-172-30-3-185:~/tmp$ 

これで、インストール関係は終了です。

graphhopper 用の設定ファイル

graphhopper のファイルも同時に作成できるようになったため、 graphhopper 用の設定ファイルも用意します。今回は下記のようにしました。

今回作成するオフラインマップは 避難所検索＠伊勢 で使うため、 vehicle （移動手段を指す）として foot を指定します。

  # More options: foot,hike,bike,bike2,mtb,racingbike,motorcycle,car4wd,wheelchair (comma separated)
  # bike2 takes elevation data into account (like up-hill is slower than down-hill) and requires enabling graph.elevation.provider below.
  # modified by Junichi MORI, 2021/4/15
  #graph.flag_encoders: car
  graph.flag_encoders: foot

以前の記事で述べた設定ファイルとは異なり、graphhopper 1.0 では、 profile という形で、どの vehicle に対してどのような優先順位で経路検索を行うかを設定します。

profile の名前は任意でつけることができます（graphhopper 利用時にこの profile 名などを指定します）。

  ##### Routing Profiles ####

  # Routing can be done for the following list of profiles. Note that it is required to specify all the profiles you
  # would like to use here. The fields of each profile are as follows:
  # - name (required): a unique string identifier for the profile
  # - vehicle (required): refers to the `graph.flag_encoders` used for this profile
  # - weighting (required): the weighting used for this profile, e.g. fastest,shortest or short_fastest
  # - turn_costs (true/false, default: false): whether or not turn restrictions should be applied for this profile.
  #   this will only work if the `graph.flag_encoders` for the given `vehicle` is configured with `|turn_costs=true`.
  #
  # Depending on the above fields there are other properties that can be used, e.g.
  # - distance_factor: 0.1 (can be used to fine tune the time/distance trade-off of short_fastest weighting)
  # - u_turn_costs: 60 (time-penalty for doing a u-turn in seconds (only possible when `turn_costs: true`)).
  #   Note that since the u-turn costs are given in seconds the weighting you use should also calculate the weight
  #   in seconds, so for example it does not work with shortest weighting.
  # - custom_model_file: when you specified "weighting: custom" you need to set a yaml file that defines the custom_model.
  #   If you want an empty model you can also set "custom_model_file: empty".
  #
  #   For more information about profiles and especially custom profiles have a look into the documentation
  #   at docs/core/profiles.md or the examples under web/src/test/resources/com/graphhopper/http/resources/ or
  #   the CustomWeighting class for the raw details.
  #
  # To prevent long running routing queries you should usually enable either speed or hybrid mode for all the given
  # profiles (see below). Otherwise you should at least limit the number of `routing.max_visited_nodes`.
  # modified by Junichi MORI, 2021/4/15
  #profiles:
  #  - name: car
  #    vehicle: car
  #    weighting: fastest
  #
  ##  - name: car_with_turn_costs
  ##    vehicle: car
  ##    weighting: short_fastest
  ##    distance_factor: 0.1
  ##    turn_costs: true
  ##    u_turn_costs: 60
  profiles:
    - name: escape_by_foot
      vehicle: foot
      weighting: fastest

weighting が何を優先して、検索するかを指定するものです。今回は一番速いものを検索するようにしました。可能な選択肢はドキュメントをご覧ください。

graphhopper では経路検索を行う際に３つのモード（Speed mode, Hybrid mode, Flexible mode）があるようです（こちらのドキュメントなどを参照）。設定ファイルでは、 Speed mode を適用する profile 名を指定します（Hybrid mode は使わないので、指定していません）。

  # Speed mode:
  # Its possible to speed up routing by doing a special graph preparation (Contraction Hierarchies, CH). This requires
  # more RAM/disk space for holding the prepared graph but also means less memory usage per request. Using the following
  # list you can define for which of the above routing profiles such preparation shall be performed. Note that to support
  # profiles with `turn_costs: true` a more elaborate preparation is required (longer preparation time and more memory
  # usage) and the routing will also be slower than with `turn_costs: false`.
  # modified by Junichi MORI, 2021/4/15
  #profiles_ch:
  #  - profile: car
  ##   - profile: car_with_turn_costs
  profiles_ch:
    - profile: escape_by_foot

なお、どのモードを用いるかは経路検索時に指定可能です（ドキュメントを見ると、経路検索時のリクエストに ch.disable = true や lm.disable = true を追加することで指定するようです）。

その他はデフォルトのままとしておきます。

スクリプトの調整

以前のオフラインマップサーバーのセットアップと同様に、各種スクリプトを調整します。

mapsforge-creator

前回と同様に、 map-creator.sh はシェルスクリプトになっており、先頭部分に各種ディレクトリなど設定情報を記入する形になっていますので、スクリプトを修正します。

まずは作業ディレクトリを作成します。

ubuntu@ip-172-30-3-185:~$ mkdir -p work/offlinemap

下記のように map-creator.sh の Configuration 部分を設定します（この部分は実行環境に合わせる形になると思います）。

# Configuration

[ $MAP_CREATION ] || MAP_CREATION="true"
[ $POI_CREATION ] || POI_CREATION="false"
[ $GRAPH_CREATION ] || GRAPH_CREATION="true"

[ $OSMOSIS_HOME ] || OSMOSIS_HOME="/usr"
[ $WORK_DIR  ] || WORK_DIR="$HOME/work/offlinemap"
[ $DATA_PATH ] || DATA_PATH="$WORK_DIR/data"
[ $MAPS_PATH ] || MAPS_PATH="$WORK_DIR/maps"
[ $POIS_PATH ] || POIS_PATH="$WORK_DIR/pois"

[ $GRAPHHOPPER_FILE ] || GRAPHHOPPER_FILE="$HOME/bin/graphhopper/graphhopper-web-1.0.jar"
[ $GRAPHHOPPER_CONFIG ] || GRAPHHOPPER_CONFIG="$WORK_DIR/gh_config.yml"
[ $GRAPHS_PATH ] || GRAPHS_PATH="$WORK_DIR/graphs"

[ $DAYS ] || DAYS="30"

[ $TAG_VALUES ] || TAG_VALUES="false"
[ $COMMENT ] || COMMENT="Map data (c) OpenStreetMap contributors"
[ $PROGRESS_LOGS ] || PROGRESS_LOGS="true"

上記の WORK_DIR は新たに追加したものになります。

graphhopper用のzipファイルを作成する部分を下記のように修正します。これは、Android側の graphhopper ライブラリで解凍する場合は、フォルダがひとつ余分に入るための措置です。

@@ -263,7 +264,9 @@ if [ "$GRAPH_CREATION" = "true" ]; then
 
   # Zip
 
-  cd "$WORK_PATH" && zip -r "$GRAPHS_PATH/$NAME.zip" "$NAME" && cd -
+  # modified by Junichi MORI, 2021/4/15
+  #cd "$WORK_PATH" && zip -r "$GRAPHS_PATH/$NAME.zip" "$NAME" && cd -
+  cd "$WORK_PATH/$NAME" && zip -r "$GRAPHS_PATH/$NAME.zip" "./" && cd -
 
 fi

起動スクリプト

次に、 map-creator.sh を起動するスクリプト、および全体を制御するスクリプトを作成します。 bin/offlinemap に以下のファイルを作成しました。

• bin/offlinemap/createOfflineMap : 全体を実行
• bin/offlinemap/doMapCreator : map-creator 実行
• bin/offlinemap/uploadS3 : S3 へのアップロードを実行

前回作成したオフラインサーバー用のスクリプトからほとんど変わっていませんが、 graphhopper ファイルの作成を自分で呼び出さなくてよくなった点など、若干修正しています。

一応、まとめて gist に上げておきますので、ご参考にしてください。 これで、一連のファイルを自動で作ることができます。

2021/4/17 追記

オフラインマップの生成処理が失敗したとき、 Amazon SNS にメッセージを投げることで通知を行うようにしました。 gist もこれに合わせて更新しました。

動作確認

最後に、動作確認をします。

ubuntu@ip-172-30-3-185:~$ cd bin/offlinemap/
ubuntu@ip-172-30-3-185:~/bin/offlinemap$ ./createOfflineMap 

所定のディレクトリ（今回は ~/work/offlinemap/result ）にファイルが作成されており、 S3 にもアップロードされていればOKです。

ubuntu@ip-172-30-3-185:~/work/offlinemap/result$ ls -l
合計 9312
-rw-rw-r-- 1 ubuntu ubuntu 4599179  4月 16 14:37 ise.ghz
-rw-rw-r-- 1 ubuntu ubuntu 4928105  4月 16 14:36 ise.map
-rw-rw-r-- 1 ubuntu ubuntu      26  4月 16 15:30 map_timestamp
ubuntu@ip-172-30-3-185:~/work/offlinemap/result$ 

cron に登録

ここまでできたら、 cron に登録して、定期的に実行させます。

ubuntu@ip-172-30-3-185:~$ cd /etc/cron.d
ubuntu@ip-172-30-3-185:/etc/cron.d$ cat offlinemap 
# The first element of the path is a directory where the debian-sa1
# script is located
PATH=/usr/sbin:/usr/bin:/sbin:/bin:/usr/local/bin:/home/ubuntu/bin:/home/ubuntu/.local/bin

# run createOfflineMap at yy:xx everyday
xx yy * * * ubuntu /home/ubuntu/bin/offlinemap/createOfflineMap >> /home/ubuntu/work/offlinemap/log/run.log 2>&1
ubuntu@ip-172-30-3-185:/etc/cron.d$ 

上記は毎日実行になってますが、そんなに頻繁に実行する必要はないでしょう。最終的な頻度は様子をみながら調整します。 なお、ログファイル出力先のディレクトリは事前に用意しておきます。

今後

今回、オフラインマップ処理を EC2 上に作成しましたが常時動かす必要はありません。なので、最終的には普段はインスタンスを停止しておいて、定期的に呼び出して処理を行い、終わったらシャットダウンするようにしたいと思います。それはまた別記事にまとめようと思います。

参考

今回 mapsforge-creator を fork して、自分用のブランチを用意しました。

その中で追加した multipolygon2polygons.py というファイルは、こちらの記事で触れた multipolygon を polygon に変換するスクリプトを、下記などを参考にして、新たに書き直したものになります。

python-gdal のコードの例

• Welcome to the Python GDAL/OGR Cookbook! — Python GDAL/OGR Cookbook 1.0 documentation
• PythonでGeoSpatialをやってみる。[Chapter 1] | OpenなGISのこと

特に前者のサンプルをいろいろと眺めているとなんとなく使い方がわかってくる

OGC 単純地物モデル

OGR の元になっているモデルは OGC 単純地物モデルという話

• GDAL/OGR — OSGeoLive 13.0 Documentation
• 16.2. Lesson: 単純地物モデル — QGIS Documentation ドキュメント
• OGC Simple Featuresとは｜共通仕様 - 空間情報クラブ｜株式会社インフォマティクス

さくらインターネットで管理しているドメインの NS レコードについて

わざわざ書くほどでもないかもしれませんが、一応自分用の備忘録として書いておきます。

先日、 Google Search Console から連絡があり、ドメインプロパティを設定したほうがよいよ、とありました。ドメインプロパティを設定することで、すべてのサブドメインのアクセス等を解析できるようになるとのことです。

その時に、ふと、思ったのが、サブドメインの一覧って取得することができるのだろうか？という疑問です。

調べてみた結論としては、サブドメインの一覧を得るにはゾーン転送を利用する必要があり、DNSサーバーがゾーン転送で使う axfr でのアクセスをセキュリティ上の理由で認めていないことが多いので、サブドメインの一覧も取得できないことが多い、というものでした。

それ自体はそれで納得なのですが、その際に、さくらインターネットでドメイン管理している mori-soft.com の DNS レコードを調べていたら、NS レコードは

mor@DESKTOP-JBLAC6U:~$ dig mori-soft.com ns

; <<>> DiG 9.11.3-1ubuntu1.11-Ubuntu <<>> mori-soft.com ns
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 9487
;; flags: qr rd ra; QUERY: 1, ANSWER: 2, AUTHORITY: 0, ADDITIONAL: 1

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 4096
;; QUESTION SECTION:
;mori-soft.com.                 IN      NS

;; ANSWER SECTION:
mori-soft.com.          3499    IN      NS      ns1.dns.ne.jp.
mori-soft.com.          3499    IN      NS      ns2.dns.ne.jp.

;; Query time: 12 msec
;; SERVER: 192.168.0.1#53(192.168.0.1)
;; WHEN: Thu Jan 28 16:59:19 JST 2021
;; MSG SIZE  rcvd: 87

mor@DESKTOP-JBLAC6U:~$

とあるのですが、 SOA レコードは

mor@DESKTOP-JBLAC6U:~$ dig mori-soft.com soa

; <<>> DiG 9.11.3-1ubuntu1.11-Ubuntu <<>> mori-soft.com soa
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 12118
;; flags: qr rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 1

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 4096
;; QUESTION SECTION:
;mori-soft.com.                 IN      SOA

;; ANSWER SECTION:
mori-soft.com.          2557    IN      SOA     master.dns.ne.jp. tech.sakura.ad.jp. 2021012800 3600 900 3600000 3600

;; Query time: 12 msec
;; SERVER: 192.168.0.1#53(192.168.0.1)
;; WHEN: Thu Jan 28 17:15:44 JST 2021
;; MSG SIZE  rcvd: 109

mor@DESKTOP-JBLAC6U:~$

となっています。 SOA レコードの先頭にあるサーバー名は、プライマリ DNS サーバーだと思っていたのですが、これを見ると、どちらの NS レコードとも異なっています。

これはどういうことなんだろうか？というのが今回の疑問点でした。

推測した結論

ちょっと気になったので、ネットを調べてみると、似たような hidden master という DNS サーバーの構成の仕方が、 IIJ のブログにモダンな DNS の構成として紹介されていました。

モダンなDNSの構成：IIJ DNSプラットフォームサービスのスゴいところ(第1回) | IIJ Engineers Blog

なるほど。ゾーン情報を管理するサーバーと、問い合わせを受け付けるサーバーを分けて、 NS レコードには問い合わせを受けるサーバーだけを載せる、ということなんですね。

さくらインターネットのがこれとそっくりそのまま同じとは思いませんが、やってることは似ているような気がします。

普段、DNSの構成なんて気にしていませんが、こうやって日々進化してるんですね。

おまけ

最初の話題に戻ります。サブドメイン一覧を得ることができないはずなのですが、蛇の道は蛇（じゃのみちはへび）というか、世の中にはいろいろと抜け道があるようです。

こちらのブログで紹介されている DNSdumpster.com というサイトを使うと、サブドメインの一覧を見ることができるそうです。

自分のサイトで試してみると、確かに Ａ レコードなどの一覧をみることができました。いやー、恐ろしいですね。