プログラマーのメモ書き

伊勢在住のプログラマーが気になることを気ままにメモったブログです

Webサイトを静的サイトにしました : hugo による静的サイトの作成 (1/3)

個人事業主としての森ソフトのサイトは、さくらインターネットのレンタルサーバー上で Joomla! を使って動かしていました。 当初は、ブログ代わりの技術メモとしていろんなものを載せるために使っていました。ちなみに、Wordpressを選ばなかったのは、当時のさくらのレンサバのDBのバージョンがWordpressのサポート対象外だったためなのと、知り合いがJoomla!使っていたのが理由でした。

ちなみに、あれこれやってた時の記事がまだ残ってました (^^; 思い出にリンク張っときます。

でも、一昨年から技術メモの部分はブログとして、はてなブログに移行したので、そんなに大そうな頻度で更新することもなくなりました。 となってくると気になってくるのがサーバー代です(サイト分だけでなくバックアップサーバーも立ち上げているので2台の料金がかかっています)。

昨今、あれこれ見てると静的サイトホスティングでサイトを公開するというのが流行っているようです。先祖返りな気もしますが、gitなどと連携できればそんなに悪くないかな?という印象です。 ということで、今回思い切って、自分のサイトを静的サイトホスティングに切り替えてみましたので、備忘録としてメモっときます。

ツールの選定

静的サイト作成に使えるツールですが、調べ始めたら、山のようにあって困りました。 例えば、下記サイトなどでは、どのようなツールがあるのか、いろいろとガイドしてくれていますが、数が多すぎてる正直よくわかりません。

上記以外にもあれこれと比較記事を探して読んでみたのですが、なかなかこれだ!という風には見つかりませんでした。

まあ、その中でも、 hugo が静的サイトのビルドが早いということで、どうも良さそうです。

これ以上は、実際に試したほうが早そうだということで、今回は hugo を使うことにしました。

全体の構成

ツールの選定と合わせてあれこれ調べると、静的サイトのホスティングをやってくれるサービスもあることが分かりました。 そんなのを受けて、今回は次のような構成で作業を行いました。

  • ホスティング : Netlify (当然、無料プランです)
  • gitリポジトリ : Bitbucket
  • 静的サイトジェネレータ : Hugo, 0.32.2
  • 開発環境 : Windows 10 build 1709 上 Bash on Ubuntu On Windows (16.04.3 LTS相当)
  • 移行元 : Joomla! 3.6.5

hugo のインストール

まずは hugo のインストールから始めます。 Bash on Ubuntu on Windows 上から

sudo apt-get install hugo

とするだけでインストールできました。が、しかし、これだとバージョンが 0.15 相当になり、ちょっと古めです(この記事を書いている時点で 0.32.2)。なので、

wget https://github.com/gohugoio/hugo/releases/download/v0.32.2/hugo_0.32.2_Linux-64bit.deb
sudo dpkg -i hugo_0.32.2_Linux-64bit.deb

として作業時の最新版をインストールしました。

なお、バイナリ(パッケージ版はバイナリです)を使う場合は、GOの開発環境は不要だそうです。

(参考) 下記のインストール手順を参考にしました

hawksnowlog: Ubuntu 16.04 で hugo を試してみた

hugo の試用

インストールが成功したら、さっそく hugo のサイトにあるQuick Start を試してみます。

Quick Start | Hugo

一通り作業をしてみると、問題なくローカルサイトでサイトを見ることができました。

移行するコンテンツの選定

さて、既存サイトのコンテンツを移動する前に改めてコンテンツを確認してみました。 技術メモ部分はなくなっているのでよいとして、それ以外でも内容が結構古くなっているものが多々あります。 こういう古いものも含めて移行するかは、ちょっと悩ましいところです。いろいろ考えたのですが、次の理由からとりあえず現時点では移行しないことにしました。

  • 今更、内容的に更新するつもりがない
  • 自分自身でも参考にすることがすくない(というかここ数年、見てもいなかった)
  • 既存サイトは非公開にするけど、削除はしない(プライベートでは閲覧可能にしておく)

もし、必要がありそう or 需要がありそうなら、追って追加することにします。

そうなると、移行するべきコンテンツは自分自身の紹介など、ごく最小限のものとなり、わざわざ移行ツールなどを使わなくても簡単にできそうです。

(参考)

今回は使いませんでしたが、もし、Joomla! のコンテンツが山ほどあり、手作業で移行するのが大変そうな場合は、Joomla! -> hugo の移行をサポートしてくれるツールがあります。

Migrate to Hugo | Hugo

一度試してみるといいかもしれません。

hugo でのサイト構築

ということで、サイトに載せるコンテンツとしては、一から作り直すことにします。

ただ、Webサイトですので、デザインまで自分で作るのは厳しいものがあります。 ということで、デザインに関しては、既存のhugoのテーマを選んで、それをベースに載せるべき内容を作り、必要があれば見た目もカスタマイズする方法を取ります。

hugoのテーマは、

Complete List | Hugo Themes

ここから選べます。タグがあるので、それを手掛かりにしてみていきます。あと、多くのテーマには、デモサイトへのリンクもあるので、それで実際に動作を確認しながら選びます。 今回は、 universal というテーマを選びました。

themes.gohugo.io

まずはサイトを作ります(サイト名は mor としてます)。

mor@DESKTOP-RLA4CF1:~/tmp$ hugo new site mor

テーマを適用

universal テーマのサイトの説明に従って、

mor@DESKTOP-RLA4CF1:~/tmp/mor$ cd themes/
mor@DESKTOP-RLA4CF1:~/tmp/mor/themes$
mor@DESKTOP-RLA4CF1:~/tmp/mor/themes$ git clone https://github.com/devcows/hugo-universal-theme
mor@DESKTOP-RLA4CF1:~/tmp/mor/themes$
mor@DESKTOP-RLA4CF1:~/tmp/mor/themes$ cd hugo-universal-theme/exampleSite/
mor@DESKTOP-RLA4CF1:~/tmp/mor/themes/hugo-universal-theme/exampleSite$
mor@DESKTOP-RLA4CF1:~/tmp/mor/themes/hugo-universal-theme/exampleSite$ cp config.toml ../../../config.toml

とします。 このまま、hugo server で確認するとエラーがでたので、何点か修正します。

  • config.toml の themesDir が設定されていますが、これがうまく動いていませんので、コメントアウトしておきます
  • carousel(カルーセル、サイトのトップとかで画像が複数スライドしていくやつ), Features, Testimonials(いわゆるお客様の声かな?), Clients は data ディレクトリ以下に所定のyamlファイルが一つもないとエラーになります。なので、それぞれ config.toml の params.carousel, params.features, params.testimonials, params.client の enable を false にしておきます。

修正が終わったら、ローカルサーバーを起動します。

mor@DESKTOP-RLA4CF1:~/tmp/mor$ hugo server -D

これで一応表示されました。

カスタマイズ

ここからカスタマイズです。 だいたい次の順にカスタマイズしました。

  • このテーマの内容に沿って、 config.toml を変更します
  • 先ほどの carousel, features, testimonials, client については必要に応じてyamlファイルを作成します(必要のないところは enabled = false のままです)
  • サイトのディレクトリ直下に i18n ディレクトリを作り、 cp themes/hugo-universal-theme/i18n/en.yaml i18n/ja.yaml として、必要に応じて日本語訳を入れておきます

この辺の変更方法は universal のテーマのページに載っています。

テンプレートの修正

次に、表示している各部分の細かいところでデザインを変更したい箇所を修正します。

サイトの作成にあたって、最初にテーマを使うところから始めましたが、hugo に関する記事などを読むと、サイトのディレクトリ(ここでは ~/tmp/mor)以下にある layouts 以下のファイルがテンプレートとして表示を制御しているようです。 で、テーマはそれをまとめて配布可能にしたもので、 themes ディレクトリに配置されるものになります。

両者は共通の構造をとっていて、サイトのディレクトリ以下にある layouts が優先されます(テーマから見ると、オーバーライドすることができます)。

この構成がわかれば、あとは、自分が修正したい箇所がどこにあるかを調べて、その html ファイルを サイトのディレクトリ/layouts にコピーして、変更を行います。

例えば、サイトで表示されるトップページのレイアウトを変更するのであれば、

mor@DESKTOP-RLA4CF1:~/tmp/mor$ cp themes/hugo-universal-theme/layouts/index.html layouts/index.html

として、 サイトディレクトリ/layouts/index.html に記載されている各パーツの表示順などを見直します。

一覧ページのタイトル

univesal テーマの場合『ブログ』を選択すると、ブログの一覧が表示されるようになっています。 この時、デフォルトのままだと、ブログ記事が入れてある contents/blog のディレクトリ名をセクション名として扱い、このセクション名が表示されます。 ついでに書いておくと、英文の場合、セクション名が自動的に複数形で表示されるとのことです。

この表示を変更したかったので、 contents/blog の下に _index.md を追加して、そこに title を設定することで、自分でタイトルを決めることができるようになります。

詳しくは hugo の該当ドキュメント を見てください。

記事を入れるフォルダ名の変更

ちなみに、記事に入れるフォルダ名を contents/blog から contents/news に変更しています。 残念ながら、これは config.toml では変更できませんでした。

参考までにこれを行った方法を書いておきます。

mor@DESKTOP-RLA4CF1:~/tmp/mor/themes/hugo-universal-theme/layouts$ grep -r -i -n blog ./*
./_default/list.html:23:                    <div class="col-md-9" id="blog-listing-medium">
./_default/list.html:25:                        {{ $paginator := .Paginate (where .Data.Pages "Type" "blog") }}
./_default/single.html:25:                    <div class="col-md-9" id="blog-post">
./_default/single.html:40:                    <!-- /#blog-post -->
./partials/footer.html:21:            <div class="blog-entries">
./partials/footer.html:22:                {{ range first 3 (where .Site.Pages "Type" "blog") }}
./partials/recent_posts.html:15:            <!-- *** BLOG HOMEPAGE *** -->
./partials/recent_posts.html:19:                {{ $posts := .Paginate (where .Data.Pages "Type" "blog") }}
./partials/recent_posts.html:22:                    <div class="box-image-text blog">
./partials/recent_posts.html:61:            <!-- *** BLOG HOMEPAGE END *** -->
mor@DESKTOP-RLA4CF1:~/tmp/mor/themes/hugo-universal-theme/layouts$

としてテーマを調べると、Paginate 関数の引数に blog というセクション名がハードコードされています。 なので、これを news に変更しました。 具体的には _default/list.html, partials/footer.html, partials/recent_post.html になります。

ご参考までに。

robots.txt

あと、表示だけでなく robots.txt も正しく生成されるようにしておきます(ここなどを参照)。config.toml に

enableRobotsTXT = true

を追加します。 デフォルトの robots.txt から変更したい場合は、 layouts にひな型になる robots.txt を置いておきます。こんな感じです。

mor@DESKTOP-RLA4CF1:~/tmp/mor/layouts$ cat robots.txt

User-agent: *

Sitemap: {{ .Site.BaseURL }}sitemap.xml

sitemap.xml は何もしなくても生成してくれるようです。

細かいところはよくわかっていませんが、こんな感じで進めると、とりあえずカスタマイズもある程度できました。

(参考) hugo テーマのカスタマイズについてはいろんな方が記事を書かれているので、そちらを参考にしてください

https://www-he.scphys.kyoto-u.ac.jp/member/shotakaha/dokuwiki/doku.php?id=toolbox:hugo:start

動作確認

カスタマイズが終わったら、動作確認をしておきます。 とりあえずローカルサーバーで正しく表示されれば、OKです。

次はnetlify を使ってホスティングします。

OpenStreetMap のタイルサーバーの更新設定:エラーへの対応

前の記事で、タイルサーバーの地図データの自動更新も設定したので、『調子はどうかな?』なんて軽い気持ちでログを見ると、あれ?途中から error の文字が・・・

よくよくみると、 osm2pgsql で、差分データを反映させるところでエラーになっています。 『年末の忙しい時に、困ったなー』、と思いつつ、エラーを調べて、対応したので、顛末をメモっときます。

状況

もう一度、エラーの出方をよく見ます。ログは、 /var/log/tiles 以下にあります。実行時に概要のログは、 run.log ファイルにかかれています。 run.log を見ると、更新設定後しばらくの間はエラーも出ず、快調に動いています。 でも、ある時(あるシーケンス番号の更新)から、エラーとなっています。

ログはこんな感じでした。

[2017-12-29 22:06:01] 6654 start import from seq-nr 46396, replag is 1 day(s) and 2 hour(s)
[2017-12-29 22:06:01] 6654 downloading diff
[2017-12-29 22:07:05] 6654 filtering diff
[2017-12-29 22:07:52] 6654 importing diff
[2017-12-29 22:08:10] 6654 [error] osm2pgsql error
[2017-12-29 22:08:10] 6654 resetting state

一度、エラーになると、そのシーケンス番号が反映されていない、と判断されるためか、その後ずっと同じシーケンス番号を更新しようとしてはエラーをはく、というのが続いていました。 これはこれでエラー通知を入れとかないとひどいことになりそうですね。

エラー原因の確認

更新に使っている openstreetmap-tiles-update-expire の処理の概要はこんな感じかな?と理解しています。

  • state.txt(シーケンス番号)に基づいて、差分データを取得する (osmosis)
  • 更新したい地域のデータのみにフィルタリング (trim_osc.py)
  • データベースに反映 (osm2pgsql)
  • 地図データの無効化 (render_expired)

まさにデータベースに反映する処理のところで、エラーになっているようです。

/var/log/tiles にはそれぞれの個別処理毎のログもあるので、 osm2pgsql.log を見ると詳細なエラーが載っています。

Using XML parser.
Processing: Node(7k 0.4k/s) Way(8k 0.12k/s) Relation(0 0.00/s)node cache: stored: 7640(100.00%), storage efficiency: 33.19% (dense blocks: 1, sparse nodes: 7412), hit rate: 3.27%
Osm2pgsql failed due to ERROR: result COPY_END for planet_osm_line failed: ERROR:  invalid input syntax for integer: "'"
CONTEXT:  COPY planet_osm_line, line 1, column layer: "'"

一番最後の行の planet_osm_line がDBのテーブル名で layer がタグ名 ということに気づくのに随分と時間がかかってしまいました。 それさえわかれば、 planet_osm_line というテーブルの layer というカラムが integer なのにデータが '(シングルクォート)になっている、ということが理解できます。

もし、類似のエラーでお困りの時は、

osm@map:~/src/mod_tile$ psql -d gis
psql (9.5.10)
Type "help" for help.

gis=> \dt
              List of relations
 Schema |        Name        | Type  | Owner 
--------+--------------------+-------+-------
 public | planet_osm_line    | table | osm
 public | planet_osm_nodes   | table | osm
 public | planet_osm_point   | table | osm
 public | planet_osm_polygon | table | osm
 public | planet_osm_rels    | table | osm
 public | planet_osm_roads   | table | osm
 public | planet_osm_ways    | table | osm
 public | spatial_ref_sys    | table | osm
(8 rows)

gis=> 

としてテーブル一覧を確認したり、

gis=> \d planet_osm_line

とかして、関連するテーブル(ここでは planet_osm_line)のカラム名と型などを確認するのも有効かもしれません。

エラー内容の確認

とはいえ、layer タグのどういうところで具体的にエラーになっているのか?というのが気になります。

そこで、上記の更新処理を手作業で行ってみて、データを直接確認してみます。 適当に作業ディレクトリを作成して、

osm@map:~$ mkdir tmp
osm@map:~$ cd tmp
osm@map:~/tmp$ cp -p -R /var/lib/mod_tile/.osmosis osmosis_test 
osm@map:~/tmp$ osmosis  --read-replication-interval workingDirectory=./osmosis_test --simplify-change --write-xml-change sample.osc.gz 
osm@map:~/tmp$ ../src/regional/trim_osc.py -d gis -p osmosis_test/region.poly -z sample.osc.gz filtered.osc.gz 

/var/lib/mod_tile/.osmosis の作業ディレクトリを手元にコピーして使います。state.txt はエラーが発生したタイミングなので、 49396 のシーケンス番号が書かれているはずです。 ここまでは問題なく動作します。では、実際に差分ファイルの中身を確認します。

osm@map:~/tmp$ gunzip filtered.osc.gz 
osm@map:~/tmp$ grep -n layer filtered.osc 

とすると、運よく最下部に

207860:      <tag k="layer" v="'"/>
207868:      <tag k="layer" v="'"/>

と出ていました。なるほど確かにシングルクォートですね。で、エディタで開いて 207860 行付近を確認します。

    <way id="549551378" version="1" timestamp="2017-12-28T12:51:49Z" uid="192905" user="ribbon" changeset="54982406">
      <nd ref="5308380768"/>
      <nd ref="5308380769"/>
      <tag k="bridge" v="yes"/>
      <tag k="highway" v="steps"/>
      <tag k="incline" v="up"/>
      <tag k="layer" v="'"/>
    </way>

となってます。編集時のチェンジセットの番号もわかりますね。地図上で確認したければ、

OSMCha

などのサービスを使って、フィルタリングして表示してみるとよいと思います。

ちなみに、このOSM の layer タグってどんなものなのか?というのもよくわかっていないので、併せて確認すると、

JA:Key:layer - OpenStreetMap Wiki

にあるように、地物の上下関係を示すのに使うタグのようです。

これが、整数を期待しているのに、文字(シングルクォート)だったのが直接の原因でした。

対応策

エラーの原因ですが、osm2pgsql のバグとかではなく、大元のOSMのデータの不整合が原因でした。 この不整合箇所を修正すれば、インポート自身はきっと成功するでしょう。でも、毎回エラーをはくたびにいちいち調べてそんなことやってられません。

どうしたものかと思案していると、ちょっと待てよと。 冷静に考えると、一番最初にOSMのデータをインポートしていますが、それに一切不整合が含まれていない、ということはあり得るのでしょうか?たまたま自分がインポートしたタイミングだけ、不整合が無かったのでしょうか? いやいや、いま自分の住んでる田舎のようにほとんでデータの更新もない地域ならいざ知らず、日本全土を対象にデータをインポートしていれば、一つや二つ不整合はあるでしょう、きっと。自分が layer タグを知らないからと言って、layer タグがマイナーで滅多に出てこないタグと断定できるはずもありません。

であれば、初回のインポート時には、データの不整合があった場合に、何らかの処理を行っているはずだ、となります。 そこで、初回インポートの処理をこちらから再確認してみます。

osm2pgsql -d gis --create --slim  -G --hstore --tag-transform-script ~/src/openstreetmap-carto/openstreetmap-carto.lua -C 2500 --number-processes 1 -S ~/src/openstreetmap-carto/openstreetmap-carto.style ~/data/azerbaijan-latest.osm.pbf

--tag-transform-script ~/src/openstreetmap-carto/openstreetmap-carto.lua なんかそれっぽいのがありますねー。 ここで指定した lua スクリプトで tag の処理をしてくれるようです。

lua スクリプトはよくわかりませんが、中身を見てみますとlayer タグに対して何らかの処理を施してくれているようです。

ここまでわかれば、このオプションを差分の追加時に渡せば問題なく動きそうかな?と予想が立ちます。 改めて、openstreetmap-tiles-update-expire の中身を確認すると

#------------------------------------------------------------------------------
# The OSM2PGSQL_OPTIONS here only need setting if a tag transform script is
# in use.  See https://github.com/SomeoneElseOSM/SomeoneElse-style and
# http://wiki.openstreetmap.org/wiki/User:SomeoneElse/Ubuntu_1404_tileserver_load
#------------------------------------------------------------------------------
OSMOSIS_BIN=osmosis
OSM2PGSQL_BIN=osm2pgsql
OSM2PGSQL_OPTIONS="-d gis"
#OSM2PGSQL_OPTIONS="--flat-nodes /path/to/flatnodes --hstore"

と、そのものずばり、 tag transform script に関するコメントがあります。 ということで、この部分を

OSM2PGSQL_OPTIONS="-d gis -G --tag-transform-script /home/$RENDERACCOUNT/src/openstreetmap-carto/openstreetmap-carto.lua --hstore"

と書き換えてみます。ちなみに、 -G --hstore のオプションもインポート時のスクリプトにはあったので、つけるようにしました。

書き換え後、しばらく待ってみると今度は無事にエラーが出ずに成功していました! やった!

なかなか一筋縄ではいかないものですね。

OpenStreetMap のタイルサーバーの更新設定

前の記事で、OpenStreetMap のタイルサーバー立てた話を書きました。

でも、 OpenStreetMap のデータはどんどん更新されていくので、ほっとくとせっかく立ち上げたタイルサーバーのデータが更新されず、使えないサーバーとなってしまいます。 ということで、データの更新ができるように設定したのですが、思いの他苦労したので、メモ書き残しておきます。

セットアップ手順

セットアップは基本的に、下記記事の Updating のセクションを参考にしているのですが、いろいろと違っているところもあるので、自分がやったものを順を追って書いていきます。

https://switch2osm.org/serving-tiles/building-a-tile-server-from-packages/

(2020/9/9追記) 上記のリンク先は切れてます。当時の内容は Internet Archive の Wayback Machine から見ることができます(例えば、次のURL)。Building a tile server from packages | switch2osm または、次の記事などにまとまってますので、そちらを参考にしてください。Keeping the local database in sync with OSM | OpenStreetMap Carto Tutorials

osmosis のインストール

まず最初に osmosis をインストールします。

mor@map:~$ sudo apt-get install osmosis

アップデート実施の準備

次に、アップデート実施のための準備を行います。OSMデータの更新は、 mod_tile/openstreetmap-tiles-update-expire を利用して行います。

なお、今回使っている mod_tile は前の記事が参考にしているセットアップ手順だと、

github.com

になります。オリジナルの mod_tile とスクリプトの内容が異なっているので、ご注意ください。

ログ用のディレクトリの作成

まず、ログ用のディレクトリを作ります

mor@map:~$ sudo mkdir /var/log/tiles
[sudo] mor のパスワード: 
mor@map:~$ sudo chown osm /var/log/tiles
スクリプトの修正

osm ユーザーに切り替えます

mor@map:~$ su - osm
パスワード: 
osm@map:~$ cd src/mod_tile/

mod_tile/openstreetmap-tiles-update-expire スクリプトを修正します。

osm@map:~$ cd src/mod_tile/
osm@map:~/src/mod_tile$ vi openstreetmap-tiles-update-expire 

修正箇所が複数あるので、修正前後の diff を示しておきます。

osm@map:~/src/mod_tile$ diff openstreetmap-tiles-update-expire.org openstreetmap-tiles-update-expire
11c11,12
< cd /home/renderaccount/src/mod_tile/
---
> RENDERACCOUNT=osm
> cd /home/$RENDERACCOUNT/src/mod_tile/
36a38,39
> POLYFILE=$WORKOSM_DIR/region.poly
> 
140c143
< if ! /home/renderaccount/src/regional/trim_osc.py -d gis -b -14.17 48.85 2.12 61.27 -z $CHANGE_FILE $CHANGE_FILE 1>&2 2>> "$RUNLOG"; then
---
> if ! /home/$RENDERACCOUNT/src/regional/trim_osc.py -d gis -p $POLYFILE -z $CHANGE_FILE $CHANGE_FILE 1>&2 2>> "$RUNLOG"; then
osm@map:~/src/mod_tile$ 
初期化のために実行

ここまでの準備ができたら、下記のコマンドを実行します。

osm@map:~/src/mod_tile$ ./openstreetmap-tiles-update-expire 2017-12-27
osm@map:~/src/mod_tile$ 

コマンド実行後、 /var/lib/mod_tile/.osmosis に設定ファイルや更新状態を管理するための通し番号や日時が記載されたファイル (state.txt) が作られます。

state.txt の書き換え

さて、上記の初期化の実行で生成される state.txt は minutely (分毎の差分)のものになっています。 しかし、今回は時間ごとに更新を行い、反映させる差分データは1時間単位のものを使おうと思うので、hourly のものに差し替えます。

ちなみに、取得するファイル(ここでは http://planet.openstreetmap.org/replication/hour/000/046/359.state.txt )は1時間ごと(や1分毎)の単位で、通し番号で管理されているようです。 で、その通し番号が3桁ごとに区切られてディレクトリに割り当てられているという構造のようです。このため、同じ state.txt であっても、分単位の差分と時間単位の差分、日単位の差分ではその通し番号が異なります。 このため、この節の作業が必要になります。もし、分単位の更新でよければ、この作業は不要です。

今回、タイルサーバー構築時にダウンロードしたファイルの日時が 2017-12-27 8:42 頃 (JST) のものだったので、UTC の 2017-12-26T22:00:00Z 頃のファイルを持ってきました。

osm@map:~/src/mod_tile$ cd /var/lib/mod_tile/.osmosis
osm@map:/var/lib/mod_tile/.osmosis$ wget http://planet.openstreetmap.org/replication/hour/000/046/359.state.txt
osm@map:/var/lib/mod_tile/.osmosis$ cat 359.state.txt 
#Tue Dec 26 22:02:11 UTC 2017
sequenceNumber=46359
timestamp=2017-12-26T22\:00\:00Z
osm@map:/var/lib/mod_tile/.osmosis$ 
osm@map:/var/lib/mod_tile/.osmosis$ mv 359.state.txt state.txt 
設定ファイルの編集

初期化のための実行により作成された設定ファイル /var/lib/mod_tile/.osmosis/configuration.txt を編集します。

利用する差分データとして時間毎ごとものを使うようにするのと、一回の更新で最大2時間分のデータを取得できるようにします。

osm@map:/var/lib/mod_tile/.osmosis$ vi configuration.txt
osm@map:/var/lib/mod_tile/.osmosis$ 
osm@map:/var/lib/mod_tile/.osmosis$ cat configuration.txt
# The URL of the directory containing change files.
baseUrl=http://planet.openstreetmap.org/replication/hour

# Defines the maximum time interval in seconds to download in a single invocation.
# Setting to 0 disables this feature.
maxInterval = 7200
osm@map:/var/lib/mod_tile/.osmosis$ 

一部地域のデータ更新への対応

元々の openstreetmap-tiles-update-expire は全世界の差分を処理する形のようです。 https://github.com/SomeoneElseOSM/mod_tile の openstreetmap-tiles-update-expire はこれに対して、一部地域の差分データだけを処理できるように修正が加えられています。

GitHub - Zverik/regional: Scripts for regional OSM extracts support

この機能を利用するための設定を行います。

パッケージの追加

追加でいくつかパッケージをインストールします。

mor@map:~$ sudo apt-get install python-psycopg2
mor@map:~$ sudo apt-get install python-shapely 
mor@map:~$ sudo apt-get install python-lxml 

lxml はgithubのページには明記が無かったのですが、実行時にエラーとなったため、追加しています。

スクリプトのインストール

Github から clone しておきます。

mor@map:~$ su - osm
パスワード: 
osm@map:~$ cd src/
osm@map:~/src$ 
osm@map:~/src$ git clone https://github.com/Zverik/regional.git 
osm@map:~/src$ cd regional/
osm@map:~/src/regional$ chmod u+x trim_osc.py 
ポリゴンファイルのダウンロード

差分データを一部地域に限定する際、矩形での指定に加えて、ポリゴンで指定もできるようです。 今回立てたタイルサーバーは geofabrik のダウンロードサイトから日本のみのデータをダウンロードして使っています。

http://download.geofabrik.de/asia/japan.html

なので、日本の領域を表すポリゴンデータをダウンロードしておきます。

osm@map:~/src/mod_tile$ cd /var/lib/mod_tile/.osmosis/
osm@map:/var/lib/mod_tile/.osmosis$ 
osm@map:/var/lib/mod_tile/.osmosis$ wget http://download.geofabrik.de/asia/japan.poly
osm@map:/var/lib/mod_tile/.osmosis$ ln -s japan.poly region.poly
osm@map:/var/lib/mod_tile/.osmosis$ 

マニュアル実行

ここまでできれば、準備完了です。

まずは手作業で実行させてみます。

osm@map:~$ cd src/mod_tile/
osm@map:~/src/mod_tile$ 
osm@map:~/src/mod_tile$ ./openstreetmap-tiles-update-expire

問題がなければ、そのまま終了します。ログファイルをみると

mor@map:/var/log/tiles$ cat run.log 
[2017-12-29 00:47:38] 10124 start import from seq-nr 46359, replag is 1 day(s) and 17 hour(s)
[2017-12-29 00:47:38] 10124 downloading diff
[2017-12-29 00:47:49] 10124 filtering diff
[2017-12-29 00:48:06] 10124 importing diff
[2017-12-29 00:49:01] 10124 expiring tiles
[2017-12-29 00:49:01] 10124 Done with import
mor@map:/var/log/tiles$ 

のようになっていて、インポートが完了しているようです。

作業時点の最新の状態へ更新

/var/lib/mod_tile/.osmosis/configuration.txt にある maxInterval はデフォルトでは 3600 になっています。

これは、1回の処理につき、指定秒数分のデータの更新を行うという設定です。つまり、一度 openstreetmap-tiles-update-expire を実行すると1時間分(3600秒分)のデータが更新されるということです。 今の設定ですと、対象のデータが hourly のデータなので、一回の更新で1つ分(1時間分)しか更新されません。

通常は、これで問題ないと思いますが、初回のインポートからある程度時間が経っていると、なかなか最新の状態に追いつくことができません。 そこで、 maxInterval を適当に大きな値にして、数回 openstreetmap-tiles-update-expire を実行しておきます。

こうすることで、最新の状態に設定することができます。 現在時刻まで追いついたら、元の値(今回の設定値は 7200 )に戻しておきます。

cron を設定

ここまでできれば、定期的に cron で上記のスクリプトを動かせばOKです。

osm@map:~$ crontab -l
6 */1 * * *  /home/osm/src/mod_tile/openstreetmap-tiles-update-expire > /dev/null 2>&1
osm@map:~$ 

参考

基本的な方法

基本的な考え方(下記の Updating セクション) https://switch2osm.org/serving-tiles/building-a-tile-server-from-packages/

記述の前提が、Ubuntu 12.04 を対象にしたパッケージによりセットアップしたタイルサーバーのため、今回作成したタイルサーバーと細かく違っている。

なお、上記の Updating セクションには

As the packaged script currently uses an outdated service to determine the correct replication start-point, you will need to manually choose and download the correct state.txt from the base_url (see below) which corresponds to slightly before the age of the extract to make sure all modifications are included in your db. This needs to be copied to /var/lib/mod_tile/.osmosis/state.txt

とあります。ざっと意訳すると、スクリプト中の更新開始地点を決めるために使っているサービスは古いものなので、自分で対応するファイルを取ってきてね、という感じです。

これは、オリジナルの mod_tile の openstreetmap-tiles-update-expire についての話で、今回使った https://github.com/SomeoneElseOSM/mod_tile の openstreetmap-tiles-update-expire だと既に修正されています。

その元ネタ?

openstreetmap-tiles-update-expire スクリプトが行っている処理は、下記のページの手順をまとめて実施してくれているような感じのようです。

HowTo minutely hstore - OpenStreetMap Wiki

osmosis

osmosis のリファレンスはこちら --read-replication-interval-init に飛びます

Osmosis/Detailed Usage 0.46 - OpenStreetMap Wiki