桃缶食べたい。

インデックス時と全文検索時の analyzer の単語分割結果を確認する

analyzer による単語分割の流れ

検証データを用意する

$ curl -XPUT http://localhost:9200/samurai -H "Content-type: application/json" -d '{
  "settings": {
    "number_of_replicas": 0,
    "number_of_shards": 1,
    "analysis": {},
    "refresh_interval": "1s"
  },
  "mappings": {
    "_doc": {
      "properties": {
        "name": {
          "type": "keyword"
        },
        "description": {
          "type": "text"
        }
      }
    }
  }
}'

$ curl -XPOST http://localhost:9200/_bulk -H "Content-type: application/json" -d '
{ "index": { "_index": "samurai", "_type": "_doc" } }
{ "name": "真田昌幸", "description": "甲斐国の武田信玄の家臣となり信濃先方衆となった地方領主真田氏の出自で、真田信之、真田幸村の父。" }
{ "index": { "_index": "samurai", "_type": "_doc" } }
{ "name": "真田信之", "description": "真田昌幸の長男。徳川家康の養女を妻としていたため関ヶ原の戦いでは東軍につき、江戸時代には松代藩藩主をつとめた。" }
{ "index": { "_index": "samurai", "_type": "_doc" } }
{ "name": "真田幸村", "description": "真田昌幸の次男。豊臣家臣の大谷吉継の娘を妻としていたため関ヶ原の戦いでは西軍につき、父真田昌幸とともに戦死した。" }
{ "index": { "_index": "samurai", "_type": "_doc" } }
{ "name": "石田三成", "description": "豊臣政権の五奉行の一人。秀吉の死後、徳川家康を倒すため決起するが、関ヶ原の戦いで敗れ、その後処刑された。" }
{ "index": { "_index": "samurai", "_type": "_doc" } }
{ "name": "徳川家康", "description": "豊臣秀吉の天下統一後に台頭した武将で、関ヶ原の戦いに勝利し、江戸幕府を開いた。" }
'

ElasticSearch をインストールする

# rpm -ivh elasticsearch-6.4.2.rpm

 
# systemctl start elasticsearch.service

# systemctl enable elasticsearch.service

Kafka Manager を構築する

$ git clone git@github.com:yahoo/kafka-manager.git

$ ./sbt clean dist

$ bin/kafka-manager -Dkafka-manager.zkhosts=localhost:2181 -Dhttp.port=8080

Sudachi をビルドする

$ git clone git@github.com:WorksApplications/Sudachi.git
$ cd Sudachi

$ mvn clean package

dependencies {
...
  compile group: 'org.apache.kafka', name: 'kafka-clients', version: '2.0.0'
...
}

単一ノード構成で Producer を利用する

kafka-clients をプロジェクトの依存性に追加する

dependencies {
...
  compile group: 'org.apache.kafka', name: 'kafka-clients', version: '2.0.0'
...
}

ver 0.10 の追加機能

Kafka クラスターを構築する

# server-1.properties

# Kafka サーバー（Broker）の ID 値
broker.id=1
# Kafka サーバー（Broker）への接続 URI
listeners=PLAINTEXT://localhost:9093
# Kafka サーバー（Broker）の Zookeeper のホスト/ポート
zookeeper.connect=localhost:2181
# Kafka サーバー（Broker）のデータ保存ディレクトリ
log.dirs=/tmp/kafka-logs-1

# server-2.properties

# Kafka サーバー（Broker）の ID 値
broker.id=2
# Kafka サーバー（Broker）への接続 URI
listeners=PLAINTEXT://localhost:9094
# Kafka サーバー（Broker）の Zookeeper のホスト/ポート
zookeeper.connect=localhost:2181
# Kafka サーバー（Broker）のデータ保存ディレクトリ
log.dirs=/tmp/kafka-logs-2