博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
使用Logstash创建ES映射模版并进行数据默认的动态映射规则
阅读量:6290 次
发布时间:2019-06-22

本文共 1773 字,大约阅读时间需要 5 分钟。

本文配置为 ELK 即(Elasticsearch、Logstash、Kibana)5.5.1。

Elasticsearch 能够自动检测字段的类型并进行映射,例如引号内的字段映射为 String,不带引号的映射为数字,日期格式的映射为日期等等,这个机制方便了我们快速上手 ELK,但是后期我们经常需要对一些特定的字段进行定制,之前本人有一篇文章进行这方面的尝试,但对于默认映射规则没有介绍,本文就来探讨一些默认的动态映射规则。

开始之前

先拿一个 logstash 的配置文件来看一下

output {  elasticsearch {    hosts => “localhost:9200"    index => "my_index"    template => "/data1/cloud/logstash-5.5.1/filebeat-template.json"    template_name => "my_index"    template_overwrite => true  }  stdout { codec => rubydebug }}

再看一个ES模板配置文件

{  "template" : "logstash*",  "settings" : {    "index.number_of_shards" : 5,    "number_of_replicas" : 1,    "index.refresh_interval" : "60s"  },  "mappings" : {    "_default_" : {       "_all" : {"enabled" : true},       "dynamic_templates" : [ {         "string_fields" : {           "match" : "*",           "match_mapping_type" : "string",           "mapping" : {             "type" : "string", "index" : "not_analyzed", "omit_norms" : true, "doc_values": true,               "fields" : {                 "raw" : {"type": "string", "index" : "not_analyzed", "ignore_above" : 256,"doc_values": true}               }           }         }       } ],       "properties" : {         "@version": { "type": "string", "index": "not_analyzed" },         "geoip"  : {           "type" : "object",             "dynamic": true,             "path": "full",             "properties" : {               "location" : { "type" : "geo_point" }             }         }       }    }  }}

这里关注几个属性indextemplate_name、以及模板文件中的 templateindex是索引的名称,我们经常会有诸如 index => "logstash-%{+YYYY.MM.dd}”这样的索引名称,可以按照日期来分割不同的索引。template_name对应的是模板名称,template这是比较关键的,因为决定了索引是否能够匹配到模板配置,这里应该与 index相匹配。比如固定的 index 名称,这里就可以是固定名称。对于按日期分隔的,可以使用通配符,例如logstash-*

我就是因为没搞明白这几个属性的对应关系,导致自己的配置没有生效查了很长时间。

欢迎关注我的微信公众号

参考资料

1、
2、

转载地址:http://fccta.baihongyu.com/

你可能感兴趣的文章
初学structs2,简单配置
查看>>
Laravel5.0学习--01 入门
查看>>
时间戳解读
查看>>
sbin/hadoop-daemon.sh: line 165: /tmp/hadoop-hxsyl-journalnode.pid: Permission denied
查看>>
@RequestMapping 用法详解之地址映射
查看>>
254页PPT!这是一份写给NLP研究者的编程指南
查看>>
《Data Warehouse in Action》
查看>>
String 源码浅析(一)
查看>>
Spring Boot 最佳实践(三)模板引擎FreeMarker集成
查看>>
Fescar 发布 0.2.3 版本,支持 Redis 和 Apollo
查看>>
Google MapReduce到底解决什么问题?
查看>>
CCNP-6 OSPF试验2(BSCI)
查看>>
Excel 2013 全新的图表体验
查看>>
openstack 制作大于2TB根分区自动扩容的CENTOS镜像
查看>>
Unbuntu安装遭遇 vmware上的Easy install模式
查看>>
几个常用的ASP木马
查看>>
python分析postfix邮件日志的状态
查看>>
Mysql-5.6.x多实例配置
查看>>
psutil
查看>>
在git@osc上托管自己的代码
查看>>