kettle 数据入elasticsearch.docx

数据入elasticsearch说明：kettle5.x版本中自带的ES控件（批量加载=ElasticSearch批量加载）只适用于Elastic Search 0.16.3版本，这是官网上拷贝下来的话测试之后发现不可用，会出现no elasticsearch nodes found的错误，所以最后选择使用kettle6.0版本。在kettle5.x版本中，elasticsearch控件不是作为kettle插件使用的，在lib下有对应版本的jar文件，但在kettle6.0版本中，elasticsearch是以插件的形式加入到kettle中的，插件的位置在Kettle目录\data-integration\plugins\elasticsearch-bulk-insert-plugin所以，要在kettle5.x中使用elasticsearch，其中的一个办法就是将6.0版本中的该插件文件夹拷贝到5.x中（亲测可用）。从oracle数据库读出数据写入到es流程设置Kettle中设置ElasticSearch需要配置如下几个参数服务地址：包括地址和端口号索引名索引中的type表名集群名：如果更换了集群的名字（即不是默认的），需要修改集群名需要插入的数据字段ES状态：现要写入数据到索引名为kettle的索引中，目前内容为空。选项卡具体设置：（1）Servers选项卡设置地址和端口配置集群名字Setting中的值固定，为cluster.nameValue为集群名设置完这两项可以点击test connection查看是否正确连接连接正确！（3）General选项卡设置索引名和表名，设置完可以测试是否有这个索引（表名即使没有也可以，插入时可以自动增加）Fields选项卡需要插入的字段名，从上一步骤获取至此配置完毕结果插入结果查看ES数据成功插入进来