【ReactJs+springBoot项目——租房】第9章：Elasticsearch安装+快速入门+核心讲解+中文分词

【ReactJs+springBoot项目——租房】第9章：Elasticsearch安装+快速入门+核心讲解+中文分词

Elastic Stack简介Elasticsearch的介绍与安装Elasticsearch的快速入门Elasticsearch的核心讲解 中文分词

1、Elastic Stack简介

如果你没有听说过Elastic Stack，那你一定听说过ELK，实际上ELK是三款软件的简称，分别是Elasticsearch、Logstash、Kibana组成，在发展的过程中，又有新成员Beats的加入，所以就形成了Elastic Stack。所以说，ELK 是旧的称呼，Elastic Stack是新的名字。

全系的Elastic Stack技术栈包括：

Elasticsearch Elasticsearch 基于java，是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash Logstash 基于java，是一个开源的用于收集,分析和存储日志的工具。 Kibana Kibana 基于nodejs，也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以汇总、分析和搜索重要数据日志。 Beats Beats是elastic公司开源的一款采集系统监控数据的代理agent，是在被监控服务器上以客户端形式运行的数据收集 器的统称，可以直接把数据发送给Elasticsearch或者通过Logstash发送给Elasticsearch，然后进行后续的数据分析 活动。 Beats由如下组成: Packetbeat：是一个网络数据包分析器，用于监控、收集网络流量信息，Packetbeat嗅探服务器之间的流量，解析应用层协议，并关联到消息的处理，其支 持ICMP (v4 and v6)、DNS、HTTP、Mysql、PostgreSQL 、 Redis 、 MongoDB 、 Memcache 等 协 议 ； Filebeat： 用 于 监 控 、 收 集 服 务 器 日 志 文 件 ， 其 已 取 代 logstash forwarder； Metricbeat：可定期获取外部系统的监控指标信息，其可以监控、收集 Apache、HAProxy、MongoDB MySQL 、 Nginx 、 PostgreSQL 、 Redis 、 System 、 Zookeeper 等 服 务 ； Winlogbeat：用于监控、收集Windows系统的日志信息；

2、Elasticsearch

2.1、简介

官网：Stack中的项目全部统一版本号。目前最新版本是6.5.4，我们将基于这一版本进行学习。

2.2.2、-

地址：需要说明的是：此docker安装是开发环境模式，并没有配置目录挂载等内容，生成集群环境的搭建后面讲 解。

2.2.5、elasticsearch-head

由于ES官方并没有为ES提供界面管理工具，仅仅是提供了后台的服务。elasticsearch-head是一个为ES开发的一个页面客户端工具，其源码托管于GitHub，地址为：run start启动（不推荐） 通过docker安装（推荐）

通过chrome插件安装（推荐）

通过ES的plugin方式安装（不推荐）

通过docker安装

通过浏览器进行访问：

注意：

由于前后端分离开发，所以会存在跨域问题，需要在服务端做CORS的配置，如下：

vim elasticsearch.yml

true “*”

通过chrome插件的方式安装不存在该问题。

chrome插件的方式安装

打开chrome的应用商店，即可安装colpfloofpjologoblkegm

建议：推荐使用chrome插件的方式安装，如果网络环境不允许，就采用docker方式安装。

2.3、基本概念索引

索引（index）是Elasticsearch对逻辑数据的逻辑存储，所以它可以分为更小的部分。

可以把索引看成关系型数据库的表，索引的结构是为快速有效的全文索引准备的，特别是它不存储原始值。 可以把Elasticsearch的索引看成MongoDB里的一个集合。

Elasticsearch可以把索引存放在一台机器或者分散在多台服务器上，每个索引有一或多个分片（shard），每个分片可以有多个副本（replica）。

文档

存储在Elasticsearch中的主要实体叫文档（document）。用关系型数据库来类比的话，一个文档相当于数据库表中的一行记录。

Elasticsearch和MongoDB中的文档类似，都可以有不同的结构，但Elasticsearch的文档中，相同字段必须有 相同类型。

文档由多个字段组成，每个字段可能多次出现在一个文档里，这样的字段叫多值字段（multivalued）。

每个字段的类型，可以是文本、数值、日期等。字段类型也可以是复杂类型，一个字段包含其他子文档或者 数组。

映射

所有文档写进索引之前都会先进行分析，如何将输入的文本分割为词条、哪些词条又会被过滤，这种行为叫 做映射（mapping）。一般由用户自己定义规则。

文档类型

在Elasticsearch中，一个索引对象可以存储很多不同用途的对象。例如，一个博客应用程序可以保存文章和 评论。

每个文档可以有不同的结构。

不同的文档类型不能为相同的属性设置不同的类型。例如，在同一索引中的所有文档类型中，一个叫title的字 段必须具有相同的类型。

2.4、RESTful API

在Elasticsearch中，提供了功能丰富的RESTful API的操作，包括基本的CRUD、创建索引、删除索引等操作。

2.4.1、创建非结构化索引

在Lucene中，创建索引是需要定义字段名称以及字段的类型的，在Elasticsearch中提供了非结构化的索引，就是不需要创建索引结构，即可写入数据到索引中，实际上在Elasticsearch底层会进行结构化操作，此操作对用户是透 明的。

创建空索引：

2.4.2、插入数据

URL规则：

POST – 可以的。

前面不是说，文档数据不能更新吗？ 其实是这样的：

在内部，依然会查询到这个文档数据，然后进行覆盖操作，步骤如下：

1.从旧文档中检索JSON

2.修改它

3.删除旧文档

4.索引新文档

示例：

可以看到数据已经被局部更新了。

2.4.4、删除数据

在Elasticsearch中，删除文档数据，只需要发起DELETE请求即可。

需要注意的是，result表示已经删除，version也更加了。如果删除一条不存在的数据，会响应404：

说明：

删除一个文档也不会立即从磁盘上移除，它只是被标记成已删除。Elasticsearch将会在你之后添加更多索引 的时候才会在后台进行删除内容的清理。

2.4.5、搜索数据

根据id搜索数据

搜索全部数据

响应：（默认返回10条数据）

关键字搜素数据

结果：

2.4.6、DSL搜索

Elasticsearch提供丰富且灵活的查询语言叫做DSL查询(Query DSL),它允许你构建更加复杂、强大的查询。DSL(Domain Specific Language特定领域语言)以JSON请求体的形式出现。

响应数据：

实现：查询年龄大于30岁的男性用户。 现有数据：

查询结果：

全文搜索

2.4.7、高亮显示

2.4.8、聚合

在Elasticsearch中，支持聚合操作，类似SQL中的group by操作。

结果：

从结果可以看出，年龄30的有2条数据，20的有一条，40的一条。

3、核心详解

3.1、文档 在Elasticsearch中，文档以JSON格式进行存储，可以是复杂的结构，如：

其中，card是一个复杂对象，嵌套的Card对象。元数据（metadata）

一个文档不只有数据。它还包含了元数据(metadata)——关于文档的信息。三个必须的元数据节点是：

_index

索引(index)类似于关系型数据库里的“数据库”——它是我们存储和索引关联数据的地方。 提示：

事实上，我们的数据被存储和索引在分片(shards)中，索引只是一个把一个或多个分片分组在一起的逻辑空 间。然而，这只是一些内部细节——我们的程序完全不用关心分片。对于我们的程序而言，文档存储在索引(index)中。剩下的细节由Elasticsearch关心既可。

_type

在应用中，我们使用对象表示一些“事物”，例如一个用户、一篇博客、一个评论，或者一封邮件。每个对象都属于 一个类(class)，这个类定义了属性或与对象关联的数据。 user 类的对象可能包含姓名、性别、年龄和Email地址。

在关系型数据库中，我们经常将相同类的对象存储在一个表里，因为它们有着相同的结构。同理，在Elasticsearch 中，我们使用相同类型(type)的文档表示相同的“事物”，因为他们的数据结构也是相同的。

每个类型(type)都有自己的映射(mapping)或者结构定义，就像传统数据库表中的列一样。所有类型下的文档被存储在同一个索引下，但是类型的映射(mapping)会告诉Elasticsearch不同的文档如何被索引。

_id

的名字可以是大写或小写，不能包含下划线或逗号。我们将使用

做为类型名。

id仅仅是一个字符串，它与 和 组合时，就可以在Elasticsearch中唯一标识一个文档。当创建一个 文档，你可以自定义 _id ，也可以让Elasticsearch帮你自动生成（32位长度）。 3.2、查询响应

3.2.1、pretty

可以在查询url后面添加pretty参数，使得返回的json更易查看。

3.2.2、指定响应字段

在响应的数据中，如果我们不需要全部的字段，可以指定某些需要的字段进行返回。

如不需要返回元数据，仅仅返回原始数据，可以这样：

还可以这样：

3.3、判断文档是否存在

如果我们只需要判断文档是否存在，而不是查询文档内容，那么可以这样：

当然，这只表示你在查询的那一刻文档不存在，但并不表示几毫秒后依旧不存在。另一个进程在这期间可能 创建新文档。

3.4、批量操作

有些情况下可以通过批量操作以减少网络请求。如：批量查询、批量插入数据。

3.4.1、批量查询

结果：

如果，某一条数据不存在，不影响整体响应，需要通过found的值进行判断是否查询到数据。

结果：

3.4.2、_bulk操作

在Elasticsearch中，支持批量的插入、修改、删除操作，都是通过_bulk的api完成的。请求格式如下：（请求格式不同寻常）

批量插入数据：

注意最后一行的回车。

响应结果：

批量删除：

由于delete没有请求体，所以，action的下一行直接就是下一个action。

其他操作就类似了。 一次请求多少性能最高？ 整个批量请求需要被加载到接受我们请求节点的内存里，所以请求越大，给其它请求可用的内存就越小。有 一个最佳的bulk请求大小。超过这个大小，性能不再提升而且可能降低。 最佳大小，当然并不是一个固定的数字。它完全取决于你的硬件、你文档的大小和复杂度以及索引和搜索的 负载。 幸运的是，这个最佳点(sweetspot)还是容易找到的：试着批量索引标准的文档，随着大小的增长，当性能开 始降低，说明你每个批次的大小太大了。开始的数量可以在1000~5000个文档之间，如果你的文档非常大， 可以使用较小的批次。 通常着眼于你请求批次的物理大小是非常有用的。一千个1kB的文档和一千个1MB的文档大不相同。一个好的 批次最好保持在5-15MB大小间。 3.5、分页

和SQL使用

如果你想每页显示5个结果，页码从1到3，那请求如下：

应该当心分页太深或者一次请求太多的结果。结果在返回前会被排序。但是记住一个搜索请求常常涉及多个 分片。每个分片生成自己排好序的结果，它们接着需要集中起来排序以确保整体排序正确。

在集群系统中深度分页 为了理解为什么深度分页是有问题的，让我们假设在一个有5个主分片的索引中搜索。当我们请求结果的第一 页（结果1到10）时，每个分片产生自己最顶端10个结果然后返回它们给请求节点(requesting node)，它再排序这所有的50个结果以选出顶端的10个结果。 现在假设我们请求第1000页——结果10001到10010。工作方式都相同，不同的是每个分片都必须产生顶端的10010个结果。然后请求节点排序这50050个结果并丢弃50040个！

你可以看到在分布式系统中，排序结果的花费随着分页的深入而成倍增长。这也是为什么网络搜索引擎中任 何语句不能返回多于1000个结果的原因。

3.6、映射

前面我们创建的索引以及插入数据，都是由Elasticsearch进行自动判断类型，有些时候我们是需要进行明确字段类 型的，否则，自动判断的类型和实际需求是不相符的。

自动判断的规则如下：

Elasticsearch中支持的类型如下：

string类型在ElasticSearch 旧版本中使用较多，从ElasticSearch 5.x开始不再支持string，由text和keyword类型替代。 text 类型，当一个字段是要被全文搜索的，比如Email内容、产品描述，应该使用text类型。设置text类型以后，字段内容会被分析，在生成倒排索引以前，字符串会被分析器分成一个一个词项。text类型的 字段不用于排序，很少用于聚合。 keyword类型适用于索引结构化的字段，比如email地址、主机名、状态码和标签。如果字段需要进行过滤(比如查找已发布博客中status属性为published的文章)、排序、聚合。keyword类型的字段只能通过精确值搜索到。 创建明确类型的索引：

查看映射：

插入数据：

测试搜索：

3.7、结构化查询 3.7.1、term查询 term 主要用于精确匹配哪些值，比如数字，日期，布尔值或型)：not_analyzed的字符串(未经分析的文本数据类

示例：

3.7.2、terms查询

示例：

3.7.3、range查询

过滤允许我们按照指定范围查找一批数据：

范围操作符包含：

示例：

3.7.4、exists 查询 查询可以用于查找文档中是否包含指定字段或没有某个字段，类似于SQL语句中的 条件

这两个查询只是针对已经查出一批数据来，但是想区分出某个字段是否存在的时候使用。 示例：

3.6.5、match查询

3.7.6、bool查询

查询可以用来合并多个条件查询结果的布尔逻辑，它包含一下操作符：

这些参数可以分别继承一个查询条件或者一个查询条件的数组：

3.8、过滤查询

前面讲过结构化查询，Elasticsearch也支持过滤查询，如term、range、match等。 示例：查询年龄为20岁的用户。

结果：

查询和过滤的对比 一条过滤语句会询问每个文档的字段值是否包含着特定值。查询语句会询问每个文档的字段值与特定值的匹配程度如何。 一条查询语句会计算每个文档与查询语句的相关性，会给出一个相关性评分 _score，并且 按照相关性对匹配到的文档进行排序。 这种评分方式非常适用于一个没有完全配置结果的全文本搜索。 一个简单的文档列表，快速匹配运算并存入内存是十分方便的， 每个文档仅需要1个字节。这些缓存的过滤结果集与后续请求的结合使用是非常高效的。 查询语句不仅要查找相匹配的文档，还需要计算每个文档的相关性，所以一般来说查询语句要比 过滤语句更耗时，并且查询结果也不可缓存。 建议： 做精确匹配搜索时，最好用过滤语句，因为过滤语句可以缓存数据。 4、中文分词

4.1、什么是分词

分词就是指将一个文本转化成一系列单词的过程，也叫文本分析，在Elasticsearch中称之为Analysis。举例：我是中国人 --> 我/是/中国人

4.2、分词api

指定分词器进行分词

结果：

在结果中不仅可以看出分词的结果，还返回了该词在文本中的位置。

指定索引分词

4.3、内置分词

4.3.1、Standard

Standard 标准分词，按单词切分，并且会转化成小写

结果：

4.3.2、Simple

Simple分词器，按照非单词切分，并且做小写处理

结果：

4.3.3、 Whitespace Whitespace是按照空格切分。

示例：

结果：

4.3.4、Stop

Stop分词器，是去除Stop Word语气助词，如the、an等。

结果：

4.3.5、Keyword

Keyword分词器，意思是传入就是关键词，不做分词处理。

结果：

4.4、中文分词 中文分词的难点在于，在汉语中没有明显的词汇分界点，如在英语中，空格可以作为分隔符，如果分隔不正确就会 造成歧义。 如： 我/爱/炒肉丝

我/爱/炒/肉丝

常用中文分词器，IK、jieba、THULAC等，推荐使用IK分词器。

IK Analyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始， IKAnalyzer已经推出了3个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。新版本的IK Analyzer 3.0则发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。

采用了特有的“正向迭代最细粒度切分算法“，具有80万字/秒的高速处理能力 采用了多子处理器分析模式，支持：英文字母（IP地址、Email、URL）、数字（日期，常用中文数量词，罗马数字，科学计数法），中文词 汇（姓名、地名处理）等分词处理。 优化的词典存储，更小的内存占用。

IK分词器 Elasticsearch插件地址：https://github.com/medcl/elasticsearch-analysis-ik

测试：

结果：

可以看到，已经对中文进行了分词。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。