全文搜索技术——Solr

1. 今天内容安排

使用Solr实现信息搜索功能,可以根据关键字、分类、价格搜索商品信息,也可以根据价格进行排序。

2. 需求分析

2.1. 实现方法

在一些大型门户网站、电子商务网站等都需要站内搜索功能,使用传统的数据库查询方式实现搜索无法满足一些高级的搜索需求,比如:搜索速度要快、搜索结果按相关度排序、搜索内容格式不固定等,这里就需要使用全文检索技术实现搜索功能。

2.1.1. 使用Lucene实现

单独使用Lucene实现站内搜索需要开发的工作量较大,主要表现在:索引维护、索引性能优化、搜索性能优化等,因此不建议采用。

2.1.2. 使用solr实现

基于Solr实现站内搜索扩展性较好并且可以减少程序员的工作量,因为Solr提供了较为完备的搜索引擎解决方案,因此在门户、论坛等系统中常用此方案。

2.2. 什么是solr

Solr 是Apache下的一个顶级开源项目,采用Java开发,它是基于Lucene的全文搜索服务器。Solr提供了比Lucene更为丰富的查询语言,同时实现了可配置、可扩展,并对索引、搜索性能进行了优化。

Solr可以独立运行,运行在Jetty、Tomcat等这些Servlet容器中,Solr 索引的实现方法很简单,用 POST 方法向 Solr 服务器发送一个描述 Field 及其内容的 XML 文档,Solr根据xml文档添加、删除、更新索引 。Solr 搜索只需要发送 HTTP GET 请求,然后对 Solr 返回Xml、json等格式的查询结果进行解析,组织页面布局。Solr不提供构建UI的功能,Solr提供了一个管理界面,通过管理界面可以查询Solr的配置和运行情况。

Solr与Lucene的区别:

Lucene是一个开放源代码的全文检索引擎工具包,它不是一个完整的全文检索引擎,Lucene提供了完整的查询引擎和索引引擎,目的是为软件开发人员提供一个简单易用的工具包,以方便的在目标系统中实现全文检索的功能,或者以Lucene为基础构建全文检索引擎。

Solr的目标是打造一款企业级的搜索引擎系统,它是一个搜索引擎服务,可以独立运行,通过Solr可以非常快速的构建企业的搜索引擎,通过Solr也可以高效的完成站内搜索功能。

3. Solr安装及配置

3.1. Solr的下载

从Solr官方网站(http://lucene.apache.org/solr/ )下载Solr7.1.0

Solr使用指南可参考:https://wiki.apache.org/solr/FrontPage

3.2. Solr的文件夹结构

将solr-7.1.0.zip解压:

bin:solr的运行脚本

contrib:solr的一些软件/插件,用于增强solr的功能。

dist:该目录包含build过程中产生的war和jar文件,以及相关的依赖文件。

docs:solr的API文档

example:solr工程的例子目录:

server:solr 运行的 war 文件和core

licenses:solr相关的一些许可信息

3.3. 运行环境

solr 需要运行在一个Servlet容器中,Solr7.1.0要求jdk使用1.8以上, tomcat8.0以上,Solr默认提供Jetty(java写的Servlet容器),本教程使用Tocmat作为Servlet容器,环境如下:

Solr:Solr7.1.0

Jdk:jdk1.8._131

Tomcat:apache-tomcat-8.5

3.4. Solr整合tomcat

3.4.1. Solr Home与SolrCore

创建一个Solr home目录,SolrHome是Solr运行的主目录,目录中包括了运行Solr实例所有的配置文件和数据文件,Solr实例就是SolrCore,一个SolrHome可以包括多个SolrCore(Solr实例),每个SolrCore提供单独的搜索和索引服务。

server\solr是一个solr home目录结构,如下:

上图中“configsets里面的sample_techproducts_configs”是一个SolrCore(Solr实例)目录 不过缺少一个 core.properties, 可以手动创建一个, 也可以从目录solr-7.1.0/example/example-DIH/solr/solr 中复制内容如下所示:

另外solr-7.1.0/example/example-DIH/solr/solr 这个目录也是一个 soleCore 目录,也可以用这个来代替上面的sample_techproducts_configs

说明:

Solr:叫做一个Solr运行实例SolrCore,SolrCore名称不固定,一个solr运行实例对外单独提供索引和搜索接口。

solrHome中可以创建多个solr运行实例SolrCore。

一个solr的运行实例对应一个索引目录。

conf是SolrCore的配置文件目录 。

data目录存放索引文件需要创建, 需要手动创建

3.4.2. 整合步骤

第一步:安装tomcat

第二步:把solr的webapp复制到tomcat 的webapp目录下。

把/solr-7.1.0/server/solr-webapp/webapp 重命名为 solr复制到tomcat的webapps下,重命名不是必须的,只是为了好区分

第三步:把/solr-7.1.0/server/lib目录下的所有的jar包(包括 ext 里面的)添加到solr的 web工程中的 lib 下

第四步:配置solrHome和solrCore。

在 solr7.1中有两个位置可以找到 solrCore, 但是每个都缺少一个文件,文件都在另外一个中, 分别是solr-7.1.0\example\example-DIH\solr/solr和solr-7.1.0\server\solr

1)将/solr-7.1.0/server下的 solr复制到/ usr/local 下 并重命名为 solrhome, 重命名不是必须的,只是为了好分辨,因为内部的 configsets 中的core 缺少一个文件,所以删除configsets目录,另行拷贝 core

2)复制 solrcore把solr-7.1.0/example/example-DIH/solr/solr文件夹复制到/usr/local/solrhome路径下,并编辑内部的 core.properties ,添加 name=collection1; collection1属于任意内容

在 solrhome 内部创建一个 lib 目录,然后将/solr-7.1.0/dist 下的 solr-dataimport 开头的两个依赖包复制进去

3)一个solrcore相当于mysql中一个数据库。Solrcore之间是相互隔离。注意core 里面得有 core.properties 文件,core.properties 添加内容 name=collection1

i. 在solrcore中有一个文件夹叫做conf,包含了索引solr实例的配置信息。

ii. 在conf文件夹下有一个solrconfig.xml。配置实例的相关信息。如果使用默认配置可以不用做任何修改。

Xml的配置信息:

Lib:solr服务依赖的扩展包,默认的路径是collection1\lib文件夹,如果没有 就创建一个

dataDir:配置了索引库的存放路径。默认路径是collection1\data文件夹,如 果data文件夹不存在,会自动创建。

requestHandler:

第六步:告诉solr服务器配置文件也就是solrHome的位置。修改web.xml使用jndi的方式告诉solr服务器。

Solr/home名称必须是固定的。

第七步:启动tomcat

第八步:访问http://localhost:8080/solr/index.html

3.5. Solr后台管理

3.5.1. 管理界面

3.5.2. Dashboard

仪表盘,显示了该Solr实例开始启动运行的时间、版本、系统资源、jvm等信息。

3.5.3. Logging

Solr运行日志信息

3.5.4. Cloud

Cloud即SolrCloud,即Solr云(集群),当使用Solr Cloud模式运行时会显示此菜单,如下图是Solr Cloud的管理界面:

3.5.5. Core Admin

Solr Core的管理界面。Solr Core 是Solr的一个独立运行实例单位,它可以对外提供索引和搜索服务,一个Solr工程可以运行多个SolrCore(Solr实例),一个Core对应一个索引目录。

添加solrcore:

第一步:复制collection1改名为collection2

第二步:修改core.properties。name=collection2

第三步:重启tomcat

3.5.6. java properties

Solr在JVM 运行环境中的属性信息,包括类路径、文件编码、jvm内存设置等信息。

3.5.7. Tread Dump

显示Solr Server中当前活跃线程信息,同时也可以跟踪线程运行栈信息。

3.5.8. Core selector

选择一个SolrCore进行详细操作,如下:

3.5.9. Analysis

通过此界面可以测试索引分析器和搜索分析器的执行情况。

3.5.10. Dataimport

可以定义数据导入处理器,从关系数据库将数据导入 到Solr索引库中。

3.5.11. Document

通过此菜单可以创建索引、更新索引、删除索引等操作,界面如下:

/update表示更新索引,solr默认根据id(唯一约束)域来更新Document的内容,如果根据id值搜索不到id域则会执行添加操作,如果找到则更新。

3.5.12. Query

通过/select执行搜索索引,必须指定“q”查询条件方可搜索。

3.6. 配置中文分析器

3.6.1. managed-schema

managed-schema,在SolrCore的conf目录下,它是Solr数据表配置文件,它定义了加入索引的数据的数据类型的。主要包括FieldTypes、Fields和其他的一些缺省设置。

FieldType域类型定义 下边“text_general”是Solr默认提供的FieldType,通过它说明FieldType定义的内容:

FieldType子结点包括:name,class,positionIncrementGap等一些参数:

name:是这个FieldType的名称

class:是Solr提供的包solr.TextField,solr.TextField 允许用户通过分析器来定制索引和查询,分析器包括一个分词器(tokenizer)和多个过滤器(filter)

positionIncrementGap:可选属性,定义在同一个文档中此类型数据的空白间隔,避免短语匹配错误,此值相当于Lucene的短语查询设置slop值,根据经验设置为100。

在FieldType定义的时候最重要的就是定义这个类型的数据在建立索引和进行查询的时候要使用的分析器analyzer,包括分词和过滤

索引分析器中:使用solr.StandardTokenizerFactory标准分词器,solr.StopFilterFactory停用词过滤器,solr.LowerCaseFilterFactory小写过滤器。

搜索分析器中:使用solr.StandardTokenizerFactory标准分词器,solr.StopFilterFactory停用词过滤器,这里还用到了solr.SynonymFilterFactory同义词过滤器。

Field定义 solr索引字段在solrhome\collection1\conf\schema.xml配置文件中,类似下面这些,包含在之间的。

在fields结点内定义具体的Field,filed定义包括name,type(为之前定义过的各种FieldType),indexed(是否被索引,也就是是否能根据该字段进行搜索),stored(是否被储存,也就是搜索后的结果中是否会显示该字段的内容),multiValued(是否存储多个值,代表是否可以被分词)等属性。

如下: ​

 
 

multiValued:该Field如果要存储多个值时设置为true,solr允许一个Field存储多个值,比如存储一个用户的好友id(多个),商品的图片(多个,大图和小图),通过使用solr查询要看出返回给客户端是数组:

uniqueKey

Solr中默认定义唯一主键key为id域,如下:

Solr在删除、更新索引时使用id域进行判断,也可以自定义唯一主键。

注意在创建索引时必须指定唯一约束。

copyField复制域 copyField复制域,可以将多个Field复制到一个Field中,以便进行统一的检索:

比如,输入关键字搜索title标题内容content,

定义title、content、text的域:

根据关键字只搜索text域的内容就相当于搜索title和content,将title和content复制到text中,如下:

dynamicField(动态字段) 动态字段就是不用指定具体的名称,只要定义字段名称的规则,例如定义一个 dynamicField,name 为*i,定义它的type为text,那么在使用这个字段的时候,任何以i结尾的字段都被认为是符合这个定义的,例如:name_i,gender_i,school_i等。

自定义Field名为:product_title_t,“product_title_t”和scheam.xml中的dynamicField规则匹配成功,如下:

“product_title_t”是以“_t”结尾。

创建索引:

搜索索引:

3.6.2. 安装中文分词器

使用IKAnalyzer中文分析器。

解压分词器压缩包

第一步:把ik-analyzer-solr5-5.x.jar添加到solr/WEB-INF/lib目录下。

第二步:复制IKAnalyzer的配置文件IKAnalyzer.cfg.xml和自定义词典ext.dic和停用词词典stopword.dic到solr的classpath下。(就是 solrweb 项目的 classes 目录中)

第三步:在managed-schema.xml中添加一个自定义的fieldType,使用中文分析器。

 

第四步:定义field,指定field的type属性为text_ik

 

第四步:重启tomcat

测试:

3.7. 设置业务系统Field

如果不使用Solr提供的Field可以针对具体的业务需要自定义一套Field,如下是商品信息Field:,此处可以使用自己的配置,这里仅做演示用,下面的数据导入中的3.8.2第三部配置和当前位置匹配,其实可以使用一两列来演示数据,取决于自己

 

​ ​

3.8. 维护索引

3.8.1. 添加/更新文档

添加单个文档

3.8.2. 批量导入数据

使用dataimport插件批量导入数据。

第一步:把dataimport插件依赖的jar(dist 目录下)包添加到solrcore(collection1\lib)中,或者是 solr 的 web 项目 lib 中,并且复制数据库连接依赖包

第二步:配置solrconfig.xml文件,添加一个requestHandler。

 

第三步:创建一个data-config.xml,保存到collection1\conf\目录下

 

第四步:重启tomcat

第五步:点击“execute”按钮导入数据 到入数据前会先清空索引库,然后再导入。

3.8.3. 删除文档(注意需要提交)

删除索引格式如下:

1) 删除制定ID的索引

<delete>
	<id>8</id>
</delete>

2) 删除查询到的索引数据

<delete>
	<query>product_catalog_name:幽默杂货</query>
</delete>

3) 删除所有索引数据

 <delete>
	<query>*:*</query>
</delete>

3.9. 查询索引

通过/select搜索索引,Solr制定一些参数完成不同需求的搜索:

3.9.1. q

3.9.2. fq

过滤查询价格从1到20的记录。

也可以在“q”查询条件中使用product_price:[1 TO 20],如下:

也可以使用“*”表示无限,例如:

20以上:product_price:[20 TO *]

20以下:product_price:[* TO 20]

3.9.3. sort

按价格降序

3.9.4. start

3.9.5. rows

显示前10条。

3.9.6. fl

显示商品图片、商品名称、商品价格

3.9.7. df

-指定一个搜索Field

也可以在SolrCore目录 中conf/solrconfig.xml文件中指定默认搜索Field,指定后就可以直接在“q”查询条件中输入关键字。

3.9.8. wt

3.9.9. hl

-是否高亮 ,设置高亮Field,设置格式前缀和后缀。

4. 使用SolrJ管理索引库

4.1. 什么是solrJ

solrj是访问Solr服务的java客户端,提供索引和搜索的请求方法,SolrJ通常在嵌入在业务系统中,通过SolrJ的API接口操作Solr服务,如下图:

4.2. 依赖的jar包

4.3. 添加文档

4.3.1. 实现步骤

第一步:创建一个java工程

第二步:导入jar包。包括solrJ的jar包。还需要 server中的lib下的ext中的日志包

第三步:和Solr服务器建立连接。Httpclient对象建立连接。

第四步:创建一个SolrInputDocument对象,然后添加域。

第五步:将SolrInputDocument添加到索引库。

第六步:提交。

4.3.2. 代码实现

 

4.4. 删除文档

4.4.1. 根据id删除

 

4.4.2. 根据查询删除

 

4.5. 修改文档

在solrJ中修改没有对应的update方法,只有add方法,只需要添加一条新的文档,和被修改的文档id一致就,可以修改了。本质上就是先删除后添加。

4.6. 查询文档

4.6.1. 简单查询

 

4.6.2. 复杂查询

 

5 错误

1.java.lang.NoClassDefFoundError: com/codahale/metrics/MetricSet

缺少 jar 包,复制server/lib 下面的依赖包到项目即可
  1. Unsupported major.minor version 52.0
jdk 版本问题,使用 jdk1.8即可,最好不要使用 openjdk
  1. HTTP Status 403 - Access to the requested resource has been denied
 
  1. HTTP Status 500 - Filter execution threw an exception
 

5.HTTP Status 404 – Not Found

如果在前面条件都 ok 的情况下 访问 solr 网址无法访问,需要注意, solr7.1.0需要使用/index.html 来访问,不能直接访问项目名

6、附件

ikanalyzer-solr.zip