作者都是各自领域经过审查的专家,并撰写他们有经验的主题. 我们所有的内容都经过同行评审,并由同一领域的Toptal专家验证.
Ivan在各种规模的项目上工作了十年,主要是使用 .网络技术. 他还喜欢参加算法竞赛.
Should a .NET developer 在项目中使用Elasticsearch? 尽管Elasticsearch是基于Java构建的, 我相信它提供了很多理由,为什么Elasticsearch值得为任何项目的全文搜索一试.
Elasticsearch作为一项技术,在过去的几年里已经取得了长足的进步. 它不仅使全文搜索感觉很神奇, 它还提供其他复杂的功能, 例如文本自动补全, 聚合管道, and more.
如果考虑将基于java的服务引入到您的整洁中 .. NET生态系统让你不舒服, then worry not, 就像安装和配置Elasticsearch之后一样, 你将花大部分时间和最酷的人在一起 .. NET包: NEST.
在本文中,您将学习如何使用amazing search engine 解决方案,Elasticsearch,在您的 .NET projects.
Installing Elasticsearch 它本身的开发环境归结为下载Elasticsearch和,可选的, Kibana.
解压缩后,像这样的bat文件就会派上用场了:
D: \弹性\ elasticsearch-5 cd”.2.2\bin"
开始elasticsearch.bat
D: \弹性\ kibana-5 cd”.0.0-windows-x86 \ bin”
start kibana.bat
exit
启动两个服务之后, 您可以随时查看本地Kibana服务器(通常在http://localhost:5601上可用)。, 尝试索引和类型, 使用纯JSON进行搜索, 如前所述 here.
做一个彻底的 good developer, 在管理层的全面支持和理解下, 首先添加一个单元测试项目,并编写一个至少有90%代码覆盖率的SearchService.
第一步是明确地配置 app.config
文件为Elasticsearch服务器提供一个连接类型字符串.
Elasticsearch最酷的一点是它是完全免费的. 但是,我仍然建议使用Elastic提供的弹性云服务.co. 托管服务使所有的维护和配置相当容易. Even more, 你有两周的免费试用, 这应该足以测试这里所有的例子!
由于这里我们是在本地运行,所以像这样的配置键应该做:
默认情况下,Elasticsearch安装运行在端口9200上,但您可以根据需要更改它.
ElasticClient是一个很好的小东西,它将为我们做大部分的工作, 它和NEST包一起提供.
让我们先安装这个包.
要配置客户端,可以使用如下命令:
var节点=新的Uri(配置管理器.AppSettings["搜索uri "]);
var设置=新连接设置(节点);
settings.ThrowExceptions(alwaysThrow: true); // I like exceptions
settings.PrettyJson(); // Good for DEBUG
var client = new ElasticClient(设置);
为了能够搜索一些东西,我们必须将一些数据存储到ES中. 使用的术语是“索引”.”
术语“映射”用于将数据库中的数据映射到将被序列化并存储在Elasticsearch中的对象. 我们将在本教程中使用实体框架(EF).
Generally, 使用Elasticsearch时, 您可能正在寻找一个站点范围的搜索引擎解决方案. 您将使用某种形式的饲料或消化, 或者像谷歌一样的搜索,从不同的实体返回所有的结果, such as users, blog entries, products, categories, events, etc.
这些可能不仅仅是数据库中的一个表或实体, but rather, 您可能希望聚合不同的数据,并可能提取或派生一些常见属性,如title, description, date, author/owner, photo, and so on. 另一件事是, 您可能不会在一个查询中完成它, 但是如果你使用的是ORM, 您必须为每个博客条目编写一个单独的查询, users, products, categories, events, 或者别的什么.
我通过为每个“大”类型创建索引来组织我的项目.g.,博客文章或产品. 然后可以添加一些Elasticsearch类型,用于更特定的类型,这些类型将属于同一索引. For instance, 如果一篇文章可以成为一个故事, video article, or podcast, 它仍然会在“文章”索引中, 但是我们会在索引中有这四种类型. 但是,它仍然可能是数据库中的相同查询.
请记住,每个索引至少需要一个类型——可能是与索引同名的类型.
要映射实体,需要创建一些额外的类. 我通常使用 DocumentSearchItemBase
类,每个专门化类将从中继承 BlogPostSearchItem
, ProductSearchItem
, and so on.
我喜欢在这些类中使用映射器表达式. 如果需要的话,我可以随时修改表达式.
在我最早的一个 项目与Elasticsearch, 我编写了一个相当大的SearchService类,其中包含映射和索引,并使用漂亮而冗长的切换语句:对于我想要放入Elasticsearch的每个实体类型, 有一个带有映射的开关和查询可以做到这一点.
然而,在整个过程中,我了解到这不是最好的方式,至少对我来说不是.
一个更优雅的解决方案是拥有某种智能 IndexDefinition
类和每个索引的特定索引定义类. 这边是我的底边 IndexDefinition
类可以存储所有可用索引的列表和一些辅助方法(如required) analyzers 和状态报告,而派生特定于索引 classes 处理查询数据库和映射每个索引的数据. 这非常有用,特别是当您稍后必须向ES添加额外的实体时. 归根结底就是再加一个 SomeIndexDefinition
继承的类 IndexDefinition
需要实现一些方法来查询索引中需要的数据.
使用Elasticsearch可以做的所有事情的核心是它的查询语言. Ideally, 你只需要知道如何构造一个查询对象就可以与Elasticsearch进行通信.
在幕后,Elasticsearch通过HTTP将其功能作为基于json的API公开.
尽管API本身和查询对象的结构相当直观, 处理许多现实生活中的场景仍然是一件麻烦事.
通常,对Elasticsearch的搜索请求需要以下信息:
搜索哪个索引和哪些类型
分页信息(要跳过多少项,要返回多少项)
具体的类型选择(在执行聚合时,就像我们在这里要做的那样)
查询本身
高亮定义(如果我们想,Elasticsearch可以自动高亮点击)
For instance, 您可能希望实现一个搜索功能,只有部分用户可以看到您网站上的优质内容, 或者您可能希望某些内容仅对其作者的“朋友”可见, and so on.
能够构造查询对象是解决这些问题的核心, 当试图涵盖很多场景时,这真的是一个问题.
从以上所有, 最重要也是最难设置的是, naturally, 查询段——这里, 我们将主要关注这一点.
查询是组合的递归构造 BoolQuery
以及其他查询,例如 MatchPhraseQuery
, TermsQuery
, DateRangeQuery
, and ExistsQuery
. 这些足以满足任何基本要求,应该是一个好的开始.
A MultiMatch
查询非常重要,因为它使我们能够指定我们想要进行搜索的字段,并对结果进行更多的调整——我们将在后面返回.
A MatchPhraseQuery
可以通过传统SQL数据库中的外键或静态值(例如enums)来过滤结果吗, 当按特定作者(AuthorId
),或与所有公共物品(ContentPrivacy =公共
).
TermsQuery
将被翻译为“in”到传统的SQL语言. For instance, 它可以退回一个用户的朋友写的所有文章,或者从一组固定的商家独家获得产品. As with SQL, 一个人不应该过度使用这个,放10个,因为这会对性能产生影响, 但它通常能很好地处理合理的数量.
DateRangeQuery
是自我记录.
ExistsQuery
是一个有趣的特性:它使您能够忽略或返回没有特定字段的文档.
这些,当与 BoolQuery
,允许您定义复杂的过滤逻辑.
例如,考虑一个博客站点,其中博客文章可以有一个 AvailableFrom
字段,该字段表示它们何时应该变得可见.
如果我们使用一个过滤器 AvailableFrom <= Now
, 然后,我们将不会获得根本没有该特定字段的文档(我们聚合数据), 有些文档可能没有定义这个字段). 为了解决这个问题,你们可以结合起来 ExistsQuery
with DateRangeQuery
把它包起来 BoolQuery
条件是至少有一个元素 BoolQuery
is fulfilled. 像这样:
BoolQuery
应该(至少满足下列条件之一)
带AvailableFrom条件的daterangquery
对字段AvailableFrom的查询是否定的
否定查询并不是这么简单的开箱即用的工作. 但是在…的帮助下 BoolQuery
,但仍有可能:
BoolQuery
MustNot
ExistsQuery
为了使事情更简单,推荐的方法绝对是编写 tests as you go.
This way, 您将能够更有效地进行实验,甚至更重要的是,您将确保引入的任何新更改(如更复杂的过滤器)都不会破坏现有功能. 我明确地不想说“单元测试”,“因为我不喜欢模仿Elasticsearch引擎之类的东西——模仿几乎永远不会是ES真正行为的现实逼近——因此, 这可能是集成测试, 如果你是术语迷.
所有的基础工作都通过索引完成了, mapping, and filtering, 现在我们准备好进行最有趣的部分:调整搜索参数以产生更好的结果.
在我上一个项目中, 我使用Elasticsearch来提供一个用户提要:所有的内容聚合到一个地方,按创建日期排序,并使用一些选项进行全文搜索. The feed itself is quite straightforward; just ensure that there is a date field somewhere in your data and order by that field.
另一方面,搜索并不能很好地打开盒子. 这是因为,Elasticsearch自然无法知道数据中重要的东西是什么. 假设我们有一些数据(在其他字段中)具有 Title
, Tags
(array), and Body
fields. body字段可以是HTML内容(让事情更现实一点).
的要求: 即使出现拼写错误或单词结尾不同,我们的搜索也应该返回结果. For instance, 如果有一篇名为“用木勺可以做的伟大事情”的文章,,当我搜索“东西”或“木头”时,“我还是想找到一个匹配的.
为了解决这个问题,我们必须熟悉 analyzers, tokenizers, char filters, and token filters. 这些是在索引时应用的转换.
需要定义分析程序. 这可以为每个索引定义.
分析器可以应用于文档中的某些字段. 这可以使用属性或流畅的API来完成. 在我们的示例中,我们使用属性.
分析器是过滤器、字符过滤器和标记器的组合.
满足要求(部分单词匹配), 我们将创建“自动完成”分析器, 它包括:
一个英语停止词过滤器:过滤器删除所有常用词在英语, 例如“and”或“the”.”
修剪过滤器:去除每个标记周围的空白
小写过滤器:将所有字符转换为小写. 这并不意味着当我们获取数据时, 它将被转换为小写, 而是支持大小写不变搜索.
Edge-n-gram标记器:这个标记器允许我们进行部分匹配. For example, 如果我们有一个句子“我奶奶有一把木椅,寻找“木材”时,我们仍然希望能找到这句话的答案. edge-n-gram做了什么, is store “woo,” “wood,” “woode,和“wooden”,以便找到任何至少有三个字母匹配的部分单词. 参数MinGram和MaxGram定义要存储的最小和最大字符数. 在我们的情况下,我们将有最少三个,最多15个字母.
在下面的部分中,所有这些都被绑定在一起:
analysis.Analyzers(a => a
.Custom("autocomplete", cc => cc
.过滤器("eng_stopwords", "trim", "lowercase")
.记号赋予器(“自动完成”)
)
.Tokenizers(tdesc => tdesc
.EdgeNGram("autocomplete", e => e
.MinGram(3)
.MaxGram(15)
.TokenChars (TokenChar.信,TokenChar.Digit)
)
)
.TokenFilters(f => f
.Stop("eng_stopwords", lang => lang
.StopWords(“_english_”)
)
);
并且,当我们想要使用这个分析器时,我们应该像这样注释我们想要的字段:
公共类SearchItemDocumentBase
{
...
[Text(Analyzer = "autocomplete", Name = Name of(Title))]
public string Title { get; set; }
...
}
Now, 让我们看几个示例,这些示例展示了几乎所有具有大量内容的应用程序中的常见需求.
的要求: 我们的一些字段可能包含HTML文本.
Naturally, you wouldn’t want searching for “section” to return something like “
幸运的是,你不是第一个有这个问题的人. Elasticsearch提供了一个有用的字符过滤器:
analysis.Analyzers(a => a
.Custom("html_stripper", cc => cc
.过滤器("eng_stopwords", "trim", "lowercase")
.CharFilters(“html_strip”)
.记号赋予器(“自动完成”)
)
并应用它:
[Text(Analyzer = "html_stripper", Name = nameof(HtmlText))]
public string HtmlText { get; set; }
的要求: 标题中的匹配应该比内容中的匹配更重要.
Luckily, 如果匹配发生在一个或另一个字段中,Elasticsearch提供了提升结果的策略. 方法在搜索查询构造中完成此操作 boost
option:
int titleBoost = 15;
.Query(qx => qx.MultiMatch(m => m
.查询(searchRequest.Query.ToLower())
.Fields(ff => ff
.Field(f => f.Title, boost: titleBoost)
.Field(f => f.Summary)
...
)
.类型(TextQueryType.BestFields)
) && filteringQuery)
如你所见, MultiMatch
查询在这种情况下非常有用,而且这种情况并不少见! Often, 有些领域更重要,有些不重要,这个机制使我们能够考虑到这一点.
立即设置升压值并不总是那么容易. 你需要稍微摆弄一下,才能得到想要的结果.
的要求: 有些文章比其他文章更重要. 要么作者更重要,要么文章本身有更多的赞/分享/赞/等. 更重要的文章应该排名更高.
Elasticsearch允许我们实现评分函数, 我们将其简化为定义一个字段“重要性”,,在我们的例子中是双值, greater than 1. 您可以定义自己的重要性函数/因子,并类似地应用它. 您可以定义多种提升和评分模式,选择最适合您的模式. 这条很适合我们:
.Query(q => q
.FunctionScore(fsc => fsc
.BoostMode (FunctionBoostMode.Multiply)
.ScoreMode (FunctionScoreMode.Sum)
.Functions(f => f
.FieldValueFactor(b => b
.字段(nameof (SearchItemDocumentBase.Rating))
.Missing(0.7)
.修饰符(FieldValueFactorModifier.None)
)
)
.Query(qx => qx.MultiMatch(m => m
.查询(searchRequest.Query.ToLower())
.Fields(ff => ff
...
)
.类型(TextQueryType.BestFields)
) && filteringQuery)
)
)
每部电影都有评分, 我们通过演员出演的电影的平均评分来推断他们的评分(这不是一个很科学的方法). 我们在区间[0,1]内将该评级缩放为双值。.
的要求: 全词匹配的排名应该更高.
By now, 我们的搜索结果相当不错, 但是您可能会注意到一些包含部分匹配的结果可能比完全匹配的结果排名更高. 为了解决这个问题, 我们在文档中添加了一个名为“Keywords”的额外字段,它不使用自动完成分析器, 而是使用关键字标记器并提供提升因子来提高精确匹配结果.
这个字段只有在匹配准确的单词时才会匹配. 它不会像自动补全分析器那样将“wood”匹配为“wooden”.
本文应该向您概述了如何在您的应用程序中设置Elasticsearch .NET项目,并通过一些努力,提供了一个很好的到处搜索功能.
学习曲线可能有点陡峭, 但这是值得的, 尤其是当你把它调整得恰到好处,并开始得到很好的搜索结果时.
始终记得添加带有预期结果的完整测试用例,以确保在引入更改和尝试时不会过多地混淆参数.
本文的完整代码是 可以在GitHub上找到,并使用从 TMDB 数据库,以显示搜索结果如何随着每一步而改进.
Zagreb, Croatia
2016年7月11日成为会员
Ivan在各种规模的项目上工作了十年,主要是使用 .网络技术. 他还喜欢参加算法竞赛.
世界级的文章,每周发一次.
世界级的文章,每周发一次.