Don't Stop


  • 首页

  • 标签

  • 分类

  • 关于

oom分析处理过程

发表于 2018-07-10 | 分类于 JVM

前言

实验室维护的项目在用户使用量增大的时候,隔三差五就会出现OOMOutOfMemory的情况,而且多数是发生在第二天的凌晨,为了缓解这个问题,写了一个定时任务,每次服务宕机的时候,就重启一下Tomcat服务。但是这样子处理问题治标不治本,还是需要从代码的优化角度去减少这种情况的发生。

阅读全文 »

logstash MySQL Data Input

发表于 2018-07-07 | 分类于 elasticsearch

前言

往elasticsearch中导入数据,可以采用curl -XPUT 'http://localhost:9200/megacorp/employee/1的方式往里面导入数据,这样的插入可以用来测试,但是数据量比较大的时候,这样一条条的插入是不实际的。

当然elasticsearch可以采用_bulk的方式批量导入数据

1
2
3
4
5
curl -XPOST 'http://localhost:9200/_bulk' -d '
{ "create": { "_index": "website", "_type": "blog", "_id": "3" }}
{ "title": "My third blog post" }
{ "create": { "_index": "website", "_type": "blog", "_id": "4" }}
{ "title": "My fourth blog post" }

或者把我们的数据导成json的格式,然后导入

1
curl 172.17.1.15:9200/_bulk?pretty --data-binary @E:\testdata\test.json

在之前solr使用过程中,我们是把数据库的数据导入到solr中,elasticsearch也可以,这篇主要是来记录一下logstash的安装以及使用。

阅读全文 »

elasticsearch集群搭建、head插件安装

发表于 2018-07-07 | 分类于 elasticsearch

前言

好久没来更新博客,一是近期的状态不好,也被一些琐碎的事缠着,导致没能好好学习。

在上一篇的博客中记录了linux环境下elasticsearch的安装,比较简单,解压既可。es是分布式的搜索服务框架,只是在单机上跑体现不出它的优势,所以这篇主要来记录一下es6.x的集群搭建、以及head插件的安装。实验的环境:Ubuntu 、节点IP:10.1.13.32 10.1.13.27、elasticsearch6.x

阅读全文 »

Linux elasticsearch搭建

发表于 2018-06-06 | 分类于 elasticsearch

前言

前几篇博客是针对solr的使用,对solr的使用也算是告一段落了。elasticsearch是当前主流的搜索框架,相比较于solr的单机服务来说,es的分布式特点就是一大卖点了。而且看网上的大牛们说,es在文件较大的程度上搜索的速度比solr快上很多。当你的业务上来,单台服务的搜索都会变的很吃力。

那么作为es的开篇,这里来记录一下es的安装,以及安装碰上的问题。

阅读全文 »

Solr源码修改

发表于 2018-05-31 | 分类于 Solr

前言

不知道从何说起,不过无论是从技术层面还是市场的需求来看,都需要把学习的重心从solr移到es上,至少现在外面大型的互联网公司都在用es。所以希望以这篇博客来总结一下对solr的学习,也算是给solr这段学习旅程打上半个句号。

回到正题,在前面一篇博客中提到了想要实现自定义的一些查询,可以利用dismax,或者修改源码。dismax的使用在上一篇已经有了简单的介绍,这篇来介绍solr源码的编译和修改。

阅读全文 »

Solr dismax使用

发表于 2018-05-28 | 分类于 Solr

前言

在前面几篇博客上,我对solr的使用以及注意的一些事项有了简单的说明。但是有时候某个具体的业务在配置上是难做到的。举个例子,有这么一份数据,包含了文章的标题、内容、质量(一个整数值)、发布时间等,现在我希望搜索的结果是根据发布时间和文章质量来决定的,即发布时间越早就越靠前、质量越高就越靠前。

目前我所知道的有两种方法,1.利用dismax,在查询的时候提高某个字段的权值。2.修改solr的底层框架Lucene的源码。在这篇我们先来讨论第一种方法。

阅读全文 »

Solr路上的坑

发表于 2018-05-09 | 分类于 Solr

前言

对于刚接触solr的新手,在使用上多多少少会遇上一些问题,就算你按照别人的配置来做,也难免会出现这种情况,所以将我在使用过程中遇到的坑记录一下。

阅读全文 »

Solr-HanLp中文分词

发表于 2018-04-13 | 分类于 Solr

前言

在上一篇博客中,我们已经完成了Solr的搭建和简单的查询,今天我们来讲讲Solr的中文分词hanLp,以及它的应用场景。先来看一下,我们在百度上搜索hanlp时,推荐给我们的网页要么是内容中出现过hanlp这个词,要么是标题是含有hanlp的。

你想输入的替代文字

试想一下,如果让你实现这个功能块,你会怎么做呢?那不是很简单嘛!只要一篇篇的文章,去查询一下标题和内容是否出现过hanLp就好了嘛!的确这是一种方法,但在数据量过大时,这样的全文匹配的效率是非常低的。在Solr中,采用反向索引来解决上面带来的效率问题。

阅读全文 »

Solr联想词袋配置

发表于 2018-04-12 | 分类于 Solr

前言

常用的搜索引擎的联想功能就如下图所示,虽然实现的方式有很多,但是这里还是要说明一下solr是如何实现这块功能的。

你想输入的替代文字

阅读全文 »

Solr的搭建

发表于 2018-04-11 | 分类于 Solr

前言:

接触solr也有一段时间,在这里将学习的过程和体会记录一下。希望能给刚刚接触solr的人带来一些帮助。(实验环境 Windows+Solr5.5.2)

阅读全文 »
1…91011
JinTx

JinTx

104 日志
26 分类
65 标签
github E-Mail CSND
© 2020 JinTx
由 Hexo 强力驱动
|
主题 — NexT.Mist v5.1.4