JoyLau's Blog

背景

我们经常能看到在各大电商网站搜索关键字的时候,底下下拉框会补全你要搜索的商品,或者类似的商品,有时候甚至连错别字也能纠正过来,其实ElasticSearch也能实现这样的功能

创建索引

首先,能够被自动补全的需要设置索引类型为”completion”,其次,还可以设置自动提示为中文分词

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160

{
  "settings": {
    "analysis": {
      "analyzer": {
        "ik": {
          "tokenizer": "ik_max_word"
        },
        "ngram_analyzer": {
          "tokenizer": "ngram_tokenizer"
        }
      },
      "tokenizer": {
        "ngram_tokenizer": {
          "type": "ngram",
          "min_gram": 1,
          "max_gram": 30,
          "token_chars": [
            "letter",
            "digit"
          ]
        }
      }
    }
  },
  "mappings": {
    "knowledge_info": {
      "properties": {
        "infoId": {
          "type": "string"
        },
        "infoTitle": {
          "type": "string",
          "search_analyzer": "ik_max_word",
          "analyzer": "ik_max_word",
          "fields": {
            "suggest": {
              "max_input_length": 30,
              "preserve_position_increments": false,
              "type": "completion",
              "preserve_separators": false,
              "analyzer": "ik_max_word"
            },
            "wordCloud": {
              "type": "string",
              "analyzer": "ik_smart",
              "fielddata":"true"
            }
          }
        },
        "infoKeywords": {
          "type": "string",
          "search_analyzer": "ik_max_word",
          "analyzer": "ik_max_word",
          "fields": {
            "suggest": {
              "max_input_length": 30,
              "preserve_position_increments": false,
              "type": "completion",
              "preserve_separators": false,
              "analyzer": "ik_max_word"
            },
            "wordCloud": {
              "type": "string",
              "analyzer": "ik_smart",
              "fielddata":"true"
            }
          }
        },
        "infoSummary": {
          "type": "string",
          "search_analyzer": "ik_max_word",
          "analyzer": "ik_max_word",
          "fields": {
            "suggest": {
              "max_input_length": 30,
              "preserve_position_increments": false,
              "type": "completion",
              "preserve_separators": false,
              "analyzer": "ik_max_word"
            },
            "wordCloud": {
              "type": "string",
              "analyzer": "ik_smart",
              "fielddata":"true"
            }
          }
        },
        "infoContent": {
          "type": "text",
          "search_analyzer": "ik_max_word",
          "analyzer": "ik_max_word"
        },
        "propertyAuthor": {
          "type": "string",
          "search_analyzer": "ik_max_word",
          "analyzer": "ik_max_word"
        },
        "propertyIssueUnit": {
          "type": "string",
          "search_analyzer": "ik_max_word",
          "analyzer": "ik_max_word"
        },
        "propertyStandardCode": {
          "type": "string",
          "search_analyzer": "ik_max_word",
          "analyzer": "ik_max_word"
        },
        "propertyLiteratureCategory": {
          "type": "string",
          "search_analyzer": "ik_max_word",
          "analyzer": "ik_max_word"
        },
        "propertyLcCode": {
          "type": "string",
          "search_analyzer": "ik_max_word",
          "analyzer": "ik_max_word"
        },
        "propertyLiteratureCode": {
          "type": "string",
          "search_analyzer": "ik_max_word",
          "analyzer": "ik_max_word"
        },
        "data": {
          "type": "text"
        },
        "attachment.content": {
          "type": "text",
          "search_analyzer": "ik_max_word",
          "analyzer": "ik_max_word"
        },
        "auditState": {
          "type": "string"
        },
        "infoType": {
          "type": "string"
        },
        "infoFileUrl": {
          "type": "string"
        },
        "infoFileName": {
          "type": "string",
          "search_analyzer": "ik_max_word",
          "analyzer": "ik_max_word",
          "fields": {
            "suggest": {
              "max_input_length": 60,
              "preserve_position_increments": false,
              "type": "completion",
              "preserve_separators": false,
              "analyzer": "ik_max_word"
            }
          }
        },
        "createTime": {
          "type": "string"
        }
      }
    }
  }
}

其中 elasticsearch 需要安装中文分词 ik 插件和附件处理插件 ingest-attachment

Java API 调用

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49

/**
 * 自动完成提示
 * @param search search
 * @return MessageBody
 */
public MessageBody autoCompleteKnowledgeInfo(KnowledgeSearch search) {
    //设置搜索建议
    CompletionSuggestionBuilder infoTitleSuggestion = new CompletionSuggestionBuilder("infoTitle.suggest")
            .text(search.getQuery())
            .size(6);
    CompletionSuggestionBuilder infoKeywordsSuggestion = new CompletionSuggestionBuilder("infoKeywords.suggest")
            .text(search.getQuery())
            .size(6);
    CompletionSuggestionBuilder infoSummarySuggestion = new CompletionSuggestionBuilder("infoSummary.suggest")
            .text(search.getQuery())
            .size(6);
    CompletionSuggestionBuilder infoFileNameSuggestion = new CompletionSuggestionBuilder("infoFileName.suggest")
            .text(search.getQuery())
            .size(6);
    SuggestBuilder suggestBuilder = new SuggestBuilder()
            .addSuggestion("标题", infoTitleSuggestion)
            .addSuggestion("关键字", infoKeywordsSuggestion)
            .addSuggestion("摘要", infoSummarySuggestion)
            .addSuggestion("附件",infoFileNameSuggestion);
    SearchRequestBuilder searchRequest = client.prepareSearch(ES_KNOWLEDGE_INDEX)
            .setFetchSource(false)
            .suggest(suggestBuilder);
    List<JSONObject> list = new ArrayList<>();

    //查询结果
    SearchResponse searchResponse = searchRequest.get();

    /*没查到结果*/
    if (searchResponse.getSuggest() == null) {
        return MessageBody.success(list);
    }
    searchResponse.getSuggest().forEach(entries -> {
        String name = entries.getName();
        for (Suggest.Suggestion.Entry<? extends Suggest.Suggestion.Entry.Option> entry : entries) {
            for (Suggest.Suggestion.Entry.Option option : entry.getOptions()) {
                JSONObject object = new JSONObject();
                object.put("name",name);
                object.put("text",option.getText().string());
                list.add(object);
            }
        }
    });
    return MessageBody.success(list);
}

代码摘取自项目中的部分, 另外前端还可以配合自动完成的插件,最终来实现效果.

背景

有时我们希望查询 固定条件下的全部数据
ES 默认的策略是返回10条数据
虽然可以 setSize()
但是默认上限是 10 万还是 100 万条数据,这不够优雅,一般不这么干

TransportClient 方法

1
2
3
4
5
6
7
8
9
10

TimeValue keepAlive = TimeValue.timeValueMinutes(30);
    SearchRequestBuilder searchRequest = client.prepareSearch(ES_KNOWLEDGE_INDEX)
            .setScroll(keepAlive)
            .setSize(10000);
    SearchResponse searchResponse = searchRequest.get();
    do {
        //处理的业务 saveIds(searchResponse);
        searchResponse = client.prepareSearchScroll(searchResponse.getScrollId()).setScroll(keepAlive).execute()
                .actionGet();
    } while (searchResponse.getHits().getHits().length != 0);

背景

因项目需求,需要一个自动提示的功能,想到之前有 jquery 的 jQuery-Autocomplete 插件,于是就直接拿来用了,
直接在github 上找到了一个 starts 最多的项目 jQuery-Autocomplete
看了下插件的 API 可配置项很多,有一个 appendTo 配置,是我想要的,于是就决定使用这个差价

直接把 插件下载下来 放到项目中去,直接 $(…).autocomplete is not a function
……

项目中我写的只是其中的一个模块,页面的代码是纯 html 页面写的,然后通过 panel 引入 html 代码片段
很奇怪,为什么插件无法加载

于是就就把官方的demo跑了一下,没有问题

又怀疑是 jQuery 版本的问题,
官方的demo jQuery 版本是 1.8.2,项目使用的是1.11.1,
于是又在官方的 demo 下替换jQuery的版本
发现使用没有问题

又怀疑是插件的版本过高,于是再 GitHub 的 release 上找了个2014年发布的1.2.2的版本,这已经是能找到的最低版本了
发现还是不行

这就奇怪了,我之前也引入过其他的插件,正常使用都没有问题,偏偏使用这个有问题
于是想着插件的引入方式有问题,打开一看,jQuery插件的引入方式都是大同小异的
本人前端不擅长,也不知道怎么改…..

于是又在 GitHub上找了其他的插件,有的能用,但是没有我想要的功能….

一直这么来来回回的测试,已经晚上 10 点了…..
从吃完晚饭一直研究到现在还是没有解决
心里好气啊!!!!!
空调一关,直接回家了!!!!

解决

今天早上来又差了点资料,找到了个不太靠谱,但又想尝试了下的方法
TypeError: $(…).autocomplete is not a function

试一下吧,没想到真的可以

发一张对比图

背景

这一段时间 GitHub 在国内的访问又出问题,代码提交不上去,需要在 Git 上走代理了

Git 使用 ss 代理配置

1. 需要全局 git 都走代理

1
2

git config --global http.proxy 'socks5://127.0.0.1:1080'
git config --global https.proxy 'socks5://127.0.0.1:1080'

取消

1
2

git config --global --unset http.proxy
git config --global --unset https.proxy

但是有时候我们并不需要所有的 git 仓库都走代理,可以去掉上述的命令中的 --global,然后到你需要走代理的那个 git 仓库下执行命令,或者添加配置:

2. 单独配置 git 走代理
   在 .git => config 文件中加入配置

1
2
3
4

[https]
	proxy = socks5://127.0.0.1:1080
[http]
	proxy = socks5://127.0.0.1:1080

其实,也就是上述命令执行后添加的配置.配置后就可以愉快的 clone push 了.

Ubuntu 使用全局代理

Windows 和 MacOS 下的 ss 全局代理很方便,点击切换下就可以了,而 Ubuntu 下需要多点操作:

1. 启动 shadowsocks-qt5，并连接上
2. 生成 pac 文件,如果有现成的 pac 文件,直接进入第四步
3. 生成 pac 文件

安装 pip

1
2

$ sudo pip install genpac
$ pip install -U genpac ## 安装或更新

创建 user-rules.txt 文件

1
2
3

mkdir vpnPAC
cd vpnPAC
touch user-rules.txt

生成 autoproxy.pac 文件

1

genpac --format=pac --pac-proxy="SOCKS5 127.0.0.1:1080" --output="autoproxy2.pac" --gfwlist-url="https://raw.githubusercontent.com/gfwlist/gfwlist/master/gfwlist.txt" --user-rule-from="user-rules.txt"

github 上的 gfwlist.txt 文件可能读取不到,多试几次

4. 配置使用

背景

昨天和别人吃饭谈起了家里宽带的问题，办了多少兆的宽带，网速能有多少等云云，对方是个小白，和他说了半天，但是有些深层次的原理我也弄不清楚，后来我上网科普了一下，现在整理如下

什么是宽带速率？

宽带速率是指技术上所能达到的理论最高信息传送比特率，一般是上传和下载的速度，速率越高，上传和下载的越快。用户申请的宽带业务速率指技术上所能达到的最大理论速率值。但用户上网时还受到用户电脑软硬件的配置、所浏览网站的地址、终端网站带宽等情况的影响。因此，用户上网时的速率通常低于理论速率值。

理论上，2M，即2Mb/s，宽带理论速率是 256KB/S。实际速率大约为103–200KB/S。（其原因是受用户计算机性能、网络设备质量、资源使用情况、网络高峰期、网站服务能力、线路衰耗、信号衰减等多因素的影响而造成的）。4M，即4Mb/s宽带理论速率是 512KB/S 实际速率大约为200—440KB/S。

计算方法

在计算机科学中，bit是表示信息的最小单位，叫做二进制位；一般用0和1表示。Byte叫做字节，由8个位（8bit）组成一个字节(1Byte)，用于表示计算机中的一个字符。bit与Byte之间可以进行换算，其换算关系为：1Byte=8bit（或简写为：1B=8b）；在实际应用中一般用简称，即1bit简写为1b(注意是小写英文字母b)，1Byte简写为1B（注意是大写英文字母B）。

在计算机网络或者是网络运营商中，一般，宽带速率的单位用bps(或b/s)表示；bps表示比特每秒即表示每秒钟传输多少位信息，是bit per second的缩写。在实际所说的1M带宽的意思是1Mbps（是兆比特每秒Mbps不是兆字节每秒MBps）。

换算公式：1B=8b 1B/s=8b/s(或1Bps=8bps)

规范提示：实际书写规范中B应表示Byte(字节)，b应表示bit(比特)，但在平时的实际书写中有的把bit和Byte都混写为b ，如把Mb/s和MB/s都混写为Mb/s，导致人们在实际计算中因单位的混淆而出错。

实例： 在我们实际上网应用中，下载软件时常常看到诸如下载速度显示为128KBps（KB/s），103KB/s等等宽带速率大小字样，因为ISP提供的线路带宽使用的单位是比特，而一般下载软件显示的是字节（1字节=8比特），所以要通过换算，才能得实际值。然而我们可以按照换算公式换算一下：

1Mb/s = 1024Kb/s = 128×8(Kb/s) = 128KB/s

即 1Mb/s = 128KB/s

宽带速率对照表

背景

最近维护了一个比较老的项目，操作数据库直接用的 Spring 的 JdbcTemplate，有很多地方我们传入的参数都是不确定的
简单的还好，复杂的 sql 语句在代码里用字符串拼接起来简直不能忍，
又不想对原来的项目有什么大的改动，就想这能不能在现在的基础上优化一下
还好有 NamedParameterJdbcTemplate

解释

具名参数: SQL 按名称(以冒号开头)而不是按位置进行指定. 具名参数更易于维护, 也提升了可读性. 具名参数由框架类在运行时用占位符取代
具名参数只在 NamedParameterJdbcTemplate 中得到支持。NamedParameterJdbcTemplate可以使用全部jdbcTemplate方法

初始化

1. 该类位于 org.springframework.jdbc.core.namedparam.NamedParameterJdbcTemplate
2. 有2个构造方法，参数分别是 DataSource 和 JdbcOperations

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

/**
 * Create a new NamedParameterJdbcTemplate for the given {@link DataSource}.
 * <p>Creates a classic Spring {@link org.springframework.jdbc.core.JdbcTemplate} and wraps it.
 * @param dataSource the JDBC DataSource to access
 */
public NamedParameterJdbcTemplate(DataSource dataSource) {
    Assert.notNull(dataSource, "DataSource must not be null");
    this.classicJdbcTemplate = new JdbcTemplate(dataSource);
}

/**
 * Create a new NamedParameterJdbcTemplate for the given classic
 * Spring {@link org.springframework.jdbc.core.JdbcTemplate}.
 * @param classicJdbcTemplate the classic Spring JdbcTemplate to wrap
 */
public NamedParameterJdbcTemplate(JdbcOperations classicJdbcTemplate) {
    Assert.notNull(classicJdbcTemplate, "JdbcTemplate must not be null");
    this.classicJdbcTemplate = classicJdbcTemplate;
}

3. 实例化 bean 只要将 dataSource 或者 JdbcTemplate 传入到构造参数即可

1
2
3
4

<bean id="namedParameterJdbcTemplate"
      class="org.springframework.jdbc.core.namedparam.NamedParameterJdbcTemplate">
    <constructor-arg ref="dataSource"/>
</bean>

使用

1. 注入 namedParameterJdbcTemplate

参数的传入

namedParameterJdbcTemplate 参数传入有 2 中方法：

1. Map<String, ?> paramMap 我们熟知的 map

2. SqlParameterSource paramSource
   该接口默认的实现有三个类：

   MapSqlParameterSource 实现非常简单，只是封装了java.util.Map；
   当 Map<String, ?> paramMap 用吧 或者 new MapSqlParameterSource(paramMap) 参数为 map

   BeanPropertySqlParameterSource 封装了一个JavaBean对象，通过JavaBean对象属性来决定命名参数的值。
   new BeanPropertySqlParameterSource(dto) new 出一个 BeanPropertySqlParameterSource 对象，构造方法传入实体类即可，绝大部分情况下我们都使用这种方式

   EmptySqlParameterSource 一个空的SqlParameterSource ，常用来占位使用
   没用过

数据返回

1. 返回 Map

2. 返回 RowMapper 包装好的实体类，该类有2中实现
   SingleColumnRowMapper ，sql结果为一个单列的数据，如List , List,String,Integer等

   BeanPropertyRowMapper， sql结果匹配到对象 List< XxxVO> , XxxVO

示例

1
2
3
4
5
6
7

KnowledgeInfo info = new KnowledgeInfo();
info.setAuditState("1");
List<KnowledgeInfo> infos = namedParameterJdbcTemplate.query(
        sql,
        new BeanPropertySqlParameterSource(info),
        new BeanPropertyRowMapper<>(KnowledgeInfo.class)
);

注意： sql 语句中的参数使用 :参数名 进行占位

须指定number类型的大小。

背景

今天连接远程服务器发生了以下的错误

1

ssh_exchange_identification: read: Connection reset

我想应该是我当前的 IP 地址被 DenyHosts 加入了黑名单
本来想只要将当前的 ip 地址在黑名单中去掉就可以了
没想到事实并不是如此,为此还查资料花费了一点功夫
现记录下来

解决

1. 停用 DenyHosts : systemctl stop denyhosts.service
2. 删除黑名单中当前的ip地址: vim /etc/hosts.deny
3. 进入 /var/lib/denyhosts

1
2
3
4
5
6
7
8
9
10

-rw-r--r-- 1 root root    39 2月  16 2015 allowed-hosts
-rw-r--r-- 1 root root 71451 7月  19 10:58 hosts
-rw-r--r-- 1 root root 71270 7月  19 10:58 hosts-restricted
-rw-r--r-- 1 root root 71433 7月  19 10:58 hosts-root
-rw-r--r-- 1 root root 71280 7月  19 10:58 hosts-valid
-rw-r--r-- 1 root root   105 7月  19 10:58 offset
-rw-r--r-- 1 root root     0 7月  19 10:58 suspicious-logins
-rw-r--r-- 1 root root 44731 7月  19 10:58 users-hosts
-rw-r--r-- 1 root root 50925 7月  19 10:58 users-invalid
-rw-r--r-- 1 root root   643 7月  19 10:58 users-valid

4. 依次在上面各个文件中移除自己当前的IP地址
5. 如果要将当前的IP地址添加到白名单中,可以在 /etc/hosts.allow 添加
   sshd: ip地址
   allowed-hosts 添加 IP地址
6. 重启 DenyHosts

注意: 这些文件里有很多被拉入黑名单的IP地址,vim编辑的时候可以在命令行模式下使用 /ip地址 来查找, n 和 N 上下翻动,再在命令行模式下 :noh 取消查找