ElasticSearch 更改search线程池

elasticsearch > 5.0 更改thread pool

0x00 报错

es崩溃查看日志,由于search 线程设置过小导致程序崩溃,默认search线程大小为((cpu个数 * 3) / 2) + 1

error_log
Caused by: org.elasticsearch.common.util.concurrent.EsRejectedExecutionException:
rejected execution of [email protected] on EsThreadPoolExecutor
[search, queue capacity = 1000, [email protected]522e89
[Running, pool size = 13, active threads = 13, queued tasks = 52728, completed tasks = 314227215]]

1. 查看线程状态

GET /_cat/thread_pool
V3IzzeC bulk 0 0 0
V3IzzeC fetch_shard_started 0 0 0
V3IzzeC fetch_shard_store 0 0 0
V3IzzeC flush 0 0 0
V3IzzeC force_merge 0 0 0
V3IzzeC generic 2 0 0
V3IzzeC get 0 0 0
V3IzzeC index 0 0 0
V3IzzeC listener 0 0 0
V3IzzeC management 3 0 0
V3IzzeC refresh 0 0 0
V3IzzeC search 13 0 1272
V3IzzeC snapshot 0 0 0
V3IzzeC warmer 0 0 0
#也可用此api查询
GET /_cat/thread_pool/search?v&h=id,name,active,queue,rejected,completed
  • 第一列 V3IzzeC节点名称
  • 第二列 线程池名称
  • 第三列 线程活动
  • 第四列 线程队列
  • 第五列 线程拒绝

2. 查看线程状态

GET /_nodes/thread_pool/
"search": {
"type": "scanling",
"min": 0,
"max": 13,
"queue_size": 13
},



0x01 解决

从ElasticSearch5.0 开始,无法通过api更改线程池,需要更改elasticsearch.yml并重启才能生效配置

更改配置文件elasticsearch.yml增加如下内容

elasticsearch.yml
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
thread_pool.search.queue_size: 500
#queue_size允许控制没有线程执行它们的挂起请求队列的初始大小。
thread_pool.search.size: 200
#size参数控制线程数,默认为核心数乘以5。
thread_pool.search.min_queue_size:10
#min_queue_size设置控制queue_size可以调整到的最小量。
thread_pool.search.max_queue_size: 1000
#max_queue_size设置控制queue_size可以调整到的最大量。
thread_pool.search.auto_queue_frame_size: 2000
#auto_queue_frame_size设置控制在调整队列之前进行测量的操作数。它应该足够大,以便单个操作不会过度偏向计算。
thread_pool.search.target_response_time: 6s
#target_response_time是时间值设置,指示线程池队列中任务的目标平均响应时间。如果任务通常超过此时间,则将调低线程池队列以拒绝任务。


重启es,重新查看线程信息

GET /_nodes/thread_pool/
"search": {
"type": "fixed_auto_queue_size",
"min": 200,
"max": 200,
"queue_size": 500
},



0x02 Refer

https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-threadpool.html
https://www.elastic.co/guide/en/elasticsearch/reference/current/cat-thread-pool.html