最新消息:

Redis故障整理-既是热key也是大key导致网卡PPS过高

IT技术 ipcpu 1805浏览 0评论

Redis故障整理-热key也是大key导致网卡PPS过高.md

之前我们遇到过热key,命中了集群中的一组服务器,导致其网卡PPS超出了极限值,经常性出现redis响应变慢的问题。

我们随即对机器和网卡进行了升级,升级成多队列网卡,设置了4个CPU和网卡队里一一对应。

升级完以后,Redis的整体平均响应时间确实变短了,但是仍然会存在一些响应慢的情况出现,经过分析多张监控图的现象,我们发现Redis的QPS一直很稳定,如下图

但是每次当Redis响应变慢时,Redis主机向外传输的数据量就会有明显的升高,如下图的对照,

因为我们怀疑程序中存在频繁请求大KEY的情况,
因为我们使用RDR工具对RDB文件进行分析,把TOP100大KEY拿了出来。
但是这些大KEY其实并不是频繁调用的,所以我们有使用Redis Monitor工具,抓取了1小时数据。
然后MONITOR抓包数据和大KEY列表去交集。
果然发现了一个异常的情况,有一个key,大小是256K左右,访问量也非常高,请求非常频繁,甚至最多的时候每秒钟好几百次。
于是我们找到开发人员,陈述了这个情况,经过代码方面的优化,这个访问频率降了下来,同时Redis响应缓慢的问题也得到了解决。
我们优化后的监控图,可以看到网络流量比以前少,整体Redis响应时间也变短了。

转载请注明:IPCPU-网络之路 » Redis故障整理-既是热key也是大key导致网卡PPS过高

发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址