纸上得来终觉浅,绝知此事多宕机...记录一下自己很蠢的一次故障处理过程。

上周的时候,一个刚上线的系统又开始反映登不上了,因为最近这个系统也老是出现这个问题,开发也一直在找问题中,所以也没太在意。于是登上操作系统,mysql -uroot -p登录数据库,然后就一直没反应,登不上...

交代一下,mysql是装在mysql用户下的,装的时候虽然对数据库参数有进行调优,但是操作系统层面没做调整,所以mysql用户的最大文件打开数限制为默认的1024,用ulimit -n可以查询。然后我在用mysql的root账号登录数据库的时候也是在mysql这个系统用户下登录的,然后看了下当时服务器的负载,cpu和内存这些都很正常,但是存在大量应用到数据库的连接。

到这儿问题应该就很清楚了,系统用户mysql文件打开数可能达到了最大限制,当然不能打开更多的连接。

然而当时我并没有想到这一点,我想到的不是换个系统用户登录,不是停掉应用,而是重启数据库。。。而且这个数据库跑的不只这一个业务,虽然也都不是什么重要的业务。。。

于是我就准备重启数据库,仍然是在mysql用户下执行mysqladmin -uroot -p shutdown。毫无疑问,这肯定也是没有反应的,道理跟前面root账号连不上数据库是一样的,ctrl+C后有以下报错

^Cmysqladmin: connect to server at 'localhost' failederror: 'Lost connection to MySQL server at 'waiting for initial communication packet', system error: 4'

今天再登上数据库看的时候,发现有几个参数跟我配置文件里写的不一样,比如max_connections、table_open_cache等,都是设置的默认值,看了下上次启动日志,确实也有告警

2019-03-15T08:14:03.038750Z 0 [Warning] Changed limits: max_open_files: 1024 (requested 12010)2019-03-15T08:14:03.038911Z 0 [Warning] Changed limits: max_connections: 214 (requested 2000)2019-03-15T08:14:03.038916Z 0 [Warning] Changed limits: table_open_cache: 400 (requested 5000)
set global max_connections=2000;set global table_open_cache=5000;

要解决也很简单,增大操作系统用户mysql的限制值就行了,在配置文件/etc/security/limits.conf后面加上新的限制值就行了。

mysql  soft  nofile 32768mysql  hard  nofile 65535

更多相关文章

  1. 2011.11.25——— android ndk 坑爹的cygwin
  2. Android(安卓)读取doc文件
  3. 如何去掉状态栏和内容视图之间的黑色阴影线
  4. 浅谈Java中Collections.sort对List排序的两种方法
  5. NPM 和webpack 的基础使用
  6. 【阿里云镜像】使用阿里巴巴DNS镜像源——DNS配置教程
  7. 读取android手机流量信息
  8. android 使用html5作布局文件: webview跟javascript交互
  9. Android(安卓)多媒体扫描过程(Android(安卓)Media Scanner Proces

随机推荐

  1. Android(安卓)layout 优化:使用include和m
  2. Android 各大网络请求库的比较及实战,andr
  3. 2014 年 Android 碎片化报告
  4. Android开发之webview和 js 互调
  5. 最新Android开发视频教程(共6章)Android St
  6. 微软手握的 Android(安卓)专利一年可捞 4
  7. android 的现状和未来涉及的领域 以及开
  8. Android平台中进程与线程的基本知识
  9. Android面试经验一:
  10. Android手势源码浅析-----手势绘制(Gestu