app开发者平台在数字化时代的重要性与发展趋势解析
4129
2022-10-13
【异常】The last packet successfully received from the server was 179 milliseconds ago.
问题
系统中功能批量插入,当数据量大了之后这个插入不进去了,报出异常如下
Caused by: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException:Communications link failurejdbc.exceptions.jdbc4.CommunicationsException: Communications link failureThe last packet successfully received from the server was 179 milliseconds ago.The last packet sent successfully to the server was 180 milliseconds
解决过程
其实这个问题特别简单,就是超时了,根据打印的sql记录,还能显示出执行插入sql的时候超时了。问题一目了然,对于这个模块来说本质上是循环插入的,但是这样数据库的IO操作比较多,所以我就把这一部分整合到一起插入,结果数据量大,插入方法时间执行过长了。
最简单的方式
将数据拆分每500条执行一次插入操作,缺点IO操作比较多,没有从本质解决问题。
彻底排除错误
排查过程 先说系统数据库连接这一部分配置 1、数据库 2、mycat 3、druid 4、p6sy 超时的问题就是上述某一部分或者某几部分连接超时造成,那就逐步排查吧。 1、p6sy 先排除p6sy,因为p6sy是将程序中执行的sql规范化,只是对执行sql加工处理,不涉及时间的问题。 2、Druid数据源 DruidDataSource配置属性列表 其中属性:timeBetweenEvictionRunsMillis,作用是: Destroy线程会检测连接的间隔时间,如果连接空闲时间大于等于minEvictableIdleTimeMillis则关闭物理连接。系统配置的是28800秒,将其调大后,问题没有解决,说明不是druid的配置造成的。 3、Mycat 这一部分的检测是直接将mycat换成直连mysql,根据判断问题是否解决,以验证是否为mycat造成的。 重试,问题依旧没有得到解决。 4、MySQL 经过上面的排查,可以得知MySQL的配置限制了程序的运行。查看MySQL的连接时间配置。
show global variables like
简单介绍一下每个时间代表的意义
connect_timeout 连接超时 mysql连接共有6次握手,3次TCP协议这个跟connect_timeout参数没有关系,另外3次跟connect_timeout参数有关系,该参数主要是为了防止网络不佳时应用重连导致连接数涨太快,一般默认即可。
delayed_insert_timeout 这是为MyISAM INSERT DELAY设计的超时参数,在INSERT DELAY中止前等待INSERT语句的时间
interactive_timeout 服务器关闭交互式连接前等待活动的秒数。交互式客户端定义为在mysql_real_connect()中使用CLIENT_INTERACTIVE选项的客户端。参数默认值:28800秒(8小时)
lock_wait_timeout 锁等待超时时间
net_read_timeout / net_write_timeout 这个参数只对TCP/IP链接有效,分别是数据库等待接收客户端发送网络包和发送网络包给客户端的超时时间,这是在Activity状态下的线程才有效的参数
slave_net_timeout 解释:这是Slave判断主机是否挂掉的超时设置,在设定时间内依然没有获取到Master的回应就人为Master挂掉了
wait_timeout 服务器关闭非交互连接之前等待活动的秒数
分析上面超时时间代表的含义,再根据自己的情况,修改
解决方案
net_read_timeout/net_write_timeout的时间调大,重新测试完美解决!
【总结】
这个问题对于我来说花费时间还是比较多的,原因一开始没有分析造成问题可能的原因,只是拿着问题不断的查询,而别人的方案不一定适用于自己,所以以后遇到问题一定要先分析清楚,之后在尝试去解决。这样对症下药,从根本上解决问题。还有一方面就是自己经验还是太少,还需要大幅度的提升!
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。
发表评论
评论列表