Mysql写入频繁,怎么破?这是我见过的最清晰的“神操作”

MySQL在写入压力很大 , 怎么办?

  • 高并发下的性能最大的问题 , 大都在数据库 , 以前我们做二十万超级群 , mongodb每个月都会出事故.
  • 我们聊聊,高并发下如何缓解mysql的压力
  • ??:mysql是锁锁表不锁库 , sqlite是锁库不锁表
环境准备
  • mac
  • mysql
  • navicat
  • wrk压测工具
  • node.js环境
下载wrkbrew install wrk
  • 如果这里卡住 , 可以调整
`替换brew.git:cd "$(brew --repo)"git remote set-url origin https://mirrors.ustc.edu.cn/brew.git替换homebrew-core.git:cd "$(brew --repo)/Library/Taps/homebrew/homebrew-core"git remote set-url origin https://mirrors.ustc.edu.cn/homebrew-core.git`
  • 再执行一次brew install wrk即可
使用Node.js连接mysql
  • 先准备一个执行sql语句函数
【Mysql写入频繁,怎么破?这是我见过的最清晰的“神操作”】`const mysql = require('mysql');const { MYSQL_CONF } = require('./config');const con = mysql.createConnection(MYSQL_CONF);//建立连接con.connect();//统一执行sql的方法function exec(sql) {const promise = new Promise((resolve, reject) => {con.query(sql, (error, result) => {if (error) {reject(error);}resolve(result);});});return promise;}//关闭连接function kill() {con.end();}module.exports = { exec, kill };`
  • 再准备一个配置文件 config.js(可以根据环境变量区分配置)
`//获取环境变量const env = process.env.NODE_ENV;let MYSQL_CONF;//开发环境的配置MYSQL_CONF = {host: 'localhost',user: 'root',password: '123456',port: '3306',database: 'blog',socketPath: '/tmp/mysql.sock',};module.exports = { MYSQL_CONF };`
  • 如上所示 , 跑起来
  • 首先创建测试表
`exec('CREATE TABLE IF NOT EXISTS TEST_WRITE(first_column INT , second_column VARCHAR(100));')` ![](https://imgkr.cn-bj.ufileos.com/89f03976-a79d-4242-bdf0-090a53f6438c.png)
  • 通过可视化工具Navicat可以看到表已经创建成功
开始模拟写入
  • 先写一个接口,用来模拟用户请求 , 写入数据库
`App.get('/test', (req, res) => {exec("INSERT INTO first_table(first_column, second_column) VALUES(1, 'aaa');");res.json(success({ errcode: 0, data: {} }));});` 介绍下wrk
  • wrk是一个用来做HTTP benchmark测试的工具 。可以产生显著的压力 。相比于Apache ab功能更为强大 , 可以使用lua脚本来支持更为复杂的测试场景 , 例如PUT请求等 。在对于Restful架构的API接口来说 , 测试起来更加便捷 。
  • 使用方法
`使用方法: wrk <选项> <被测HTTP服务的URL>Options:-c, --connections <N>跟服务器建立并保持的TCP连接数量-d, --duration<T>压测时间-t, --threads<N>使用多少个线程进行压测-s, --script<S>指定Lua脚本路径-H, --header<H>为每一个HTTP请求添加HTTP头--latency在压测结束后 , 打印延迟统计信息--timeout<T>超时时间-v, --version打印正在使用的wrk的详细版本信息<N>代表数字参数 , 支持国际单位 (1k, 1M, 1G)<T>代表时间参数 , 支持时间单位 (2s, 2m, 2h)`
  • 目前我们服务跑在本地http://localhost://8080
  • 测试下
`wrk -t8 -c500 -d2s --latency "http://localhost:8080/test"`
  • 采用8个线程 , 500个长链接 , 压测2秒
  • 结果:
`Running 2s test @ http://localhost:8080/test8 threads and 500 connectionsThread StatsAvgStdevMax+/- StdevLatency40.70ms9.60ms83.48ms66.26%Req/Sec640.89328.891.43k64.29%Latency Distribution50%39.26ms75%46.33ms90%54.32ms99%65.23ms8980 requests in 2.08s, 3.13MB readSocket errors: connect 253, read 201, write 0, timeout 0Requests/sec:4321.60Transfer/sec:1.50MB`
  • 2s内完成了8980个请求 , 3.13mb的数据读取
  • 当然你也可以用lua脚本个性化测试,这里不做过度的讲解 , 有兴趣可以去学习下
  • 数据库结果 , 写入成功

Mysql写入频繁,怎么破?这是我见过的最清晰的“神操作”

文章插图
 
加大压力测试
  • 加大压力测试
`wrk -t15 -c1000 -d30s --latency "http://localhost:8080/test"`
  • 此时cpu打到了25%,当然我这是一台Mac pro , 如果是普通的机器估计此时已经...

Mysql写入频繁,怎么破?这是我见过的最清晰的“神操作”

文章插图
 


推荐阅读