一、实现高性能数据库集群
一般我们业务在读多写少的场景下,遇到的第一个瓶颈就是数据库这块,大量的读请求会来到数据库,这样如果你初期部署的一个数据库就会造成IO大量增加,使得请求变慢,甚至会卡死整个数据库,到了这个阶段,我们一般会将读请求和写请求进行分开数据处理,即采用主从读写分离的方式 。
注:这里说的是主从并不是主备,主从中的从服务器是要承担业务的,而主备中备份机器一般只作为备份存在 。
我们采用主从读写分离的方式,目的是为了将更多的读请求进行分发来缓解我们的大量读请求 。
读写分离架构原理正如上面所说,读写分离是为了将请求流量分散到不同的数据库节点上,将写入数据的请求分发到主数据库,读取数据的请求分发到从数据库,从数据可以有多台,即一主多从 。如下图:
文章插图
从上图可看出,有个关键技术就是主从复制,每次写入数据的时候,需要将主服务器数据复制到从服务器中,用来确保数据一致性 。下面我们来单独看看主从是怎么复制的,以我们互联网中最熟悉的MySQL为例 。
文章插图
- 从服务器连接上主服务器,启动复制的时候,则会自身创建一个IO线程去像主数据库服务器拉取binlog的更新信息 。
- 把拉过来的binlog信息写到自己服务器的一个relay log日志文件中 。
- 从数据库服务器创建一个SQL线程,是为了将relay log的所有日志信息,进行sql回写到自己的数据库中,这样就和主库的数据一模一样了 。
- 当主数据库有数据更新的时候,比如新插入了一条或者update了一条数据,这时候主库会将这些数据更新到binlog二进制文件中,同时,主库会创建一个binlog dump线程,这个线程将更新了的binlog信息发送到从库的IO线程,需要注意的是,这个过程是异步的,如果等着从库接受完成,是不是特别慢,且影响性能 。
但是,我们不能一味的加从数据库,加个十七八个的,这样做是无脑的操作啊,你想想看,你加一堆的的从数据库连接到数据库,复制他的数据,太多的IO线程会造成主数据不堪重负的,就会造成你写入数据慢,还会卡死,这就悲剧了 。所以,不能这么搞啊,一般生产环境一个主数据库挂三个从数据就行了,最多不能超过5个以上,要是还是不满足肯定就会有其他方案了啊,多级缓存方案啊,是不是,后面会讲的 。
主从延时上面说了主从读写分离的那么多好处,主从同步是有延迟的,当然,这个延时一般都在ms级别,但是如果到了秒级别,可能就会对有些业务造成影响,看我们能否接受 。比如,我们在支付系统创建支付单后,风控系统会进入查询作出相应的风控操作,如果查不到就会可能终止本次交易了 。
主从延迟优化
- 我们可以在这些立马需要查的业务,让它直接查主数据库,但是这种方案不推荐,因为量大怕会拖垮主数据
- 当从数据库读取不到,我们回去再读主数据,这样就能读到数据了 。但是,这种也是有风险的,量大也会拖垮主库 。
- 像我前面文章提到过,分重要性业务和非重要业务,将很核心的几个业务查主数据,其他非核心,读写分离 。
- 使用缓存,将新增的数据同时添加一份缓存,然后查缓存数据,这种建议新增的数据使用缓存较好 。
- 使用消息队列中间件进行消息冗余,将新的主数据内容,通过消息中间件MQ冗余一份当前数据,然后发到需要查询的系统 。
推荐阅读
- 数据库界的swagger,连接数据库直接生成数据库文档
- mysql数据库怎么查询数据库是否存在?
- 中兴|央视对话中兴:数据库为什么必须掌握在自己手里?
- mysql数据库的最大连接数怎么查询?
- 成年分离焦虑
- 数据库设计三大规范 数据库设计规范
- MyBatis源码解读 | 使用MyBatis操作数据库
- mysql数据库中的my.ini路径在哪里?
- windows基于nginx部署Spring-boot+vue前后端分离项目
- 新一代HTAP数据库崛起,MySQL生态的最佳归宿?