文章插图
2、redis cluster的实验，多master写入，主从复制，高可用
redis cluster搭建起来了
redis cluster，提供了多个master，数据可以分布式存储在多个master上; 每个master都带着slave，自动就做读写分离; 每个master如果故障，那么久会自动将slave切换成master，高可用
redis cluster的基本功能，来测试一下
1、实验多master写入 -> 海量数据的分布式存储
你在redis cluster写入数据的时候，其实是你可以将请求发送到任意一个master上去执行
但是，每个master都会计算这个key对应的CRC16值，然后对16384个hashslot取模，找到key对应的hashslot，找到hashslot对应的master
如果对应的master就在自己本地的话，set mykey1 v1，mykey1这个key对应的hashslot就在自己本地，那么自己就处理掉了
但是如果计算出来的hashslot在其他master上，那么就会给客户端返回一个moved error，告诉你，你得到哪个master上去执行这条写入的命令
什么叫做多master的写入，就是每条数据只能存在于一个master上，不同的master负责存储不同的数据，分布式的数据存储
100w条数据，5个master，每个master就负责存储20w条数据，分布式数据存储
大型的java系统架构，还专注在大数据系统架构，分布式，分布式存储，hadoop hdfs，分布式资源调度，hadoop yarn，分布式计算，hadoop mapreduce/hive
分布式的nosql数据库，hbase，分布式的协调，zookeeper，分布式通用计算引擎，spark，分布式的实时计算引擎，storm
如果你要处理海量数据，就涉及到了一个名词，叫做大数据，只要涉及到大数据，那么其实就会涉及到分布式
redis cluster，分布式
因为我来讲java系统的架构，有时候跟其他人不一样，纯搞java，但是我因为工作时间很长，早期专注做java架构，好多年，大数据兴起，就一直专注大数据系统架构
大数据相关的系统，也涉及很多的java系统架构，高并发、高可用、高性能、可扩展、分布式系统
会给大家稍微拓展一下知识面，从不同的角度去讲解一块知识
redis，高并发、高性能、每日上亿流量的大型电商网站的商品详情页系统的缓存架构，来讲解的，redis是作为大规模缓存架构中的底层的核心存储的支持
高并发、高性能、每日上亿流量，redis持久化 -> 灾难的时候，做数据恢复，复制 -> 读写分离，扩容slave，支撑更高的读吞吐，redis怎么支撑读QPS超过10万，几十万; 哨兵，在redis主从，一主多从，怎么保证99.99%可用性; redis cluster，海量数据
java架构课，架构思路和设计是很重要的，但是另外一点，我希望能够带着大家用真正java架构师的角度去看待一些技术，而不是仅仅停留在技术的一些细节的点
给大家从一些大数据的角度，去分析一下我们java架构领域中的一些技术
天下武功，都出自一脉，研究过各种大数据的系统，redis cluster讲解了很多原理，跟elasticsearch，很多底层的分布式原理，都是类似的
redis AOF，fsync
elasticsearch建立索引的时候，先写内存缓存，每秒钟把数据刷入os cache，接下来再每隔一定时间fsync到磁盘上去
redis cluster，写可以到任意master，任意master计算key的hashslot以后，告诉client，重定向，路由到其他mater去执行，分布式存储的一个经典的做法
elasticsearch，建立索引的时候，也会根据doc id/routing value，做路由，路由到某个其他节点，重定向到其他节点去执行
分布式的一些，hadoop，spark，storm里面很多核心的思想都是类似的
后面，马上把redis架构给讲完之后，就开始讲解业务系统的开发，包括高并发的商品详情页系统的大型的缓存架构，jedis cluster相关api去封装和测试对redis cluster的访问
jedis cluster api，就可以自动针对多个master进行写入和读取
2、实验不同master各自的slave读取 -> 读写分离
在这个redis cluster中，如果你要在slave读取数据，那么需要带上readonly指令，get mykey1
redis-cli -c -h xxxx -p xxxxx
文章插图
启动，就会自动进行各种底层的重定向的操作
实验redis cluster的读写分离的时候，会发现有一定的限制性，默认情况下，redis cluster的核心的理念，主要是用slave做高可用的，每个master挂一两个slave，主要是做数据的热备，还有master故障时的主备切换，实现高可用的
redis cluster默认是不支持slave节点读或者写的，跟我们手动基于replication搭建的主从架构不一样的
推荐阅读
- 私域流量的真相
- 百度seo流量浮动，网站到底该如何应对？
- 对DBA、开发、测试、产品同时友好 大规模多存储场景的数据库选型与服务平台建设
- 手淘推荐是什么流量入口 手淘推荐流量怎么获得
- RSS|在流量大厂的围攻下 有人希望20多岁老掉牙的技术复活
- 手淘推荐流量突然下降 手淘推荐是什么流量
- 全球最大CDN厂商Akamai：新冠疫情下互联网流量激增带来的安全新挑战
- 淘宝店铺没有自然流量进来怎么办 淘宝店流量一直起不来
- 交管12123怎么取消缴费？
- 淘宝新品上架多久会有自然流量 淘宝每天上新品可以提高流量吗