redis缓存雪崩 缓存穿透 缓存击穿如何解决


redis缓存雪崩 缓存穿透 缓存击穿如何解决

文章插图
redis缓存雪崩 缓存穿透 缓存击穿如何解决

文章插图
缓存异常场景分类
在实际生产环境中有时会遇到缓存穿透、缓存击穿、缓存雪崩等异常场景,为了避免异常带来巨大损失 , 我们需要了解每种异常发生的原因以及解决方案,帮助提升系统可靠性和高可用 。
redis缓存雪崩 缓存穿透 缓存击穿如何解决

文章插图
缓存穿透
什么是缓存穿透?缓存穿透是指用户请求的数据在缓存中不存在即没有命中,同时在数据库中也不存在,导致用户每次请求该数据都要去数据库中查询一遍,然后返回空 。
如果有恶意攻击者不断请求系统中不存在的数据,会导致短时间大量请求落在数据库上,造成数据库压力过大,甚至击垮数据库系统 。
缓存穿透常用的解决方案(1)布隆过滤器(推荐)
布隆过滤器(Bloom Filter,简称BF)由Burton Howard Bloom在1970年提出,是一种空间效率高的概率型数据结构 。
布隆过滤器专门用来检测集合中是否存在特定的元素 。
如果在平时我们要判断一个元素是否在一个集合中 , 通常会采用查找比较的方法,下面分析不同的数据结构查找效率:
  • 采用线性表存储,查找时间复杂度为O(N)
  • 采用平衡二叉排序树(AVL、红黑树)存储,查找时间复杂度为O(logN)
  • 采用哈希表存储,考虑到哈希碰撞,整体时间复杂度也要O[log(n/m)]
【redis缓存雪崩 缓存穿透 缓存击穿如何解决】当需要判断一个元素是否存在于海量数据集合中,不仅查找时间慢,还会占用大量存储空间 。接下来看一下布隆过滤器如何解决这个问题 。
布隆过滤器设计思想
布隆过滤器由一个长度为m比特的位数组(bit array)与k个哈希函数(hash function)组成的数据结构 。位数组初始化均为0,所有的哈希函数都可以分别把输入数据尽量均匀地散列 。
当要向布隆过滤器中插入一个元素时,该元素经过k个哈希函数计算产生k个哈希值,以哈希值作为位数组中的下标,将所有k个对应的比特值由0置为1 。
当要查询一个元素时,同样将其经过哈希函数计算产生哈希值,然后检查对应的k个比特值:如果有任意一个比特为0,表明该元素一定不在集合中;如果所有比特均为1,表明该集合有可能性在集合中 。为什么不是一定在集合中呢?因为不同的元素计算的哈希值有可能一样,会出现哈希碰撞,导致一个不存在的元素有可能对应的比特位为1 , 这就是所谓“假阳性”(false positive) 。相对地 , “假阴性”(false negative)在BF中是绝不会出现的 。
总结一下:布隆过滤器认为不在的 , 一定不会在集合中;布隆过滤器认为在的,可能在也可能不在集合中 。
举个例子:下图是一个布隆过滤器 , 共有18个比特位 , 3个哈希函数 。集合中三个元素x,y,z通过三个哈希函数散列到不同的比特位,并将比特位置为1 。当查询元素w时 , 通过三个哈希函数计算 , 发现有一个比特位的值为0,可以肯定认为该元素不在集合中 。
redis缓存雪崩 缓存穿透 缓存击穿如何解决

文章插图
布隆过滤器优缺点
优点:
  • 节省空间:不需要存储数据本身,只需要存储数据对应hash比特位
  • 时间复杂度低:插入和查找的时间复杂度都为O(k) , k为哈希函数的个数
缺点:
  • 存在假阳性:布隆过滤器判断存在 , 可能出现元素不在集合中;判断准确率取决于哈希函数的个数
  • 不能删除元素:如果一个元素被删除,但是却不能从布隆过滤器中删除,这也是造成假阳性的原因了
布隆过滤器适用场景
  • 爬虫系统url去重
  • 垃圾邮件过滤
  • 黑名单
(2)返回空对象
当缓存未命中,查询持久层也为空,可以将返回的空对象写到缓存中,这样下次请求该key时直接从缓存中查询返回空对象,请求不会落到持久层数据库 。为了避免存储过多空对象,通常会给空对象设置一个过期时间 。
这种方法会存在两个问题: