InfoQServerless 实战：3 分钟实现文本敏感词过滤( 二 )

def filter(self, message, repl="*"):message = message.lower()ret = []start = 0while start
return ''.join(ret)
gfw = DFAFilter()gfw.parse( "./sensitive_words")content = " 这是一个关键词替换的例子，这里涉及到了关键词 1 还有关键词 2 ，最后还会有关键词 3 。 " * 1000startTime = time.time()result = gfw.filter(content)print(time.time()-startTime)
这里的字典库是：
with open("./sensitive_words", 'w') as f:f.write("\n".join( [ " 关键词 " + str(i) for i in range(0,10000)]))
执行结果：
0.06450581550598145
从中，我们可以看到性能又进一步得到了提升。
AC 自动机过滤敏感词算法
什么是 AC 自动机？简单来说， AC 自动机就是字典树 +kmp 算法 + 失配指针，一个常见的例子就是给出 n 个单词，再给出一段包含 m 个字符的文章，让你找出有多少个单词在文章里出现过。
代码实现：
import timeclass Node(object):def __init__(self):self.next = {}self.fail = Noneself.isWord = Falseself.word = ""
class AcAutomation(object):
def __init__(self):self.root = Node()
# 查找敏感词函数def search(self, content):p = self.rootresult = []currentposition = 0
while currentposition
if word in p.next:p = p.next[word]else:p = self.root
if p.isWord:result.append(p.word)p = self.rootcurrentposition += 1return result
# 加载敏感词库函数def parse(self, path):with open(path, encoding='utf-8') as f:for keyword in f:temp_root = self.rootfor char in str(keyword).strip():if char not in temp_root.next:temp_root.next[char] = Node()temp_root = temp_root.next[char]temp_root.isWord = Truetemp_root.word = str(keyword).strip()
# 敏感词替换函数def wordsFilter(self, text):""":param ah: AC 自动机:param text: 文本:return: 过滤敏感词之后的文本"""result = list(set(self.search(text)))for x in result:m = text.replace(x, '*' * len(x))text = mreturn text
acAutomation = AcAutomation()acAutomation.parse('./sensitive_words')startTime = time.time()print(acAutomation.wordsFilter(" 这是一个关键词替换的例子，这里涉及到了关键词 1 还有关键词 2 ，最后还会有关键词 3 。 "*1000))print(time.time()-startTime)
词库同样是：
with open("./sensitive_words", 'w') as f:f.write("\n".join( [ " 关键词 " + str(i) for i in range(0,10000)]))
使用上面的方法，测试结果为 0.017391204833984375 。
敏感词过滤方法小结
根据上文的测试对比，我们可以发现在所有算法中， DFA 过滤敏感词性能最高，但是在实际应用中， DFA 过滤和 AC 自动机过滤各自有自己的适用场景，可以根据具体业务来选择。
实现敏感词过滤 API
想要实现敏感词过滤 API ，就需要将代码部署到 Serverless 架构上，选择 API 网关与函数计算进行结合。以 AC 自动机过滤敏感词算法为例：我们只需要增加是几行代码就好：
# -*- coding:utf-8 -*-
import json, uuid
class Node(object):def __init__(self):self.next = {}self.fail = Noneself.isWord = Falseself.word = ""
class AcAutomation(object):
def __init__(self):self.root = Node()
# 查找敏感词函数def search(self, content):p = self.rootresult = []currentposition = 0
while currentposition
if word in p.next:p = p.next[word]else:p = self.root

InfoQServerless 实战：3 分钟实现文本敏感词过滤( 二 )

推荐阅读

孔蒂|迪马济奥：若孔蒂今夏离开国米阿莱格里将成新帅

#笑笑君#你好淡定啊，为啥你就与众不同呢！，搞笑GIF趣图:大妈

任嘉伦|请君22集封神！任嘉伦为一场哭戏酝酿整整三个月，不惧怕古偶标签

崂山贡红茶,崂山红茶怎么冲泡方法

晓萌美食|巧克力饼干、蔓越莓奶酥、黄瓜凉糕、黑米糕、南瓜糕的美味做法

思丝如针|但给我生了一儿一女，还照顾我妈，我很感恩，老婆虽然脾气差

#成都商报红星新闻#54岁妇科女专家转型科普：“守护她们，就是守护千万个家庭”

微信|微信这波更新！终于可以屏蔽群聊了

暴龙眼镜真假辨别

植物|好养的垂吊花，挂着养长得更好，开花多成了绿窗帘

吱呀|阴阳师笼目鸟皮肤获取及上线时间介绍面灵气笼目鸟皮肤怎么样

在XX大学读法律硕士是种啥体验

博弈论|斯蒂芬·金的“戒烟公司”

怀孕初期可以抱小孩吗

漂亮的女人和会持家的女人，男人会选择哪种？

江西进贤发生一起持刀伤害致死命案，警方：五名嫌疑人已被控制

「包献华」科技部：目前尚未发现复阳患者导致疾病传播案例

网络用语kp是什么意思？

电子税务局电子税务局登录时密码错误无法登录，如何处理？你知道吗？

【】欧盟以网络攻击为由制裁中方有关个人和实体驻欧盟使团回应