如何使用Python构建一个抄袭检测系统?

译者 | 布加迪
随着数字内容越来越受欢迎,保护它们免受复制和滥用变得比以往更加重要 。抄袭检测工具可以帮助教师评估学生的作业,帮助机构审阅研究论文,帮助作家发现其知识产权被盗的现象 。
构建抄袭检测工具可以帮助您理解序列匹配、文件操作和用户界面 。您还可以探索自然语言处理(NLP)技术以改进您的应用程序 。
Tkinter和Difflib模块要构建抄袭检测器,您将使用Tkinter和Difflib模块 。Tkinter是一个简单的跨平台库,可以用来快速创建图形用户界面 。
Difflib模块是Python/ target=_blank class=infotextkey>Python标准库的一部分,它提供了用于比较字符串、列表和文件等序列的类和函数 。有了它,您可以构建文本自动纠错器、简化版本控制系统或文本摘要工具之类的程序 。
如何使用Python构建抄袭检测器?导入所需的模块 。定义一个方法load_file_or_display_contents(),它接受entry和text_widget作为参数 。该方法将加载文本文件,并在文本组件中显示内容 。
使用get()方法提取文件路径 。如果用户没有输入任何内容,使用askopenfilename()方法打开文件对话框窗口,选择想要进行抄袭检查的文件 。如果用户选择了文件路径,从头到尾清除前一个条目(如果有的话),并插入所选择的路径 。
复制
import tkinter as tk
from tkinter import filedialog
from difflib import SequenceMatcher
def load_file_or_display_contents(entry, text_widget):
file_path = entry.get()
if not file_path:
file_path = filedialog.askopenfilename()
if file_path:
entry.delete(0, tk.END)
entry.insert(tk.END, file_path)
以读取模式打开文件,并将内容存储在text变量中 。清除text_widget的内容,并插入前面提取的文本 。
复制
with open(file_path, 'r') as file:
text = file.read()
text_widget.delete(1.0, tk.END)
text_widget.insert(tk.END, text)
定义一个方法compare_text(),您将用它来比较两段文本并计算它们的相似度百分比 。使用Difflib的SequenceMatcher()类来比较序列并确定相似度 。将自定义比较函数设置为None以使用默认比较,并传递想要比较的文本 。
使用比率方法以浮点格式获得相似度,可以用来计算相似度百分比 。使用get_opcodes()方法检索一组操作,可以用来高亮显示文本的相似部分,并将其与相似度百分比一同返回 。
复制
def compare_text(text1, text2):
d = SequenceMatcher(None, text1, text2)
similarity_ratio = d.ratio()
similarity_percentage = int(similarity_ratio * 100)
diff = list(d.get_opcodes())
return similarity_percentage, diff
定义一个方法show_similarity() 。使用get()方法从两个文本框中提取文本,并将它们传递给compare_text()函数 。清除将显示结果的文本框中的内容,插入相似度百分比 。从之前的高亮显示中删除“same”标签(如果有的话) 。
复制
def show_similarity():
text1 = text_textbox1.get(1.0, tk.END)
text2 = text_textbox2.get(1.0, tk.END)
similarity_percentage, diff = compare_text(text1, text2)
text_textbox_diff.delete(1.0, tk.END)
text_textbox_diff.insert(tk.END, f"Similarity: {similarity_percentage}%")
text_textbox1.tag_remove("same", "1.0", tk.END)
text_textbox2.tag_remove("same", "1.0", tk.END)
get_opcode()方法返回五个元组:操作码字符串、第一个序列的开始索引、第一个序列的结束索引、第二个序列的开始索引和第二个序列的结束索引 。
操作码字符串可以是四个可能的值之一:replace、delete、insert和equal 。当两个序列中的一部分文本不同,并且有人把一部分换成另一部分时,您将获得replace 。当文本的一部分存在于第一个序列而不存在于第二个序列时,您将获得delete 。
当文本的一部分在第一个序列中不存在但在第二个序列中存在时,您将获得insert 。当文本的部分相同时,您将获得equal 。将所有这些值存储在适当的变量中 。如果操作码字符串是equal,向文本序列添加same标签 。
复制
for opcode in diff:
tag = opcode[0]
start1 = opcode[1]
end1 = opcode[2]
start2 = opcode[3]
end2 = opcode[4]
if tag == "equal":
text_textbox1.tag_add("same", f"1.0+{start1}c", f"1.0+{end1}c")
text_textbox2.tag_add("same", f"1.0+{start2}c", f"1.0+{end2}c")
初始化Tkinter根窗口 。设置窗口的标题,并在其中定义一个框架 。在两个方向用适当的填充来组织框架 。定义两个标签以显示Text 1和Text 2 。设置它应该驻留的父元素和它应该显示的文本 。


推荐阅读