NLTK下英文分词,怎样建立自定义字典
用正则表达式预处理一下,比如替换成 RSA_100xx
■网友
使用MWETokenizer可以自定义词语
【NLTK下英文分词,怎样建立自定义字典】 \u0026gt;\u0026gt;\u0026gt; import nltk
\u0026gt;\u0026gt;\u0026gt; from nltk.tokenize import MWETokenizer
\u0026gt;\u0026gt;\u0026gt; test = \u0026#39;In a little or a little bit or a lot in spite of\u0026#39;
\u0026gt;\u0026gt;\u0026gt; nltk.word_tokenize(test)
\u0026gt;\u0026gt;\u0026gt; tokenizer = MWETokenizer(, separator = \u0026#39;_\u0026#39;)
\u0026gt;\u0026gt;\u0026gt; tokenizer.add_mwe((\u0026#39;in\u0026#39;, \u0026#39;spite\u0026#39;, \u0026#39;of\u0026#39;))
\u0026gt;\u0026gt;\u0026gt; tokenizer.tokenize(nltk.word_tokenize(test))
参考文档
nltk.tokenize package
■网友
大佬, 这个问题, 你解决了吗~
■网友
知道词汇的话,比如“RSA 100xx”直接加到NLTK词典;
不知道的话,这个就复杂了,请Google新词发现
推荐阅读
- 大学要开始查文献le,求问有哪些中英文的文献网站或下载工具(最好是医药,生命科学类的),多谢啦?
- 有哪些好的学习英文的视频网站
- 我想学java和安卓软件开发?
- 有一个想法:在不同的程序里,使用不用的输入法默认设置, 减少用户切换中英文的次数。大家感觉咋样
- 有哪些好看的成人英文电子书kindle
- IT在金融领域是怎样应用的
- 腾讯公司的英文名为啥叫做 Tencent(十美分)
- Windows英文版和安装英语语言包的Windows中文版有啥区别
- 有啥好的英文资讯聚合网站或软件
- 软粉用英文咋说