中文搜索和英文搜索,哪一个技术难度更高

除了分词,其他都差不多
■网友
我目前想过有2个不同之处,关于中英文搜索1 分词在表面上,英文依靠空格分词,CJK 中文日文韩文都没有空格 .. 似乎是英文的空格分词很容易「抽出关键词」。2 近义词一个后续的问题是对于表达同一个意思(比如某个动宾词组),英文有太多的说法,而中文基本上都是一些固定的、字符相同的动宾词组:比如中文可以搜索「看电影 电影院 注意事项」大致就是想知道去电影院看电影有哪些特别注意事项,汉语就是这么说的。对于英文,可能有 10 个不同的英文单词,都能表达「注意事项」这一个意思,它们互为近义词(当然有使用的高频低频之分)。这个问题是如何解决的呢?机器怎么知道这个单词和那个单词表达的是同一个意思,即使字符是不同的?希望指教


    推荐阅读