北大开源高档工具包：准确率远超THULAC、结巴分词

pkuseg 具有如下几个特点：

• 高分词准确率：相比于其他的分词工具包，该工具包在不同领域的数据上都大幅提高了分词的准确度。根据北大研究组的测试结果，pkuseg 分别在示例数据集（MSRA 和 CTB8）上降低了 79.33% 和 63.67% 的分词错误率。

• 多领域分词：研究组训练了多种不同领域的分词模型。根据待分词的领域特点，用户可以自由地选择不同的模型。

• 支持用户自训练模型：支持用户使用全新的标注数据进行训练。

此外，作者们还选择 THULAC、结巴分词等国内代表分词工具包与 pkuseg 做性能比较。他们选择 Linux 作为测试环境，在新闻数据（MSRA）和混合型文本（CTB8）数据上对不同工具包进行了准确率测试。此外，测试使用的是第二届国际汉语分词评测比赛提供的分词评价脚本。评测结果如下：我们可以看到，最广泛使用的结巴分词准确率***，清华构建的 THULAC 分词准确率也没有它高。当然，pkuseg 是在这些数据集上训练的，因此它在这些任务上的准确率也会更高一些。

预训练模型

分词模式下，用户需要加载预训练好的模型。研究组提供了三种在不同类型数据上训练得到的模型，根据具体需要，用户可以选择不同的预训练模型。以下是对预训练模型的说明：

• MSRA：在 MSRA（新闻语料）上训练的模型。新版本代码采用的是此模型。

• CTB8：在 CTB8（新闻文本及网络文本的混合型语料）上训练的模型。

• WEIBO：在微博（网络文本语料）上训练的模型。

其中，MSRA 数据由第二届国际汉语分词评测比赛提供，CTB8 数据由 LDC 提供，WEIBO 数据由 NLPCC 分词比赛提供。在 GitHub 项目中，这三个预训练模型都提供了下载地址。

安装与使用

pkuseg 的安装非常简单，我们可以使用 pip 安装，也可以直接从 GitHub 下载：

（编辑：应用网_丽江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!