一款流行的Python第三方中文分词库jieba库CHAPTER15

CONTENTS目录01jieba库简介02jieba的安装和使用03应用实例

jieba库jieba库简介jieba分词采用的是基于统计的分词方法给定大量已分好词的文本，利用机器学习学习分词规律然后保存训练好的模型，从而实现对新的文本的分词Python第三方中文分词库

jieba库jieba库的步骤先加载自带的字典，生成trie树给定待分词的句子，使用正则表达式获取连续的中文字符和英文字符，切分成短语列表，对每个短语使用DAG和动态规划，得到最大概率路径，对DAG中那些没有在字典中查到的字，组合成一个新的片段短