python之jieba分词库使用

见贤思齐

目录一.介绍A.什么是jieba库B.jieba库的特点和优势C.安装jieba库二.分词基础A.字典加载B.分词模式C.使用示例三.自定义词典A.添加词语B.载入自定义词典C.使用示例四.关键词提取A.基于TF-IDF算法的关键词提取B.基于TextRank算法的关键词提取C.使用示例五.词性标注A.词性标注集B.使用示例六.并行分词A.并行分词的优势B.并行分词使用示例七.Tokenize接口A.默认模式B.搜索引擎模式C.返回结果格式D.使用示例八.总结一.介绍A.什么是jieba库jieba库是一款开源的中文分词工具，能够将中文文本切分成词语。B.jieba库的特点和优势支持四种分词模式：精确模式、全模式、搜索引擎模式和paddle模式。提供自定义词典功能，可以添加、删除词语。支持关键词提取和词性标注。提供Tokenize接口，可以获取每个词语的起始位置和词性。支持并行分词，提高分词速度。C.安装jieba库在命令行中使用pip安装jieba库：pipinstalljieba1二.分词基础A.字典加载jieba库内置了一个默认的词典，可以直接使用。也可以使用自定义的词典，通过jieba.load_userdict(file_path)加载。B.分词模式精确模式精确模式是将文本按照最大概率进行切分，效果较好。使用方法：jieba.cut(sentence)，返回一个可迭代的分词结果。全模式全模式将文本中所有可能的词语都切分出来，可能存在冗余。使用方法：jieba.cut(sentence,cut_all=True)，返回一个可迭代的分词结果。搜索引擎模式搜索引擎模式根据词语的位置进行切分，适合搜索引擎分词。使用方法：jieba.cut_for_search(sentence)，返回一个可迭代的分词结果。paddle模式利用PaddlePaddle深度学习框架，训练序列标注（双向GRU）网络模型实现分词。同时支持词性标注。paddle模式使用需安装paddlepaddle-tiny，pipinstallpaddlepaddle-tiny==1.6.1。目前paddle模式支持jiebav0.40及以上版本。jiebav0.40以下版本，请升级jieba，pipinstalljieba--upgrade。C.使用示例#encoding=utf-8importjieba#启动paddle模式。0.40版之后开始支持，早期版本不支持jieba.enable_paddle()strs=["我来到北京清华大学","乒乓球拍卖完了","中国科学技术大学"]forstrinstrs:seg_list=jieba.cut(str,use_paddle=True)#使用paddle模式print("PaddleMode:"+'/'.join(list(seg_list)))#全模式seg_list=jieba.cut("我来到北京清华大学",cut_all=True)print("FullMode:"+"/".join(seg_list))#精确模式seg_list=jieba.cut("我来到北京清华大学",cut_all=False)print("DefaultMode:"+"/".join(seg_list))#默认是精确模式seg_list=jieba.cut("他来到了网易杭研大厦")print(",".join(seg_list))#搜索引擎模式seg_list=jieba.cut_for_search("小明硕士毕业于中国科学院计算所，后在日本京都大学深造")print(",".join(seg_list))12345678910111213141516171819202122232425输出:【全模式】:我/来到/北京/清华/清华大学/华大/大学【精确模式】:我/来到/北京/清华大学【新词识别】：他,来到,了,网易,杭研,大厦(此处，“杭研”并没有在词典中，但是也被Viterbi算法识别出来了)【搜索引擎模式】：小明,硕士,毕业,于,中国,科学,学院,科学院,中国科学院,计算,计算所,后,在,日本,京都,大学,日本京都大学,深造1234567三.自定义词典A.添加词语使用add_word(word,freq=None,tag=None)和del_word(word)可在程序中动态修改词典。B.载入自定义词典如果有一个包含自定义词语的文件，可以使用jieba.load_userdict(file_path)方法加载该文件，并将其中的词语加入到词典中。C.使用示例importjieba#添加单个词语到词典中jieba.add_word("自然语言处理")#载入自定义词典文件jieba.load_userdict("custom_dict.txt")sentence="我爱自然语言处理"#分词结果包含自定义词语seg_list=jieba.cut(sentence)print("/".join(seg_list))#输出:我/爱/自然语言处理12345678910111213四.关键词提取A.基于TF-IDF算法的关键词提取jieba库提供了基于TF-IDF算法的关键词提取方法jieba.extract_tags(sentence,topK=10)，用于从文本中提取关键词。topK参数指定返回的关键词数量，默认为10。B.基于TextRank算法的关键词提取jieba库还提供了基于TextRank算法的关键词提取方法jieba.textrank(sentence,topK=10)，也可以用于从文本中提取关键词。topK参数指定返回的关键词数量，默认为10。C.使用示例importjiebasentence="自然语言处理是人工智能领域的重要技术之一"#基于TF-IDF算法的关键词提取keywords=jieba.extract_tags(sentence,topK=5)print(keywords)#输出:['自然语言处理','人工智能','技术','领域','重要']#基于TextRank算法的关键词提取keywords=jieba.textrank(sentence,topK=5)print(keywords)#输出:['技术','重要','领域','自然语言处理','人工智能']1234567891011五.词性标注A.词性标注集jieba库支持对分词结果进行词性标注，使用的是jieba库内置的词性标注集。B.使用示例importjiebaimportjieba.possegaspseg#分词并进行词性标注words=pseg.cut("自然语言处理很有趣")#jieba默认模式jieba.enable_paddle()#启动paddle模式。0.40版之后开始支持，早期版本不支持words=pseg.cut("我爱北京天安门",use_paddle=True)#paddle模式forword,flaginwords:print(word,flag)#输出:#自然语言l#处理v#很d#有趣a1234567891011121314paddle模式词性标注对应表如下：paddle模式词性和专名类别标签集合如下表，其中词性标签24个（小写字母），专名类别标签4个（大写字母）。标签含义标签含义标签含义标签含义n普通名词f方位名词s处所名词t时间nr人名ns地名nt机构名nw作品名nz其他专名v普通动词vd动副词vn名动词a形容词ad副形词an名形词d副词m数量词q量词r代词p介词c连词u助词xc其他虚词w标点符号PER人名LOC地名ORG机构名TIME时间六.并行分词A.并行分词的优势jieba库支持并行分词，能够利用多核CPU提高分词速度。并行分词使用的是基于python多进程的方式，需要在分词前调用jieba.enable_parallel()启用并行分词，之后可以正常使用分词功能。B.并行分词使用示例importjiebajieba.enable_parallel(4)#启用并行分词，使用4个进程sentence="自然语言处理很有趣"#分词结果seg_list=jieba.cut(sentence)print("/".join(seg_list))#输出:自然/语言/处理/很/有趣jieba.disable_parallel()#关闭并行分词123456789101112七.Tokenize接口A.默认模式jieba库提供了Tokenize接口jieba.tokenize(sentence,mode='default')，用于获取每个词语的起始位置和词性。默认模式下，返回结果包含词语、词语在文本中的起始位置和结束位置。B.搜索引擎模式在Tokenize接口中，可以选择搜索引擎模式，通过mode='search'参数指定。搜索引擎模式下，返回结果还包含分词的偏移量，适用于搜索引擎等应用场景。C.返回结果格式Tokenize接口返回的结果是一个可迭代的生成器，每个生成器元素都是一个元组，包含词语、起始位置、结束位置和词性（可选）。D.使用示例importjiebasentence="自然语言处理很有趣"#默认模式下的Tokenize接口tokens=jieba.tokenize(sentence)fortkintokens:word=tk[0]start_index=tk[1]end_index=tk[2]print(word,start_index,end_index)#输出:#自然语言04#处理46#很67#有趣79#搜索引擎模式下的Tokenize接口tokens=jieba.tokenize(sentence,mode='search')fortkintokens:word=tk[0]start_index=tk[1]end_index=tk[2]print(word,start_index,end_index)#输出:#自然02#语言24#处理46#很67#有趣79123456789101112131415161718192021222324252627282930八.总结本教程介绍了Python中jieba库的基本使用方法和常用功能，包括分词基础、自定义词典、关键词提取、词性标注、并行分词和Tokenize接口。通过学习和掌握这些功能，你可以在中文文本处理中灵活应用jieba库，实现有效的分词、关键词提取和词性标注等任务。在使用jieba库时，你可以根据具体需求选择不同的分词模式，如精确模式、全模式和搜索引擎模式。还可以通过自定义词典添加特定词语，提高分词的准确性。关键词提取功能可以帮助你从文本中提取出重要的关键词，有助于文本理解和信息提取。词性标注功能可以标注每个词语的词性，对于一些需要深入分析的任务很有帮助。Tokenize接口可以提供词语的起始位置和词性信息，适用于一些特定的应用场景。并行分词功能可以充分利用多核CPU，提高分词速度。希望这个教程对你有帮助！通过学习和实践，你将能够熟练使用jieba库进行中文文本处理和分析。