内容正文:
2.4.3 算法与程序实现的综合应用
主讲人:葛志强
单位:来宾市第四中学
2.4.3 算法与程序实现的综合应用
十九大报告的“亮点”,一个“新”字贯穿整个报告。通过分析得到词云图。
醒目的“新时代”三个字以强烈的视觉冲击效果呈现在我们眼前, 该词在全文中出现36次,高居榜首。其他还有“新格局”“新形势”“新征程”“新成果”“新发展理念”等词汇也频频出现。
“词云”就是对网络文本中出现频率较高的“关键词”予以视觉上的突出,从而过滤掉大量的文本信息,使浏览网页者只要一眼扫过文本就可以领略文本的主旨。
2.4.3 算法与程序实现的综合应用
问题提出:如何选取文章中出现次数最多的词呢?
学校开展经典诵读活动,小明在阅读《三国演义》时,为了分析小说的写作特色,想把小说中出现次数最多的20个词查找出来。
2.4.3 算法与程序实现的综合应用
实践探索
想一想,小明是否能从纸质小说中找出这20个高频词?如果用计算机解决该问题,又应如何实现?
学校开展经典诵读活动,小明在阅读《三国演义》时,为了分析小说的写作特色,想把小说中出现次数最多的20个词查找出来。
计算机解决:已知条件为文本文件《三国演义》,求解目标为《三国演义》中出现次数最多的20个词。
2.4.3 算法与程序实现的综合应用
分析问题
手工方法:费时费力,难度很大。
回忆:使用计算机解决问题的步骤
2.4.3 算法与程序实现的综合应用
在问题求解中,除了要完成读取文件和显示输出内容,还要重点实现分词、词频统计和排序等功能。如图所示:
2.4.3 算法与程序实现的综合应用
设计算法
由于中文文本是由连续的字序列构成,没有明显的词语界限,因此分词处理的算法比较复杂。
2.4.3 算法与程序实现的综合应用
设计算法—中文分词
jieba(结巴) 是目前使用最广泛的 Python 中文分词模块,它主要有以下特性:支持3种分词模式,支持繁体分词,支持自定义词典。
通过jieba的分词功能,我们可以将《三国演义》中的汉字字符序列切分成一个个单独的词,组合成一个“词汇表”。
8
待处理的
中文字符串
中文分词处理
(jieba分词)
分词后的中文
“词汇表”
在词频统计的过程中主要应用了枚举算法,对于“词汇表”中的每一个词,依次计算出各自的出现次数,生成一个包含词和次数的