2.5《让机器能理解会思考》课件 2024—2025学年甘教版（2022）初中信息技术八年级下册

2.5让机器能理解会思考 甘教版信息技术八年级下册 了解自然语言处理技术的基本概念 理解自然语言处理技术的基本方法 探讨自然语言处理技术的应用案例 学习目标 什么是自然语言处理技术？这一技术跟前面所学的智能语音技术有什么关联？ 自然语言处理（Natural Language Processing，NLP）是指利用计算机对人类特有的书面形式和口头形式的自然语言进行各种处理和加工。语音识别技术可以将语音转换为文字，让机器“听见”我们说的话。 新知讲解 本节学习的自然语言处理技术要解决语音识别中遇到的同音字词、词语歧义、方言、口音、噪声等问题，试图让机器“听懂”我们说话。在实际应用中，我们经常将智能语音技术和自然语言处理技术结合应用，实现人机对话、机器翻译等应用。 语言是具有特定语法结构的指令，通过它能够实现人与人之间、机器与机器之间、甚至人与机器之间的信息传递。人类日常沟通的语言是自然演化而来的，通常称之为自然语言，普通话、方言皆是自然语言。 认识自然语言处理 要用自然语言与计算机交流，计算机既要理解自然语言的含义，也要用自然语言来表达意图和思想。前者称为自然语言理解技术，后者称为自然语言生成技术。 认识自然语言处理 机器翻译技术就是自然语言处理技术中的一种，它能让计算机把一种语言翻译为另外一种语言。在机器翻译过程中，计算机首先需要理解输入句子的含义，然后根据含义进行翻译，并根据翻译结果生成另外一种语言的句子。如果添加语音识别和语音合成功能，就可以实现口语翻译（口译）。 认识自然语言处理 如图2-5-1展示了口译过程。它首先利用语音识别技术将口语转换成句子，然后再利用机器翻译技术把句子翻译成其他语言的语句，最后再利用语音合成技术把翻译结果朗读出来。 认识自然语言处理 图2-5-1 口译过程 语音 语音识别 机器翻译 语音合成 另外一种语言 文本 另外一种语言的文本 请同学们上网查找一个机器翻译平台，将下表中的英文翻译为中文，中文翻译为英文。 认识自然语言处理 表2-5-1 利用机器翻译平台翻译语句 语句 翻译结果 他既不喜欢游泳，也不喜欢跑步。 He likes neither swimming nor running. He likes neither swimming nor running. 他既不喜欢游泳，也不喜欢跑步。 我们以中文为例，讲述与自然语言理解相关的基本技术、过程和方法。在自然语言理解中，主要的任务包括自动分词、词性标注、句法分析、语义分析等任务。 自动分词是指找出句子中的单词。 词性标注是获得每个词的词性。 句法分析的目的是分析句子的语法功能。 语义分析的目的是理解句子中词的含义。 自然语言处理的基本方法 1.自动分词 词是最小的能够独立运用的语言单位，自然语言处理是以词为单位进行书面语言的处理。中文句子由词组成，一个词既可以是一个汉字，也可以是多个汉字。让计算机判断出句子中的词的过程叫自动分词，它是自然语言处理的基础。 自然语言处理的基本方法 以“少先队员应邀到北京天安门广场看升旗”为例，分词的输入是一整个句子；分词的输出则是用分界符，比如“/”或者“│”分割的一串词：少先队员/应邀/到/北京/天安门广场/看/升旗。如何让计算机自动分词呢？最简单的办法就是“查字典”。 自然语言处理的基本方法 “查字典”的方法，就是把一个句子从左向右扫描一遍，遇到字典里有的词就标识出来，遇到复合词（比如“北京大学”）就找最长的词匹配，遇到不认识的字串就分割成单字词，这样就完成了简单的分词任务。 自然语言处理的基本方法 “查字典”的方法可以解决大部分简单的分词问题。但是，当遇到稍微复杂一点的问题就无能为力了。比如，对短语“发展中国家”，正确的分词是“发展/中/国家”，而采用从左向右“查字典”的办法就会错分成“发展/中国/家”。对此，研究人员运用基于统计的方法，成功地解决了类似“发展中国家”这样的自然语言中有歧义性的分词问题。 自然语言处理的基本方法 基于统计的分词方法是对中文文本进行信息标注（如当前字是词头、词中、词尾，或单字词），然后设定好分词的特征，最后对这些标注数据进行训练，得到分词模型。这种分词方法能够考虑到字词前后之间的联系，模型学习能力较强。 自然语言处理的基本方法 2.词性标注与句法分析 在自动分词的基础上，我们可以对自然语言进行进一步的处理，利用词性标注来获得每个词的词性，在此基础上，利用句法分析获得句子的成分结构。 自然语言处理的基本方法 在这里，我们给出一个例子来帮助同学们理解词性标注和句法分析。 例句：小明喜欢数学。 这个句子可以分为主语、谓语、宾语和句号四部分。对每个部分进行分析，可以得到如图2-5-2所示的句子成分结构（或称为“语法树图”）。 自然语言处理的基本方法 图2-5-2 语法树图 句法分析方法有两类：基于规则的方法和基于统计的方法。早期人们采用基于规则的方法，通过提前建立的规则分析句子结构。这种方法在处理复杂句或者不规则的句子时容易出错且计算量大。于是，科学家们又提出了基于统计的方法，能够有效地降低计算量并提高准确率。 自然语言处理的基本方法 请根据自己的理解对下面的句子进行划分，并思考划分方式是否是唯一的。 句子1：白天鹅在湖里游泳。 句子2：学生会采取行动。 句子3：乒乓球拍卖完了。 自然语言处理的基本方法 3.词义消歧 词是句子的基本单位，但是一词多义是语言中十分普遍的现象。比如“吃”有“吃食物”的意思，还有“吃掉棋子”的意思。要让计算机准确理解语句的含义，必须知道词在句子中的准确含义，这时候就需要进行词义消歧了。 自然语言处理的基本方法 早期的词义消歧主要是依赖专家的语言知识，建立相应的规则库。规则一般采用人工编制，存在着很大的主观性和不完备性。 机器学习的方法主要分为有监督学习和无监督学习两类，词义消歧方法也可以采用这两类机器学习方法。 自然语言处理的基本方法 注意：在效果上，有监督的词义消歧正确率明显高于无监督的方法。但有监督的方法需要有大量的训练语言数据，对语言数据的依赖性强。要获得规模足够大的高质量的训练语言数据，需要高昂的人力和物力成本。相反，无监督的方法不需要有标记的数据，但准确率要差一些。 自然语言处理的基本方法 自然语言处理的应用范围十分广泛，涉及人类语言的任何应用都隐含着自然语言处理的问题，常见的自然语言处理应用有： 机器翻译：实现一种语言到另一种语言的自动翻译。 自动文摘：将原文档的主要内容和含义自动归纳、提炼出来，形成摘要或缩写。 信息检索：从海量文档中找到符合需求的相关内容。 舆情分析：分析大众对社会问题的态度。 自然语言处理的基本方法 自动作文评阅：对作文质量和写作水平进行自动评价和打分。由国家语委中国语言智能研究中心指导研发的IN课堂智能教育软件，可以从写作手法、修辞手法、论证方法等方面对学生作文进行深入剖析。图2-5-3是对某篇作文的总评结果。此外，也可以查看详细的点评、拓展建议等。 自然语言处理的基本方法 图2-5-3 作文测评结果 请同学们自拟主题写一篇作文，然后进入IN课堂智能测评系统，输入作文查看测评结果，并根据点评意见进行修改。 在日常学习生活中，同学们还见过哪些应用自然语言处理技术的例子？试着记录下来。 举例：自动更正、自动填写和预测性文本等功能在我们的智能手机上很常见，我们已经习以为常。自动填写和预测性文本类似于搜索引擎，因为它们都会根据您键入的内容预测要说的话，然后完成后面的内容或建议相关内容。自动更正有时甚至会更改字词，使整体信息更有意义。 自然语言处理的基本方法 在4月21日发表在iScience期刊上的一项研究中，意大利研究人员设计了一种“能思考”的机器人，以便用户可以听到其思考过程并更好地理解该机器人的动机和决定。 一种“能思考”的机器人，可以让用户可以更好地理解动机和决定 如果您能够听到机器人在想什么，那么机器人可能会更值得信赖。对于外行人来说，机器人将更容易理解，并且您不需要成为技术人员或工程师。从某种意义上说，可以让我们更好地与机器人进行交流和协作。 内在语言在人们中很普遍，可以用来获得清晰度，寻求道德指导和评估情况，以便做出更好的决定。 为了探究内部语音如何影响机器人的动作，研究人员制造了一个叫做Pepper的机器人，它可以自言自语。他们要求人们根据礼节规则和Pepper一起摆上餐桌，研究Pepper的自我对话技能如何影响人机交互。 一种“能思考”的机器人，可以让用户可以更好地理解动机和决定 拓展延伸 Pepper开始向自己提出一系列自我指导的问题，并得出结论，用户可能会感到困惑。可以肯定的是，Pepper确认了用户的请求，这导致了进一步的内部讲话。 该视频显示了推理原理：当机器人进行内在讲话和自身推理时，人们可以追溯其思维过程，以学习机器人的动机和决定。当机器人进行内在讲话和自身推理时，人们可以追溯其思维过程，以学习机器人的动机和决策。 一种“能思考”的机器人，可以让用户可以更好地理解动机和决定 尽管听到机器人的内心声音会丰富人机交互，但有些人可能会发现它效率低下，因为机器人在与自己对话时会花费更多时间来完成任务。机器人的内在言语也仅限于研究人员提供的知识。Pipitone和Chella仍然说，他们的工作提供了一个框架，可以进一步探索自我对话如何帮助机器人专注，计划和学习。 一种“能思考”的机器人，可以让用户可以更好地理解动机和决定 1.任务目标 通过mBlock平台中的“自然语言处理”模块，编程实现文本分析。 2.任务内容 （1）在mBlock里导入“人工智能服务”模块。 （2）编程实现文本的词法分析和情感倾向分析。 自然语言处理技术的应用案例——文本分析 3.实现步骤 （1）在“添加扩展”里点击加载需要的模块。 （2）在“变量”中建立一个变量，命令为n，并将初始值设置为1。 自然语言处理技术的应用案例——文本分析 （3）从“自然语言处理”中选择 ，该积木可进行词法分析，即获得文本中每个词的词性，文本内容可自行修改设置。 （4）选择积木 ，将其嵌人“外观”中的 ，就可以使小熊猫说出分析结果。 注意：由于一段文本内容中包含多个单词，所以需要使用循环结构，重复执行“词法分析”及结果显示语句。同时，循环语句每运行一次，变量n的值增加1，依次显示出每个单词的词性。 自然语言处理技术的应用案例——文本分析 （5）设置循环退出条件，本例中当n等于20时，跳出循环。大家可根据分析文本的长短，自行设置n值，使其大于或等于文本中单词个数即可。 （6）在积木区选择 ，可以对整个文本内容的情感倾向进行分析，情感倾向的分析结果包括消极、积极和中性，并通过 和 组合积木显示结果。 （7）按照图2-5-4所示的示例程序，完善自己的程序，然后点击运行按钮进行文本分析。图2-5-5和图2-5-6是分析结果。 图2-5-4 文本分析示例程序 图2-5-5 词性分析结果 图2-5-6 情感倾向分析结果 黄澄澄：形容词 情感倾向分析结果：积极 图2-5-7 翻译 机器翻译是自然语言处理中最重要的应用之一。目前，机器翻译的水平基本可以满足人们学习和日常交流的需要。请同学们在mBlock中添加“翻译”扩展模块，如图2-5-7所示，编程实现将一种语言译为另一种语言，并使舞台中的小熊猫说出翻译结果。 这节课我们了解自然语言处理技术的基本概念和自然语言处理的基本方法，并通过应用案例的文本分析，理解探讨了自然语言处理技术在软件中的运用，请同学们结合这几课的内容，动手实践。 课堂总结 认识自然语言处理 自然语言处理的基本方法 自然语言处理技术的应用案例——文本分析 板书设计 课程结束 $$