同学们，大家好，欢迎来到人工智能系列课程第二阶段第十一课，自然语言处理项目主题，机器如何理解人类语言。自然语言处理是人工智能的一部分，主要研究如何让计算机理解和使用人类的语言。下面我们将通过学习目标课堂导入新知探究AI兴趣源地、知识总结和智慧挑战六个模块展开。首先是项目学习目标，人工智能意识和思维能力方面，掌握自然语言处理的概念及其对人工智能的意义，了解自然语言处理的基本方法。中文分词初步了解深度学习RNN算法。人工智能应用与创新能力，了解自然语言处理的实际应用，如机器翻译、作文批改、AI生成摘要和对话系统。人工智能伦理与社会责任，了解自然语言处理应用的优势和局限性，防止过度依赖。首先同学们可以使用学科网的AI小博士来进行智能问答。通过输入问题，AI小博士会运用自然语言处理技术理解和回答自然语言处理的概念，可以从AI小博士的回答中初步感知。什么是自然语言处理？AI小博士不仅给出了概念，还给出了关键概念解析包含了核心任务、主要技术方向。什么是自然语言处理呢？自然语言处理natural language processing简称NLP，是人工智能和计算机科学的一个重要分支，致力于研究计算机与人类自然语言之间的交互。其核心目标是让计算机能够理解、解释、生成和操纵人类语言，如中文、英语等，实现人机之间的有效沟通。计算机既要能理解自然语言的意义，也要能用自然语言来表达意图和思想，前者称为自然语言理解技术，后者称为自然语言生成技术。其中，语音对话系统最能体现自然语言处理的应用，它在很多场合都被使用，比如语音助手和翻译软件。语音对话系统核心主要包括将语音转化为文本的语音识别系统，提取用户话语信息的自然语言理解系统生成文本答复的自然语言生成系统，将文本内容转化为语音的语音合成系统，以及完成与实际应用场景沟通的对话管理系统。刚刚提到的翻译软件，比如学科网的AI小博士中就有英语翻译中英互译的小工具，同学们可以进去体验一下。这里的英语翻译其实就是机器翻译的应用，也是自然语言处理技术的研究领域。机器翻译又称为自动翻译，简称机翻机译，是利用计算机将一种自然语言，也就是源语言转换为另一种自然语言，也就是目标语言的过程。机器要理解文本含义的自然语言处理，首要任务就是分词。分词即把句子划分为一个一个的词。下面我们就一起来了解一下中文分词。每个小组将对应的语句用符号进行分词，并填写表格。任务一，关心自己的同学。任务2，今天天气真好，将这两个任务进行拆分分析并填写其表达的语义。任务一，根据我们的朗读习惯和经验，可以分词为关心自己的同学。这个分词的语义意思是关心那些属于自己的同学。任务2，根据词组和经验，可以分词为今天天气真好，其表达的语义是今天的天气很好，这是我们人类的分词。那么机器是怎么模仿人类语义理解进行分词呢？这里我们就具体看看机器是怎么进行中文分词的。首先输入要分词的句子，判断句子分词是否完成，是就直接输出结果。否的话，取最左边至多五个字作为一个词去词典里面查词。查找成功的话，就继续进行分词处理余下的部分直到分词完成。如果查找失败，则去掉最右边的字，继续查词典，查找成功直到分词完成。中文分词的较为典型的算法之一就是正向最大匹配分词，从左到右逐步分出词典中包含的最长词。比如图中北京大学生根据上一页了解的中文分词的流程，从左到右逐步分出词典中包含的最长词，从左边逐步最长的词为北京大学生。另一种从右到左逐步分出词典中包含的最长词，中文分词的算法为逆向最大匹配分词，右边最长词为大学生，剩下的词查找成功的为北京，因此是北京大学生。下面我们通过一个活动任务，巩固一下对中文分词的认识，描述人工智能逐步发展这个句子进行正向最大匹配分词算法的过程，最大匹配长度为五，词典内包含人工智能，人工智能逐步发展。第一次分词，第一步查词典，人工智能竹查找失败。第二步，去掉最右边的竹查词典，人工智能查找成功。第二次分词第一步查词典逐步发展查找失败。第二步去掉最右边的展查词典，逐步发查找失败。第三步去掉最右边的发查词典，逐步查找成功。第三次分词查词典发展查找成功。所以分词结果为人工智能逐步发展。其实作文批改就需要分词的作用。学科网的AI小博士就有作品批改的功能，选择年级、选择分数等级，粘贴自己的作文。点击开始批改，就有相应的教师点评、修改建议、作文润色、好句赏析，给到使用者进行参考。同学们去试一试吧。作文批改就涉及了自然语言处理的语义分析，通过上下文理解检测逻辑矛盾或是否离题。像这种前后有关系的数据，也就是有序的数据，比如心电图、声纹等都算有序数据。需要上下文理解的数据，在人工智能领域叫序列数据循环神经网络，简称RNN是处理序列数据的神经网络架构。RNN的特点，能够记忆并理解上下文的数据。下面我们通过一个小游戏来了解下RNN原理。小组活动接龙拼接游戏游戏规则，下一个小组成员要将自己的词组和上一个成员的词组拼接，并且一起传递给下一个成员。第一个组员接收的新知识是今天，第二个组员接收的新知识是上午记住上一个组员的知识，今天加起来就是今天上午。第三个组员的接收的是有记住前一个组员的知识，加起来就是今天上午有第四个组员的新知识是人工智能。记住前一个组员的知识总结就是今天上午有人工智能。最后一个组员的新知识是课，记住前一个组员的知识总结起来就是今天上午有人工智能课，我们可以总结规律，小组成员N接收新知识和成员N减一的总结，再输出总结给成员N加1。不断循环连接，这就是循环神经网络RNN的基本结构分别为输入层去接收外部输入的序列数据，隐藏层RNN的核心部分具有循环连接的特性，是循环神经网络技术上文的关键部分。输出层，根据隐藏层的输出生成最终的输出。通过RNN的结构可以看出，RNN具有记忆能力，能够保存之前步骤的信息。循环神经网络可以利用序列数据的时间顺序信息，在自然语言处理领域有广泛应用。RNN增加隐藏层可以提升神经网络的表达能力。那么是不是越多越好呢？同学们分小组探究一下，可以借助AI工具进行探索，然后进行小组讨论，将探究的结果进行补充，生成摘要。也有RNN算法的应用，它通过分析大量文本信息提取出其中的核心内容，帮助我们快速了解信息的关键点。在生成过程中考虑到整篇文章的上下文关系，通过这种方式我们可以更高效的获取信息。同样AI生成摘要也是自然语言处理的常见应用。生成摘要的工作步骤主要为三部分。首先，信息输入与预处理，对文章进行基础处理，比如拆分段落、句子，去除无关的标点符号、重复的冗余表述等，让文章内容以更规整的形式呈现。其次，关键信息识别。从处理后的文章中找出核心要素，像核心事务、核心事件、核心观点、关键数据等，这些是文章的核心内容，同时区分出补充说明、背景描述等次要信息。最后，信息整合与提炼，保留识别出的关键信息，简化或剔除次要信息，再按照语言逻辑将关键信息整合起来，形成简洁且语义完整的摘要。同学们有没有疑问，怎么判别计算机是否理解了某种自然语言呢？在人工智能领域，普遍认为采用图灵测试可以判断。一般评判标准有四条，问答，机器能够正确回答输入文本中的有关问题。文摘生成，机器有能力生成输入文本的摘要。示意，机器能用不同的词语和句型来复述接收到的文本。翻译机器能把一种语言翻译成另一种语言。那么随着自然语言处理的日渐强大，相关人工智能的应用也广泛应用于大家生活和学习中。比如出现了一些例子，小明用AI帮他写作文，用作文批改得了高分。小红用翻译软件将中文翻译成英文，其中部分翻译不准确。小红接收了错误的信息，小张利用自动生成摘要功能，快速帮助小张了解某篇文章整体内容介绍。从案例中可以看出，自然语言处理应用有利有弊，如何有效利用自然语言处理相关应用的同时，又能做到防止过度依赖呢？请同学们想一想。本节课我们了解了自然语言处理的概念，体验了自然语言处理的常见应用，掌握了中文分词的正向最大匹配分词和逆向最大匹配分词，还有循环神经网络RNN的基本了解，以及反思自然语言处理与人类的关系。最后我们通过智慧挑战环节巩固本节课的内容学习第一题，单项选择题，下列哪项不是自然语言处理的应用？答案选C解析一，机器翻译、语音识别和作文批改都是自然语言处理的典型研究领域。C选项的图像处理属于计算机视觉领域。单选题第二题关于AI作文批改，以下说法正确的是答案，选DA选项错误，目前AI作文批改还不能完全替代人工。B选项错误，现代作文批改系统功能丰富，包含语法错误检测、句式结构分析和详细批注和修改建议等等，不止评分。C选项错误，英文有空格分隔，分词相对简单，中文分词较为复杂。AI作品批改可以辅助教师进行批改，但不能替代，故选D单选题第三题，以下哪种神经网络适合处理时间序列数据？答案选B循环神经网络RNN是专门为处理时间序列数据而设计的神经网络架构，故选B本节课的内容到此结束，感谢大家的聆听，我们下节课再见。