同学们，大家好，欢迎来到人工智能系列课程第二阶段第十二课，AI大模型与智能体技术项目主题智慧小助手。大模型与智能体技术是人工智能技术发展的重要技术手段，也是当前我们经常接触的人工智能应用形式。下面我们将通过学习目标、课堂导入、新知探究、AI、兴趣园地、知识总结和智慧挑战六个模块展开。首先是项目学习目标，人工智能意识和思维能力方面，能够用简单的语言描述大模型智能体的工作原理，能够理解大模型的训练生成机制以及智能体的三步工作，循环、感知、决策、行动。人工智能应用与创新能力识别智能体与大模型的分工，并举例说明其在生活中的应用，人工智能伦理与社会责任。能举例说明大模型如何依赖数据并认识到其数据不足或错误可能导致回答不准的局限性。同学们，前面我们学习了很多内容，你还记得这些知识吗？让我们复习一下。大数据的特点是数据量大，种类多，而通过机器学习可以用数据训练AI。AI能学习语音、文本等其他内容的规律，从而实现语音识别、作文评分等等的功能。这中间包含的监督学习、无监督学习，还有很多其他的一些学习方式。当这样的数据分类规律积累到一定的规模，就形成了AI大模型。这个就是我们今天要探索的内容。首先让我们来看看大模型的概念。人工智能大模型通常是指由人工神经网络构建的一类具有大量参数的人工智能模型。大模型通常通过自监督学习或半监督学习在大量数据上进行训练。最初大模型主要指大语言模型，随着技术的发展逐渐扩展出了视觉大模型、多模态大模型以及基础科学大模型等概念。这里要注意的一点是，大模型并不等同于人工智能，它是人工智能技术发展路线上的一种技术手段，它也是现在最为热门的人工智能技术。接下来让我们具体来理解一下它其中包含着哪些玄机。大模型的机制中包含着三个重要的环节。第一个是收集数据，第二个是模型训练，第三个是预测生成。这里我们先来看一看收集数据。大模型在训练前的数据收集是一个复杂且关键的过程。首先要确定数据的需求，这就好比我们人类在学一个东西的时候，要知道先学什么。比如说语言类的模型需要多语言的文本，视觉模型需要图像或者视频，然后还要确定数据的来源。学东西肯定是需要素材的，就像我们去找课本一样，这个时候需要找一些公开的数据库或者自建数据库，准备好这样的一些内容之后，还要进行数据清洗及预处理，就像是整理课本。在这个过程中需要对数据进行去除重复统计格式，还要进行隐私处理和质量筛选。同时要保障数据多样性的覆盖，类似要学习不同学科的课本，实现多种语言、文化、地域、领域的数据收集。在收集这些数据的过程中，还要注重法律和伦理考量，一定要注意遵守数据隐私相关的法规。还要注重版权，有些内容要获取数据使用的授权。当然这之中也需要一些工具和技术的支撑。具体的技术形式主要是数据管理、云存储、自动化标注等，是一个非常灵活的过程。大模型有一个重要的指标叫做参数，主要有两个特征，量大、复杂量大体现在大模型拥有大量的模型参数，这些参数可以是数十亿甚至数千亿。一些先进的语言模型可能拥有超过100亿个参数，这些参数就来源于数据训练。由于参数众多，大模型可以捕捉和学习数据中非常复杂的模式和关系。后面提到的生成也是从这些参数中寻找的规律。训练模型的过程主要有两个特征，训练数据量大，计算资源大大。模型通常在大规模的数据集上进行训练，这些数据集可能包含数十亿个单词或更多，使得模型能够学习到丰富的语言知识和世界知识。训练和运行大模型需要大量的计算资源，包括高性能的GPU或TPU，大量的存储空间以及高效的计算框架，还需要耗费大量的电力。接下来让我们做一个小组活动，通过角色扮演和游戏，模拟模型微调的过程，完成学习任务记录。一位同学扮演机器人，其他同学给指令，机器人同学尽快给出反应，比如喊苹果需要做出反应，这是红色的水果。下面也提供了好几个案例，当然组内进行活动的时候也可以准备更多类似的活动进行中，经过多轮的反复提示，会发现机器人同学的反应会越来越快，也不容易说错。这其实就是一个微调的过程，微调是训练大模型的过程中十分重要的环节。它又有什么样的作用呢？其实当我们给大模型学习了多领域海量数据，这里面可能有上亿级别的数据、图片、算力，各领域通用知识。这个时候我们将它称为预训练。大模型他懂得很多，但是不够专业。一些特定的领域，我们需要再让他去专注的学习某一个领域的数据，这个过程就被称为模型微调。经过多轮反复优质的训练，它就成为了特定领域的大模型。让我们再来看看预测生成的机制，为什么说是猜呢？大模型通过收集数据和训练，模型已经学会了海量的知识。它能根据这些知识预测你接下来想听什么，或者是想要什么样的答案。然后把猜的结果生成出来，可能是文字，还可能是图片或者视频。他学了很多内容，他看过无数本书、文章、对话有一定的参数量，记住了这些知识的规律。而它的生成的本质就是在猜下一个词，就像玩接龙游戏一般，挑一个最合适的词或句子接下去，比如提示我爱吃，它会根据学过的知识算出接下来最可能是苹果还是别的。在这种机制下再一步步的去生成一次，猜一个词或一小段话，然后连起来，最后就会变成完整的回答。所以它的生成过程类似于通过大量的数据训练后取一个折中的值，然后进行回答。所以它非常依赖数据的正确性预测，生成有不少的优势。这种方式非常快能在几秒内猜出很长的回答，而且我们平时在用AI的时候会发现，不管什么样奇奇怪怪的问题，它都能生成答案，回答得非常灵活。而且随着大模型能力的升级，他的回答越来越自然，很难分辨与人类的区别。平时我们在网上看一些内容的时候，不仔细去看，很难意识到哪些文字内容是AI生成的。虽然他有这样的一些优点，但是他是可能会猜错的。这个情况我们称为大模型的幻觉。比如我们平时去问AI一个信息，它有时提供的信息并不是准确的，相信你也体验过大模型出现幻觉的情况。大模型是数据的集合，他不懂真实世界，只是根据数据和规律寻找最接近的词，一切只靠猜。同时大模型会想让自己的回答听起来更加流畅，所以他会去补一些言语中的细节，哪怕这些细节是错的。即使在大模型的训练之前进行了数据清洗，但是没法完全避免错误。他可能会把错误的内容当成正确的，或者有些内容以偏概全。那么怎么去避免这种幻觉呢？首先是要检查大模型输出的答案，千万不要全信大模型的输出结果，查查书或找找权威资料，看他说的是不是真的。另外在给他提示词的时候要问清楚问题，模糊的话会导致大模型乱编，尽量问具体点。比如7月28日的北京天气比昨天的天气更清楚。同时我们要知道它的局限性，大模型虽然很聪明，但是它不是万能的，它并不是真的懂一切，这也就是他依赖数据的表现。接下来为大家介绍多模态的概念。多模态是指利用多种不同形式或感知渠道的信息进行表达、交流和理解的方式，通常包括视觉、听觉、文本、触觉等多种感官输入和输出方式。简单的理解就是说我们平时有时候用一些大模型应用，发现它只能处理文字。这种就是单模态大模型，它只能处理单一的数据类型，它的优点是文字的处理速度快，相对于多模态的大模型来说，整体运算所消耗的算力也比较小，比较明显的就是只能看文字了。而多模态的大模型可以处理文字、图片、声音甚至是视频，功能相对来说比较多能应用的范畴会更广一些。既然他能干的活更多，自然就需要更多的计算资源，对于算力、电力的消耗都会有所提升。而且由于其复杂的底层机制会相对容易出错。虽然从技术层面看，多模态注定会比单模态容易出错，但由于技术发展迅速，现在的多模态大模型越来越聪明，所以整体的出错率并不会相对于单模态有明显提升。接下来我们要接触一个新的概念，叫做智能体。首先我们来看看智能体的概念，智能体的英文是agent直接翻译过来是代理的意思，是指能够感知环境并采取行动以实现特定目标的代理体。它可以是软件、硬件或一个系统，具备自主性、适应性和交互能力。智能体通过感知环境中的变化，比如通过传感器或数据输入，根据自身学习到的知识和算法进行判断和决策，进而执行动作以影响环境或达到预定的目标。智能体是人工智能技术在实际场景中的一种具体应用形式，只是说概念大家可能没法直接理解是什么，接下来让我们探索一番，这里要同学们做一个小组活动，感受一下智能体是如何主动做事的。记得完成学习任务单哦。这个活动的任务是简单规划一次秋游，每组选一个思考者，其他成员扮演执行者，根据思考者的信息主动规划步骤，分配任务，也就是一方思考一方执行。这里已经为同学们预设了两个问题。我们的目标是规划整个秋游里面可能涉及的一些计划事项。这里建议思考者做六个以内的规划就行了。通过这个过程我们类比到智能体，其实它是一种能主动处理事项的智能小助手。同学们一起来了解一下智能体的机制。它是一个能像人一样看想做的系统，但是它比大模型更主动，能自己去完成任务。首先它会感知周围的信息，可以看图片、听问题、收集信息。如果是在一个智能设备上，这些是由一些传感器实现的。而在决策层，它能分析信息，制定计划，最后再把相应的计划付诸实施。中间我们也准备了一个野餐相关的案例。如果你还是没理解的话，我们来看看其他跟我们生活贴得更近的案例。智能体已经无处不在，或许你未曾感知它已经进入我们的生活的方方面面。比如我们购物或者是使用一些网站的时候，会有智能客服。它能根据你提出的问题，自动去找一些问题的解决方案发送给你，一般的问题都能快速解决，如果实在是解决不了的问题，会在智能转接给人工客服，这样高效节约了双方的时间。现在的信息化系统也越来越智能，可以根据学习情况智能做出个性化的学习报告，辅助老师去教学，同时给同学们的自我练习薄弱环节补足提供指导。现在比较热门的行业，比如新能源汽车，相信大家并不陌生，都已经拥有了越来越好用的辅助驾驶功能，能够辅助驾驶员进行一些判断，提供更加智能化的驾驶体验，这些都是智能体在发挥作用，当然这样的一些智能体，尤其是涉及硬件操作的智能体，需要大量的传感器，输入输出设备都非常多，有着非常复杂的架构。不过都会经历从感知到决策再到行动，形成智能的自动化工作流程。我们生活中还有一个比较常见的智能体应用，那就是扫地机器人。课后同学们可以去观察观察扫地机器人，看看它是如何规划路径，避开障碍物的。我们可以分析一下他在感知、决策、行动过程中的一些具体行为。这里的描述方式不限定，只要合理都可以。今天，我们所学的大模型和智能体技术已经对科学的发展做出了卓越的贡献。2024年诺贝尔奖的一些奖项与人工智能领域密切相关，尤其是在化学和物理领域。其中化学奖授予了开发AI工具预测蛋白质结构的科学家。他们用领域微调模型与智能体技术，大幅提高了生物医学研究的效率，提升了药物开发速度。未来AI在科学中的应用会越来越重要。今天的内容涉及到了很多概念，让我们回顾一下。我们学习了大模型的定义，并且具体举例说明了大模型从数据到训练再到生成的完整环节，理解了大模型是怎么形成的。同时我们知道了大模型虽然好用，但是存在幻觉。关于大模型，我们还学会了如何分辨单模态与多模态，关于智能体，我们了解了他的主动工作机制以及应用的现状，可以说是非常充实的一节课。这里也有几个习题需要大家解答，巩固一下今日所学第一题，关于AI大模型，以下哪个描述是正确的？A大模型通常指身数量较小，适用于特定任务的模型。B大模型可以通过预训练和微调处理多种任务。C大模型不需要大量数据进行训练。D大模型无法用于自然语言处理。答案是B因为AI大模型通过大规模数据预训练，具备处理多种任务的能力，经过微调可适配特定场景。第二题，以下哪个技术常用于AI大模型的训练？A监督学习B无监督学习C强化学习D以上都可能使用答案是d AI大模型训练通常结合多种学习方式，监督学习用于标注数据任务，无监督学习用于预训练，强化学习用于优化模型行为，它有着多种学习方式第三题，智能体与传统AI模型的主要区别是什么？A智能体不使用机器学习，B智能体具有自主性和环境交互能力。C智能体无法处理复杂任务。D智能体仅用于图像处理。答案是B智能体通过感知、推理和行动与环境交互，具备一定自主性，而传统AI模型更专注于特定任务的预测或分类。第四题，以下哪个应用更可能由AI大模型驱动？A简单计算器的运算，B自动生成文章，C控制家用电器的开关，D测量房间温度。答案是B因为AI大模型擅长处理复杂任务，如自然语言生成ACD更适合简单规则系统或小型嵌入式设备，而非大模型。本节课的内容到此结束，感谢大家的聆听，我们下节课再见。