[浙江大学]：生成式人工智能赋能智慧司法及相关思考 -尊龙凯时人生就博
ai智能总结浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教 生成式人工智能赋能智慧司法及相关思考 况琨 工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学计算机学院 浙江大学人工智能教育教学研究中心 工智能教育教学研究中心 浙江大学人工智能教育教 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 生成式人工智能发展脉络 生成式人工智能赋能智慧司法 浙江大学人工智能教育教学研究中心 生成式人工智能的不能 浙江大学人工智能教育教学研究中心 工智能教育教学研究中心 浙江大学人工智能教育教 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 什么是人工智能？ 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 什么是生成式模型？ 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 人工智能（artificialintelligence）：是以机器为载体所展示出来的人类智能，亦称为机器智能（machineintelligence） 工智能教育教学研究中心 让机器模拟人类在视觉、听觉、语言和行为等方面的某些功能 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教 浙江大学人工智能教育教学研究中心 生成式模型 学习“数据如何生成的”（联合概率分布） 目标：学习数据背后的“完整故事”，包括数据的分布规律，甚至能自己“编故事”（生成新样本）。 浙江大学人工智能教育教学研究中心 像什么：一个画家，不仅会判断“这是猫还是狗”，还能亲手画出一只猫或狗。 工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 怎么做：先分别学习猫和狗的特征（比如猫的尖耳朵、狗的尾巴形状），然后建模它们的整体分布规律。 判别式模型 学习“如何区分数据”（条件概率或决策边界） 目标：直接找到“区分猫狗的关键线索”，不关心数据本身如何生成。 像什么：一个侦探，专注研究“猫和狗有什么不同”，快速抓住关键证据。 怎么做：直接学习猫狗之间的“分界线”，不关心猫狗各自长什么样。 浙江大学人工智能教育教学研究中心 生成式模型 学习“数据如何生成的”（联合概率分布） 目标：学习数据背后的“完整故事”，包括数据的分布规律，甚至能自己“编故事”（生成新样本）。 浙江大学人工智能教育教学研究中心 像什么：一个画家，不仅会判断“这是猫还是狗”，还能亲手画出一只猫或狗。 怎么做：先分别学习猫和狗的特征（比如猫的尖耳朵、狗的尾巴形状），然后建模它们的整体分布规律。 浙江大学人工智能教育教学研究中心 区分芒果和榴莲： 判别式模型 学习“如何区分数据”（条件概率或决策边界） 目标：直接找到“区分猫狗的关键线索”，不关心数据本身如何生成。 像什么：一个侦探，专注研究“猫和狗有什么不同”，快速抓住关键证据。 怎么做：直接学习猫狗之间的“分界线”，不关心猫狗各自长什么样。 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教 浙江大学人工智能教育教学研究中心 6 工智能教育教学研究中心 生成式模型：研究芒果的颜色、形状、气味，以及榴莲的尖刺、气味，甚至能“合成”一个虚拟的芒果。判别式模型：直接记住“有尖刺的是榴莲，黄色椭圆形的是芒果”，遇到水果时快速对比。 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 生成式人工智能技术，是指具有文本、图片、音频、视频等内容生成能力的模型及相关技术。 工智能教育教学研究中心 《生成式人工智能服务管理暂行办法》 浙江大学人工智能教育教学研究中心 工智能教育教学研究中心 浙江大学人工智能教育教 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 生成式人工智能的典型代表：chatgpt 浙江大学人工智能教育教学研究中心 chatgpt：大数据超算力，现象级ai应用引发范式革命 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 gpt1 2018 gpt2 2019 gpt3 2020 chatgpt 2022 gpt4 2023 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教 gpt1（2018）：开启预训练范式 浙江大学人工智能教育教学研究中心 核心突破：基于transformer解码器架构，采用“无监督预训练任务微调”的训练模式，参数117亿。 浙江大学人工智能教育教学研究中心 任务微调指在预训练模型的基础上，使用特定任务的数据继续训练，来优化其在目标任务上的性能。通俗来说，就是给一个“什么都会一点但不精通的通才”做专项特训。 工智能教育教学研究中心 能力特点：掌握基础语义规律，但生成文本较机械，像刚学会造句的小学生。 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 gpt1 2018 gpt2 2019 gpt3 2020 chatgpt 2022 gpt4 2023 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教 gpt2（2019）：展现零样本学习能力 浙江大学人工智能教育教学研究中心 规模升级：参数增至15亿，训练数据扩展至40gb网页文本。 技术亮点：证明了无需任务微调即可完成翻译、摘要等任务，生成文本连贯且富有创意，如撰写短篇小说。 工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 社会争议：因可能生成虚假信息，openai一度限制其开源。 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 gpt1 2018 gpt2 2019 gpt3 2020 chatgpt 2022 gpt4 2023 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教 gpt3（2020）：参数爆炸与少样本学习 浙江大学人工智能教育教学研究中心 参数跃迁：1750亿参数创纪录，训练数据涵盖45tb互联网内容。 能力质变： 浙江大学人工智能教育教学研究中心 a少样本学习：对于一个全新的任务，只需要给其提供15个示范案例，ai就能根据原有知识，迅速掌握全新的技能任务 工智能教育教学研究中心 b通用性突破：具有卓越的语言理解能力，和一定的归纳、演绎逻辑推理能力。 局限性：存在“幻觉”问题，可能编造看似合理但错误的内容。 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 gpt1 2018 gpt2 2019 gpt3 2020 chatgpt 2022 gpt4 2023 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教 chatgpt（2022）：对话式ai的里程碑 浙江大学人工智能教育教学研究中心 技术革新：基于gpt35，引入三阶段训练： a海量文本预训练：构建语言知识库； b人工标注示范：学习对话礼仪与安全准则； 。 浙江大学人工智能教育教学研究中心 c人类反馈强化学习：通过人类反馈减少无益、有害输出 工智能教育教学研究中心 应用爆发：成为写作助手、编程导师、多语言翻译工具。 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 gpt1 2018 gpt2 2019 gpt3 2020 chatgpt 2022 gpt4 2023 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教 gpt4（20232024）：多模态与系统化思维 浙江大学人工智能教育教学研究中心 架构升级：参数规模上，18万亿参数，采用混合专家（moe）架构提升效率；多模态融合上，支持图像输入与文本生成，如解析医学影像生成诊断报告。 工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 能力跃迁：gpt4在美国法考、gre、sat等排名提升至人类考生前10水平；在法律、医疗等垂直领域表现接近人类专家。 浙江大学人工智能教育教学研究中心 工智能教育教学研究中心 浙江大学人工智能教育教 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 在训练时，人工智能模型会不断地在句子中‘挖去’一个单词，根据剩下单词的上下文来填空，即预测最合适的‘填空词’出现的概率，这一过程为‘自监督学习’。 原话：一辆列车缓慢行驶在崎岖的山路上 移除单词：一辆列车 行驶在崎岖的山路上 预测填空：一辆列车缓慢行驶在崎岖的山路上 浙江大学人工智能教育教学研究中心 让人工智能模型说人话、做人事。 手工设计提示和指令微调被誉为人工智能私语者（aiwhisperer） 情感预测任务。输入：“imissedthebustodayifeltso”其中“ifeltso”就是提示词（prompt），然后使用大模型用一个表示情感的词填空。 翻译任务。输入：“englishimissedthebustodayfrench”其中“english”和“french”就是提示词，然后使用大模型应该再空位填入相应的法语句子。 浙江大学人工智能教育教学研究中心 经师易得、人师难求 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 提示学习 工智能教育教学研究中心 “提示”是一种提供给预训练语言模型的线索，让预训练语言模型能更好的理解人类的问题。 指令微调 指令微调，是指在已经训练好的语言模型的基础上，通过使用有标注的特定任务数据进行进一步的微调，从而使得模型具备遵循指令的能力。 浙江大学人工智能教育教学研究中心 工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 谋定而后动，知止而有得 mcp神经元 perceptron feedforwardnn word2vec词向量 recurrentnn lstm 引入selfattention selfsupervisedprompt codex（chainofthought120亿参数） 语言大模型largelanguagemodel 浙江大学人工智能教育教学研究中心 transferfinetune transformer 人类反馈强化学习 （instrucgpt） chatgpt 神经网络早期前向神经网络 seq2seq序列学习循环神经网络 单词之间关联关系 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 数据：训练中使用了45tb数据、近1万亿个单词（约1351万本牛津词典所包含单词数量）以及数十亿行源代码。据估计全球高质量文本数据的总存量在5万亿token左右，人工智能算法可能在一个数量级内，耗尽世界上所有有用的语言训练数据供应。 模型：包含了1750亿参数，将这些参数全部打印在a4纸张上，一张一张叠加后，叠加高度将超过上海中心大厦632米高度。 浙江大学人工智能教育教学研究中心 算力：chatgpt的训练门槛是1万张英伟达v100芯片、约10亿人民币，模型训练算力开销是每秒运算一千万亿次，需运行3640天（3640petaflopsperday）。 工智能教育教学研究中心 大数据、大模型、大算力下以“共生则关联”原则实现了统计关联关系的挖掘。 gp