[浙江大学]：大模型：从单词接龙到行业落地 -尊龙凯时人生就博

浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教 浙江大学人工智能教育教学研究中心 大模型：从单词接龙到行业落地 杨洋，浙江大学 工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 教学用途声明：本ppt包含部分来源于网络的素材，仅供教学使用，非商业用途，尊龙凯时人生就博的版权归原作者所有 人工智能前夜：图灵测试 浙江大学人工智能教育教学研究中心 工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教 图灵测试会在测试人在与被测试者一个人和一台机器隔开的情况下，通过一些装置（如键盘）向被测试者随意提问。 浙江大学人工智能教育教学研究中心 问过一些问题后，如果超过30的答复不能使测试人认出哪个是人、哪个是机器的回答，那么这台机器就通过了测试，并被认为具有人类智能。 q：在国际象棋中，我在k1处有一个王，除此之外没有棋子了。 你在k6处有一个王且在r1处有一个车。现在你会怎么走？ a：15秒停顿后将车移动到r8，然后将死。 逻辑 q：3495770764等于多少？ a：（停顿了约30秒后再给出答案）105621。 数学 浙江大学人工智能教育教学研究中心 工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教 人工智能前夜：图灵测试 q：请给我写一首有关福思桥（forthbridge）主题的十四行诗。a：这种事情别找我。我从来都不会写诗。 文学 浙江大学人工智能教育教学研究中心 在提出图灵测试的《计算机器与智能》一文里，图灵描述了想象中未来的智能计算机测试可能的样子（人提出问题，计算机回答）： 大模型与图灵测试 文学 数学 逻辑 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 工智能教育教学研究中心 浙江大学人工智能教育教 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 杨老师周一晚 浙江大学人工智能教育教学研究中心 工智能教育教学研究中心 浙江大学人工智能教育教 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 杨老师周一晚讲 浙江大学人工智能教育教学研究中心 工智能教育教学研究中心 浙江大学人工智能教育教 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 杨老师周一晚讲大 浙江大学人工智能教育教学研究中心 工智能教育教学研究中心 浙江大学人工智能教育教 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 杨老师周一晚讲大模 浙江大学人工智能教育教学研究中心 工智能教育教学研究中心 浙江大学人工智能教育教 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 杨老师周一晚讲大模型 ashishvaswaninoamshazeernikiparmarjakobuszkoreitllionjonesaidanngomezukaszkaiserandllliapolosukhin“attentionisallyouneed”inneurips2017 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教 给定上下文（context），计算下一个生成词（token）的概率 浙江大学人工智能教育教学研究中心 根据所计算的条件概率进行采样获得生成词，拼接至上下文末尾，并预测下一个生成词，直至生成一个结束符（endofsequenceeos） 利用transformer计算条件概率 tokeni context 浙江大学人工智能教育教学研究中心 p 下一个单词上下文（用户提问 10 工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 已生成的句子） 模型 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教 输入：景点（如断桥残雪）输出：该景点所在城市传统机器学习模型 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 断桥残雪在哪？ 浙江大学人工智能教育教学研究中心 拆分成一连串的单词接龙 工智能教育教学研究中心 断桥残雪在哪？断桥残雪在哪？杭 断桥残雪在哪？杭州 杭州 llm llm 浙江大学人工智能教育教学研究中心 杭州 llm eos 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 针对特定任务的端到端学习 模型 断桥残雪在哪？北杭京州 浙江大学人工智能教育教学研究中心 训练数据：需要标注，成本高 断桥残雪，杭州，长城，北京，故宫，北京 工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 输入数据标注 浙江大学人工智能教育教学研究中心 预训练 浙江大学人工智能教育教学研究中心 杭州是中国浙江省的省会城市，是一座历史悠久且富有文化的城市，被誉为“人间天堂”。它位于中国东南沿海的长江三角洲经济区，拥有丰富的自然景观和人文遗产。杭州以西湖著称，西湖是中国著名的风景名胜，也被列入了世界文化遗产。除了西湖，杭州还有其他许多著名的景点，如京 杭大运河、钱塘江、灵隐寺、断桥等。 杭州是中国它位于中国杭州以 列入了世界 浙江省东南沿海 llm 西湖著称文化遗产 江苏省 llm 采样很多句子做单词接龙 浙江省 浙江大学人工智能教育教学研究中心 工智能教育教学研究中心 浙江大学人工智能教育教 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 杭州是中国 浙江省 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教 浙江大学人工智能教育教学研究中心 工智能教育教学研究中心 端到端学习 1、只会打架 浙江大学人工智能教育教学研究中心 2、打不过没见过的宝可梦 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教 浙江大学人工智能教育教学研究中心 工智能教育教学研究中心 预训练 1、多功能火恐龙 浙江大学人工智能教育教学研究中心 2、灵活运用技能 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教 预训练数据：网页、书籍、新闻、对话等多种类型的无标注数据 杭州是中国浙江省的省会城市，是一座历史悠久且富有文化的城市，被誉为“人间天堂”。它位于中国东南沿海的长江三角洲经济区，拥有丰富的自然景观和人文遗产。杭州以西湖著称，西湖是中国著名的风景名胜，也被列入了世界文化遗产。除了西湖，杭州还有其他许多著名的景点，如京杭大运河、钱塘江、灵隐寺、断桥等。 10月下旬，这则消息引发广泛关注。玛莎拉蒂母公司斯泰兰蒂斯集团15亿欧元入股浙江零跑科技股份有限公司，10月下旬，这则消息引发广泛关注。拥有自研智能动力、智能网联、智能驾驶三大核心技术，工厂预计年产可达70万辆在零跑科技创始人朱江明看来，这次强强联合，将是企业欧洲布局的重要一步。 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 传统nlp任务鲜有超过1gb的标注数据用于模型训练gpt3使用45tb数据进行预训练 工智能教育教学研究中心 大模型从海量无标注数据中学习了物理世界的知识以及人类遣词造句的模式 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教 功能单一 （窄） 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 传统机器学习模型 断桥残雪杭州 浙江大学人工智能教育教学研究中心 多种功能（通用） llm 浙江大学人工智能教育教学研究中心 杭州 在哪座城市？ 断桥残雪 工智能教育教学研究中心 什么季节好看？冬季 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教 浙江大学人工智能教育教学研究中心 预训练 微调 浙江大学人工智能教育教学研究中心 2030 监督微调（sft）：通过经标注的输入输出对数据调整模型部分参数，优化特定任务性能 浙江大学人工智能教育教学研究中心 指令微调（instructiontuning）：通过指令输出对使模型泛化到未见过的指令 工智能教育教学研究中心 5 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教 浙江大学人工智能教育教学研究中心 预训练 后微训调练 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 监督微调（sft）：通过经标注的输入输出对数据调整模型部分参数，优化特定任务性能指令微调（instructiontuning）：通过指令输出对使模型泛化到未见过的指令 工智能教育教学研究中心 强化学习（rlhf）：通过人类对回答的评分训练奖励模型，再用强化学习对齐人类偏好（如安全性、流畅性等） 浙江大学人工智能教育教学研究中心 工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教 单词接龙 提示prompt 浙江大学人工智能教育教学研究中心 充分的上下文 浙江大学人工智能教育教学研究中心 工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教 单词接龙 浙江大学人工智能教育教学研究中心 断桥残雪？？？ 浙江大学人工智能教育教学研究中心 工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教 单词接龙 浙江大学人工智能教育教学研究中心 断桥残雪在哪？在杭州 浙江大学人工智能教育教学研究中心 工智能教育教学研究中心 浙江大学人工智能教育教 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 帮我翻译成英文：断桥残雪 单词接龙 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 remnantsnowonthebrokenbridge “突然，一群穿着未来科技装备的士兵从天而降，他们携带着激光枪，手中高举光剑，准备与古堡中的恐龙进行战斗。” “在一个黑暗的夜晚，古堡里的居民们聚在壁炉旁” 幻觉 2024年欧洲杯西班 牙赢了几场比赛？ 很抱歉，作为一个基于gpt35的语言模型，我的知识截止时间是2021年无法提供2024年欧洲杯的最新情况 过时 性别偏见 此外还有语言、政治、文化、社会经 济等所引起的偏见