[浙江大学]：智能音乐生成理解 反馈 融合 -尊龙凯时人生就博

浙江大学 浙江大学deepseek系列专题线上公开课（第二季）第五期 智能音乐生成：理解反馈融合 张克俊 浙江大学计算机科学与技术学院 浙江大学 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 浙江大学 浙江大学deepseek系列专题线上公开课（第二季）第五期 智能音乐生成：理解反馈融合 张克俊 浙江大学计算机科学与技术学院 浙江大学 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 浙江大 一、背景 a创作的国乐音乐会 浙江大学deepseek系列专题线上公开课（第二季）第五期 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 视频来源httpswwwbilibillicomvideobv1pw4m127jm，httpswwwbilibilicomvideobv1pz421k71o，httpswwwbilibilcomvideobv1xr421u7vb 浙江大 一、背景 a创作的国乐音乐会 浙江大学deepseek系列专题线上公开课（第二季）第五期 bbbab 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 视频来源httpswwwbilibilicomvideobv1pw4m127jm，httpswwwbilibilicomvideobv1pz421k71o，httpswwwbilibilcomvideobv1xr421u7vb 浙江大学 一、背景 i猜一猜哪首是a生成的贝多芬交响曲？ 浙江大学deepseek系列专题线上公开课（第二季）第五期 下面四首交响曲中有三首是原版的贝多芬交响曲，有一首是ai生成的贝多芬 《第十交响曲》，猜一猜哪一首是a生成的？ 234 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 浙江大 未来 面向 电子音乐与ai的交响 导赏音乐会 浙江大学deepseek系列专题线上公开课（第二季）第五期 202305129 muse 张克俊 高东科技融创节浙江大学计算机科学 与技术学院工业设计 系系主任、国际设计 未来诗一古筝ai视听音乐会20254445研究院副院长 沈出之水家王萌于 浙江大学deepseek系列专题线上公开课（第二季）第五期 一、背景 人工智能：数据、算法和算力 数据算法算力 bigdata deepseek 探索未至之境 张克俊 大数据建设新算法创新大算力突破 2025年数据规模将到达2016zb大语言模型推动技术、轻量化深度学习技术、训练芯片创新加速，推断芯片朝着专用定制 浙江大学计算机科学 数据服务由简单场景向个性化复杂场景定制。知识计算、人工智能与科学研究融合等。化发展，类脑芯片、存内计算、量子计算等与技术学院工业设计 依旧是重点探索方向。 系系主任、国际设计 研究院副院长 数据来源2025年人《中国人工智能计算力发展评估报告》 浙江大 一、背景 ia音乐生成具有极大理论及应用研究价值 浙江大学deepseek系列专题线上公开课（第二季）第五期 人工智能近年学术研究发展趋势 音乐学 1250 1150 多音乐1050 950 心理学（脑、语言）学 科 设计学 智能生成850 750 650 550 张克俊 450浙江大学计算机科学 与技术学院工业设计系系主任、国际设计 研究院副院长 产业界orkodoubaoteamoppohuaweinagentasuno 数据来源webofscience 浙江大学deepseek系列专题线上公开课（第二季）第五期 一、背景 ia音乐生成发展历程 随机组合模块作曲殷子游戏 莫扎特小舞曲或三重奏 1960有限状态机和随机矩阵作曲深度学习神经网络作曲 1965模式识别分析作曲迁移学习作曲 1987基于规则的知识库系统，混合型算法自然语言处理作曲 1987音乐文法系统（davidcope强化学习作曲 1993交互式遗传算法作曲musicbert musictransformer 19世纪以前1960年1993年2016年至今 1957年2002年2016年 马尔可夫链转换表作曲20世纪末各类遗传算法作曲 张克俊 hiller，弦乐四重奏2002神经网络（lstm）作曲浙江大学计算机科学 与技术学院工业设计 先验规则学习式（被动）：会考经验数据驱动式（主动）：会学 系系主任、国际设计研究院副院长 httpswwwpianoabrsmcommozartdicegame 浙江大 音乐创作核心流程 作曲理论：乐理、和声学、复调、配器法、曲式 浙江大学deepseek系列专题线上公开课（第二季）第五期 对象：曲作者、音乐创作人 1智能作词作曲旋律） 内容：音乐主题、作词作曲、小样录制要求：了解和弦，曲式结构等基本乐理 编曲 配器：乐器编配选择、位置、声部 编曲：和声、节奏、旋律、人声、环境、段落 对象：编曲人 要求：有乐理基础、了解各种乐器、熟练使用 音乐制作软件、具有音乐把控力、审美能力 2智能编曲伴奏生成 录制33智能润色，专家知识 录制：联络真乐器演员、专业录音棚制作对象：乐队、录音师 监棚：相互交流、把握演奏风格要求：设备需求高、技术门槛高、配合度高 张克俊 混音环境：专业混音环境、数字或纯模拟混音 对象：混音师 音乐风格、对声音敏感、熟4智能后期，音效引擎 混音：压缩、均衡、激励、失真、混响等练操作软硬件系统浙江大学计算机科学 压制母带：频率、动态、抖动、响度对象：母带工程师 与技术学院工业设计 出片：压制产生文件要求：技术标准、经验需求系系主任、国际设计研究院副院长 作曲流程长，工种参与类型多，设备要求专业，驱需利用ai技术协助简化作曲 浙江大 、背景 ia音乐三大模块工作 浙江大学deepseek系列专题线上公开课（第二季）第五期 noiseevaluation pleasureevaluation similarity evaluation humanevaluation notes、phrase、harmonicity、 qmax、 comments musicstructurerhythm、themepreferenceturing oaoverlapping 输出评估 machineevaluationhumanevaluation 算法模型 imagebased cnngan、cnnvae、 3dcnn、cnnvaegan complementarylanguagebased 张克俊 rnnlstm、gru、 complementaryseq2seq、transformer、 bert、gpt 浙江大学计算机科学 transcriptionrendering与技术学院工业设计 audiosymbolicsheetmusic系系主任、国际设计 representation synthesis representation omr representation performance研究院副院长 数据表征 physicaltimemusicaltime acousticdomainvisualdomain 浙江大 一、背景 【音乐的数据表示 浙江大学deepseek系列专题线上公开课（第二季）第五期 abc 67g 张克俊 03symbolicrepresentationmidl 43g 36c2 240480 timeticks 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 浙江大 一、背景 音乐的数据表示 浙江大学deepseek系列专题线上公开课（第二季）第五期 图像流派作曲表征 aplayerpiano数据表示矩阵（二进制）： 行：时间 列：音高 张克俊 time 线长：音符持续时间（noteduration）浙江大学计算机科学 bpianoroll与技术学院工业设计 系系主任、国际设计 研究院副院长 浙江大 一、背景 音乐的数据表示 浙江大学deepseek系列专题线上公开课（第二季）第五期 自然语言流派作曲表征 amidlexcerpt413differentevents 128noteonevents开始 128noteoffevents结束 张克俊 noteon60setvelocity31 125timeshiftevents时间步长浙江大学计算机科学 与技术学院工业设计 timeeshift640ms noteoffc4 noteoff67timeshift24ms setvelocity25系系主任、国际设计 研究院副院长 浙江大学deepseek系列专题线上公开课（第二季）第五期 一、背景 【a音乐生成的数据表示 transcriptionrendering audiosymbolicsheetmusic representation synthesis performance representation omr representation 音乐数据表示 physicaltimemusicaltime acousticdomainvisualdomain 张克俊 01musicsheetrepresentation02audiorepresentation03symbolicrepresentation musicrepresentationdatasetdetails sheetmusedataclassicmusicineuroperoughlybetween1700and1825 midi、pianoroll、midilike 浙江大学计算机科学与技术学院工业设计 系系主任、国际设计 midipianorolllmdlpd 176581uniquemidifilesinthemillionsongdataset audiopmemoemotionannotationsof794popsongs 研究院副院长 浙江大 一、背景 丨音乐生成技术路线 浙江大学deepseek系列专题线上公开课（第二季）第五期 ai音乐生成技术路线智能后期润色及音效优化引擎 noiseevaluationhumanevaluation后期润色、乐器搭配、音效引擎 notesarmonicity musicstructurethythmhemepreferenceturing imagebased cnngan、cnnvae、 objectiveevaluationhumanstudy complementarylanguagebased rnnlstm、gru、 音乐分轨 张克俊 lead轨道 chords轨道bass轨道 3dcnn、cnnvaegan transcription complementaryseq2seqtransformergnn、 gpt rendering drum轨道浙江大学计算机科学 特效音与技术学院工业设计 audiosymbolicsheetmusic 系系主任、国际设计 representationsynthesisrepresentation omr representation结构分析intro1intro2 buildupdropldrop2ending 研究院副院长 performance physicaltimemusicaltime visualdomain acousticdomain 浙江 一、背景 【a音乐生成评估 浙江大学deepseek系列专题线上公开课（第二季）第五期 human noiseevaluation similarityevaluation pleasureevaluation notes、phrase、harmonicity evaluation qmax comments、 musicstructure rhythm、themepreference oaoverlappingturing machineevaluationhumanevaluation 人机评估评估方案评