“MIR研究课题”的版本间的差异
（创建页面，内容为“文件:mir.png ==音高与旋律== =音高/音调= 由声音波形的频率决定，音乐中每个音符都具有一定的音高 =音高/音调检测（Pitch De…”） |
|||
| 第1行： | 第1行： | ||
[[文件:mir.png]] | [[文件:mir.png]] | ||
| − | + | =音高与旋律= | |
| − | =音高/音调= | + | ==音高/音调== |
由声音波形的频率决定，音乐中每个音符都具有一定的音高 | 由声音波形的频率决定，音乐中每个音符都具有一定的音高 | ||
| − | =音高/音调检测（Pitch Detection）= | + | ==音高/音调检测（Pitch Detection）== |
* 时域检查 | * 时域检查 | ||
** 过零率法、自相关法（如YIN算法）、最大似然法、自适应滤波器法、超分辨率法 | ** 过零率法、自相关法（如YIN算法）、最大似然法、自适应滤波器法、超分辨率法 | ||
| 第12行： | 第12行： | ||
** 使用耳蜗模型对每一个通道进行独立的自相关运算 | ** 使用耳蜗模型对每一个通道进行独立的自相关运算 | ||
** 综合所有通道信息得到相对应的音高 | ** 综合所有通道信息得到相对应的音高 | ||
| − | =旋律= | + | ==旋律== |
经过艺术构思按照节奏及和声形成的反映音乐主旨的音符序列 | 经过艺术构思按照节奏及和声形成的反映音乐主旨的音符序列 | ||
| − | =旋律提取（Melody Extraction）= | + | ==旋律提取（Melody Extraction）== |
* 从多声部音乐（Polyphonic Music）信号提取单声部（Monophonic）旋律 | * 从多声部音乐（Polyphonic Music）信号提取单声部（Monophonic）旋律 | ||
* 应用 | * 应用 | ||
| 第22行： | 第22行： | ||
** 歌声分离法（Singing Separation based Melody Extraction） | ** 歌声分离法（Singing Separation based Melody Extraction） | ||
** 数据驱动的音符分类法（Data-driven Note Classification） | ** 数据驱动的音符分类法（Data-driven Note Classification） | ||
| − | =音乐识谱= | + | ==音乐识谱== |
识别音乐中每个时刻发声的各个音符并形成乐谱 | 识别音乐中每个时刻发声的各个音符并形成乐谱 | ||
典型方法： | 典型方法： | ||
| 第32行： | 第32行： | ||
** 提取每个音符的基频，根据MIDI音符表转换为音符的音名 | ** 提取每个音符的基频，根据MIDI音符表转换为音符的音名 | ||
* 利用音乐领域知识或规则进行后处理纠错 | * 利用音乐领域知识或规则进行后处理纠错 | ||
| − | + | =音乐节奏（Music Rhythm）= | |
| − | =音符起始点检测（Note Onset Detection）= | + | ==音符起始点检测（Note Onset Detection）== |
* 检测音乐中某一音符开始的时间 | * 检测音乐中某一音符开始的时间 | ||
* 各种音乐节奏分析的预处理步骤 | * 各种音乐节奏分析的预处理步骤 | ||
| 第43行： | 第43行： | ||
** Soft Onset | ** Soft Onset | ||
*** 检测和弦突变点 | *** 检测和弦突变点 | ||
| − | =节拍= | + | ==节拍== |
某种具有固定时长的音符，通常以四分音符或八分音符为一拍 | 某种具有固定时长的音符，通常以四分音符或八分音符为一拍 | ||
| − | =节拍跟踪（Beat Tracking）= | + | ==节拍跟踪（Beat Tracking）== |
* 用计算机模拟人们在听音乐时无意识地踮脚或拍手的现象 | * 用计算机模拟人们在听音乐时无意识地踮脚或拍手的现象 | ||
* 理解音乐节奏的基础，很多MIR任务的重要步骤 | * 理解音乐节奏的基础，很多MIR任务的重要步骤 | ||
| 第51行： | 第51行： | ||
** 通常依赖于音符起始点检测、打击乐或其他时间局域化事件检测 | ** 通常依赖于音符起始点检测、打击乐或其他时间局域化事件检测 | ||
** 如果音乐偏重抒情，没有打击乐器或不明显，可采用和弦改变点作为候选节拍点 | ** 如果音乐偏重抒情，没有打击乐器或不明显，可采用和弦改变点作为候选节拍点 | ||
| − | =速度检测（Tempo Detection）= | + | ==速度检测（Tempo Detection）== |
* 音乐进行的快慢，每分钟多少拍BMP（Beats per Minute） | * 音乐进行的快慢，每分钟多少拍BMP（Beats per Minute） | ||
* 通常与节拍跟踪同时进行 | * 通常与节拍跟踪同时进行 | ||
| 第61行： | 第61行： | ||
** 与一组事先定义好的梳状滤波器卷积 | ** 与一组事先定义好的梳状滤波器卷积 | ||
** 对所有子带上的能量求和，最高峰值对应于速度 | ** 对所有子带上的能量求和，最高峰值对应于速度 | ||
| − | =拍子= | + | ==拍子== |
在小节线划分的相同时间间隔内，按照一定次序重复出现的有规律的强弱变化。如4/4、3/4、2/4等 | 在小节线划分的相同时间间隔内，按照一定次序重复出现的有规律的强弱变化。如4/4、3/4、2/4等 | ||
| − | =小节= | + | ==小节== |
划分乐句、乐段、整首乐曲的基本单位，在乐谱中用小节线划分 | 划分乐句、乐段、整首乐曲的基本单位，在乐谱中用小节线划分 | ||
| − | =拍子检测（Meter Detection）及小节线检测（Bar line/Measure Detection）= | + | ==拍子检测（Meter Detection）及小节线检测（Bar line/Measure Detection）== |
* 典型方法 | * 典型方法 | ||
** 节拍相似性矩阵 | ** 节拍相似性矩阵 | ||
** 节拍跟踪+基于音乐知识的启发式规则 | ** 节拍跟踪+基于音乐知识的启发式规则 | ||
| − | =节奏型检测（Music Rhythm）= | + | ==节奏型检测（Music Rhythm）== |
* 节奏型 | * 节奏型 | ||
** 在歌曲中反复出现的有一定特征的节奏 | ** 在歌曲中反复出现的有一定特征的节奏 | ||
| 第76行： | 第76行： | ||
* 典型方法 | * 典型方法 | ||
** 基于模板匹配 | ** 基于模板匹配 | ||
| − | + | =音乐和声= | |
| − | =多声部音乐= | + | ==多声部音乐== |
* 复调音乐（Polyphony） | * 复调音乐（Polyphony） | ||
** 公元9世纪到18世纪前半叶，流行于欧洲 | ** 公元9世纪到18世纪前半叶，流行于欧洲 | ||
| 第87行： | 第87行： | ||
*** 主调音乐最重要的要素之一 | *** 主调音乐最重要的要素之一 | ||
*** 两个或以上不同的音符按照一定规则同时发声而构成的声音组合 | *** 两个或以上不同的音符按照一定规则同时发声而构成的声音组合 | ||
| − | =和弦= | + | ==和弦== |
* 和声的基本素材，由三个或以上不同的音按照一定音程在纵向结合构成 | * 和声的基本素材，由三个或以上不同的音按照一定音程在纵向结合构成 | ||
* 和弦的连接表示和声的横向运动 | * 和弦的连接表示和声的横向运动 | ||
| − | =和弦识别（Chord Detection）= | + | ==和弦识别（Chord Detection）== |
* 音频特征 | * 音频特征 | ||
** PCP（Chroma）：在C、#C、D、#D、E、F、#F、G、#G、A、#A、B等12个半音类上与八度无关的谱能量聚集 | ** PCP（Chroma）：在C、#C、D、#D、E、F、#F、G、#G、A、#A、B等12个半音类上与八度无关的谱能量聚集 | ||
* 识别模型 | * 识别模型 | ||
** 模式匹配、隐马尔可夫模型HMM（Hidden Markov Model）、条件随机场CRF（Conditional Random Fields）、支持向量机SVM（Support Vector Machine）、递归神经网络RNN（Recurrent Neural Network）…… | ** 模式匹配、隐马尔可夫模型HMM（Hidden Markov Model）、条件随机场CRF（Conditional Random Fields）、支持向量机SVM（Support Vector Machine）、递归神经网络RNN（Recurrent Neural Network）…… | ||
| − | =调检测（Key Detection）= | + | ==调检测（Key Detection）== |
* 音名对应于钢琴上真实的键 | * 音名对应于钢琴上真实的键 | ||
* 唱名随着音乐的调（Key）而变化 | * 唱名随着音乐的调（Key）而变化 | ||
2022年10月31日 (一) 00:46的版本
音高与旋律
音高/音调
由声音波形的频率决定，音乐中每个音符都具有一定的音高
音高/音调检测（Pitch Detection）
- 时域检查
- 过零率法、自相关法（如YIN算法）、最大似然法、自适应滤波器法、超分辨率法
- 频域检测
- 基于音频帧的短时傅里叶变换（SIFT），周期性信号在基频的整数倍处得到峰值
- 基于听觉模型检测
- 模拟人类感知音高的生理过程
- 使用耳蜗模型对每一个通道进行独立的自相关运算
- 综合所有通道信息得到相对应的音高
旋律
经过艺术构思按照节奏及和声形成的反映音乐主旨的音符序列
旋律提取（Melody Extraction）
- 从多声部音乐（Polyphonic Music）信号提取单声部（Monophonic）旋律
- 应用
- 音乐搜索、抄袭检测、歌唱评价、作曲家风格分析……
- 典型方法
- 音高重要性发（Pitch-Salience based Melody Extraction）
- 歌声分离法（Singing Separation based Melody Extraction）
- 数据驱动的音符分类法（Data-driven Note Classification）
音乐识谱
识别音乐中每个时刻发声的各个音符并形成乐谱 典型方法：
- 音源分离
- 通常基于矩阵分解技术进行歌声和各种伴奏乐器声音的分离
- 音符分割
- 在各个音源上进行，寻找每一个音符起始点并分割
- 音高提取
- 提取每个音符的基频，根据MIDI音符表转换为音符的音名
- 利用音乐领域知识或规则进行后处理纠错
音乐节奏（Music Rhythm）
音符起始点检测（Note Onset Detection）
- 检测音乐中某一音符开始的时间
- 各种音乐节奏分析的预处理步骤
- 典型方法
- Hard Onset
- 子带分解
- 检测各子带能量峰值
- 合并后挑选结果
- Soft Onset
- 检测和弦突变点
- Hard Onset
节拍
某种具有固定时长的音符，通常以四分音符或八分音符为一拍
节拍跟踪（Beat Tracking）
- 用计算机模拟人们在听音乐时无意识地踮脚或拍手的现象
- 理解音乐节奏的基础，很多MIR任务的重要步骤
- 典型方法
- 通常依赖于音符起始点检测、打击乐或其他时间局域化事件检测
- 如果音乐偏重抒情，没有打击乐器或不明显，可采用和弦改变点作为候选节拍点
速度检测（Tempo Detection）
- 音乐进行的快慢，每分钟多少拍BMP（Beats per Minute）
- 通常与节拍跟踪同时进行
- 应用
- 音乐情感分析中的一个重要因素
- 给帕金森病人播放与其走路速度一致的音乐，辅助其恢复
- 典型方法
- 带通滤波，对每个子带计算其幅度包络线
- 与一组事先定义好的梳状滤波器卷积
- 对所有子带上的能量求和，最高峰值对应于速度
拍子
在小节线划分的相同时间间隔内，按照一定次序重复出现的有规律的强弱变化。如4/4、3/4、2/4等
小节
划分乐句、乐段、整首乐曲的基本单位，在乐谱中用小节线划分
拍子检测（Meter Detection）及小节线检测（Bar line/Measure Detection）
- 典型方法
- 节拍相似性矩阵
- 节拍跟踪+基于音乐知识的启发式规则
节奏型检测（Music Rhythm）
- 节奏型
- 在歌曲中反复出现的有一定特征的节奏
- 应用
- 音乐流派分析、音乐教学……
- 典型方法
- 基于模板匹配
音乐和声
多声部音乐
- 复调音乐（Polyphony）
- 公元9世纪到18世纪前半叶，流行于欧洲
- 两条或以上的独立旋律，和谐地结合
- 主调音乐（Homophony）
- 18世纪后半叶到现在，逐渐取代了复调音乐
- 某一个声部作为主旋律，其他声部以和声或节奏等手法进行陪衬和伴奏
- 和声
- 主调音乐最重要的要素之一
- 两个或以上不同的音符按照一定规则同时发声而构成的声音组合
和弦
- 和声的基本素材，由三个或以上不同的音按照一定音程在纵向结合构成
- 和弦的连接表示和声的横向运动
和弦识别（Chord Detection）
- 音频特征
- PCP（Chroma）：在C、#C、D、#D、E、F、#F、G、#G、A、#A、B等12个半音类上与八度无关的谱能量聚集
- 识别模型
- 模式匹配、隐马尔可夫模型HMM（Hidden Markov Model）、条件随机场CRF（Conditional Random Fields）、支持向量机SVM（Support Vector Machine）、递归神经网络RNN（Recurrent Neural Network）……
调检测（Key Detection）
- 音名对应于钢琴上真实的键
- 唱名随着音乐的调（Key）而变化
- 应用
- 音乐识谱、和弦检测、音乐情感计算、音乐结构分析……
- 典型方法
- 通过音阶分布来描述对调的感知
