MIR研究课题 - 版本历史

2022年10月31日 (一) 10:26 Gaowei

2022-10-31T10:26:25Z

Gaowei：/* 旋律提取（Melody Extraction） */

2022-10-31T07:54:47Z

‎旋律提取（Melody Extraction）

2022年10月31日 (一) 07:51 Gaowei

2022-10-31T07:51:04Z

2022年10月31日 (一) 03:22 Gaowei

2022-10-31T03:22:20Z

2022年10月31日 (一) 03:13 Gaowei

2022-10-31T03:13:40Z

2022年10月31日 (一) 02:59 Gaowei

2022-10-31T02:59:21Z

2022年10月31日 (一) 02:08 Gaowei

2022-10-31T02:08:51Z

2022年10月31日 (一) 01:13 Gaowei

2022-10-31T01:13:38Z

2022年10月31日 (一) 00:57 Gaowei

2022-10-31T00:57:46Z

2022年10月31日 (一) 00:46 Gaowei

2022-10-31T00:46:25Z

←上一版本		2022年10月31日 (一) 10:26的版本
第212行：		第212行：
	** 特征提取+统计分类		** 特征提取+统计分类
	** 根据音乐内容分析比如节奏进行聚类		** 根据音乐内容分析比如节奏进行聚类
		+	==作曲家分类（Music Composer Classification）==
		+	* 听一段音乐，分析音频数据并识别出相应的作曲家信息
		+	* 应用
		+	** 音乐理论分析
		+	* 典型方法
		+	** 音频特征
		+	*** 底层、高层、特征学习
		+	** 统计分类器
		+	*** 决策树（Decision Trees）、SVM……
		+	==音乐结构分析（Music Structure Analysis）==
		+	* 把音频流分割为一系列具有音乐意义的时间区域
		+	** 前奏（Intro）、主歌（Verse）、副歌（Chorus/Refrain）、桥段（Bridge）和结尾（Outro）
		+	* 应用
		+	** 音乐理解、多版本音乐检索CSI、乐句划分、音乐摘要、音频水印
		+	* 典型方法
		+	** 自相似矩阵（Self-similarity Matrix）
		+	** 递归图（Recurrence Plot）
		+	** 子空间聚类（Subspace Clustering）
		+	==音乐摘要/缩略图（Music Summary/Thumbnail）==
		+	* 音乐中可听的最具代表性的音频片段
		+	* 应用
		+	** 彩铃、浏览、搜索……
		+	* 典型方法
		+	** 通过初步的结构分析寻找最合适的片段集作为摘要
		+	** 完整的音乐结构分析，副歌+附近乐句
		+	==音乐推荐（Music Recommendation）==
		+	* 类型
		+	** 分析用户历史行为，挖掘用户潜在兴趣，发现适合其喜好的个性化音乐并主动推送
		+	** 基于情感的推荐
		+	** 基于场景（如工作、睡觉、运动）的推荐
		+	* 典型方法
		+	** 协同过滤推荐
		+	*** 用户会倾向于欣赏同自己有相似偏好的用户群所聆听的音乐。冷启动
		+	** 基于内容的推荐技术
		+	*** 根据音乐间的元数据或声学特征的相似性推荐音乐，适用于新系统
		+	** 混合型推荐
		+	*** 多模态数据：几何位置、用户场景、微博等社交媒体、流派、情感、乐器等标签
		+	==其他==
		+	* 乐器识别（Instrument Recognition）
		+	* 音乐标注（Music Annotation/Tagging）
		+	* 音乐与歌词同步（Synchronization between Music and Lyrics）
		+	* 自动/算法作曲（Automated/Algorithmic Composition）
		+	* 歌词识别（Lyrics Recognition）
		+	* 音乐借用（Music Borrowing）
		+	* ……

@@ 第20行： / 第20行： @@
 ** 音乐搜索、抄袭检测、歌唱评价、作曲家风格分析……
 * 典型方法
-** 音高重要性发（Pitch-Salience based Melody Extraction）
+** 音高重要性法（Pitch-Salience based Melody Extraction）
 ** 歌声分离法（Singing Separation based Melody Extraction）
 ** 数据驱动的音符分类法（Data-driven Note Classification）
 ==音乐识谱==
 识别音乐中每个时刻发声的各个音符并形成乐谱

←上一版本		2022年10月31日 (一) 07:51的版本
第1行：		第1行：
		+	{{TOCright}}
	[[文件:mir.png]]		[[文件:mir.png]]
	=音高与旋律=		=音高与旋律=

←上一版本		2022年10月31日 (一) 03:22的版本
第184行：		第184行：
	* 典型方法		* 典型方法
	** 时间域算法、频率域算法、压缩域算法		** 时间域算法、频率域算法、压缩域算法
		+	==脆弱/半脆弱音频水印（Fragile/Semi- fragile Audio Watermarking）==
		+	* 应用
		+	** 数字音频作品的真实性和完整性保护
		+	* 脆弱水印
		+	** 检测宿主数据发生的任何变化
		+	** LSB
		+	* 半脆弱水印
		+	** 融合鲁棒水印与脆弱水印的特性
		+	** 能够抵抗有损压缩、噪声等常规音频信号失真
		+	** 对剪切、替换、恶意篡改等非法操作敏感
		+	=其它MIR领域=
		+	==音乐情感识别（Music Emotion Recognition）==
		+	* 应用
		+	** 音乐选择、影视制作、音乐推荐、音乐治疗……
		+	* 情感模型
		+	** Hevner情感模型
		+	** Thayer情感模型
		+	* 典型方法
		+	** 单标签和多标签分类问题
		+	** 基于arousal和valence（AV）值的二维AV情感空间回归预测
		+	==音乐流派/曲风分类（Music Genre Classification）==
		+	* 西方音乐
		+	** 流行、摇滚、爵士、乡村、经典、蓝调、嘻哈、迪斯科……
		+	* 典型方法
		+	** 特征提取+统计分类
		+	** 根据音乐内容分析比如节奏进行聚类

←上一版本		2022年10月31日 (一) 03:13的版本
第177行：		第177行：
	==数字音频水印技术==		==数字音频水印技术==
	在不影响原始音频质量的条件下向其中嵌入具有特定意义且易于提取的信息的技术		在不影响原始音频质量的条件下向其中嵌入具有特定意义且易于提取的信息的技术
		+	==鲁棒音频水印（Robus Audio Watermarking）==
		+	* 应用
		+	** 保护版权、广播监控、盗版追踪、内容标注
		+	* 要求
		+	** 嵌入的水印能够经受各种时频域的音频信号失真及同步失真
		+	* 典型方法
		+	** 时间域算法、频率域算法、压缩域算法

@@ 第149行： / 第149行： @@
 ** 建模后得到音频指纹
 ** 在指纹库中进行基于相似性的快速匹配和查找
-==哼唱及歌唱检索==
+==哼唱及歌唱检索（Query by Humming\Singing）==

@@ 第142行： / 第142行： @@
 ==音乐识别（Music Identification）==
 * 录制一个音乐片段作为查询，计算音频指纹后与后台指纹库进行匹配，将最相似记录的歌曲名字、词曲作者、演唱者、歌词等元数据返回
-* 基于例子
+* 基于例子的音频搜索（Example-based Audio/Music Retrieval）

@@ 第123行： / 第123行： @@
 ** 基于音高推理（Pitch- based inference）获得歌声泛音结构
 ** 基于矩阵分解技术
-*** 独立子空间ISA（Independent Subspace Analysis）、
+*** 独立子空间ISA（Independent Subspace Analysis）、稀疏编码（Sparse Coding）、非负矩阵分解NMF（Non-negative Matrix Factorization）、鲁棒主成分分析RPCA（Robust Principal Component Analysis）……

←上一版本		2022年10月31日 (一) 00:57的版本
第102行：		第102行：
	* 典型方法		* 典型方法
	** 通过音阶分布来描述对调的感知		** 通过音阶分布来描述对调的感知
		+	[[文件:范例.jpg]]
		+	常用乐理知识图例：
		+	[[文件:范例.jpg]]
		+	=歌声信息处理（Singing Information Processing）=
		+	==歌声检测（Vocal/Singing Voice Detection）==
		+	* 判定整首歌曲中哪些部分是歌声，哪些部分是纯乐器伴奏。
		+	* 典型方法
		+	** 音频分帧
		+	** 提取能够有效区分歌声和伴奏的音频特征
		+	*** MFCC、谱特征、颤音……
		+	** 分类
		+	*** 基于门限方法
		+	*** 基于机器学习的统计分类
		+	** 后处理
		+	==歌声分离（Vocal/Singing Voice Separation）==
		+	* 将歌声与背景音乐分离
		+	* 应用
		+	** 歌手识别、哼唱/歌唱检索、卡拉OK伴奏……
		+	* 典型方法
		+	** 基于音高推理（Pitch- based inference）获得歌声泛音结构
		+	** 基于矩阵分解技术
		+	*** 独立子空间ISA（Independent Subspace Analysis）、

@@ 第1行： / 第1行： @@
 [[文件:mir.png]]
-==音高与旋律==
+=音高与旋律=
-=音高/音调=
+==音高/音调==
 由声音波形的频率决定，音乐中每个音符都具有一定的音高
-=音高/音调检测（Pitch Detection）=
+==音高/音调检测（Pitch Detection）==
 * 时域检查
 ** 过零率法、自相关法（如YIN算法）、最大似然法、自适应滤波器法、超分辨率法
@@ 第12行： / 第12行： @@
 ** 使用耳蜗模型对每一个通道进行独立的自相关运算
 ** 综合所有通道信息得到相对应的音高
-=旋律=
+==旋律==
 经过艺术构思按照节奏及和声形成的反映音乐主旨的音符序列
-=旋律提取（Melody Extraction）=
+==旋律提取（Melody Extraction）==
 * 从多声部音乐（Polyphonic Music）信号提取单声部（Monophonic）旋律
 * 应用
@@ 第22行： / 第22行： @@
 ** 歌声分离法（Singing Separation based Melody Extraction）
 ** 数据驱动的音符分类法（Data-driven Note Classification）
-=音乐识谱=
+==音乐识谱==
 识别音乐中每个时刻发声的各个音符并形成乐谱
 典型方法：
@@ 第32行： / 第32行： @@
 ** 提取每个音符的基频，根据MIDI音符表转换为音符的音名
 * 利用音乐领域知识或规则进行后处理纠错
-==音乐节奏（Music Rhythm）==
+=音乐节奏（Music Rhythm）=
-=音符起始点检测（Note Onset Detection）=
+==音符起始点检测（Note Onset Detection）==
 * 检测音乐中某一音符开始的时间
 * 各种音乐节奏分析的预处理步骤
@@ 第43行： / 第43行： @@
 ** Soft Onset
 *** 检测和弦突变点
-=节拍=
+==节拍==
 某种具有固定时长的音符，通常以四分音符或八分音符为一拍
-=节拍跟踪（Beat Tracking）=
+==节拍跟踪（Beat Tracking）==
 * 用计算机模拟人们在听音乐时无意识地踮脚或拍手的现象
 * 理解音乐节奏的基础，很多MIR任务的重要步骤
@@ 第51行： / 第51行： @@
 ** 通常依赖于音符起始点检测、打击乐或其他时间局域化事件检测
 ** 如果音乐偏重抒情，没有打击乐器或不明显，可采用和弦改变点作为候选节拍点
-=速度检测（Tempo Detection）=
+==速度检测（Tempo Detection）==
 * 音乐进行的快慢，每分钟多少拍BMP（Beats per Minute）
 * 通常与节拍跟踪同时进行
@@ 第61行： / 第61行： @@
 ** 与一组事先定义好的梳状滤波器卷积
 ** 对所有子带上的能量求和，最高峰值对应于速度
-=拍子=
+==拍子==
 在小节线划分的相同时间间隔内，按照一定次序重复出现的有规律的强弱变化。如4/4、3/4、2/4等
-=小节=
+==小节==
 划分乐句、乐段、整首乐曲的基本单位，在乐谱中用小节线划分
-=拍子检测（Meter Detection）及小节线检测（Bar line/Measure Detection）=
+==拍子检测（Meter Detection）及小节线检测（Bar line/Measure Detection）==
 * 典型方法
 ** 节拍相似性矩阵
 ** 节拍跟踪+基于音乐知识的启发式规则
-=节奏型检测（Music Rhythm）=
+==节奏型检测（Music Rhythm）==
 * 节奏型
 ** 在歌曲中反复出现的有一定特征的节奏
@@ 第76行： / 第76行： @@
 * 典型方法
 ** 基于模板匹配
-==音乐和声==
+=音乐和声=
-=多声部音乐=
+==多声部音乐==
 * 复调音乐（Polyphony）
 ** 公元9世纪到18世纪前半叶，流行于欧洲
@@ 第87行： / 第87行： @@
 *** 主调音乐最重要的要素之一
 *** 两个或以上不同的音符按照一定规则同时发声而构成的声音组合
-=和弦=
+==和弦==
 * 和声的基本素材，由三个或以上不同的音按照一定音程在纵向结合构成
 * 和弦的连接表示和声的横向运动
-=和弦识别（Chord Detection）=
+==和弦识别（Chord Detection）==
 * 音频特征
 ** PCP（Chroma）：在C、#C、D、#D、E、F、#F、G、#G、A、#A、B等12个半音类上与八度无关的谱能量聚集
 * 识别模型
 ** 模式匹配、隐马尔可夫模型HMM（Hidden Markov Model）、条件随机场CRF（Conditional Random Fields）、支持向量机SVM（Support Vector Machine）、递归神经网络RNN（Recurrent Neural Network）……
-=调检测（Key Detection）=
+==调检测（Key Detection）==
 * 音名对应于钢琴上真实的键
 * 唱名随着音乐的调（Key）而变化