AI 音乐学习

September 27, 2023

AI 唱歌

  1. 模型训练。so-vits-svc 自己配置开发环境。音色A -> 音色B. 训练数据必须是干声,尽量覆盖各个音调,训练数据至少2个小时。或者用uvr分离出干声,然后用audio slicer (slicer-gui.exe) 切分成小段,然后拷贝训练数据到so-vits-svc/dataset_raw/jack.
    • 数据预处理.bat -> 训练.bat (can find logs under /logs 训练到2万多步就差不多了 -> 训练聚类.bat
    • 打开app.py, 填写训练好的模型地址,配置文件,聚类文件
    • 推理预测.bat 就可以看到web interface. 音频也是待处理的干声,再转换
  2. 视频生成。打开运行.bat, 填写音频和图片地址,然后运行,结果在results. full是全身图,enhanced是使用超分辨率重建

P.S. uvr分离技巧

  • demucs, stems: vocals, segment: default, model: v3 | UVR_Model_1. 得到分离后的人声和伴奏
  • VR architecture, window size: 320, aggresion setting: 10, model: 5_HP-Karaoke-UVR. 去掉和声后的干声

uvr 使用tip

中文帮助手册 来源:上面视频

原视频评论:cr. DJ丶Se7en

7HP2最好最纯的伴奏.
4_HP最好的人声.
6
HP Karaoke和声伴奏(听感最佳)

replay

官网

  • 工程文件可以下载,都是老外的歌
  • 算法可以下载 stem method. 下载完成就是绿色的
  • 可以去掉混响,杂音,改pitch,改共振峰
  • 提取伴奏 :stem only
  • 算法:VR 算力低,结果不完美。MDX综合算法,结果很好。Karaoke 可以保留和声
  • render device: cuda
  • output format: wav
  • stem songs

melodyne

它能识别出来具体的音,基本能识别和弦,但局限于和弦的性质,不包括转位以及其他的chromatics.

audio jam

官网

虽然melodyne也可以分析和弦,但我感觉它的高级和弦分析功能更高级一些,能分析出一些7和弦和转位:

分离各个轨道的算法跟uvr是一样的,这个做了个封装,再加上和弦分析等其他的一些小功能。总体来说作为一个扒谱工具辅助还是很不错的。

ripx

RipX: Remove Vocals, Extract Stems, Learn & Practice Songs, Remix Tracks & Fix Audio with RipX DeepRemix and DeepAudio. Use Audioshop to deep-edit audio




AI 人声生成

diffsinger bilibili 其中里面提到了SVS (singer voice synthesis) 商业公司

ace studio真的是非常不错的软件,这里有个介绍

其他一些AI软件

好评颇多的钢琴转谱

quick transcription: