AI 唱歌
- 模型训练。so-vits-svc 自己配置开发环境。音色A -> 音色B. 训练数据必须是干声,尽量覆盖各个音调,训练数据至少2个小时。或者用uvr分离出干声,然后用audio slicer (slicer-gui.exe) 切分成小段,然后拷贝训练数据到
so-vits-svc/dataset_raw/jack
.数据预处理.bat
->训练.bat
(can find logs under/logs
训练到2万多步就差不多了 ->训练聚类.bat
- 打开
app.py
, 填写训练好的模型地址,配置文件,聚类文件 推理预测.bat
就可以看到web interface. 音频也是待处理的干声,再转换
- 视频生成。打开
运行.bat
, 填写音频和图片地址,然后运行,结果在results
. full是全身图,enhanced是使用超分辨率重建
P.S. uvr分离技巧
- demucs, stems: vocals, segment: default, model:
v3 | UVR_Model_1
. 得到分离后的人声和伴奏 - VR architecture, window size: 320, aggresion setting: 10, model: 5_HP-Karaoke-UVR. 去掉和声后的干声
uvr 使用tip
中文帮助手册 来源:上面视频
原视频评论:cr. DJ丶Se7en
7HP2最好最纯的伴奏.
4_HP最好的人声.
6 HP Karaoke和声伴奏(听感最佳)
replay
- 工程文件可以下载,都是老外的歌
- 算法可以下载 stem method. 下载完成就是绿色的
- 可以去掉混响,杂音,改pitch,改共振峰
- 提取伴奏 :stem only
- 算法:VR 算力低,结果不完美。MDX综合算法,结果很好。Karaoke 可以保留和声
- render device: cuda
- output format: wav
- stem songs
melodyne
它能识别出来具体的音,基本能识别和弦,但局限于和弦的性质,不包括转位以及其他的chromatics.
audio jam
虽然melodyne也可以分析和弦,但我感觉它的高级和弦分析功能更高级一些,能分析出一些7和弦和转位:
分离各个轨道的算法跟uvr是一样的,这个做了个封装,再加上和弦分析等其他的一些小功能。总体来说作为一个扒谱工具辅助还是很不错的。
ripx
RipX: Remove Vocals, Extract Stems, Learn & Practice Songs, Remix Tracks & Fix Audio with RipX DeepRemix and DeepAudio. Use Audioshop to deep-edit audio
AI 人声生成
diffsinger bilibili 其中里面提到了SVS (singer voice synthesis) 商业公司
ace studio真的是非常不错的软件,这里有个介绍
其他一些AI软件
- basicpitch
- transkun Yet another tool for automatic piano transcription
- 团子AI
- izotope rx The smart solution for clear audio
- piano transcription google colab, needs log in. or github
好评颇多的钢琴转谱
- b站安装教程 wins
- b站安装教程 ubuntu
- zhihu 安装
- zhihu 介绍: 万余首钢琴作品、一千多个小时,字节跳动发布全球最大钢琴MIDI数据集
- github
quick transcription: