🌊WavCraft

只需简单的文本描述，即可进行音频生成与编辑。

本仓库目前支持：

• 文本引导的音频编辑：根据文本输入，对给定的音频片段进行内容编辑。
• 文本引导的音频生成：根据文本输入创作音频片段。
• 音频脚本创作：通过提示脚本背景，由 WavCraft 进行脚本创作并生成相应的音频，为您提供更多灵感。
• 音频溯源：检查音频文件是否由 WavCraft 生成。

更新日志

2024-05-06：WavCraft 开始支持 openLLMs (MistralAI 系列)。

2024-03-20：为系统添加水印功能。

内容目录

• 使用说明
  • 安装
  • 通过单行指令进行音频编辑
  • 通过交互式对话进行音频编辑
  • 检查音频是否由 WavCraft 生成/修改
• 技术方案
• 致谢
• 引用

使用说明

安装

source scripts/setup_envs.sh

配置环境

export OPENAI_KEY=YOUR_OPENAI_KEY
export HF_KEY=YOUR_HF_KEY

在本地启动深度学习模型

source scripts/start_services.sh

体验 WavCraft

通过单行指令进行音频编辑

python3 WavCraft.py basic -f \
--input-wav assets/duck_quacking_in_water.wav \
--input-text "Add dog barking."

通过交互式对话进行音频编辑

python3 WavCraft-chat.py basic -f -c
[New session is create]
Add audio files(s) (each file starts with '+'): +assets/duck_quacking_in_water.wav
Enter your instruction (input `EXIT` to exit the process): "Add dog barking"

检查音频是否由 WavCraft 生成/修改

python3 check_watermark.py --wav-path /path/to/audio/file

使用 openLLMs 进行生成/编辑

python3 WavCraft.py basic -f \
--input-wav assets/duck_quacking_in_water.wav \
--input-text "Add dog barking." \
--model 'mistralai/Mistral-7B-Instruct-v0.2'

技术方案

WavCraft 是一个由 LLM 驱动的音频内容创作与编辑智能体。它通过 LLM 将各种音频专家模型和 DSP 函数连接在一起。WavCraft 的架构概览如下：

免责声明

本仓库仅供研究使用。对于使用此模型生成的语义所创作/编辑的音频，我们概不负责。此外，任何使用 WavCraft 的用户严禁以任何方式禁用水印技术。

致谢

感谢 WavJourney、AudioCraft、AudioSep、AudioSR、AudioLDM 以及 WavMark 提供的出色代码工作。

引用

如果我们的工作对您有所帮助，请引用我们的论文：

@misc{liang2024wavcraft,
      title={WavCraft: Audio Editing and Generation with Large Language Models}, 
      author={Jinhua Liang and Huan Zhang and Haohe Liu and Yin Cao and Qiuqiang Kong and Xubo Liu and Wenwu Wang and Mark D. Plumbley and Huy Phan and Emmanouil Benetos},
      year={2024},
      eprint={2403.09527},
      archivePrefix={arXiv},
      primaryClass={eess.AS}
}