小红书新开源的统一音频模型 FireRedAudio，让理解和生成共用一个”大脑”！

作者：颜资源站长 · 发布：2026-09-01

小红书 FireRed 团队最新开源 FireRedAudio。

小红书 FireRed 团队最新开源 FireRedAudio。它把音频理解和语音生成，塞进同一个模型里。

是真·一个模型，既能”听懂”，又能”说出”。

项目简介

FireRedAudio 是小红书 Super Intelligence（超级智能）团队 开源的通用音频语言模型。

9B 参数的 LLM 骨架，配了两条独立的音频输入通路——理解用 Audio Encoder，生成用 RedAE。

技术论文已经挂在了 arXiv（编号 2608.24168），Demo 页面也有，直接能体验。

这不是 FireRed 团队第一次开源音频模型了。

之前他们已经放出过 FireRedASR2S（普通话字错率 2.89%、支持 20+ 方言的语音识别）、FireRedTTS3（24 种语言 + 21 种中文方言的零样本克隆），以及 FireRedChat（全双工语音交互）。

FireRedAudio 是这个系列里的”集大成者”——把之前分散的能力收进一个统一框架。

核心设计：解耦连续表示

论文摘要里有一句话我印象特别深：“To the best of our knowledge, it is the first publicly disclosed unified audio-language model to provide separate continuous input representations for understanding and generation within a single trainable autoregressive LLM.”

翻译过来就是：我们可能是第一个公开披露的、在同一个可训练自回归 LLM 里给理解和生成分配独立连续表示的统一音频语言模型。

具体怎么做的？

• 理解通路：输入音频 → Audio Encoder → 12.5 Hz 感知表示 → LLM 理解。这条路径的特征经过精心压缩，适合长录音的语义分析。
• 生成通路：输入音频 → RedAE（一个带语义蒸馏的自编码器） → 连续声学 latent → LLM 条件生成 → Flow-Matching DiT 解码成 24 kHz 波形。这条路径保留了重建所需的全部细节。

两条路喂给同一个 9B LLM，共享语言和推理能力，但输入表示各自优化。这就解决了之前说的那个”既要又要”的矛盾。

一个模型，覆盖六件事

FireRedAudio 不是”做一件事做到极致”，而是”一件事都能做”。它同时支持：

1. ASR 语音识别：支持多种语言，FLEURS-102 多语言平均字错率 14.94%，超过 Qwen3-Omni-30B
2. 音频理解与问答：MMAU 测试集 82.0 分、MMSU 83.3 分，两个榜单都是第一
3. 长录音结构化分析：支持最长 1 小时录音，输出带时间戳的结构化内容，秒级时间对齐
4. Zero-Shot TTS 声音克隆：一段参考音频 + 一段文本，Seed-ZH CER 0.83%、相似度 0.74，中文零样本克隆领先
5. Instruct TTS 声音设计：用自然语言描述音色——”女性高音区的清亮音色，青年特质，语速略快，带急切情感”——直接出全新声音
6. 语音编辑：语义级（删除/插入/替换内容）+ 声学级（调音调速调音量），Ming-Freeform-Audio-Edit 数据集上全面碾压 Ming-UniAudio-Edit

快速上手

# 克隆仓库
git clone https://github.com/FireRedTeam/FireRedAudio.git
cd FireRedAudio
# 用 uv 同步依赖（注意：会编译 causal-conv1d 和 flash-attn，需要 CUDA 环境）uv sync --extra accel --extra accel-build --group tools

下载模型权重

两种方式，任选其一：

# 方式一：从 HuggingFace 下载（推荐）
uv run hf download FireRedTeam/FireRedAudio --local-dir pretrained_models/
# 方式二：从 ModelScope 下载（国内更快）uv pip install modelscope
uv run modelscope download --model FireRedTeam/FireRedAudio --local_dir pretrained_models/

Python API 使用

import torch
import torchaudio
from inference import FireRedAudioInference
# 初始化模型# 注意：理解任务只需要 model_path
# 生成任务（TTS / 编辑 / 声音设计）还需要 vae_decoder_pathengine = FireRedAudioInference(
    model_path="pretrained_models/FireRedAudio",
    vae_decoder_path="pretrained_models/RedAE_decoder/model.pt",
    device="cuda:0",
)
# 1️⃣ 语音识别res = engine.understand(
    "assets/examples/asr_zh_fleurs.wav",
    "Transcribe speech to text.",
    task="asr"
)
print(res.answer)
# 2️⃣ 音频理解 + 思维链推理res = engine.understand(
    "assets/examples/assets_mmau_test.wav",
    "What illness did Second speaker's friend suffer from?",
    task="understand",
    enable_thinking=True,
    max_new_tokens=10240,
)
print("推理过程:", res.reasoning)
print("答案:", res.answer)
# 3️⃣ Zero-Shot 声音克隆res = engine.tts(
    prompt_text="同时，他强调微调要科学有序。",
    prompt_audio="assets/examples/tts_zh_prompt.wav",
    target_text="安徽淮南秦师傅发现，停在小区的爱车右前驾驶窗玻璃被砸。",
    language="zh",
)
torchaudio.save("tts.wav", res.audio.cpu(), sample_rate=24000)
# 4️⃣ 语义编辑（删除）res = engine.edit(
    "assets/examples/edit_semantic_zh_ref.wav",
    "delete '比普通的茶叶要'",
    edit_type="semantic"
)
torchaudio.save("edit_semantic.wav", res.audio.cpu(), sample_rate=24000)
# 5️⃣ 声学编辑（升调 +3 个半音）res = engine.edit(
    "assets/examples/edit_acoustic_zh_ref.wav",
    "shift the pitch by 3 steps",
    edit_type="acoustic"
)
torchaudio.save("edit_acoustic.wav", res.audio.cpu(), sample_rate=24000)
# 6️⃣ 声音设计（纯描述生成全新音色）res = engine.voice_design(
    instruction="以女性高音区的清亮音色,表现出青年阶段的特质,音量略强,语速适中稍快,语调带有解释意味和急切的情感流露,确保语音流畅自然。",
    text="是我请他来的，可他什么也不知道，他来只是想打听一下，你们厂是不是有旧锅炉？",
)
torchaudio.save("voice_design.wav", res.audio.cpu(), sample_rate=24000)