Inferência

O modelo Fish Audio S2 requer uma grande quantidade de VRAM. Recomendamos o uso de uma GPU com pelo menos 24GB para inferência.

Baixar Pesos

Primeiro, você precisa baixar os pesos do modelo:

hf download fishaudio/s2-pro --local-dir checkpoints/s2-pro

Inferência por Linha de Comando

Note

Se você planeja deixar o modelo escolher aleatoriamente um timbre de voz, pode pular esta etapa.

1. Obter tokens VQ do áudio de referência

python fish_speech/models/dac/inference.py \
    -i "test.wav" \
    --checkpoint-path "checkpoints/s2-pro/codec.pth"

Você deve obter um fake.npy e um fake.wav.

2. Gerar tokens Semânticos a partir do texto:

python fish_speech/models/text2semantic/inference.py \
    --text "O texto que você deseja converter" \
    --prompt-text "Seu texto de referência" \
    --prompt-tokens "fake.npy" \
    # --compile

Este comando criará um arquivo codes_N no diretório de trabalho, onde N é um número inteiro começando em 0.

Note

Você pode querer usar --compile para fundir kernels CUDA para uma inferência mais rápida. No entanto, recomendamos usar nossa otimização de aceleração de inferência sglang. Da mesma forma, se você não planeja usar aceleração, pode comentar o parâmetro --compile.

Info

Para GPUs que não suportam bf16, você pode precisar usar o parâmetro --half.

3. Gerar vocais a partir de tokens semânticos:

python fish_speech/models/dac/inference.py \
    -i "codes_0.npy" \

Depois disso, você obterá um arquivo fake.wav.

Inferência WebUI

1. Gradio WebUI

Para manter a compatibilidade, mantemos a interface Gradio WebUI anterior.

python tools/run_webui.py # --compile se você precisar de aceleração

2. Awesome WebUI

A Awesome WebUI é uma interface web moderna baseada em TypeScript, oferecendo funcionalidades mais ricas e uma melhor experiência do usuário.

Construir a WebUI:

Você precisa ter o Node.js e o npm instalados em seu computador local ou servidor.

Entre no diretório awesome_webui:
```
cd awesome_webui
```
Instale as dependências:
```
npm install
```
Construa a WebUI:
```
npm run build
```

Iniciar o Servidor Backend:

Após a construção da WebUI, retorne ao diretório raiz do projeto e inicie o servidor API:

python tools/api_server.py --listen 0.0.0.0:8888 --compile

Acesso:

Após o servidor ser iniciado, você pode acessá-lo através do navegador no seguinte endereço: http://localhost:8888/ui