Aplicaciones y Guías

Stable Video Diffusion

Las redes neuronales generativas pueden crear varios tipos de contenidos. Stable Diffusion se creó para generar imágenes a partir de la descripción de textos. Sin embargo, también puede utilizarse para crear música, sonidos e incluso vídeos. Hoy, te mostraremos cómo crear videos cortos a partir de una sola imagen utilizando Stable Diffusion con WebUI y ComfyUI.

Instalar Stable Diffusion

Comencemos instalando Stable Diffusion usando nuestra guía paso a paso. Tras la instalación, por favor interrumpe la ejecución del script webui.sh pulsando Ctrl + C y cierra la conexión SSH. El sistema no le permite instalar extensiones con las opciones --listen (--share) habilitadas. Esto significa que necesita configurar el reenvío de puertos (7860 y 8189) desde su máquina local al servidor remoto. El primer puerto es necesario para WebUI y el segundo para ComfyUI.

Por ejemplo, en PuTTY, necesitas abrir Connection >> SSH >> Tunnels y añadir dos nuevos puertos reenviados como se muestra en la siguiente captura de pantalla:

Ahora, puedes reconectarte al servidor remoto y ejecutar ./webui.sh de nuevo.

Abra esta URL en su navegador:

http://127.0.0.1:7860

Navegue hasta Extensions >> Available, luego haga clic en el botón Load from::

El sistema descargará el archivo JSON con todas las extensiones disponibles. Escriba ComfyUI en el cuadro de entrada de búsqueda y haga clic en el botón Install:

La página web se recargará y aparecerá una nueva pestaña ComfyUI en el panel principal. Cambie a ella y haga clic en Install ComfyUI:

Cuando termine la instalación, interrumpe de nuevo la ejecución del script webui.sh pulsando Ctrl + C.

Instalar el modelo Stable Video Diffusion

Abra el directorio del modelo:

cd stable-diffusion-webui/models/Stable-diffusion/

Descargue el modelo completo de difusión de vídeo estable:

curl -L https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt/resolve/main/svd_xt.safetensors?download=true --output svd_xt.safetensors

Volver al directorio de inicio:

cd ~/

Y ejecute de nuevo el servicio Stable Diffusion:

./webui.sh

Descarga el ejemplo del flujo de trabajo de Difusión de Video Estable en formato JSON. Borra el flujo de trabajo por defecto de ComfyUI pulsando Clear, luego Load el ejemplo descargado:

Asegúrate de que tienes el modelo correcto seleccionado en el nodo Image Only Checkpoint Loader (img2vid model):

Pulsa el botón choose file to upload en el nodo Load Image y selecciona cualquier imagen individual que la red neuronal generativa transformará en un vídeo:

Pruebe a generar un vídeo con todos los parámetros por defecto haciendo clic en el botón Queue Prompt:

Una vez finalizado el proceso, obtendrá su vídeo en formato WEBP en el nodo SaveAnimatedWEBP. Haga clic con el botón derecho en el vídeo generado y elija Save Image:

Aquí tienes el GIF resultante.

Solución de problemas

Si aparece un mensaje de error: ModuleNotFoundError: No module named 'utils.json_util'; 'utils' is not a package, siga estos pasos:

Cambie el nombre del directorio utils por utilities:

mv /home/usergpu/stable-diffusion-webui/extensions/sd-webui-comfyui/ComfyUI/utils /home/usergpu/stable-diffusion-webui/extensions/sd-webui-comfyui/ComfyUI/utilities

Edite custom_node_manager.py:

nano /home/usergpu/stable-diffusion-webui/extensions/sd-webui-comfyui/ComfyUI/app/custom_node_manager.py

Sustituya esta línea:

from utils.json_util import merge_json_recursive

por:

from utilities.json_util import merge_json_recursive

Guarde el archivo (Ctrl + O) y salga del editor (Ctrl + X). A continuación, edite main.py:

nano /home/usergpu/stable-diffusion-webui/extensions/sd-webui-comfyui/ComfyUI/main.py

Reemplace esta línea:

import utils.extra_config

por:

import utilities.extra_config

Guarde el archivo, salga del editor y ejecute de nuevo el servicio Difusión Estable:

./webui.sh

Ver también:

Actualizado: 04.04.2025

Publicado: 22.01.2025