最新消息:雨落星辰是一个专注网站SEO优化、网站SEO诊断、搜索引擎研究、网络营销推广、网站策划运营及站长类的自媒体原创博客

腾讯终于出手了,发布的AI 视频生成模型!完全免费开源,生成质量高!HunyuanVideo AI文生视频大模型

运维笔记admin12浏览0评论

腾讯发布超强AI视频生成模型!完全免费开源,生成质量极高!HunyuanVideo模型,

一、下载链接

1、邀请你一起来体验腾讯元宝的应用【AI视频】,让每个创意瞬间生动。

点击以下链接:【抢先体验手机APP版本】:https://yuanbao.tencent/bot/app/share/chat/VR8O83A/videoTrafficDiversion

2、Hunyuan Video在线体验

网页版在线体验:【网页版本】https://video.hunyuan.tencent/(需要申请体验资格,等待通过审核后才能使用)

3、开源网址部署网址(两个都是开源网站都可以选其一即可)


3.1、【GitHub网址】:https://github/Tencent/HunyuanVideo

3.2、【HuggingFace网址】:https://huggingface.co/tencent/HunyuanVideo

此开源的视频生成模型:包含 PyTorch 模型定义、预训练权重和推理/采样代码

腾讯最强文生视频Ai,开源大模型本地部署安装!HunyuanVideo教程

二、📜本地安装部署 要求

下表为运行HunyuanVideo模型(batch size = 1)生成视频的要求:

模型设置
(高度/宽度/框架)
去噪步骤GPU 峰值内存
混元视频720px1280px129f三十60GB
混元视频544px960px129f三十45GB
  • 需要支持 CUDA 的 NVIDIA GPU。
    • 我们已经在单个 H800/H20 GPU 上进行了测试。
    • 最低限度:720px1280px129f 所需的最低 GPU 内存为 60GB,544px960px129f 所需的最低 GPU 内存为 45G。
    • 建议:我们建议使用具有 80GB 内存的 GPU 以获得更好的生成质量。
  • 测试的操作系统:Linux
  • 🛠️ 依赖项和安装

    首先通过下方的命令来克隆存储库:

  • git clone https://github/tencent/HunyuanVideo
    cd HunyuanVideo

    或者网盘打包下载【点击前往】:CloudrevePlus

    Linux 安装指南

    我们提供了一个environment.yml用于设置 Conda 环境的文件。Conda 的安装说明可在此处获得。

    我们推荐 CUDA 版本 11.8 和 12.0+

  • # 1. Prepare conda environment
    conda env create -f environment.yml
    
    # 2. Activate the environment
    conda activate HunyuanVideo
    
    # 3. Install pip dependencies
    python -m pip install -r requirements.txt
    
    # 4. Install flash attention v2 for acceleration (requires CUDA 11.8 or above)
    python -m pip install git+https://github/Dao-AILab/flash-attention.git@v2.5.9.post1

    此外,HunyuanVideo还提供了预先构建的Docker镜像: docker_hunyuanvideo。

  • # 1. Use the following link to download the docker image tar file (For CUDA 12).
    wget https://aivideo.hunyuan.tencent/download/HunyuanVideo/hunyuan_video_cu12.tar
    
    # 2. Import the docker tar file and show the image meta information (For CUDA 12).
    docker load -i hunyuan_video.tar
    
    docker image ls
    
    # 3. Run the container based on the image
    docker run -itd --gpus all --init --net=host --uts=host --ipc=host --name hunyuanvideo --security-opt=seccomp=unconfined --ulimit=stack=67108864 --ulimit=memlock=-1 --privileged  docker_image_tag

  • 🧱 下载预训练模型

    下载预训练模型的详细信息显示在此处,或者在HuggingFace上下载【点击前往】共26G左右。


    🧱下载文本编码器

    HunyuanVideo采用MLLM模型和CLIP模型作为文本编码器。

  • 1.MLLM 模型(text_encoder 文件夹)

  • HunyuanVideo 支持不同的 MLLM(包括 HunyuanMLLM 和开源 MLLM 模型),现阶段我们尚未发布 HunyuanMLLM,建议社区用户使用Xtuer提供的llava-llama-3-8b,可通过以下命令下载

  • cd HunyuanVideo/ckpts
    huggingface-cli download xtuner/llava-llama-3-8b-v1_1-transformers --local-dir ./llava-llama-3-8b-v1_1-transformers

    为了节省模型加载的GPU内存资源,我们将的语言模型部分分离 llava-llama-3-8b-v1_1-transformers 成 text_encoder 

  • cd HunyuanVideo
    python hyvideo/utils/preprocess_text_encoder_tokenizer_utils.py --input_dir ckpts/llava-llama-3-8b-v1_1-transformers --output_dir ckpts/text_encoder
  • 2.CLIP 模型(text_encoder_2 文件夹)

  • 我们使用OpenAI提供的CLIP作为另一个文本编码器,社区用户可以通过以下命令下载此模型
  • cd HunyuanVideo/ckpts
    huggingface-cli download openai/clip-vit-large-patch14 --local-dir ./text_encoder_2

    🔑 推理

    我们在下表中列出了我们支持的高度/宽度/框架设置。

    分辨率时长=9:16高/宽=16:9高/宽=4:3高/宽=3:4高/宽=1:1
    540p544px960px129f960px544px129f624px832px129f832px624px129f720px720px129f
    720p(推荐)720px1280px129f1280px720px129f1104px832px129f832px1104px129f960px960px129f

    使用命令行

  • cd HunyuanVideo
    
    python3 sample_video.py \
        --video-size 720 1280 \
        --video-length 129 \
        --infer-steps 50 \
        --prompt "A cat walks on the grass, realistic style." \
        --flow-reverse \
        --use-cpu-offload \
        --save-path ./results

    更多配置

    我们列出了一些更有用的配置以便于使用:

    参数默认描述
    --prompt没有任何视频生成的文字提示
    --video-size720 1280生成的视频的大小
    --video-length129生成视频的长度
    --infer-steps50采样步数
    --embedded-cfg-scale6.0嵌入式分类器免费指导量表
    --flow-shift7.0流匹配调度程序的移位因子
    --flow-reverse错误的如果反向,从 t=1 -> t=0 学习/采样
    --seed没有任何生成视频的随机种子,如果没有,我们初始化一个随机种子
    --use-cpu-offload错误的使用 CPU 卸载来加载模型以节省更多内存,这对于高分辨率视频生成是必要的
    --save-path。/结果生成视频的保存路径

发布评论

评论列表(0)

  1. 暂无评论
ok 不同模板 switch ($forum['model']) { /*case '0': include _include(APP_PATH . 'view/htm/read.htm'); break;*/ default: include _include(theme_load('read', $fid)); break; } } break; case '10': // 主题外链 / thread external link http_location(htmlspecialchars_decode(trim($thread['description']))); break; case '11': // 单页 / single page $attachlist = array(); $imagelist = array(); $thread['filelist'] = array(); $threadlist = NULL; $thread['files'] > 0 and list($attachlist, $imagelist, $thread['filelist']) = well_attach_find_by_tid($tid); $data = data_read_cache($tid); empty($data) and message(-1, lang('data_malformation')); $tidlist = $forum['threads'] ? page_find_by_fid($fid, $page, $pagesize) : NULL; if ($tidlist) { $tidarr = arrlist_values($tidlist, 'tid'); $threadlist = well_thread_find($tidarr, $pagesize); // 按之前tidlist排序 $threadlist = array2_sort_key($threadlist, $tidlist, 'tid'); } $allowpost = forum_access_user($fid, $gid, 'allowpost'); $allowupdate = forum_access_mod($fid, $gid, 'allowupdate'); $allowdelete = forum_access_mod($fid, $gid, 'allowdelete'); $access = array('allowpost' => $allowpost, 'allowupdate' => $allowupdate, 'allowdelete' => $allowdelete); $header['title'] = $thread['subject']; $header['mobile_link'] = $thread['url']; $header['keywords'] = $thread['keyword'] ? $thread['keyword'] : $thread['subject']; $header['description'] = $thread['description'] ? $thread['description'] : $thread['brief']; $_SESSION['fid'] = $fid; if ($ajax) { empty($conf['api_on']) and message(0, lang('closed')); $apilist['header'] = $header; $apilist['extra'] = $extra; $apilist['access'] = $access; $apilist['thread'] = well_thread_safe_info($thread); $apilist['thread_data'] = $data; $apilist['forum'] = $forum; $apilist['imagelist'] = $imagelist; $apilist['filelist'] = $thread['filelist']; $apilist['threadlist'] = $threadlist; message(0, $apilist); } else { include _include(theme_load('single_page', $fid)); } break; default: message(-1, lang('data_malformation')); break; } ?>