自今年开始，AIGC 行业爆火，直接带动了不少产业的发展，这其中自然也包括电商直播、新媒体营销等等。
虽说现在可以利用不少工具，快速基于文案生成视频。但是，目前大部分应用还都是闭源的，可扩展性差，产品技术封闭，不太适合技术生态的构建与发展。
有鉴于此，我们的星球嘉宾，重新打造了一套完整的视频自动生成与剪辑工具：Open Chat Video Editor。
目前具有以下特点：
1）一键生成可用的短视频，包括：配音、背景音乐、字幕等。
2）算法和数据均基于开源项目，方便技术交流和学习
3）支持多种输入数据，方便对各种各样的数据，一键转短视频，目前支持：
- 短句转短视频（Text2Video）: 根据输入的简短文字，生成短视频文案，并合成短视频
- 网页链接转短视频（Url2Video）: 自动对网页的内容进行提取，生成视频文案，并生成短视频
- 长视频转短视频（Long Video to Short Video）: 对输入的长视频进行分析和摘要，并生成短视频
4）涵盖生成模型和多模态检索模型等多种主流算法和模型，如: Chatgpt,Stable Diffusion,CLIP 等
文本生成
支持：
ChatGPT
BELLE
Alpaca
Dolly 等多种模型
视觉信息生成
支持图像和视频两种模态，生成方式上，支持检索和生成两种模型，目前共有6种模式：
图像检索
- 图像生成（stable diffusion）
- 先图像检索，再基于stable diffusion 进行图像生成
视频检索
- 视频生成（stable diffusion）
- 视频检索后，再基于stable diffusion 进行视频生成
项目示例
短句转短视频（Text2Video）
你只需输入一句话短文，该工具便能帮你自动补充文案，并生成短视频。
视频风格可根据你的个人喜好，选择现实风或卡通风。
以输入文案：【小孩子养宠物】为例，利用文本模型（如：chatgpt 等），可以自动生成一个较长的短视频文案：
['小孩子养宠物',
'可以更好地提升小孩子的责任感和独立感',
'但也要慎重的选择合适的宠物',
'因为只有经过一定的训练养成',
'它们才能够成长起来',
'一起玩耍和度过一段欢快的时光',
'宠物不仅能够陪伴小孩子渡过寂寞时光',
'还能培养小孩子处事冷静、自信以及情感交流和沟通能力',
'在养宠物的过程中',
'小孩子们可以唤醒和发掘他们被磨练出来的坚毅和耐力',
'能够亲身体验到勤勉 和坚持的重要性']
网页转短视频（Url2Video）
你只需要提供一个网址，该工具便会自动抓取网站内容，然后基于网站上面的内容，批量生成字幕文案和视频。
你可以通过这个功能为网站提供更为丰富的产品交互，或为企业产品生成视频演示。
对于像百科这种一些偏文档介绍和科普型产品，通过该工具生成的视频质量会非常高。
可作用网站文档速读、一分钟科普介绍等场景。
安装与使用
环境安装
根据不同需求，选择不同的安装方式1、2、和3、任选其一。
1、Docker
目前docker环境因为每个人的cuda版本可能不一样，所以无法保证都能够正常使用GPU。目前支持图像检索模式，CPU机器也可以使用。但docker比较大，需要占用比较多的储存（24G）。
docker pull iamjunhonghuang/open-chat-video-editor:retrival
docker run -it --network=host -v /YourPath/open-chat-video-editor:/YourPath/open-chat-video-editor/ iamjunhonghuang/open-chat-video-editor:retrival bash
conda activate open_editor
或者使用阿里云的镜像：
docker login --username=xxx registry.cn-hangzhou.aliyuncs.com
docker pull registry.cn-hangzhou.aliyuncs.com/iamjunhonghuang/open-chat-video-editor:retrival
docker run -it --network=host -v /YourPath/open-chat-video-editor:/YourPath/open-chat-video-editor/ registry.cn-hangzhou.aliyuncs.com/iamjunhonghuang/open-chat-video-editor:retrival bash
conda activate open_editor
注意：目前暂不支持中文字幕显示，所以需要修改配置文件yaml中的字体设置，例如’image_by_retrieval_text_by_chatgpt_zh.yaml‘
subtitle:
font: DejaVu-Sans-Bold-Oblique
# font: Cantarell-Regular
# font: 华文细黑
2、Linux (目前仅在centOS测试)
1）首先安装基于conda的python环境，gcc版本安装测试时是8.5.0，所以尽量升级到8以上
conda env create -f env.yaml
conda env update -f env.yaml #假如第一行出现错误，需要更新使用的命令
2） 接着安装环境依赖，主要目的是正常安装ImageMagick，其他linux版本可以参考
# yum groupinstall 'Development Tools'
# yum install ghostscript
# yum -y install bzip2-devel freetype-devel libjpeg-devel libpng-devel libtiff-devel giflib-devel zlib-devel ghostscript-devel djvulibre-devel libwmf-devel jasper-devel libtool-ltdl-devel libX11-devel libXext-devel libXt-devel libxml2-devel librsvg2-devel OpenEXR-devel php-devel
# wget https://www.imagemagick.org/download/ImageMagick.tar.gz
# tar xvzf ImageMagick.tar.gz
# cd ImageMagick*
# ./configure
# make
# make install
3）需要修改moviepy的调用路径，也就是将下面文件
$HOME/anaconda3/envs/open_editor/lib/python3.8/site-packages/moviepy/config_defaults.py
修改成
#IMAGEMAGICK_BINARY = os.getenv('IMAGEMAGICK_BINARY', 'auto-detect')
IMAGEMAGICK_BINARY='/usr/local/bin/magick'
4）目前暂不支持中文字幕显示，所以需要修改配置文件yaml中的字体设置，例如’image_by_retrieval_text_by_chatgpt_zh.yaml‘
subtitle:
font: DejaVu-Sans-Bold-Oblique
# font: Cantarell-Regular
# font: 华文细黑
3、Windows
1）建议使用python 3.8.16版本：
conda create -n open_editor python=3.8.16
2）安装pytorch
# GPU 版本
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117
# CPU版本
pip3 install torch torchvision torchaudio
3）安装其他依赖环境
pip install -r requirements.txt
4）安装clip
pip install git+https://github.com/openai/CLIP.git
5）安装faiss
conda install -c pytorch faiss-cpu
代码执行
1）根据实际需要，选择不同的配置文件
| 配置文件 | 说明 |
|---|---|
| configs/text2video/image_by_retrieval_text_by_chatgpt_zh.yaml | 短文本转视频,视频文案采用chatgpt生成,视觉部分采用图像检索来生成 |
| configs\text2video\image_by_diffusion_text_by_chatgpt_zh.yaml | 短文本转视频,视频文案采用chatgpt生成, 视觉部分采用图像stable diffusion 来生成 |
| configs\text2video\image_by_retrieval_then_diffusion_chatgpt_zh.yaml | 短文本转视频,视频文案采用chatgpt生成,视觉部分采用先图像检索，然后再基于图像的stable diffusion 来生成 |
| configs\text2video\video_by_retrieval_text_by_chatgpt_zh.yaml | 短文本转视频, 视频文案采用chatgpt生成,视觉部分采用视频检索来生成 |
| configs\url2video\image_by_retrieval_text_by_chatgpt.yaml | url转视频，视频文案采用chatgpt生成,视觉部分采用图像检索来生成 |
| configs\url2video\image_by_diffusion_text_by_chatgpt.yaml | url转视频,视频文案采用chatgpt生成, 视觉部分采用图像stable diffusion 来生成 |
| configs\url2video\image_by_retrieval_then_diffusion_chatgpt.yaml | url转视频,视频文案采用chatgpt生成,视觉部分采用先图像检索，然后再基于图像的stable diffusion 来生成 |
| configs\url2video\video_by_retrieval_text_by_chatgpt.yaml | url转视频,视频文案采用chatgpt生成,视觉部分采用视频检索来生成 |
需要注意的是：如果要采用ChatGPT来生成文案，需要在配置文件里面，添加organization_id（要在Organization settings那里查，而不是直接输入“personal”）和 api_key
2）下载数据索引和meta信息data.tar,并解压到 data/index 目录下，
3）执行脚本
# Text to video
python app/app.py --func Text2VideoEditor --cfg ${cfg_file}
# URL to video
python app/app.py --func URL2VideoEditor --cfg ${cfg_file}项目地址：
最后
常言道，一图胜千言，而一个视频，则可以按帧切分成数万张图片，其中所包含的信息量更为庞大。
自 4G 时代以来，短视频开始普及，进入千家万户，各类短视频平台如雨后春笋般层出不穷。
一个短短几分钟的视频，便能让人们感受世界各地不同地方的风俗人情，领略人间百态，拓展自己视野。
随着当下 AIGC 技术的飞速进步，各个行业的 AI 应用也将越来越多，凡是接触到互联网的行业，其传统方式都将被颠覆。基于不同场景所构建的 AI 应用，也将会面临新的技术挑战。
就视频剪辑而言，身边便有不少朋友，开始采用 AI 来逐步替代传统人工，这其中包括电商直播、新媒体营销、在线培训、知识科普等多个领域。
让 AI 实现复杂枯燥的剪辑流程，将一切自动化，给剪辑师腾出更多精力，用于挖掘更为丰富视频呈现场景，打造更好的内容，为用户提供绝佳的观看体验，这就是当下 AI 要做的事情。
我之前在星球也分享过，随着各类 AI 工具的成熟，一个人顶一整支团队，将成为现实。
善用工具的人，将在新时代的竞争中，将比普通人具有更大的优势。
如果你想了解更多实用的 AI 技术与应用，以及 ChatGPT 新进展，可以点击下方链接，加入我们社群进一步交流探讨。
本站资源部分来自网友投稿，如有侵犯你的权益请联系管理员或给邮箱发送邮件PubwinSoft@foxmail.com 我们会第一时间进行审核删除。
站内资源为网友个人学习或测试研究使用，未经原版权作者许可,禁止用于任何商业途径！请在下载24小时内删除！
如果遇到评论可下载的文章，评论后刷新页面点击“对应的蓝字按钮”即可跳转到下载页面！
本站资源少部分采用7z压缩，为防止有人压缩软件不支持7z格式，7z解压，建议下载7-zip，zip、rar解压，建议下载WinRAR。
温馨提示：本站部分付费下载资源收取的费用为资源收集整理费用，并非资源费用，不对下载的资源提供任何技术支持及售后服务。
