【AI视频】阿里推出图片生成视频Ai工具，免费无限制国内可用，比GEN2香多了
大家好，我是龙一，专注AI轻创副业项目分享，今天给大家分享一款阿里近日推出的开源的图片生成视频的Ai工具，目前可免费使用，没有使用次数的限制，效果非常好，不得不说比RunwayGen2香多了。
可以根据用户输入的静态图像和文本生成目标接近、语义相同的视频，生成的视频具高清(1280 * 720)、宽屏(16:9)、时序连贯、质感好等特点。
这个项目的名字叫I2VGen-XL，由阿里达摩院研发的高清视频生成基础模型，旨在解决根据输入图像生成高清视频任务。生成的视频还支持二次修改和高清化，你要是觉得不满意可以多点几下重新生成，内容要是不满意还可以输入提示词调整视频内容、运镜、运动方向等等，输出高清视频。
具体的原理如下，参数量共计约37亿，总结下来分为两个阶段，就是通过输入图片生成图片序列，然后可以通过文字进行微调并生成高清图片。
下面展示一下具体的生成的案例，由于文章无法放入视频，我选择插入gif图片，展示效果会大打折扣，想搞完整高清的可以去我的视频号看最新视频介绍。左边是原图，右边是生成的效果。
同时还支持自己部署，不过对于设备的要求比较高。I2VGen-XL包含2个模型：图片生成视频模型MS-Image2Video和视频生成视频模型MS-Vid2Vid。
MS-Image2Video建立在Stable Diffusion之上，如给出的原理图所示，通过专门设计的时空UNet在隐空间中进行时空建模并通过解码器重建出最终视频。
在1*A100的环境配置下运行 (可以单卡运行, 图生视频模型显存要求20G，视频生成视频显存要求28G)
torch2.0.1+cu117，python>=3.8
# 安装minicondawget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh# 一直[ENTER], 最后一个选项yes即可sh Miniconda3-latest-Linux-x86_64.sh# conda虚拟环境搭建conda create --name ms-sft python=3.8conda activate ms-sft# 安装最新的ModelScopepip install "modelscope" --upgrade -f https://pypi.org/project/modelscope/# 确定你的系统安装了ffmpeg命令，如果没有，可以通过以下命令来安装sudo apt-get update && apt-get install ffmpeg libsm6 libxext6 -y# 安装依赖库pip install xformers==0.0.20pip install torch==2.0.1pip install torchsdepip install open_clip_torch>=2.0.2pip install opencv-python-headlesspip install opencv-python pip install einops>=0.4pip install rotary-embedding-torchpip install fairscale pip install scipypip install imageiopip install pytorch-lightning
下载好模型，模型链接后台回复Ai视频即可获取。
通过以下代码，实现模型的下载和推理。
第一步：图生视频 (所需显存单卡20G)
from modelscope.pipelines import pipelinefrom modelscope.outputs import OutputKeyspipe = pipeline(task="image-to-video", model='damo/Image-to-Video', model_revision='v1.1.0')# IMG_PATH: your image path (url or local file)IMG_PATH = './example.png'output_video_path = pipe(IMG_PATH, output_video='./output.mp4')[OutputKeys.OUTPUT_VIDEO]print(output_video_path)
第二步：提升视频分辨率 (所需显存单卡28G)
pipe =pipeline(task="video-to-video", model='damo/Video-to-Video', model_revision='v1.1.0')
# VID_PATH: your video path
# TEXT : your text description
VID_PATH = './output.mp4'
TEXT = 'A lovely little fox is among the flowers.'
p_input = {
'video_path': VID_PATH,
'text': TEXT
}
output_video_path = pipe(p_input, output_video='./output.mp4')[OutputKeys.OUTPUT_VIDEO]
print(output_video_path)
如果自己不想部署，想白嫖的兄弟，公z浩【龙一的编程life】后台回复Ai视频获取体验链接。
其他更多Ai干货看我往期作品！
好了内容分享到这里就结束了，我是龙一，持续为大家分享AI+自媒体的干货，请大家多多关注点赞！
整理不易《点赞+在看》感谢，请大家动动发财的小手
《我才有动力持续分享白嫖哟》
