本期目录:
一.Gen2(Text/lmage to Video)
二.FI (Frame Interpolation)
Runway视频生成功能有3大核心成品
l Gen1:视频转视频工具
l Gen2:视频生成编辑工具
l FI:图像平滑工具
除此外还有其他图像功能,音频剪辑等30多个功能;
本篇主要详细讲解gen2、FI教程;
Gen1是将原视频,转换成另一种风格。而Gen2,则是通过一句话,或上传一张图片就可以生成惊人的视频画面,并且还提供多种视频后期处理功能。
Gen2相较于Gen1,模型更加丰富且成熟,实现了从文生图到文生视频、图生视频的跨越,而且生成的视频细节和一致性达到了前所未有的水平,也代表了多模态 AI 进入新阶段。
一.Gen2(Text/lmage to Video)
目前支持三种模式生成新的视频
l 文本生成视频
l 图片生成视频
l 文字加图片生成视频
首先登录网站后,点击左侧导航栏“Generate videos”,接着选择Gen2,进入编辑界面。
(1)文本生成视频进入编辑页面后,点击“TEXT”,在对话框中输入你想要生成的图像提示词,在对话框的下方有5个视频功能设置,我们可以逐一点击配置。
l 基础配置
l General Motion
l Camera Motion
l Motion Brush
l Add Style
①基础设置:这里有3个选项,一般建议默认Interpolate,因为其他两个是需要升级付费账号才能享受去水印和提高分辨率的功能。
l Interpolate:使视频帧更丝滑
l Upscale:视频更高的分辨率(需升级账号,免费版默认720p)
l Remove watermark:去除水印(需升级账号)
②General Motion:一般默认5,数值越高,视频动作越多。
③Camera :即指定摄像机的运动方向和速度,这里你可以根据你构思的画面视角效果来设置。【功能组块介绍直接文字吧】
l Horizontal:水平方向左/右移动
l Vertical:垂直方向上/下移动
l Roll:逆时针/顺时针旋转
(注: Roll和Horizontal、Vertical互斥,即设置了Roll,Horizontal和 Vertical就不可改变了)
l Zoom:缩小/放大(可以理解为镜头的拉远拉近)
l Speed:速度
④Motion Brush:这个运动笔刷功能也是本月刚上线的功能,只需要在图像上任意涂抹,就可以让静止的物体动起来。
这里你可以通过提示词生成一张图片,或者点击IMAGE上传一张图片,然后点击“Ok, got it!”,跳转到编辑页面
点击画笔工具,在画面中需要运动的地方涂抹开,如果你不小心涂过量的了,你还可以点击橡皮擦工具进行擦除。
接着对下方参数Horizontal、Vertica、Proximity进行设置。依次点击保存,即可生成了,大概生成时间在2分钟左右。
l Horizontal& Vertical:运动的水平和垂直幅度,负值分别代表向左、向下;
l proximity:大致体验是控制元素渐渐消散/模糊/溶解的程度,可以选择0保持移动前后形状不变。
⑤Add Style:风格预设,网站提供包括3D卡通/80年朋克风/三维渲染/日本动漫/概念艺术等27种视频风格,你可以选择想要的视频效果进行风格预设。
最后点击“Free Preview”进行预览,没有问题的话即可点击“Generate 4s”生成视频。
(2)图片生成视频上传你提前准备好的图片,接着同样对参数选项进行配置后,点击提交,即可生成你想要的视频效果。
(3)文字加图片生成视频
上传图片及提示词,这里的提示词需要具体对视频风格、物体运动、镜头方向等进行详细描述,然后设置参数配置后,即可生成视频。
系统建议提示词
通用修饰词:
l masterpiece. classic
l . Cinematic
动作提示词:
l · cinematic action· flying
l . speeding· running
相机特定术语:
l 摄像机角度(full shot、close up等)
l 镜头类型(macro lens、wide angle等)
l 相机移动(slow pan、zoom等)
跟Gen1一样单次生成时长只能4秒,想要或者更高清视频,或者去水印,更多时长,就得升级付费会员。
同样你也可以选择通过Seed值保持视频风格一致,生成多个4秒视频,然后剪辑拼合处理成长视频。
二、FI (Frame Interpolation)
图像平滑工具,可以将上传的系列图像,同时设置视频时长和过渡效果参数,即可生成流畅的过渡视频。
点击“Generate videos”,选择FI,调转至编辑界面。
接着上传多张提前准备好的图像。
最后在右侧进行基础设置,即可点击“Generate”生成视频。Clip duration:视频时长设置Transition time:过渡平滑值设置,一般默认100%
原文链接:https://blog.csdn.net/CCEEHM/article/details/134628129