Midjourney视频版免费开放 一句话拍一部大片 网友：上次这么激动是最后一次了

各位家人们，现在制作电影级别的视频，就是一句话的事情！

比如只要简单输入“丛林”，马上就会出现一个大镜头：

并且在“丛林”周围换几个匹配词，比如“河流”、“瀑布”、“黄昏”、“白天”等等，这个AI也能秒懂你的意思。

还有以下自然美景、宇宙奇观、微观细胞等高清视频，一言难尽。

这是Stable Diffusion和《宇宙》背后的科技公司Runway出品的AI视频剪辑工具Gen2。

而就在最近，一个好消息突然袭来——Gen2可以免费试用！

这让网友们非常开心，纷纷开始尝试新的东西。

想要体验Gen2录音这样有趣的技术，当然也要亲身体验一下。

比如我们给Gen2喂了一句中文：

上海外滩夜景，影视风格。

立即创建了空中视角的视频剪辑。

如果你想改变视频的风格，你也可以上传一张图片，比如我们用一张赛博朋克风格的城市照片。

然后Gen2会对你输出的提示词和照片风格做一个“契合”：

目前跑道官网可以免费体验的Gen2功能是Text to Video，不过Gen1也开放了Video to Video的功能。

比如一个外国男孩可能是受到了《瞬时宇宙》的启发，他还和Gen1一起玩了一段比较精彩的时空旅行。

他先是录了一段在家里打响指的视频，然后“啪”的一声，瞬间让自己步入了欧洲王室贵族的“套路”：

然后……连物种和性别都可以随意切换：

终于，在经历了几个不同的时空和种族之后，小哥打了个响指回到了自己的家：

看完Gen2产生的这波“大秀”，网友们不淡定了，直呼：

娱乐业即将被生成式AI 重新定义。

PC端和手机端都能玩，网页端和移动端（仅限iOS系统）现在可以正式开始体验了。

以网页为例，进入跑道官方主页（文末链接[1]），点击上方“TRY NOW”，注册一个账号，即可进入如下界面：

点击右侧“Introducing Gen2”，我们就可以正式开始游戏了。

首先输入提示词，最多320个字符，然后在左侧设置菜单中进行一些基本配置（包括种子参数、插值等），点击“生成”。

（当然，您也可以提供视频参考图片，点击右侧图片图标即可。）

不到1分钟，视频就出来了。

点击下方播放按钮查看效果，视频可以直接保存在本地，也可以只保存在您的账户中。

当然，如果您不满意，可以在下方的提示词框中继续修改。

需要注意的是，免费试用额度为105秒（剩余额度显示在右上角），每个视频为4秒，也就是说可以免费生成约26个Gen2视频。

如果额度用完或者想体验去水印、增加分辨率等附加功能，需要购买会员。标准版每月15 美元，专业版35 美元，按年付费更便宜。

如果想产生更好的效果，可以使用“in the style of xxx”的形式，比如：

热带海滩上的一棵棕榈树，采用专业摄影、浅景深、故事片的风格。 （如下所示）

热带海滩上的一棵棕榈树，采用2D 动画、卡通、手绘动画风格。

或者直接进入它的灵感库，选择一个你喜欢的视频点击“试一试”，看看它的提示词是怎么写的，然后编辑或者模仿一下：

有网友表示，入手“cinematic shot of”还可以让你的视频更有动感（解决了很多人试拍的视频不太动的问题）。

背景是什么？ Gen2于今年3月20日正式发布。经过两个多月的内测，终于正式上线。

它的前身Gen1早了一个多月（2月份发布），所以迭代速度还是挺快的。

作为一种基于扩散的生成模型，Gen1通过在预训练图像模型中引入时间层，对图像和视频数据进行联合训练，完成了潜在扩散模型向视频生成领域的扩展。

这也包括使用新的引导程序方法来实现对生成结果的时间一致性的精确控制。

其结构如图所示：

在训练阶段，输入视频x首先被固定编码器编码为z0，扩散为zt。

然后对MiDaS得到的深度图进行编码，提取结构表示s；然后使用CLIP 对其中一帧进行编码以获得内容表示c。

然后，在s 的帮助下，模型学习反转潜在空间中的扩散过程（其中s 连接到c 和由交叉注意块生成的c）。

在推理阶段，模型以相同的方式提供输入视频的结构。

为了从文本生成内容，作者还通过了一个prio

r 将 CLIP 文本嵌入转换为图像嵌入。

最终，Gen1 可以生成细粒度可控的视频，也能对一些参考图像进行定制。

不过，一开始对公众发布的 Gen1 只能对已有视频进行编辑，Gen2 才直接完成了文生视频的“蜕变”。

并且一口气带来了另外 7 大功能，包括文本 + 参考图像生视频、静态图片转视频、视频风格迁移等等。

这样的 Gen2，也在内测阶段就被网友称赞“视频界的 Midjourney”。

而根据官方的调研数据，Gen2 确实更受用户欢迎：用户得分比 Stable Diffusion 1.5 要高 73.53%，比 Text2Live 则高上了 88.24%。

如今正式上线以后，果然迅速迎来一大波体验群众，有人表示：

上一次体会到这么激动的感觉，还是用 AI 生成图像的时候。

那么，不知道这波，参与开发了 SD 的 Runway，能否再带着 Gen2 创造生成式 AI 领域的下一大热趋势 ——

如果答案是肯定的，还需要多久、还要解决哪些问题？

就且拭目以待。

参考链接：

[1]https://runwayml.com/

[2]]https://research.runwayml.com/gen2

[3]https://twitter.com/SteveMills/status/1666799229996785666

[4]https://twitter.com/runwayml/status/1666429706932043776

[5]https://www.youtube.com/watch?v=dq8GZeDEqH8

本文来自微信公众号：量子位 （ID：QbitAI），作者：金磊 丰色