AI视频|用Midjourney,Runway创作视频实操[疯语咒AI]

使用 Midjourney + Runway 制作的一部不存在的电影的预告片《创世纪》在发布后短短两天内就获得了 600,000 次观看和 4000 次点赞。作者 @iamneubert 总共花了 7 个小时，Midjourney 生成了 316 个提示，放大了 128 个图像，Runway 生成了 310 个视频，最终得到了这个带有文字的视频。https://www.youtube.com/embed/PZJS8l8hdIU

以下是作者的创作过程：

在我们进入这个过程之前——反乌托邦主题的想法来自我上周分享的一系列三部电影。我已经有了很好的即时基础，并决定以此为基础编写一个故事！

原声带

从音乐开始是多么重要，我怎么强调都不为过。它极大地影响了观众对视觉效果的感知，并激发了另一种让我们沉浸在内容中的感觉。因此，这是一个很好的起点，因为它设定了预告片本身的基调。另一个关键点是编辑工作。我喜欢将视觉效果与音乐进行节拍匹配。在项目期间改变音乐可能会非常耗时。因此，在开始构建视频序列之前，请尝试获取最终配乐。

从过程上来说，我接下来要做的就是一遍又一遍地听这首歌，在脑海中想象不同的场景。我真的一边和我的狗散步，一边反复听着这首歌。这个练习可以帮助我组织我想要在预告片中讲述的想法和故事情节。

一旦我确定了配乐，我就把它拉到视频编辑器中。我使用 CapCut，因为它对所有人免费。如果您喜欢其他软件，也可以在 Adob​​e Premier 或 Final Cut Pro 中执行此操作。

创造一个世界和故事

如果你问我，构建世界和讲故事是作为一名创意人员应该学习的首要技能。借助允许每个人生成高质量内容的技术，那些知道如何将各个片段拼接在一起的人将会创造奇迹。

对于预告片的故事情节，我想一步步增强紧张感。我为预告片定义了 3 个阶段：

1. 设置场景
2. 威胁介绍
3. CTA 的高潮

第一步，我开始起草预告片的第一个文案。第一稿已经包括“分享一切，承担后果，然后呼吁人类采取行动”。

定义了整体基调和声音后，我开始围绕这些主题生成场景。我滚动了大量的环境、军事科技、战斗主题的人类和科幻剪辑，然后我可以从中收集一个故事。

为了增加一些深度，我添加了三个带有发光护身符的孩子的镜头，暗示了故事的更深层次。

在中途生成一致的图像

让我们深入了解提示！在这种情况下，我已经从之前的帖子中获得了稳定的提示基础。我对其进行了优化，创建了一个模板，我可以在预告片的每个镜头中重复使用该模板。

___________ ，星球大战战争，风格为详细的人群场景、朴实的自然主义、青色和黄色、霜朋克、室内场景、cinestill 50d –ar 21:9 —style raw

对于每个场景，我都会用我想要的场景来填补空白，确保其他标记最大限度地保持主题、颜色和照明一致的可能性。

同样有帮助的是利用“强变化”功能。这使得创建不同的场景变得容易，同时保留了之前版本的调色板。然后，女战士的场景可以转变为普通公民、网络黑客或战斗场景，而无需生成新的提示。

跑道中的动画图像

令人惊讶的是，这个过程是“最简单的”。至于设置，我总是尝试激活“Upscaled”。但值得注意的是，升级模式经常会遇到面部问题。所以对于人物镜头，我通常使用标准质量。

我根本没有使用文字提示与图像提示相结合的方式。我拖放图像并重新滚动它，直到得到我喜欢的结果。只有最后一个火灾片段是在跑道上用文字提示完成的。

CapCut 中的后期编辑

在《Midjourney》和《Runway》生成输出的同时，我首先放置我知道将发挥重要作用的关键场景。就《创世纪》而言，我知道外景镜头将成为开场。

然后我开始计划文本。当我根据音乐定位文本时，时间轴中没有任何剪辑，这是可能的。我在不到一个小时的时间内就按照时间线编写了内容并进行了定位。这对生成图像有很大帮助，因为您有一个额外的固定点来考虑仍然缺少哪些场景。

从那时起，它就像一个益智游戏。生成剪辑 -> 将它们拉入 CapCut -> 将它们放置在时间轴上，然后慢慢拼凑故事。我对 2-3 个剪辑包进行颜色匹配，使它们看起来像一个更大的电影场景。

CapCut 唯一真正的技巧是考虑对剪辑进行节拍同步。当音乐中有“BWAAA”时，我总是尝试连接剪辑内的动作和/或排列以下剪辑。总的来说，这会让你的整个序列感觉更加身临其境。

虽然 CapCut 具有可以帮助您完成此操作的功能，但我更喜欢手动执行此操作，因为我可以完全控制。有时我也想故意跳过一个节拍，因为场景需要播放更长的时间。

添加动作

我遇到的第一个问题可能是“你的剪辑中是如何加入如此多的动作的？”。当然，《跑道》中存在人工智能随机性的变量，但我使用了两个技巧来增加动作。

1. 思考人工智能如何将图像解释为。据我所知，Runway 会拍摄一张照片，然后根据其模型计算哪些部分应该进行动画处理。我对这个想法进行了逆向工程，并尝试在中途输出暗示运动的图像。这意味着尝试在镜头中加入运动模糊或捕捉移动的头部或人物的静止图像。
2. 当你分析《T台》的视频时，你会发现，在整个 4 秒的片段中，场景经常发生很大的变化。这非常方便，因为在预告片场景中，我只使用了完整的 4 秒剪辑两次。所有其他剪辑的长度均为 0.5 – 2 秒。我将剪辑的速度提高了 1.5 倍 – 3 倍。因为，作为观看者，您只能看到剪辑很短的时间，因此您会在场景中感知到更多的运动，因为它本质上是快进该部分。因此，机器人现在不再转向摄像头 4 秒，而是在看到您的那一刻突然捕捉到。

工具栈+分析

对于那些感兴趣的人，这里有一些关于工具堆栈、工作量和定价的数字和信息。

预告片带我去：

• 〜7小时
• 中途生成 316 条提示
• 中途放大的 128 张图像
• Runway 中生成的 310 个视频
• 生成了 1 个带有文本的视频
• 预告片中使用了 44 个视频

这些数字对这些工具的定价有直接影响。让我解释：

创造力需要探索的空间。

这些都是新工具，我们仍处于学习它们如何工作的阶段。没有什么比在探索过程中达到积分上限更糟糕的了。中途的快速时间很昂贵，而跑道上的积分则更加昂贵。

我建议以无限计划开始这样的项目。最昂贵计划中的跑道积分可以在 15 分钟内耗尽（!!!）。

所以对于 Runway，是的 – 我正在使用 95 美元/月的计划，这给了我无限的世代。这意味着我可以随心所欲地尝试和实验，而不必担心刷信用卡。

对于中途旅程，您有三种选择来获得无限世代。我使用 30 美元/分钟，同时还有 60 美元/分钟和 120 美元/分钟的计划，具有隐身模式和更快的工作时间。我 90% 的图像都是在放松模式下生成的，并保证您不需要那些更昂贵的计划。

我使用的其他工具是用于音乐的 Pixabay（免费使用）和用于编辑视频的 CapCut（免费使用）。如果您不愿意，您不必在音乐和编辑上花一分钱！

总而言之，我的“Video Techstack”目前的费用为 125 美元/分钟，我知道这是很多钱。作为创作者，我决定为“无限的创作自由”付出代价。

这几乎涵盖了一切！它仍然是一个非常新的工具；这是我在 Runway 完成的第一个项目。

在我们进入这个过程之前——反乌托邦主题的想法来自我上周分享的一系列三部电影。我已经有了很好的即时基础，并决定以此为基础编写一个故事！

原声带

从音乐开始是多么重要，我怎么强调都不为过。它极大地影响了观众对视觉效果的感知，并激发了另一种让我们沉浸在内容中的感觉。因此，这是一个很好的起点，因为它设定了预告片本身的基调。另一个关键点是编辑工作。我喜欢将视觉效果与音乐进行节拍匹配。在项目期间改变音乐可能会非常耗时。因此，在开始构建视频序列之前，请尝试获取最终配乐。

从过程上来说，我接下来要做的就是一遍又一遍地听这首歌，在脑海中想象不同的场景。我真的一边和我的狗散步，一边反复听着这首歌。这个练习可以帮助我组织我想要在预告片中讲述的想法和故事情节。

一旦我确定了配乐，我就把它拉到视频编辑器中。我使用 CapCut，因为它对所有人免费。如果您喜欢其他软件，也可以在 Adob​​e Premier 或 Final Cut Pro 中执行此操作。

创造一个世界和故事

如果你问我，构建世界和讲故事是作为一名创意人员应该学习的首要技能。借助允许每个人生成高质量内容的技术，那些知道如何将各个片段拼接在一起的人将会创造奇迹。

对于预告片的故事情节，我想一步步增强紧张感。我为预告片定义了 3 个阶段：

1. 设置场景
2. 威胁介绍
3. CTA 的高潮

第一步，我开始起草预告片的第一个文案。第一稿已经包括“分享一切，承担后果，然后呼吁人类采取行动”。

定义了整体基调和声音后，我开始围绕这些主题生成场景。我滚动了大量的环境、军事科技、战斗主题的人类和科幻剪辑，然后我可以从中收集一个故事。

为了增加一些深度，我添加了三个带有发光护身符的孩子的镜头，暗示了故事的更深层次。

在中途生成一致的图像

让我们深入了解提示！在这种情况下，我已经从之前的帖子中获得了稳定的提示基础。我对其进行了优化，创建了一个模板，我可以在预告片的每个镜头中重复使用该模板。

___________ ，星球大战战争，风格为详细的人群场景、朴实的自然主义、青色和黄色、霜朋克、室内场景、cinestill 50d –ar 21:9 —style raw

对于每个场景，我都会用我想要的场景来填补空白，确保其他标记最大限度地保持主题、颜色和照明一致的可能性。

同样有帮助的是利用“强变化”功能。这使得创建不同的场景变得容易，同时保留了之前版本的调色板。然后，女战士的场景可以转变为普通公民、网络黑客或战斗场景，而无需生成新的提示。

跑道中的动画图像

令人惊讶的是，这个过程是“最简单的”。至于设置，我总是尝试激活“Upscaled”。但值得注意的是，升级模式经常会遇到面部问题。所以对于人物镜头，我通常使用标准质量。

我根本没有使用文字提示与图像提示相结合的方式。我拖放图像并重新滚动它，直到得到我喜欢的结果。只有最后一个火灾片段是在跑道上用文字提示完成的。

CapCut 中的后期编辑

在《Midjourney》和《Runway》生成输出的同时，我首先放置我知道将发挥重要作用的关键场景。就《创世纪》而言，我知道外景镜头将成为开场。

然后我开始计划文本。当我根据音乐定位文本时，时间轴中没有任何剪辑，这是可能的。我在不到一个小时的时间内就按照时间线编写了内容并进行了定位。这对生成图像有很大帮助，因为您有一个额外的固定点来考虑仍然缺少哪些场景。

从那时起，它就像一个益智游戏。生成剪辑 -> 将它们拉入 CapCut -> 将它们放置在时间轴上，然后慢慢拼凑故事。我对 2-3 个剪辑包进行颜色匹配，使它们看起来像一个更大的电影场景。

CapCut 唯一真正的技巧是考虑对剪辑进行节拍同步。当音乐中有“BWAAA”时，我总是尝试连接剪辑内的动作和/或排列以下剪辑。总的来说，这会让你的整个序列感觉更加身临其境。

虽然 CapCut 具有可以帮助您完成此操作的功能，但我更喜欢手动执行此操作，因为我可以完全控制。有时我也想故意跳过一个节拍，因为场景需要播放更长的时间。

添加动作

我遇到的第一个问题可能是“你的剪辑中是如何加入如此多的动作的？”。当然，《跑道》中存在人工智能随机性的变量，但我使用了两个技巧来增加动作。

1. 思考人工智能如何将图像解释为。据我所知，Runway 会拍摄一张照片，然后根据其模型计算哪些部分应该进行动画处理。我对这个想法进行了逆向工程，并尝试在中途输出暗示运动的图像。这意味着尝试在镜头中加入运动模糊或捕捉移动的头部或人物的静止图像。
2. 当你分析《T台》的视频时，你会发现，在整个 4 秒的片段中，场景经常发生很大的变化。这非常方便，因为在预告片场景中，我只使用了完整的 4 秒剪辑两次。所有其他剪辑的长度均为 0.5 – 2 秒。我将剪辑的速度提高了 1.5 倍 – 3 倍。因为，作为观看者，您只能看到剪辑很短的时间，因此您会在场景中感知到更多的运动，因为它本质上是快进该部分。因此，机器人现在不再转向摄像头 4 秒，而是在看到您的那一刻突然捕捉到。

工具栈+分析

对于那些感兴趣的人，这里有一些关于工具堆栈、工作量和定价的数字和信息。

预告片带我去：

• 〜7小时
• 中途生成 316 条提示
• 中途放大的 128 张图像
• Runway 中生成的 310 个视频
• 生成了 1 个带有文本的视频
• 预告片中使用了 44 个视频

这些数字对这些工具的定价有直接影响。让我解释：

创造力需要探索的空间。

这些都是新工具，我们仍处于学习它们如何工作的阶段。没有什么比在探索过程中达到积分上限更糟糕的了。中途的快速时间很昂贵，而跑道上的积分则更加昂贵。

我建议以无限计划开始这样的项目。最昂贵计划中的跑道积分可以在 15 分钟内耗尽（!!!）。

所以对于 Runway，是的 – 我正在使用 95 美元/月的计划，这给了我无限的世代。这意味着我可以随心所欲地尝试和实验，而不必担心刷信用卡。

对于中途旅程，您有三种选择来获得无限世代。我使用 30 美元/分钟，同时还有 60 美元/分钟和 120 美元/分钟的计划，具有隐身模式和更快的工作时间。我 90% 的图像都是在放松模式下生成的，并保证您不需要那些更昂贵的计划。

我使用的其他工具是用于音乐的 Pixabay（免费使用）和用于编辑视频的 CapCut（免费使用）。如果您不愿意，您不必在音乐和编辑上花一分钱！

总而言之，我的“Video Techstack”目前的费用为 125 美元/分钟，我知道这是很多钱。作为创作者，我决定为“无限的创作自由”付出代价。

这几乎涵盖了一切！它仍然是一个非常新的工具；这是我在 Runway 完成的第一个项目。