作为后期行业大哥级的存在，Adobe终于让Firefly AI视频功能从期货变现实了！视频中任何缺失部分，AI一键解决，效果已能媲美Runway和Sora。与此同时，经过全面升级的史上最强PS也来了。

　　就在2024年的Adobe MAX大会上，Adobe正式推出Firefly视频模型，以及最新升级的图像模型。

　　相比于一次只生成1～5秒的视频生成模型，将GenAI的能力无缝集成到视频编辑软件中，无疑是最能直接提升生产力的方式。

　　毕竟，Premiere Pro已然是最专业、应用最广泛的视频剪辑工具，很可能没有之一。

　　剪视频的时候，突然发现素材缺帧、色调不对、机位卡不上？基于Firefly ideo模型的新功能Generative Extent，就可以免去用户重新拍摄素材的麻烦。

　　Adobe表示， Generative Extend是他们推出的第一个由视频专业人士打造，且专门服务于专业人士的Gen AI功能，并且具有可靠的商业安全性。

　　不仅只在Adobe有授权的内容上进行训练，而且绝不会私自截取用户内容作为训练数据，可以说是稳稳接住了专业创作者的痛点。

　　对于视频开头、结尾，或者时间轴中的任何缺失部分，只需要一拖、一点，就能让AI快速扩展，实现完美的定时编辑。

　　想要将对齐两幅画面的背景色调？显然AI的眼睛要比人类更准，一键调色好过试色半小时。

　　除了画面，音频编辑功能也同样强大，选择「room tone」按钮即可对音效进行延长或平滑操作。

　　比如下面这个冰山坍塌的视频，虽然画面只持续了3秒多，但模型可以自动「脑补」出后面将近10秒的音效，足可以以假乱真。

　　但目前，音频编辑还不支持创建或扩展对话，而且由于潜在的版权问题，也不支持音乐。

　　下面这个示例就展示了，在只有音效但没有画面的情况下，如何使用生成式扩展功能，自动延长各个镜头画面的停留时间，在匹配音效的同时补好时间轴上的大窟窿。

　　生成式扩展功能将在今年晚些时候的beta版Pr中上线，Adobe表示，会在用户反馈的基础上持续更新。

　　性能方面，Pr还和英伟达进行了集成，使用RTX系列GPU加速运行，提升用户体验。

　　面对视频内容需求的持续增长，剪辑师、电影制作人和内容创作者需要在更短时间内完成更多工作的挑战。

　　而且，视频剪辑工作已不再局限于简单的画面剪切，还要包揽调色、字幕、动画、视觉效果、混音等一系列任务。

　　此时，Adobe作为专业的工具集，搭上GenAI提升生产力的快车，最为合适不过。

　　首先，Firefly的文生视频功能和Runway、Sora等视频生成模型类似——用户通过prompt即可生成任何自己想要的视频。

　　提示：街道中央雨中男子的电影级特写肖像。光影氛围沉郁而富有戏剧性，色调以蓝色和青色调为主。男子形象极度写实，皮肤纹理精细，脸上点缀着细密胡茬。细微的动作柔和流畅，镜头保持固定。画面呈现浓重的胶片颗粒感和质感。水珠在男子脸上缓缓滑落，清晰可见。

　　而对于已经生成的视频，则可以通过一套「摄像机控制」功能对其进一步细化，包括不同的摄像机角度、运动效果和拍摄距离等参数。

　　通过文本提示、摄像机控制和参考图像，就能生成B-Roll（补充素材），轻松填补时间轴上的空白。

　　提示：夜晚街道中央，一位老年男子的电影级特写和细节丰富的肖像。光线氛围沉郁而富有戏剧性。色彩调性为蓝色阴影与橙色高光的对比。主角的皮肤纹理极其逼真细腻，毛孔清晰可见。动作微妙柔和。摄像机保持静止。胶片颗粒感。复古变形镜头。

　　不需要补拍任何镜头，把AI生成画面和原视频剪辑在一起，就丰富了内容性和层次感：

　　有的制作团队预算有限、周转时间短，但有些创意构思镜头却难以捕捉，或者成本昂贵。

　　此时，就可以用Adobe Firefly来可视化和规划这些镜头，然后再进行视觉特效（FX）制作，或者返回片场补拍。

　　这就大大简化了前期和后期制作团队之间的沟通流程。不仅提高工作效率，还能让创意意图在整个制作过程中准确传达。

　　提示：在墨西哥的美丽、光线柔和的天然井中，第一人称视角镜头。水清澈蔚蓝，闪烁着午后阳光的光芒。色彩温暖，阳光呈「魔幻时刻」（magic hour）风格。高质量，电影感。

　　Adobe从很多业内人士那里了解到，如果能填补时间线上那些留待稍后添加视觉效果的空白，将大大加快工作流。

　　提示：电影般的无人机镜头，飞越广阔的红色火星地貌，地面在我们下方快速掠过，随着太阳开始升起，地平线呈红色。在镜头结束时，阳光照射到地平线上方。

　　而Firefly生成火焰、烟雾、灰尘颗粒、水、光斑等氛围元素的能力，更是让从业者非常兴奋！

　　在黑色或绿色背景上生成这些元素，就意味着我们可以使用混合模式，或Adobe Premiere Pro、Adobe After Effects等工具进行抠像，将它们叠加到现有视频上。

　　下面这个视频，就是在Premiere Pro中使用屏幕混合模式之后的效果。

　　就得到了下面这个成品视频。AI特效不仅和原视频搭配得很有默契，而且瞬间拉满酷炫风格。

　　提示：在阳光明媚的美丽厨房里，炉灶上的煎锅中正在烹饪一个鸡蛋，这是一个使用毛毡制作的定格二维动画。

　　提示：可爱的章鱼宝宝，有着迷人的眼睛，每个触手都拿着一个茶杯，快乐地四处张望，3D渲染，Octane引擎，柔和光，梦幻般的背景虚化，浅景深，电影感。

　　提示：用羊毛和毛毡制成的微型可爱怪物，在一起跳舞，3D渲染，Octane引擎，柔和的灯光，梦幻的虚化，富有电影质感。

　　提示：「SUMMER」一词由蓬松、彩虹色的云朵组成，漂浮在美丽山脉上方的有漩涡和柔和色彩的天空中，两秒钟后，「SUMMER」一词与云朵一起消散。

　　在深入创作之前，如果能和动画师、动作设计师沟通意图，省去不断迭代、寻找正确风格所花费的时间。

　　而Firefly的图生视频功能中，我们除了可以使用文本提示，还能在旁边放上参考图像。

　　比如，如果视频剪辑中有一个特定的动作，但作为剪辑师的你希望让导演重新拍摄，这时就可以使用该功能将其可视化，在保持相同外观的熊猫体育官网同时推动故事情节。

　　提示：一只戴着手套的宇航员的手进入画面，拔掉了黄色电缆的其中一根。电影感。提示的使用

　　Firefly模型能够实现丰富的镜头控制，比如镜头远近（包括特写、中景、远景等）、角度和相机运动，以达到更精确的生成。

　　Firefly的这种专业特性，也就对用户输入的prompt提出了更高的要求。

　　从Adobe给出的官方demo来看，提示基本都相当详细；官方博客给出的建议也有这样一句话：提示越详细越好！

　　图生视频时可以仅描述画面的语义信息，但文生视频的prompt中基本都会包括光线、景别、镜头焦距、拍摄角度和机位、画面色彩与质感等十分细致深入的描述，才能指引模型生成出用户脑海中的画面。

　　反复迭代的过程中可以选择更新提示，也可以使用同一个较为成熟的提示但更改种子值（seed），从而快速尝试新的变化，而无需每次都从头开始。

　　比如下面这个demo的提示，虽然相比之下非常简短，但基本涵盖了模板中提到的要素。

　　提示：一只纸质熊猫平静地走过一片折纸竹林，电影感，可爱，柔焦，背景虚化。

　　Photoshop的智能去除功能，可以让我们清理照片中不需要的元素，比如背景中的路人，或者是突兀的电线。

　　当然，Photoshop中也融入了Adobe Firefly的AI功能，让我们可以对画面进行生成式填充和扩展。

　　AI功能由最新的Adobe Firefly图像模型驱动，可以为图像带来前所未有的真实感和逼真度。

　　具体来说，在细节、光线、构图和色彩方面，我们可以更精确地控制生成的图像。

　　在Adobe Photoshop（测试版）中，还有一个新功能，就是生成式工作区。

　　其他AI图像生成器只能产生有限的结果，但工作区可以让我们同时构思多个创意概念，只需输入文本提示，就能快速生成一系列图像。

　　这样，就能方便地搜索和重复之前的文本提示和图像，生成一组图像的同时就能开始生成下一组。