"毒液"AI宣传片惊艳刷屏，导演杨晟与Vidu揭秘幕后细节！
文| 刘澍
这是好莱坞“五大”首次在华拥抱AI，不仅自破了曾经公开抵制AI的宣言，而且扶持了本土创作者和技术公司，是全球头部电影公司合作国内科技文化人才和成果的一次成功尝试。
泼墨成画，万物皆可毒药。
随着一点墨迹晕染整个屏幕，毒液以自由灵动之姿变幻为战马、鱼、鹤等形态，肆意穿梭于海陆空，更能化身“毒液孔明灯”露出顽皮笑容，最后以本姿态落在中式楼阁的屋顶上，傲视周围。
10月23日，正值《毒液：最后一舞》登陆全国院线，索尼电影官微发布了一支由AI制作的水墨风宣传片，引发了业内外的剧烈热议。
△ 《毒液：最后一舞》水墨风获网友好评
一方面在内容画面维度，众人惊叹于AI创作的精细度和丝滑度，另一方面在行业趋势维度，这是好莱坞“五大”首次在华拥抱AI，不仅仅只是制作了一部好看的预告片，而且帮助了本土创作者和技术公司，是全球头部电影公司合作国内科技文化人才和成果的一次成功尝试。
日前，基于这支AI宣传片，极客电影独家专访了视频的幕后核心——导演杨晟和北京生数科技有限公司（以下简称：生数科技）产品总监张旭东，邀请他们各自从内容和技术的角度，分享了宣传片的制作过程、相关难点和所用的AI模型Vidu，以及AI应用于影视行业的趋势观点。 △ 杨晟导演
△ 北京生数科技有限公司产品总监张旭东
01 合规之内，AI支持和增强创意实现：
杨晟直言，AI宣传片是索尼、生数科技和他自己三方碰撞出来的结果。
最开始，索尼的要求是制作一支足够具有东方元素和中国特色的视频，但是不能透露太多剧情，方式则不限定。
这显然是一个开放性命题，给了艺术家很大空间，杨晟很兴奋。
作为索尼重点扶持的导演，他认为索尼更深层次的想法是：内容本身优质之外，制作方式也要走在行业前沿，产生广泛的影响力。
就此，杨晟选择联合生数科技，共同完成命题。
生数科技是一家成立于2023年3月的新兴科技公司，核心成员来自清华大学人工智能研究院，其自研的AI模型Vidu是国内首个长时长、高一致性、高动态性的视频大模型，支持文生视频、图生视频、主体参照等功能，这次的AI宣传片即由艺术家与Vidu合作执行。
△ Vidu
据杨晟透露，索尼曾专门派人到生数科技，用一张2018年出圈的水墨风海报去检验Vidu的能力。
现场，张旭东演示了数个版本的效果，得到了索尼的认可，合作得以继续推进。
特别要提的是，考虑到合规性，索尼直接购买了艺术家与杨晟团队所使用的200余张水墨风原稿，然后再授权给杨晟团队基于Vidu创作。”
简言之：承制方创作画稿→索尼购买画稿→索尼授权画稿→承制方使用画稿生成视频→索尼验收并发布。
整个流程类似于动画制作，而且是结合了日式和欧美式的动画生产方式，形成了一种新的工作流。
使用的过程里，Vidu相当于摄影机、手机、PS或者Premiere，是创意实现的高效生产力工具。
这样一来，索尼获得了所需的创意效果，承制方则得到了实际操作的空间和自由度。
不过相关过程并非一蹴而就，在实际执行环节里，杨晟与生数科技曾遇到过一个巨大挑战，即艺术家与AI 技术人员在创作逻辑、主观审美和工作方式等方面的理解差异。
对比来说，技术人员可能更注重技术和流程，而艺术家更注重创意和表现。
对于这种差异，转译工作就显得尤为重要。杨晟和张旭东正式担任了这种角色。
张旭东回忆，开始他不能对齐艺术家的需求和标准，比如什么样的效果是导演更想要的。直到资深动画导演凯伦坐在工位旁，从艺术的角度下讲解后，他逐渐理解了导演的艺术偏好，并和内部美学专家讨论后，转译成相应的指令输入给模型。
Vidu 作为一个通用模型，能够理解和表达很多风格，但如何写出合适的 prompt 和生成模型进行“沟通”，调动起模型的能力来生成出艺术家想要的东西，确实需要懂模型技术的人和艺术家来共同完成。
△ Vidu参考文森特·梵高《星月夜》生成的视频
双方深入沟通理解后，自然会促进效能快速提升，张旭东分享到，根据策划和原稿，Vidu仅用半个工作日就生成了上千支视频，供给艺术家挑选和优化，再从中选出最优质的作品。
这种合作模式使得双方都能充分发挥各自优势，极大节省了时间成本，提高了工作效率和产出效率，实现了高效率和高质量的创意实现。
02 AI大模型Vidu：节省近90%的后期投入
谈及应用的技术原理，张旭东介绍，在图生视频之外，Vidu的首尾帧功能同样对《毒液：最后一舞》的生成起到了重要作用。
这种作用特别体现在IP图像的一致性上，比如经常会看到这样一种AI创作的情景，一个老爷爷牵着小女孩过马路，一辆车驶过，下一秒老爷爷换了一个人。
首尾帧功能正好能尽力降低偏差率，以开头和结尾的图片约束和纠正影像细节，让IP图像前后高精度一致。
众所周知，索尼在IP图像上有严谨的要求，一丝一毫都不能有差错，而Vidu有效避免了图变bug，这是国内AI技术的一大进步，也是AI应用于影视IP的重大突破口。
张旭东进一步表示，基于模型的不断升级，当下Vidu的一键生成视频能力可以极大简化短片的制作流程，同步显著提升相关生产效率。
制作同样一支宣传片，对比传统影视的投入，Vidu节省了近90%的后期投入，驱动总体的时间效率提升3倍。
数据规格上，Vidu能够同时支持中英文指令输入；时长方面，模型最长可支持一键32s视频的生成，产品端开放了4s/8s的视频时长；画面质感方面，最高可输出1080p分辨率。
张旭东还提到了Vidu未来的升级方向，他们起了一个名为“参考生视频”的概念，希望Vidu可以参考相对多的物体，现在它能够参考单个物体，例如用一双鞋，模拟人穿鞋在月球上，生成一支广告片；或者提供一个“怪兽”的形象，安排怪兽做一些事情，都能保持很好的一致性。
△ Vidu产品中的“参考生视频”功能
未来，据生数科技介绍，Vidu也将补充风格参考能力，提升生成视频的品质感和艺术性，并且在同种风格呈现中，同并保持人物、场景、道具等多个物体的一致性。
另外，张旭东和杨晟还提到，Vidu的设计也能启发艺术家，提供超出预期的创作新思路。
在《毒液：最后一舞》的宣传片里，中式楼阁就是典型案例。
本来只是给了Vidu一个很大概的想法，做一个中式屋顶，但是Vidu既做出了合理性的补全预测和3D模型，也自动生出了很惊艳的运镜和各类细节。
△ 《毒液：最后一舞》AI宣传片的“神运镜”
值得说明一点，对于这支宣传片，区别于绝大多数AI模型，Vidu的主要指令不是提示词，而是首尾帧图像。
这能更直观地表达创作意图，减少误解，可以让承制方更好地控制视频的质量和效果。
03 艺术家，只有跟科技公司结合才有未来
就在索尼发布AI宣传片的同期，全球影视行业亦传来两大重磅消息。
一个是大导演詹姆斯·卡梅隆（James Cameron）官宣加入Stability AI公司，这家公司的开源模型Stable Diffusion在图像生成领域有着举足轻重的地位。
△ 詹姆斯·卡梅隆加入Stability AI公司
詹姆斯·卡梅隆，面对生成式AI技术的崛起，他看到了AI与影像创作交汇的巨大潜力。
这两种完全不同的创作引擎的融合，将为艺术家开启全新的讲故事方式，这是他们从未想象过的。
另一个是张艺谋谈执导《三体》，他直言，网友的正向或负向评价，他都接受，这会倒逼团队创新视听表达。
△ 张艺谋执导《三体》
他已经精选十余位AI人才，组成AI小组，将运用“中国制造”的新科技、新观念开展创作。
随着詹姆斯·卡梅隆和张艺谋的公开支持，影视行业将会加速AI应用的进程。反之，这也会驱动AI科技公司快速精进技术，全球范围内皆是如此。
就现在的AI水平，张旭东和杨晟说到，如果将AI模型的发展阶段比作电影学院的学生，ChatGPT3.5相当于初中生，可以理解部分内容；GPT4相当于研究生，思考较为全面；OpenAI o1则更进一步，具有独特的思维方式。
而随着应用案例和经验愈多，AI 的“学历”将更高。
现在，AI能够记住更多的专业词汇，理解并执行复杂的微调任务，如3D动态故事板着色；
其学习能力使得它在不同场景中的应用更加灵活，可以根据具体需求进行定制化训练，从而提高工作效率和效果。
通过AI的这些能力，可以降低对上层构造数据的训练难度，使整个流程更加智能化和高效。
细分到镜头运动，AI通过学习和训练，能够理解和应用镜头运动的基本原理，如推拉摇移等，从而提升视频的视觉效果。
以及，通过对大量电影和视频的分析，AI能够学习到镜头运动的基本规律，并在实际应用中加以运用。
△ Vidu生成的俯视视角视频
△ Vidu生成的第一人称视角视频
这种对镜头运动的理解和应用，使得AI在视频制作中的应用更加广泛和深入，提升了整体的视觉体验和艺术效果。
而鉴于AI模型规模的扩大和技术的升级，其性能和应用范围将得到进一步提升。
未来，AI模型有望在更多领域发挥作用，如绿幕特效、视频补全等，这会更大地降低视频制作的难度和成本，更快速地提高创作效率。
然而，尽管效能在一直升级，但是现阶段AI并不能完全替代人类的创造性劳动，而是作为辅助工具存在。
许多人错误地认为AI可以直接生成商业化的内容，但实际上，生成的内容需要经过一系列的加工和优化，才能达到最终的商业标准。
毕竟，艺术作品的评价往往依赖于人的主观感受。
但不能否认，按照这样的趋势，AI将拓宽创作者的门槛，同时也提高了对艺术家的要求，它更重要地强调了艺术创作力的重要性，会让强者会变得更强大。
预计在未来，AI能够帮助更多有创意的人实现他们的想法，诞生更多优秀的作品。
感谢【故事接龙StoryStorm】友情支持。