文生视频，硬件成本是最大拦路虎

 
电子发烧友网报道（文/周凯扬）自文本与图片类的AIGC爆火以来，几乎所有互联网公司和应用开发商都在跟进。然而近期随着Sora的爆火，决定开发同类应用的厂商却少之又少，这就不得不谈到硬件成本的问题，毕竟一个能够实现文生视频的应用，服务器成本要远远高于GPT类应用。
 
从文生视频模型的配置谈硬件成本
 
对于目前市面上的一些文生视频模型而言，其配置往往决定了体验的好坏。就拿Runway的Gen-2模型来说，其最大的特点在于可以生成4K级别分辨率的视频，且具备影视级别的构图和运镜，支持图片和文本的指令输入。
 
然后是最近一炮走红的Sora，其将最大时长做到了1分钟，且支持符合部分物理规律的世界模型，以及多镜头的切换等。不过与Gen-2模型一样，其对分辨率也进行了限制，甚至只能生成1080p的视频。
 
其他文生视频模型的配置则更加捉襟见肘，比如Meta的Emu Video只能生成最长4秒的512x512分辨率视频等等。从以上文生视频模型看来，由于为了确保画面一致性，视频分辨率、视频长度和每秒帧数往往决定了生成单个视频的硬件负载。目前对于硬件要求最高的应该是Runway的Gen-2和OpenAI的Sora。
 
这也是为何文生视频应用均采用订阅模式，甚至是按量订阅的付费策略，比如生成视频的项目数量、存储空间、导出质量等，文生视频考验的不仅是服务器算力，还有存储成本。毕竟为了方便用户回溯，这些生成的视频依然需要存储在服务器上一段时间。
 
就以Runway为例，要想完全无限制地生成视频功能，每月订阅费用高达76美元，且这仅仅意味着450s的Gen-2视频生成，如果用户需要生成更多内容，则还需要额外购买。可见为了维持服务器费用，文生视频应用面临的成本压力要远大于GPT类应用。
 
不只是云端，硬件成本也决定了本地部署的难度
 
从ChatGPT和Stable Diffusion这两个最火的AIGC应用就可以看出，硬件是开发这类应用的最大门槛之一。基于低成本硬件打造的类ChatGPT应用响应时间慢，生成内容质量差。而Stable Diffusion这类文生图模型，已经可以在消费级硬件上实现不错的效果，甚至可以普及到一些低功耗的端侧设备上。
 
但对于Sora这类文生视频的模型而言，要想在消费级实现本地部署可谓是难于登天，在完成内容的基本生成工作后，还需要经历风格化、分镜、遮罩、渲染和自定义等一系列流程，可以说不仅考验硬件的AI算力，也对视频渲染能力提出了更高的要求。
 
据了解，一批开源开发者已经在构建OpenAI Sora的复制版本，且可以在使用消费级英伟达GPU的高配电脑上跑通。不过马斯克也评论道，他也认为这是可行的，但是帧渲染速率会非常低。如果需要花上数小时，才能生成出一个质量较差的4秒视频，对于绝大多数用户来说，必然不是好的体验。
 
写在最后
 
要论硬件成本的话，对于应用开发者和用户而言，文生视频目前还是一个较为昂贵的“玩具”。但我们也不能否认其前景，随着算力成本逐渐下降，未来文生视频不仅可以作为内容创作途径，也可以作为辅助工具，替代掉一部分重复性工作，尤其是在广告视频行业。
 
不过这类应用的出现，也会让我们开始重新审视起GPU在AIGC硬件市场的地位，毕竟多出了图形渲染这一额外的硬件要求，其他的ASIC方案在这方面固然会逊色GPU一筹。再加上英伟达GPU在物理仿真上的优势，或许文生视频会给英伟达带来更多的市场机遇。