李彦宏坚称不作念视频生成模子,中国版Sora到底值不值得作念?
-
近日,百度CEO李彦宏称“百度不作念Sora”的演讲被媒体曝光后,干系“中国版Sora到底值不值得作念”的话题又在微博、小红书等应酬媒体激勉广漠争论。
李彦宏在里面言语中称,Sora这种视频生成模子的参加周期太长,10年、20年都可能拿不到业务收益,不管多火爆,百度都不去作念。
反对的声息合计,这属于百度本人业务的问题。国内现在在视频生成模子上最有但愿的公司是快手和字节高出,二者的业务离视频更近,待其视频生成弥散优秀之后会快速完成拉新,并带动用户体验普及。
快手和字节高出是国内互联网大厂中积极布局视频生成大模子的公司。Sora发布后,快手便推出文生视频大模子“可灵”,其背后的技能旨趣和OpenAI的Sora相通,都是把常用于视频生成东谈主工智能的扩散模子与Transformer架构相兼并,依托于快手短视频平台,领有无边可用于历练的视频数据。“可灵”发布几个月之后,字节高出旗下火山引擎发布了豆包视频生成-PixelDance、豆包视频生成-Seaweed两款大模子,面向企业市集开启邀测。
除字节高出和快手除外,本年发布视频生成模子的公司还包括阿里云、Minimax、生数科技、智谱AI等公司。
国内视频生成模子范围天然看起来火热,但照实面对着相配严峻的挑战,李彦宏对视频生成作念出的判断并非离奇乖癖。
界面新闻从一位厚爱视频生成模子的技能东谈主士处了解到,生成式AI技能廉明幅镌汰视频生成的门槛,导致视频数据以20倍傍边的速率增长,对诡计资本和成果建议了严峻的挑战。以Sora模子为例,其历练和推理所需的算力需求分裂达到了GPT-4的4.5倍和近400倍。
中国星河证券询查院的敷陈也显现,Sora对算力需求呈指数级增长。其凭据Sora参数限度推上演的历练单次算力需求或可达到2.6×10^24Flops,相配于GPT-3175B的8.2倍。现在Sora还在低级阶段,随同不休迭代调优,其历练数据集限度将进一步增大,曩昔算力需求也会大幅加多。
上述技能东谈主士还示意,在编解码层和框架层,视频生成模子也面对着诸多挑战。一方面是成果的问题,另一方面是在诡计需求日益增长的情况下,能否生动料理越来越复杂的需求。
这些都对视频生成模子造成庞大锻真金不怕火,但其在买卖化上的地点仍然不够正式,一定进度上使历练和推理资本上的挑战更为严峻。
据界面新闻了解,现在视频生成模子的落地大多在影视制作、电商营销等范围,处于观念多于本色的阶段。
快手曾高调推出由可灵深度参与制作的玄幻微短剧《山海奇镜之劈波斩浪》,并于近日兼并李少红、贾樟柯等9位有名导演,初始了十足依托视频生成大模子制作电影短片“可灵AI”导演共创想象,试图以此来评释视频生成大模子在影视制作范围的可用性。
但《山海奇镜之劈波斩浪》整部影片并不是由AI一气呵成,而是使用可灵大模子的文生图和图生视频功能生成了好多时长5秒的分镜头,再由后期编订团队编订而成。其在资本上举座的降幅不越过四分之一,远不如外界预期的那么大。
从快手近期的一系列行为来看,其仍然在为可灵AI的落地寻找更多诓骗场景。比如,快手试图通过资源和流量诞生的样式,让品牌方、制作机构、媒体等需求方大略与AIGC创作家进行商务协作,以支捏使用可灵AI的创作家获取变现契机。这在一定进度上反应了AIGC的变现并不像念念象中的那么容易。
在这些挑战之下,视频生成模子范围的一个发展趋势是降本。天然好多公司依然在积极参加视频生成模子,但尽可能镌汰历练和推理资本,仍是是好多公司都在探索的主张。
在预感理经由和洽视频的数据局势、提高数据质料、完满数据措施化、减少数据量以及料理标注信息,则是其他一些公司降本的要点。抖音一位视频架构技能厚爱东谈主示意,超大限度视频历练数据集导致诡计和料理资本激增、视频样本数据杂沓不都,以及料理链路要领多、工程复杂等,都让视频生成模子历练和推理资本加多。同期,对GPU、CPU、ARM等多种异构算力资源的调遣部署亦然挑战之一。
据界面新闻了解,豆包视频生成模子自研了多媒体料理框架BMF来应付模子历练的算力资本挑战,该决策可使用无边潮汐资源,为模子历练提供支捏。
除此除外,通过自研芯片在同等视频压缩成果下完满视频大模子历练和推理资本镌汰,是部分互联网大厂接管的主张。而一些AIGC公司则在探索将低质料视频与高质料图像相兼并,在保险视频输出画质的基础上镌汰历练模子资本的方法。当资本简直降下来,视频生成模子的曩昔之路也会愈加澄澈。
海量资讯、精确解读,尽在新浪财经APP职守编订:何松琳