用大模型制作剧本、生成视频 有博主已获百万播放量
资本行者
2024-06-04 23:22:42
0

OpenAI文生视频AI工具Sora已发布数十个视频,展现了AI文生视频的新可能。第一财经记者了解到,随着多个文生图、文生视频软件发布,已有不少视频制作者开始制作AI视频。

例如,近日发布的一个用AI技术生成的《西游记》近4分钟动画短片展现了石猴从降生到拜师学艺的过程,花果山水帘洞内的水流、植物和摆设错落,天庭依山而建,视频还展示了孙悟空乘船前往城镇、来到灵台方寸山的过程。画面中,山峦烟雾缭绕,水面有落叶等细节,街景呈现了古代着装的行人、门楼和商店。这段视频发布在抖音和bilibili上,在bilibili有超70万观看。另一个与AI制作的《大闹天宫》预告片在bilibili上有超100万播放量,画面中,天庭的座椅、服饰透露着庄严,镂空的器皿显现出设计细节,人物面部表情自然。

一些AI制作的MV或预告片、宣传片也在视频平台上获得数十万播放量。例如,一个动物版《恭喜发财》MV有多个小狗穿着红色传统服饰的画面,并演奏多种乐器、骑自行车、写毛笔字,画面细节丰富,动物毛发细节清晰。广西卫视也在网上放出了全AI制作的龙年宣传片。据记者观察,这些AI视频的共同点是画面清晰且富有细节,但每个分镜的时长只有几秒,人物讲话时还未能匹配适合的嘴型,画面的连贯性和叙事性相比影视仍存在距离,这些特点使目前AI视频更适合制作预告片、MV等对叙事要求不高、对画面冲击力要求较高的中短视频。

与视频创作者已在使用的多个AI视频制作工具不同,Sora在视频时长上有明显优势,可直接生成60秒视频,但Sora目前还未对外开放使用。记者发现,不少AI制作视频都使用AI绘图工具先生成图片,再使用图生视频工具生成AI视频。例如,以上近4分钟的《西游记》动画的创作工具是AI绘图工具Midjourney和图生视频工具Runway,构思阶段采用了ChatGPT分析原著文字并规划分镜,随后通过剪映剪辑。以上《大闹天宫》预告片也使用Midjourney和Runway制作,剧本设计使用了大语言模型辅助。

发布以上《西游记》动画的博主“AI疯人院”从事美术工作15年,他表示,该视频如果人工制作至少需要半年,而自己在AI的帮助下一周就完成了。但他同时指出,绘图和图片生成视频的过程还会产生废稿,AI还很难完全理解创作者的意图,存在随机性。发布《大闹天宫》预告片的博主则在评论中称,AI迭代太快,要做成三个半小时的电影预计可以在两年内。但也有网友针对AI视频评论称,AI生成仍显得僵硬、像PPT、风格仍不够贴合主题。

市面上目前可生成AI视频的工具还包括谷歌Gemini、阿里云12VGen-XL等。阿里云在一个视频中介绍,生成视频不需美术和编导基础,创作者可以在魔搭创空间找到MotionAgent AI应用,通过该应用,在生成剧本时用到Qwen-7B-Chat大模型,在文生图时使用Stability的SDXL模型,再由图片生成视频,阿里云的视频生成软件是开源的12VGen-XL,音乐也可以通过提示词AI生成。

有影视制作者向第一财经记者表示,AI技术已在视频制作中应用,在平面设计上效果很好,但在AI视频中,目前逐帧光影衔接还有问题,从Sora放出的视频看,也存在逐帧的衔接问题。

2023年至今,与AI视频、图片相关的技术还在持续迭代。例如,此前香港科技大学、蚂蚁团队、浙江大学CAD&CG实验室合作的项目CoDeF,其算法能根据提示词对视频进行风格转换,香港大学、阿里巴巴和蚂蚁集团的新成果Anydoor可实现图片中物体瞬间移动,学界还有研究团队探索图像修复和还原技术。

举报 第一财经广告合作,请点击这里此内容为第一财经原创,著作权归第一财经所有。未经第一财经书面授权,不得以任何方式加以使用,包括转载、摘编、复制或建立镜像。第一财经保留追究侵权者法律责任的权利。 如需获得授权请联系第一财经版权部:021-22002972或021-22002335;banquan@yicai.com。 文章作者

郑栩彤

相关阅读 新模型Sora爆火 OpenAI估值或达800亿美元 行业除了震撼还有两大隐患

业内人士表示,Sora背后的学术原理业内都清楚,但是从原理到落地,中间隔着“数据”和“模型”两座大山,而这也是OpenAI不同于其他竞争对手的优势所在。

15小时前 Sora的潘多拉魔盒里有什么?

Sora的发展速度似乎超越了同行数个量级,它的横空出世无疑让Meta、Runway等巨头公司和初创竞争对手面临更大的压力。

昨天 21:33 A股龙年“开门红”,Sora概念股领涨

Sora概念股受到资本热烈追捧

昨天 16:00 Sora概念多股涨停 机构提醒技术创新与局限性同在

对A股相关AIGC应用公司而言,短期内从投资维度看,Sora的主题意义更为显著。

昨天 10:24 Sora横空出世,概念股集体爆发,盯紧两条投资主线

截至发稿,会畅通讯、当虹科技、因赛集团等7股涨停,易点天下、数码视讯等跟涨。

昨天 10:11 一财最热 点击关闭

相关内容

解密了:使用干草捆,能抵挡...
解密了:使用干草捆,能抵挡住射击而来的子弹吗?国外牛人硬核测试(地...
2024-11-19 23:20:48
2024年3月17日全国主...
(原标题:2024年3月17日全国主要批发市场鲳鱼价格行情) ...
2024-06-22 22:48:34
华源证券官宣完成增资扩股 ...
  华源证券官宣完成增资扩股 4家武汉国资股东联合增资16.76亿...
2024-06-18 23:52:32
润泽科技:2023年净利同...
润泽科技晚间发布2023年年度业绩预告,全年预计实现归母净利润17...
2024-06-10 21:53:38
本币结算是金砖国家“去美元...
  两国之间的货币客观上存在着强弱不一的状况,货币弱势国当然愿意用...
2024-06-08 22:36:08
用大模型制作剧本、生成视频...
OpenAI文生视频AI工具Sora已发布数十个视频,展现了AI文...
2024-06-04 23:22:42

热门资讯

我市调整优化差别化住房信贷政策 来源 | 汕头市住房和城乡建设局 为落实党中央、国务院决策部署,适应我市房地产市场供求关系...
2月23日基金净值:汇添富MS... 本站消息,2月23日,汇添富MSCI中国A50互联互通ETF最新单位净值为0.7023元,累计净值为...
龙大美食(002726)7月3... 证券之星消息,截至2024年7月30日收盘,龙大美食(002726)报收于7.19元,上涨3.16%...
东南网架(002135SZ):... 格隆汇8月30日丨东南网架(002135.SZ)公布2024年半年度报告,报告期内营业总收入62.3...
许家印的“爷叔”,坐拥几千亿 阿宝的成功,离不开爷叔的指点。许家印可以成功,他的背后也有一个“爷叔”,而他就是坐拥数千亿资产的郑裕...
麦格理:予百胜中国(09987... 麦格理发布研究报告称,予百胜中国(09987)“跑输大市”评级,下调集团2023至25年盈测分别3....
教你不用烤箱的零失败甜蜜芝士蛋... 芝士蛋糕!!!吃一口满嘴都是幸福的滋味~下雪天会想做什么,当然是躲在被窝里养青蛙、刷微博、追剧追到天...
乐普转2下跌009%,转股溢价... (原标题:乐普转2下跌0.09%,转股溢价率104.05%)2月26日,乐普转2收盘下跌0.09%,...
9只旅游股披露上半年业绩预告 ... 据Choice数据统计,截至发稿包括长白山、三特索道、岭南控股、大连圣亚、众信旅游、ST凯撒、云南旅...
张利任西藏自治区人民政府副主席 西藏自治区人大常委会决定任免名单 (2024年7月31日西藏自治区第十二届人民代表大会常务委员会第...