AIGC辅助创作实践(书籍制作动画)

我想2023年是AIGC技术爆发的一年,AI在通用领域的创作能力,给我们带来了太多的惊喜。同时,AI对人工的替代也让人们出现隐隐的担忧。

正好前段时间阅读了《团队协作的五大障碍》一书,这本书以现代寓言的形式深入浅出地介绍了很多团队管理的知识和方法,于是萌生了通过AIGC辅助创作为视频短片的想法。

0制作构思

1.剧本提炼与设计(经常在网上看到说使用chatgpt生成小红书文案,打造爆品文章)

计划使用chatgpt和Claude等大语言模型,提炼剧本对角色和场景进行设计

2.关键角色和场景的创作

这方面计划采用midjourney,目前公认的效果最好的绘画模型

3.控制场景、人物和角色

由于midjourney难以控制出现的人物,以及环境的一致性,因此计划通过PS和stable diffution来进行控制

4.让图片动起来

采用runaway-GEN2,的图片转视频功能,可以将图片转为4~8s的视频,B站也有很经验的作品

5.配音

现在又听过AI配音的引擎,根据使用习惯,使用了微软Azure TTS以及腾讯智影的文本转语音功能

1场景/角色设计

将原文处理后,喂给AI,让他对角色的形象进行提炼,→转换为AI绘画的提示词。

这一步看起来挺顺利的,主要难点就是控制不同角色生成风格的一致性。

多尝试几次,还都获得不错的效果。

进行场景设计也还不错。

然而,谁能想到,这只是开头最为顺利的一步,后面的过程都没这么顺利。

2剧本提炼

本来计划还是让AI进行创作;

然而,经过多次的尝试,AI创作都太生硬,而且也出现了与原文出现偏差的情况。

好吧,没办法,还是人工来吧。

于是……还是自己来吧

但原文好歹是10万字的规模,加上我自身文化素养的短板,就造成了另一个问题。

虽然看不上AI,但自己精简的剧本也质量不好,而且费时费力

整整一个上午过去了,只完成了大概四分之一的剧本,还是比较羡慕AI的速度。那没办法,也不好放弃吧。

于是想着先把前面的剧情做出来,实践一下后续的步骤。

3场景+角色匹配剧情

由于midjourney难以控制任务和环境的一致性,于是准备像控制更好的stable diffution来辅助创作。

然而stable diffution的可控性来至于复杂的参数设置。

总之,从安装到不停尝试,以及解决本地部署的一些问题,一下午过去了。然而一张满意的图片都没有……

不仅没有控制好人物,而且整体效果也比midjourney差。

因此,退而求其次,还是转向midjourney,做一些有相似性的创作。

用PS将角色形象,贴到场景中,然后使用垫图模式进行创作。

可以看到,midjourney很难话准确的一个角色,然而没办法只有这样了,因为已经从中午来到晚上了。

3图片转动画

恩,可能因为选择的整体风格原因,将图片给GEN2转视频时,远远达不到B站其他作品的效果。



后来,干脆就不用了。。。。

4配音/剪辑

这部分终于有回到相对顺利,现在又很多AI配音的工具,提供了很多模型引擎,就是选择符合角色形象的就行。

总的来说,这部分还过得去。

单这些配音更多都是用于阅读和解说,用于剧情的对话,还是显得有些生硬。而且没有情绪。

我给COO尼克选了一个温文儒雅的配音,结果剧情中有一段是喝米琪吵架。

结果他还是温文儒雅,慢吞吞………………

一言难尽了。

5我的感受

  • 动画制作远比想象的复杂得多,以目前的AIGC能力来讲,很难补上短板;

  • AI有很强的效率和进化能力,一旦习得,效率超强,我们应该拥抱AI能力,否则可能真的会被会AI的同行甩出几条街

  • 虽然出现过写PRD的AI,但是在我看来还是有点小儿科了,也希望在我本职的产品管理领域,出现更亮眼的AI应用

  • 真是一个充实的周末,恩,为了这11分钟的短片,还是投入了很多时间。

  • 感谢我的带娃合伙人,承担带娃任务,让我闲暇时间做一次有趣的尝试。

最后,还是看一下成果吧


© 版权声明
THE END
喜欢就支持一下吧
点赞12 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片

    暂无评论内容