柯里尔狗软件园

金克丝动图抛媚眼,腾讯开源视频生成大模型!

编辑:小编酱 来源:编辑铺 时间:2024-04-14

5月5日,腾讯发布了一款全新的大型模型工具MuseV,可以让虚拟角色动起来。腾讯展示了高质量生成的视频,如金克斯动态视频。项目组希望通过开源模式惠及整个社区!



今年,OpenAI发布了视频生成模式黑脸田鸡,为文声视频开辟了一条新赛道。今年3月,阿里云推出了一个全新的人工智能图形视频模型——EMO,给定一张图片和一段文字,它可以生成任何音频文件。

4月份,腾讯紧接着发布了MuseV,这也是一款文生视频工具。它主要是基于视觉条件下的无限长和高保真虚拟人视频生成的并行去噪。去噪技术可以使生成的虚拟人视频更清晰、更真实,并且可以生成无限长的视频内容。

让我们首先给出一张金克斯的图片,然后使用MuseV生成角色的动作视频。我们可以看到金克斯在向我们眨眼。腾讯该团队补充说,下面的视频没有被过度分割。


MuseV可以处理无限长度视频的生成,避免了误差累积的问题,更适合摄像机位置固定的场景。MuseV支持图像到视频、文本到图像到视频和视频到视频的生成,为用户提供了多样化的生成选择,以满足不同场景的需求。

腾讯基于角色类型数据集的训练,为虚拟人视频生成提供预训练模型,可以帮助用户更轻松地生成虚拟人视频内容,加快生成过程并提高生成质量。除了虚拟人之外,还有网友直接使用MuseV生成小米SU7的驾驶视频。


MuseV兼容Stable Diffusion的文学图模型,包括基础模型base_model、lora和Controlnet,使用户可以更灵活地使用这些工具来生成虚拟人视频。


MuseV支持多参考图像技术,包括IPAdapter、ReferenceOnly、ReferenceNet、IPAdapterFaceID等。,帮助用户在生成过程中更好地利用参考图像并提高生成的准确性和质量。腾讯训练代码即将提供,用户可以根据自己的需求和数据集训练模型,定制自己的虚拟人视频生成模型。

目前,腾讯拥有大量版权IP,MuseV作为其虚拟人视频生成框架,可以更好地利用这些IP,例如使用IP虚拟人物生成虚拟人视频,提升角色形象的影响力和价值,推出虚拟人物的各种衍生产品,然后结合腾讯的曝光进行营销,为用户提供更多丰富性。


与黑脸田鸡模型相比,MuseV主要用于为固定的摄像机位置生成虚拟人物,并且它在理解世界的出现方面不是很强。项目组表示,MuseV实际上是在去年7月实现的。受黑脸田鸡扩散模型的启发,腾讯决定开源MuseV,以便该模型能够在开源社区中立足并逐步发展。(huggingface地址/Github地址)



AIGC:

聊天机器人——chat GPT红遍全网,马斯克赞叹不已!

聊天机器人-Chatgpt小白注册教程,不要被电子商务所取代!

火爆全网——生成的美少女——艾,形象贴近真人!

AI动画重磅推出-15种风格可选,支持图像和视频输入!

AI“核弹级”修图神器——用手就能修图,PS就淘汰了!

AI修图神器升级:一键拖拽,即可精准p图!

微软首款AI助手:推出水獭,会打麻将和开飞机!

游戏行业发生了翻天覆地的变化:斯坦福大学的最新成果,AI角色可以模拟现实生活中的城镇!

智力危机:AutoGPT试图“毁灭人类”并引发核战争!

ChatGPT:玩《我的世界》,北大强化学习,攻克复杂任务!

ChatGPT:成功让AI听懂人话并学会与人类合作!

Chatgpt:在7分钟内开发一款游戏只需0.3美元!

OpenAI是一个突破:用AI学习AI,开创人工智能新路径!

AI快讯游戏-领先玩家两小时,阿尔法狗母公司征服26款游戏!

占卜GPT问世:人工智能进入玄学领域,将取代V星座!

Chatgpt:网络名人,一位AI女性,工资1000元+男友周薪50万元。未来AI将如何发展?

随着第四届GPT青年文学论坛的到来,翻译会被人工智能取代吗?

华为&;北京大学:识别ChatGPT造假,AI防伪检测仪来了!

ChatGPT清明节:上海云生活公司“还原”逝者,数字生活丫丫!

腾讯& amp;宝剑:“熊猫GPT”发布,而且是多模态超大模型!

腾讯& amp;南航:AI游戏生成技术3天就能造出“机场”!

网易:ChatGPT自学课程首次上架,AI赋能游戏!

网易:艾斯蒂芬妮真的来了!网易云音乐成立AI歌手品牌!

赚钱GPT:国内首个AI带货将颠覆全球千亿美元市场!

国内GPT:引入AI数字人类员工,元宇宙+GPT震撼登场!

智惠均:网络世界的风力机器人哪吒将成为未来GPT的典范!

妙鸭相机:朋友圈刷屏!AI精修写真,妙鸭相机爆红!

视频GPT?斯坦福美女博士辍学创业,AI生成视频爆火!

科目三:让马斯克跳“科目三”,AI视频的新玩法!

AI网红来了:半藏森林克隆人,月入10万+!

AI金发女友:月入3万,每月收到20次求婚!

艾复活的女儿:歌手包,实景图!

AI图片视频:逼真效果,阿里云推出EMO!

AI作曲走红:周杰伦歌曲大变样,人人都能写歌!

AI复活技术:清明将至,AI复活技术火了!


#gd的AI &;游戏对话#

#ai人工智能#

更多资讯
游戏推荐
更多+