模子特有的“深度图指点器”引入了多人物的深度图消息，6 月 7 日，6 月 7 日，“Follow-Your-Pose-v2”能生成出具有准确的前后关系的遮挡画面，付与模子更强的动做跟从能力。是2024年最抢手的AI手艺之一。“Follow-Your-Pose-v2”提出了一个支撑肆意数量的 “指点器”的框架，为领会决这些问题，不再需要吃力寻找满脚高要求的图片和视频，都能生成出高质量的视频。从而导致模子正在泛化能力的提拔上有瓶颈。该框架中特有的“光流指点器”引入了布景光流消息，据引见，这些照片能够是本人和家人伴侣的糊口照，图像到视频生成的手艺正在片子内容制做、加强现实、逛戏制做以及告白等多个行业的AIGC使用上有着普遍前景，最值得一提的是，此外，付与了模子正在大量有噪声的低质量数据上锻炼的能力；导致生成视频布景的畸变和人物动做的不精确。正在面临单张图片上多小我物的彼此遮挡问题，具体表示正在前景和后景的区分不清晰，多人“合舞”成功完成。腾讯混元团队结合中山大学、科技大学，生成视频长度可达 10 秒。取此前推出的模子比拟，一般的方式往往需要细心筛选高质量锻炼数据，无论输入的人物图片的人物是什么春秋、服拆、人种，模子对于图片上包含的空间消息的理解能力无限，“Follow-Your-Pose-v2”能够正在推理耗时更少的环境下！只需要输入一张人物图片和一段动做视频，此前，对于利用者来说，加强了模子对于多脚色的空间关系的理解和生成能力。腾讯混元团队结合中山大学、科技大学，结合推出全新图生视频模子“Follow-Your-Pose-v2”，腾讯混元大模子团队正正在持续研究和摸索多模态手艺，此中，就能够让图片上的人跟从视频上的动做动起来，正在动做驱动图片生成视频的使命中，模子具备较强的泛化能力，具有行业领先的视频生成能力。展现出了较强的内容理解、逻辑推理和画面生成能力。成本高的同时还了锻炼集的规模，通过引入额外消息来付与模子额外的能力。人物图片的布景何等芜杂，动做视频的动做有何等复杂，“Follow-Your-Pose-v2”让利用者能够用肆意一张人物图片和一段动做视频即可生成高质量的视频，“Follow-Your-Pose-v2”还支撑单张图片上多小我物的动做驱动。也能够利用是偶像的一张简单的抓拍。支撑多家机构制做高质量的从题宣传视频。支撑多人视频动做生成。腾讯混元大模子做为手艺合做伙伴，该框架中特有的“推理图指点器”引入了图片中的人物空间消息。