放大招!百度复旦视觉生成模子Hallo2或将落地数字东说念主等场景
发布日期:2024-11-02 浏览次数:80
(原标题:放大招!百度复旦视觉生成模子Hallo2或将落地数字东说念主等场景)
近日,百度有计划复旦大学等发布Hallo2,一个不错生成长达数小时且分辩率为4K的东说念主物动画的视觉模子。Hallo2现在也曾在GitHub平台开源,供大众竖立者免费使用和经营,瞻望将促进视频生成时间的宽泛运用和发展。
Hallo2发布后在外洋激勉了不小的转机。有东说念主咋舌视频生成的长度和分辩率,也有老用户从Hallo第一代模子就被圈粉。
还有对Hallo2开源模子和代码的认同。
Hallo2备受保养,很关键一个原因是百度和复旦的经营团队措置了东说念主像视频生成一个很大的痛点:怎么进步视频生成的时长和质料。
一直以来,生成高质料的东说念主物动画需要消耗大都的时刻和东说念主力本钱。而百度与复旦有计划发布的Hallo2的出现,有望透顶转换这一近况,为数字东说念主、电影制作、臆造助手、游戏竖立等鸿沟带来创新性的变化。这不同于Sora等AI视频生成模子碰到到的发展瓶颈,Hallo2模子措置的问题更垂直,可落地空间更大。
Hallo2是现在首个完毕长达一小时、4K分辩率的音频运转东说念主像动画生成模子。通过创新的图像块丢弃、噪声增强和时刻对皆等时间,Hallo2措置了万古视频生成中的外不雅漂移和视觉不一致问题,复旧生动的语音与文本适度,生成质料达到业内进步水平。
Hallo2继承了前代Hallo模子的创新框架,继续领受基于扩散的生成模子和分层音频运转视觉合成模块,提高了音频与视觉输出之间的同步精度,并过程改造使得各部分的协同作用愈加高效,增强了生成动画的质料和真是感。此外,Hallo2 不仅在图像和视频的质料方面有了显耀进步,况且大幅加多了动作的丰富性和千般性,不错说为AI运转的肖像图像动画鸿沟竖立了新的标杆。
有行业大家示意,Hallo2的出现,符号着音频运转的肖像图像动画时间迈入了新的发展阶段。百度基于长久的视觉时间齐集,正在对准行业痛点进行针对性经营和场景落地,不仅为竖立者提供了高大的器具,也为将来各式运用场景下的动画形象创作带来了新的可能性。
现在Hallo2模子已在GitHub上开源,形势地址:https://fudan-generative-vision.github.io/hallo2/#/。
另据悉,除视觉模子外,动作中国最大的AI公司,百度将在11月12日召开百度寰宇大会2024,展现更多AI方面的运用和时间推崇。大会将围绕大模子和AI运用带来五大亮点,除百度独创东说念主李彦宏领衔的主题演讲外,还有100+AI原生运用发布、四场主题分论坛、30+公开课和5000平米AI展区,全标的展示AI运用的落地效果。大会现在已敞开免费报名通说念,可通过大会官网报名参会。
本文开头:财经报说念网