可灵是快手AI团队自研的视频生成大模型,于2024年6月6日在官网正式上线。[1]
可灵支持生成长达2分钟的30fps视频,分辨率高达1080p,并且支持多种宽高比。可灵大模型采用类Sora的DiT结构,用Transformer取代传统的卷积网络结构,为了提升计算效率,还使用flow模型作为扩散模型基座,生成的视频不仅运动幅度大且合理,还能模拟物理世界特性,具备强大的概念组合能力和想象力。[2][3]
可灵大模型的推出标志着快手在AI视频生成技术上的又一重大突破。它不仅具备强大的生成能力,还能模拟真实的物理世界。[2]
发展历程
2024年6月6日,快手“可灵”视频生成大模型官网正式上线,可灵大模型已在快影App开放邀测体验。[1]7月24日,可灵AI宣布基础模型升级,全面开放内测,并且正式上线了会员体系。[4]12月6日,由快手可灵AI联合李少红、贾樟柯、叶锦添、薛晓路、俞白眉、董润年、张吃鱼、王子川、王卯卯等9位知名导演打造的9部AIGC电影短片正式亮相。[5]
产品功能
可灵支持生成长达2分钟的30fps视频,分辨率高达1080p,并且支持多种宽高比。可灵大模型结合多项自研技术创新,生成的视频不仅运动幅度大且合理,还能模拟物理世界特性,具备强大的概念组合能力和想象力。[2][3]可灵AI还拥有高表现模式、视频延长、视频生成尾帧参考、视频运镜支持大师运镜等多种会员专属功能。[4]

应用领域
可灵大模型可应用于多个场景,如快影APP中的“AI舞王”和“AI唱跳”等功能。[2]
技术特点
可灵采用了类Sora的DiT结构,用Transformer取代了传统的卷积网络结构,使得模型的处理和生成能力更强。数据质量对模型的表现至关重要。快手大模型团队构建了一个完备的标签体系,从视频基础质量、美学和自然度等多个维度对视频数据进行筛选和优化,并研发了视频描述模型,能够生成精确、结构化的视频描述,大幅提升了视频生成模型的文本指令响应能力。[2]
为了提升计算效率,可灵大模型采用了flow模型作为扩散模型基座,并使用分布式训练集群,通过算子优化和重算策略优化,显著提升了硬件利用率。在训练过程中,团队采用分阶段训练策略,初期阶段通过大量数据增强模型对概念的理解,后期阶段通过高质量数据进一步提升模型性能和细节表现。[2]
相关意义
可灵大模型的推出标志着快手在AI视频生成技术上的又一重大突破。它不仅具备强大的生成能力,还能模拟真实的物理世界。[2]
相关事件
参考资料 5
- 快手视频生成大模型“可灵”开放邀测 — 界面新闻
- 能媲美sora的AI视频大模型来了,快手团队的「可灵」开放测试! — 百家号
- 快手“可灵”视频生成大模型开放邀测 称效果对标Sora — 每日经济新闻
- 快手可灵AI全面开放内测 模型效果再次升级 — 百家号
- 可灵AI导演共创计划上线,9部AIGC电影短片在京首映 — 百家号