北京大学袁粒团队联合兔展发起 Open Sora 项目 —— 旨在复现 OpenAI 的视频生成模型 Sora。由于资源有限，无法进行完整训练，因此希望通过开源社区筹集资源进行训练。
本项目希望通过开源社区的力量复现 Sora，由北大 – 兔展 AIGC 联合实验室共同发起，当前资源有限仅搭建了基础架构，无法进行完整训练，希望通过开源社区逐步增加模块并筹集资源进行训练，当前版本离目标差距巨大，仍需持续完善和快速迭代。
https://github.com/PKU-YuanGroup/Open-Sora-Plan
整体框架上，Open-Sora 由以下部分组成：
1. Video VQ-VAE：这是一个压缩视频到时间和空间维度的潜在表示的组件。它可以将高分辨率视频压缩成低维度的表示，便于后续的处理和生成。
2.Denoising Diffusion Transformer：去噪扩散变换器(Denoising Diffusion Transformer)这个组件用于从潜在表示中生成视频，通过逐步减少噪声来恢复视频的详细内容。
3.Condition Encoder：条件编码器(Condition Encoder)支持多种条件输入，允许模型根据不同的文本描述或其他条件生成视频内容。