Open-Sora

Open-Sora 开源地址：https://github.com/hpcaitech/Open-Sora

https://mp.weixin.qq.com/s/M2dKX0Z4UBOpVGcMoUFfAQ

Sora 复现方案

我们的模型基于目前领先的技术，采用了Diffusion Transformer (DiT) 架构，并以PixArt-α——一个高品质的开源项目为灵感，加入了时间注意力层以处理视频数据。

核心由三大部分构成：一个预训练的变分自编码器（VAE）、一个文本编码器，以及STDiT模型，后者结合空间和时间注意力机制。