https://clarkflybee.github.io/tags/ddpm/ Recent content in DDPM on ClarkFlyBee's Blog https://clarkflybee.github.io/images/show.png https://clarkflybee.github.io/images/show.png Hugo -- 0.154.5 zh-cn 2026 ClarkFlyBee · GitHub Tue, 24 Feb 2026 20:32:24 +0800 https://clarkflybee.github.io/posts/2026-02-24-diffcast-deep-dive/ Tue, 24 Feb 2026 20:32:24 +0800 https://clarkflybee.github.io/posts/2026-02-24-diffcast-deep-dive/ <div class="callout callout-info"> <div class="callout-header"> <span class="callout-icon">ℹ️</span> <span class="callout-title">写在前面</span> </div> <div class="callout-content"> <p>本文尚未完成，但近期不会补充完整。</p> <p>这里记录一下还需要写的部分：</p> <ul> <li>论文方法部分尚未完成</li> <li>实验结果与分析</li> <li>复现（如果可以的话，项目组里有学长指出研究附带的Github仓库中，代码并不完整，复现可能有困难）</li> </ul> </div> </div> <p>在刚接触气象领域研究时，学长推荐我阅读《<a href="https://arxiv.org/abs/2312.06734">DiffCast: A Unified Framework via Residual Diffusion for Precipitation Nowcasting</a>》这篇论文，说可以参考学习<strong>扩散模型</strong>如何应用在气象领域，解决短临降水问题。</p> <p>学长自己的研究中，曾经将 <strong>DiffCast</strong> 作为Baseline之一（据他自己说，效果不够好hh）。我们现在手上的工作也是扩散模型相关，因此阅读这篇论文还是很有必要的。</p> <h2 id="相关知识铺垫">相关知识铺垫</h2> <h3 id="短临降水问题定义">短临降水问题定义</h3> <p>我们来看看文章如何定义短临降水问题：</p> <p>短临降水问题可以表述为一个时空预测问题（<em><strong>Spatio-temporal prediction problem</strong></em>），基于当前的观测数据，预测未来很短时间范围内（0~6h）的高时空分辨率降雨情况</p> <ul> <li> <p>输入：$L_{in}$ 帧初始雷达回波图像序列 $x=[x_i]^0_{i=-L_{in}} \in \mathbb{R}^{L_{in} \times H \times W \times C}$</p> </li> <li> <p>输出：未来 $L_{out}$ 帧序列 $y=[y_i]^{L_{out}}_{i=1} \in \mathbb{R}^{L_{out} \times H \times W \times C}$</p> </li> <li> <p>数学本质：建模条件概率分布 $p(y|x)$</p> <blockquote> <p>翻译一下，这个公式表示 ”<strong>在已知 $x$ 的条件下，$y$ 发生的概率分布</strong>“。</p> <p>我们预测的不是唯一的结果，而是要所有未来情况的发生概率。</p> </blockquote> </li> </ul> <p>短临降水问题不仅仅是“预测下一帧图像”，而是一个<strong>需要同时解耦并建模“全局确定性运动”与“局部随机残差”的复杂时空演化问题</strong>。</p> <h3 id="扩散模型">扩散模型</h3> <p>扩散模型（<em><strong>DDPM</strong></em>）主要包含两个过程：</p> <ol> <li> <p>前向扩散（Forward Diffusion）</p> <p>给定一个清晰图像 $x_0$，在 $T$ 步内逐步加入高斯噪声，得到 $x_1,x_2,\dots,x_T$ 。到了 $x_T$ ，图像就变成了纯高斯噪声。</p> </li> <li> <p>逆向去噪（Reverse Denoising）</p> https://clarkflybee.github.io/posts/2026-02-06-transformer-dit-primer/ Fri, 06 Feb 2026 20:09:38 +0800 https://clarkflybee.github.io/posts/2026-02-06-transformer-dit-primer/ <div class="callout callout-info"> <div class="callout-header"> <span class="callout-icon">ℹ️</span> <span class="callout-title">写在前面</span> </div> <div class="callout-content"> <p>本文尚未完成，但近期不会补充完整。</p> <p>这里记录一下还需要写的部分：</p> <ul> <li><code>diffusion.py</code> 的代码解析</li> <li>DiT 模型小实验的整体运行效果</li> <li>参考文献也需要补充</li> </ul> </div> </div> <blockquote> <p>本文内容基于论文 <a href="https://arxiv.org/abs/2212.09748">Scalable Diffusion Models with Transformers</a>。</p> <p>但文章内容并不是论文阅读笔记，而是对 DiT 的入门介绍。未来有机会可以写一个详细的阅读笔记。</p> </blockquote> <h2 id="扩散模型介绍">扩散模型介绍</h2> <p>扩散模型（<em><strong>Denoising Diffusion Probabilistic Models</strong></em>，DDPMs）在图像/音频/视频生成方面取得了显著的成果。</p> <p>本文中，采用离散时间（潜变量模型）（discrete-time (lantent variable model)）的视角，事实上有多种关于扩散模型的观点，可以都去了解一下。</p> <blockquote> <p>随机微分方程（SDE）、得分匹配（Score Matching）、朗之万动力学（Langevin Dynamics）、变分推断视角（Variational Inference）……</p> </blockquote> <p>我们常说的机器学习，或者更准确一些，<strong>监督学习</strong>中，我们做的是“<strong>判别</strong>”：</p> <ul> <li> <p>输入：一张猫的图片</p> </li> <li> <p>输出：标签”cat“</p> </li> <li> <p>本质：学习 p(y|x) （给定图片，预测类别）</p> </li> </ul> <p>而扩散模型做的是”<strong>生成</strong>“，可以理解为与监督学习相反的问题：</p> <ul> <li> <p>输入：随机噪声</p> </li> <li> <p>输出：一张猫的图片</p> </li> <li> <p>本质：学习 p(x) （数据本身的分布）</p> </li> </ul> <p>下面，让我们详细看看扩散模型是如何完成它的工作的：</p> <p><img loading="lazy" src="https://clarkflybee.github.io/posts/2026-02-06-transformer-dit-primer/DDPM.png"></p> <h3 id="前向过程数据--噪声">前向过程：数据 → 噪声</h3> <p>我们定义一个固定的、不需要学习的<strong>前向过程</strong>（<em><strong>Forward Process</strong></em>），把真实图像 $x_0$ 逐步变成纯噪声 $x_T$ 。</p> <blockquote> <h4 id="为什么要做这个"><em><strong>为什么要做这个？</strong></em></h4> <p>我们在 前向过程 中人为构造一条从<strong>数据到噪声</strong>的渐进式退化路径。</p> <p>扩散模型可以理解为一个<strong>去噪网络</strong>，它的工作流程就是对着一张图片（初始是随机噪声），一步一步去掉噪声，最后得到我们要生成的目标图片。</p> <p>那么，我们现在手上有原始图片，我们希望模型学会如何去噪，需要从这一张图片构造出足够多的<strong>训练数据</strong>供扩散模型学习。</p> <p>我们把原始图片一步步加噪，得到一系列图片（每个图片即对应一个时间步 $t$ ），每个图片都比前一张有更多噪声，直到最后成为纯噪声。</p> <p>然后我们把这一系列图片反过来看，就是一个从纯噪声一步步变成目标图片的过程，这就是扩散模型需要的<strong>训练数据</strong>。它会从这一系列数据中<strong>学会</strong>去噪的技巧，最后能够按需求生成图片。</p> <p>总而言之，这就是前向过程可以理解为<mark><strong>训练数据的构造方式</strong></mark>。</p> </blockquote> <p>这个数据到噪声的过程是一步步进行的。我们看到其中一步：</p> <h4 id="单步转移">单步转移</h4> <p>从第 $t-1$ 步到 第 $t$ 步，我们做的就是依赖当前状态，加一点点高斯噪声：</p>