The world need more Miku

ReinFlow：用 PPO 微调 Flow Matching 策略 论文出处：reinflow 由chatgpt整理。 ReinFlow 是一种用在线强化学习微调 Flow Matching 控制策略的方法，主要面向机器人连续控制。 它通常不从零开始训练，而是先用模仿学习得到一个 Flow Matching Policy，再通过环境奖励继续优化，使策略可以突破示范数据的性能上限。该方法发表于 NeurIPS 2025。 1. 背景 Flow Matching Policy 通常从一个高斯噪声动作开始，通过速度网络逐步将其变成实际动作： ak+1=ak+vθ(tk,ak,o)Δta^{k+1} = a^k+v_\theta(t_k,a^k,o)\Delta t ak+1=ak+vθ​(tk​,ak,o)Δt 其中： ooo 是机器人观测； aka^kak 是第 kkk 个生成步骤的中间动作； vθv_\thetavθ​ 是 Flow Matching 学到的速度场； 最终的 aKa^KaK 是机器人执行的动作或动作序列。 这个过程本质上是确定性的 ODE 离散积分。给定初始噪声 ...

Flow Matching 推导总结 整理自ChatGPT 1. 连续性方程（Continuity Equation） 设样本遵循 ODE： dxtdt=vt(xt)\frac{dx_t}{dt} = v_t(x_t) dtdxt​​=vt​(xt​) 概率密度演化满足： ∂pt(x)∂t+∇x⋅(pt(x)vt(x))=0\frac{\partial p_t(x)}{\partial t} + \nabla_x \cdot \big(p_t(x) v_t(x)\big) = 0 ∂t∂pt​(x)​+∇x​⋅(pt​(x)vt​(x))=0 2. 构造分布路径（Probability Path） 对任意样本对 x0∼p0x_0 \sim p_0x0​∼p0​, x1∼p1x_1 \sim p_1x1​∼p1​，定义： xt=(1−t)x0+tx1x_t = (1-t)x_0 + t x_1 xt​=(1−t)x0​+tx1​ 3. 条件向量场（Conditional Vector Field） 由上式可得： ut(xt∣x0,x1)=x1−x0u_t(x_t \mid x_0 ...

这里记录一下整理的ChatGPT输出的关于强化学习的公式。2026-9-11更新。 强化学习公式 1. MDP 与回报 一个 一个无限/有限时域的马尔可夫决策过程（MDP）定义为： M=(S,A,P,r,γ)\mathcal{M} = (\mathcal{S},\mathcal{A},P,r,\gamma) M=(S,A,P,r,γ) 轨迹概率为： pθ(τ)=ρ(s0)∏t=0T−1πθ(at∣st) P(st+1∣st,at)p_\theta(\tau)=\rho(s_0) \prod_{t=0}^{T-1} \pi_\theta(a_t\mid s_t)\,P(s_{t+1}\mid s_t,a_t) pθ​(τ)=ρ(s0​)t=0∏T−1​πθ​(at​∣st​)P(st+1​∣st​,at​) 折扣回报： Gt=∑k=0∞γkrt+kG_t = \sum_{k=0}^\infty \gamma^k r_{t+k} Gt​=k=0∑∞​γkrt+k​ 优化目标： J(θ)=Eτ∼pθ[G0]J(\theta)=\mathbb{E}_{\tau\sim p_\theta}[ ...

来自chatgpt KL散度（Kullback-Leibler Divergence） 1. 简介 KL散度是用来衡量两个概率分布之间差异的一种方法，描述了用一个分布近似另一个分布时所损失的信息。它在信息论、机器学习、贝叶斯推断、变分推理等领域有广泛应用。 KL散度不是对称的，因此不是严格意义上的“距离”，但可以理解为一种“从一个分布到另一个分布的相对熵”。 2. 数学定义 设 P(x)P(x)P(x) 和 Q(x)Q(x)Q(x) 是定义在同一支持集上的两个概率分布，KL散度定义如下： 离散形式： DKL(P∥Q)=∑xP(x)log⁡P(x)Q(x)D_{\text{KL}}(P \parallel Q) = \sum_{x} P(x) \log \frac{P(x)}{Q(x)} DKL​(P∥Q)=x∑​P(x)logQ(x)P(x)​ 连续形式： DKL(P∥Q)=∫P(x)log⁡P(x)Q(x) dxD_{\text{KL}}(P \parallel Q) = \int P(x) \log \frac{P(x)}{Q(x)} \, dx DKL​(P∥Q)=∫ ...

gaussian splatting 中的数学公式 这里主要标记一部分cuda代码，和一些参数的说明。 参考资料 https://zhuanlan.zhihu.com/p/680669616 EWA Splatting 3D Gaussian Splatting for Real-Time Radiance Field Rendering splatting 的流程 Gaussian 球表示的三维模型,具有颜色(球谐参数)，世界系下的位置 means3D ，姿态 rotations(四元数)， 沿着轴的尺度 scales。渲染过程会先计算每个 Gaussian 球在像素平面下的投影，计算投影的覆盖区域，然后建立每个像素点和覆盖它的高斯球的索引，最后对每个像素点进行渲染的计算过程。 12345678910111213141516171819202122232425262728// Forward rendering procedure for differentiable rasterization// of Gaussians.int CudaRasterizer::Rast ...

jetson orin 64G 编译安装pytorch 历史记录不完善自用 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182838485868788安装conda python=3.10pip config set global.index-url https://mirrors.ustc.edu.cn/pypi/simple写入.bashrcexport CUDA_VERSION=12.6export PATH=/usr/local/cuda-12/bin:$PATHexport LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATHexport CUDA_HOME=$CUDA_HOME:/usr/local/cuda-12.6export TORCH_CUDA_ARCH_ ...

Jetson Orin 上给 L515 安装 Librealsense https://github.com/IntelRealSense/librealsense/releases/tag/v2.54.2 https://github.com/IntelRealSense/librealsense/blob/master/doc/installation_jetson.md https://blog.csdn.net/muguang629/article/details/142150257 12345cmake ../ -DFORCE_LIBUVC=true -DCMAKE_BUILD_TYPE=release -DBUILD_PYTHON_BINDINGS:bool=true -DPYTHON_EXECUTABLE=/usr/bin/python3 -DBUILD_EXAMPLES=TRU -DBUILD_WITH_CUDA=truesudo make -j$(($(nproc)-1)) && sudo make installecho 'PYTHON ...