把 Google Colab 顶级算力（RTX PRO 6000 Blackwell 98GB VRAM + 176GB DDR5 RAM）变成你 Mac 上的原生级 SwiftUI 3D 世界与 AIGC 创作工作站
Squeeze 100% out of Google Colab Cloud GPUs (G4 Blackwell 98GB / A100 80GB / L4 / T4) inside a Native SwiftUI + AppKit macOS Studio App & Zero-Dependency Local Daemon.
-000000?style=flat-square&logo=apple){kind=icon}
-76B900?style=flat-square&logo=nvidia){kind=icon}
📖 保姆级教程：我把 Colab 打造成了一个工作台 · 1 分钟极速上手 · 为什么比 EasyColab 强 100 倍 · 原生 SwiftUI 零卡顿架构 · Blackwell 极限压榨与 PCIe DMA 热交换 · Lyra 2.0「一直在穿梭」核心秘籍 · API 契约
Google Colab Pro+ 已经悄然上线了地表最强的单卡云工作站之一 —— G4 实例（NVIDIA RTX PRO 6000 Blackwell Server Edition，整整 98 GB GDDR7 显存 + 176 GB DDR5 主机内存）。
然而，无论你是手搓 Jupyter Notebook，还是使用市面上的简易套壳脚本（如 easycolab），都会遭遇六个致命瓶颈：
- 每次生成都要重新读盘加载模型（3～5 分钟冷启动）：传统脚本每点一次「生成」就起一个新 Python 进程，100 GB 的
Lyra 2.0 (Wan2.1-14B)或 57 GB 的Qwen-Image-2.1-Turbo每次都要从磁盘重读并初始化 CUDA 上下文，90% 的 CU（计算单元）都在空转等磁盘 IO。 - 多模型切换直接 OOM 崩溃或同步换页巨慢：想先用
Qwen-Image-2.1-Turbo生成一张 2K 宫崎骏天空之城原画，再无缝喂给NVIDIA Lyra 2.0生成 3D 穿梭世界？两个 50GB+ 巨无霸同时塞进显存必炸；而普通pipe.to("cpu")使用非锁页（Pageable）内存，无法利用 PCIe Gen5 DMA 异步带宽。 - Blackwell (
sm_120) 算力架构水土不服：NVIDIA 官方Lyra 2.0强依赖transformer_engine与旧版flash_attn，在最新 Blackwell 架构上直接编译失败或因compute_cap in [90, 100]硬编码报错退出。 - Colab 单一 SSH 连接限制导致断连与误开机器：
google-colab-cli每个实例同一时刻只允许 1 条colab ssh隧道；普通工具并发执行 SCP 传图和状态查询就会互相踢下线，甚至在断线重连时因--proxy-mode机制意外创建新的计费实例。 - 跑出来的 Lyra 2.0 视频「晃动、变形、飞一半就停」：不懂官方
Frozen-Tableau静止世界提示词工程、缺少DA3 + MoGe逆深度尺度对齐、缺少「后退段时序倒放 + 前推段无缝拼接」，跑出来的 16fps 原始视频既卡顿又失真。 - 高分辨率大图与多路视频预览卡死主线程：一张
2752×1536的 2K 原画解码后占数十 MB 位图内存，普通客户端在主线程同步解码图像或同时加载十几个AVPlayer会瞬间引发 macOS 彩虹轮卡顿。
WorldForge（世界工坊）就是为了彻底榨干 Colab 每一滴性能、并在 Mac 上提供 120Hz 原生丝滑创作体验而生。
| 核心维度 | EasyColab / 传统 Notebook 套壳 | WorldForge 世界工坊 | 性能 / 体验代差 |
|---|---|---|---|
| macOS 客户端形态 | 简陋终端脚本或卡顿网页 | 原生 SwiftUI + AppKit 编译级 WorldForge.app (macos_app/) + 内嵌 Web 工作台双引擎 |
0.0ms 主线程掉帧，⌘1–⌘7 秒级切换 7 大专业工作区 |
| 异步媒体与缩略图架构 | 主线程直接加载原图/视频，多图滚动必卡 | ThumbnailCacheActor 双层缓存 (256MB L1 NSCache + L2 .thumbs/ 磁盘层) + 后台 CGImageSource 640px 降采样 + HoverVideoPlayerPool (上限 2 路解码器) |
瀑布流画廊 120Hz ProMotion 满帧滚动，支持 12 帧胶片悬停预演与 A/B 60fps 实时卷帘对比 |
| 模型驻留架构 | 每次点击生成新开 CLI 子进程，跑完即毁 | 常驻 Worker 进程池 (Worker + @@FORGE@@ 流式事件总线) |
连续生图/生视频 0 秒重加载 vs 每次苦等 3～5 分钟 |
98GB 显存 ↔ 176GB 内存 ↔ 88GB /dev/shm ↔ 30TB 云盘 4级存储金字塔 |
不支持，多模型切换只能杀进程从磁盘重读 | L1 98GB GDDR7 显存 (1.8TB/s) ↔ L2 176GB 锁页 DDR5 (63GB/s PCIe Gen5 DMA) ↔ L3 88GB /dev/shm 零延迟内存盘 (2.4GB/s) ↔ L4 30TB Google Drive 云盘金库 (rclone 8路后台同步) |
30～50GB 模型切换仅需 1.2～1.5 秒；8 路 HTTP Range 并发下载高达 1.38 GB/s 直写内存盘并自动持久化至 30TB 云盘 |
| 内置模型矩阵与音视频大模型支持 | 仅支持写死的少数脚本，不支持 /tree/main/ 子目录权重 |
内置 11 大旗舰模型（榜首预置 MiniMax-H3 v1.8 Hybrid Turbo 8 步音视频同生 + NVIDIA Lyra 2.0 + Qwen-Image 2.1 + Breeze-TTS-2） + 粘贴任意 HF 子目录/Safetensors/Diffusers 地址一键部署 |
一键切换 MiniMax-H3 v1.8 Hybrid / Lyra 2.0 / Qwen-Image 2.1 / Z-Image Turbo / FLUX.1 / Wan 2.1 14B / Breeze-TTS-2 |
| NVIDIA Lyra 2.0 30s–45s 长片与 3DGS 对角线分屏 | 无原生支持；在 Blackwell (sm_120) 上报错无法运行 |
一等公民级内置：Blackwell sm_120 Flash SDPA 补丁 + 禁用 import 期 cudnn.enabled=False 显存泄漏 + DA3 + MoGe 逆深度对齐 + 原生复刻 @NVIDIAAI 官方推特 3DGS / Video 对角线分屏 |
单张图一键生成 481～721 帧（30.1s～45.1s 长片） 电影级可漫游 3D 世界连续穿梭视频与 3DGS 几何投影对比母带 |
| 云端 GPU + 本地 Apple Silicon 混合流水线 | 纯云端输出低帧率原始 MP4，需手动下载再剪辑 | Colab Blackwell 算潜空间 + 本地 Mac (M1–M4 Max) Metal/Vulkan 自动后期：自动拉回本地 → rife-ncnn-vulkan 光流插帧（直达 60fps）→ 2×/4× 变速 → 1080p/4K Lanczos 超采 → 尾帧 3.0s 交叉淡化缓推 |
云端算力 100% 留给 14B 大模型推理，本地 Apple Silicon 空闲 GPU 秒级完成影院级母带编码 |
| 硬件极限遥测与算力压测 | 看不到显存/频率/PCIe 状态，忘记关机扣光 CU | 扩展级 nvidia-smi 实时遥测（核心频率/显存带宽利用率/PCIe 代数/功耗//dev/shm/Drive）+ 一键 1.5s TensorCore TFLOPS & 带宽压测 (/api/benchmark) + 空闲自动关机看门狗 |
实时掌握 G4 Blackwell 380+ TFLOPS 与 1500+ GB/s 显存带宽，绝不多扣 1 分钱冤枉算力 |
WorldForge 采用 「原生 SwiftUI Studio 客户端 + 本地零依赖守护进程 + 单 SSH ControlMaster 多路复用隧道 + 云端 PCIe DMA 常驻显存/内存仲裁器」 的四层混合架构：
flowchart TB
subgraph Mac["🍎 macOS Studio Workstation (Apple Silicon M1/M2/M3/M4 Max)"]
SwiftApp["💎 Native SwiftUI + AppKit App (WorldForge.app / macos_app/)\n• 7 大工作区 (⌘1 3D世界 / ⌘2 2K生图 / ⌘3 视频 / ⌘4 超分 / ⌘5 A/B对比 / ⌘6 作品库 / ⌘7 Web台)\n• ThumbnailCacheActor (L1 256MB NSCache + L2 Disk + 后台 CGImageSource 0ms 主线程解码)\n• HoverVideoPlayerPool & DualSyncVideoController (16fps vs 60fps 实时分屏卷帘核验)"]
WebUI["🌐 Studio Web UI (web/ :7788)\n• 交互式 3D 摄像机轨迹画布 & 8 大单点透视预设\n• 实时 GPU/VRAM/RAM/PCIe/TFLOPS 遥测仪表盘"]
Daemon["⚙️ Local Daemon (forge.py :7788)\n• 100% Python 3 标准库（零 pip 依赖）\n• 会话生命周期管理 & 空闲自动关机看门狗\n• 自动轮询拉取远端成品 (auto_fetch)"]
Post["🎞️ Apple Silicon Local Mastering (postproc.py)\n• rife-ncnn-vulkan (Metal/MoltenVK) 2×/4×/8× 光流插帧\n• 0.1×–32× 变速 & 1080p/4K Lanczos 缩放\n• 尾帧 3.0s xfade + zoompan 电影定格 (libx264 CRF 16)"]
Gallery[("📂 本地作品库 & 缩略图缓存\n~/Movies/WorldForge (.thumbs/)")]
end
subgraph Tunnel["🔐 Single-SSH Multiplexed Transport"]
Mux["OpenSSH ControlMaster (ctl-<session>.sock)\ncolab ssh --proxy-mode\n• 端口转发 127.0.0.1:17860 ──▶ :7860\n• tar.gz 流式代码同步 & 远端进程守护"]
end
subgraph Colab["☁️ Google Colab VM (NVIDIA RTX PRO 6000 Blackwell 98GB VRAM + 176GB DDR5 RAM)"]
Orch["🧠 FastAPI Orchestrator (remote/forge_server.py :7860)\n• 单卡 GPU 队列仲裁器 (_ensure_on_gpu) & 实时热切换带宽遥测\n• /api/benchmark 1.5s TensorCore TFLOPS + GDDR7 + PCIe DMA 极限压测\n• 16 线程 + hf_transfer 极速下载 & 环境自愈安装器 (setup_env.py)"]
subgraph Pool["⚡ 常驻进程池 (98GB GDDR7 VRAM ↔ 176GB Pinned DDR5 RAM Non-Blocking DMA 热交换)"]
W_Qwen["🎨 Qwen-Image-2.1-Turbo Worker\n• 57GB bf16 · 8 步原生 2K (2752×1536)\n• TF32 + Flash SDPA + 自动 VAE Tiling"]
W_Lyra["🌐 NVIDIA Lyra 2.0 Worker (lyra_worker.py)\n• Wan2.1-14B DiT + UMT5-XXL + DA3 + MoGe\n• Realism / Detail / DMD 3-LoRA 热切换\n• Blackwell sm_120 PyTorch SDPA 补丁"]
W_Diff["🧩 Universal Diffusers Worker (diffusers_worker.py)\n• 内置 Z-Image / FLUX.1 / Wan2.1 / LTX / CogVideoX\n• 任意 HF repo 动态反射 + OOM 自动 Tiling/折半重试"]
end
end
SwiftApp <-->|"Async Actor REST + Direct Disk Index"| Daemon
SwiftApp <-->|"Zero-Copy File & L2 Cache"| Gallery
WebUI <-->|"HTTP REST + 实时状态流"| Daemon
Daemon -->|"调起本地 GPU 后期"| Post
Post -->|"写入母带 MP4/PNG"| Gallery
Daemon <-->|"自动归档 & 缩略图"| Gallery
Daemon <-->|"HTTP over SSH (-L) + Mux Commands (-S)"| Mux
Mux <-->|"127.0.0.1:7860"| Orch
Orch <-->|"Pinned Memory + CUDA Stream (non_blocking=True)\n~25–64 GB/s PCIe Gen5 DMA Swap"| W_Qwen
Orch <-->|"Pinned Memory + CUDA Stream (non_blocking=True)\n~25–64 GB/s PCIe Gen5 DMA Swap"| W_Lyra
Orch <-->|"Pinned Memory + CUDA Stream (non_blocking=True)\n~25–64 GB/s PCIe Gen5 DMA Swap"| W_Diff
为了彻底解决高分辨率 2K 原画与多路 60fps 视频在桌面端的渲染卡顿问题，WorldForge 提供了纯原生编译的 WorldForge.app（源码位于 macos_app/Sources/）：
在 macos_app/Sources/AsyncMediaEngine.swift 中，所有图像与视频封面的加载均由独立的 Swift Concurrency actor 驱动，主线程永远只消费已解码完成的 NSImage：
- L1 内存缓存 (
NSCache<NSString, NSImage>)：提供256 MB解码后位图预算（上限 400 张）与128 MB视频 12 帧胶片条缓存，支持nonisolated同步零延迟命中； - L2 磁盘持久化缓存 (
~/Movies/WorldForge/.thumbs/<id>.jpg)：首次解码 2K 大图或提取 MP4 首帧后自动持久化为高压缩比 JPEG，二次冷启动耗时< 0.8ms； - In-Flight 并发请求合并 (
inFlight: [String: Task<NSImage?, Never>])：同一张作品被多个视图同时请求时只触发一次底层解码； - 硬件级降采样 (
CGImageSourceCreateThumbnailAtIndex)：设置kCGImageSourceCreateThumbnailFromImageAlways与kCGImageSourceShouldCacheImmediately: true，在Task.detached(priority: .userInitiated)后台线程直接将2752×1536原图按maxPixelSize: 640一步解码为 GPU 就绪位图，内存占用降低 94%，主线程掉帧严格为0.0 ms。
- 解码器上限保护 (
HoverVideoPlayerPool)：画廊支持鼠标悬停时的 12 帧胶片条丝滑擦洗（Scrubbing），并严格限制全局最多同时激活 2 个硬件AVQueuePlayer+AVPlayerLooper实例，杜绝多视频同屏解码引发的 WindowServer 掉帧。 - A/B 实时卷帘对比工作台 (
⌘5)：通过DualSyncVideoController将云端 Lyra 2.0 原始输出（832×480 @ 16fps）与本地 M1 Max RIFE 超分插帧成品（1920×1080 @ 60fps）绑定至同一时钟源，支持无极拖拽分割线实时对比细节与流畅度。
WorldForge 的云端引擎（remote/）针对 Google Colab G4 (RTX PRO 6000 Blackwell 98GB)、A100 (80GB/40GB)、L4 (24GB) 与 T4 (16GB) 进行了全方位底层优化：
在 remote/diffusers_worker.py 与 remote/lyra_worker.py 中，当多模型接力需要切换 GPU 归属权时：
- 非阻塞锁页卸载 (
_dma_offload_pipeline/_dma_offload_modules)： 在独立的DMA_STREAM = torch.cuda.Stream()上遍历模型的所有参数与 Buffer，直接分配 锁页主机内存 (torch.empty(..., device="cpu", pin_memory=True))，通过pinned.copy_(old_cuda, non_blocking=True)与old_cuda.record_stream(DMA_STREAM)发起异步 DMA 传输，绕过 CUDA 驱动的临时分页拷贝缓冲（Staging Buffer）； - 满带宽异步唤醒 (
_dma_onload_pipeline/_dma_onload_modules)： 因为权重在 176GB DDR5 内存中已处于 Page-Locked 锁页状态，唤醒时在DMA_STREAM中调用.to("cuda", non_blocking=True)即可触发真正的硬件级连续cudaMemcpyAsync (HostToDevice)，将 30～50GB 模型的显存换页时间压缩至 1.2～1.5 秒； - 实时带宽遥测：每次热切换均在
@@FORGE@@事件流与任务日志中实时打印精确传输体积、耗时与 PCIe 吞吐率：显存热切换完成: 30.9 GB 用时 1.38s (22.4 GB/s) [176GB Pinned RAM → GPU]
- 启动时自动开启
torch.backends.cuda.matmul.allow_tf32 = True、torch.backends.cudnn.benchmark = True、torch.set_float32_matmul_precision("high")以及 PyTorch 2.x Flash / Memory-Efficient / cuDNN SDPA 内核； - 当生成分辨率
>= 2048px、或运行在<= 32GB显存的实例（如 L4 / T4）上、或捕获到torch.cuda.OutOfMemoryError时，remote/diffusers_worker.py会全自动启用 VAE Slicing & Tiling 分块解码 并折半批大小无感重试，彻底告别高分大图 OOM。
在 remote/forge_server.py 中新增了 /api/benchmark 端点，支持在 UI 中一键触发 1.5 秒硬件微基准测试：
- BF16 / FP16 TensorCore GEMM 峰值算力 (
TFLOPS)：基于torch.cuda.Event(enable_timing=True)硬件时钟精确测量8192×8192矩阵乘吞吐； - HBM3e / GDDR7 显存带宽 (
vram_bw_gbps)：测量设备端大张量读写拷贝峰值带宽（G4 Blackwell 实测可达1500+ GB/s）； - PCIe Host↔Device 双向 DMA 带宽 (
pcie_h2d_gbps/pcie_d2h_gbps)：实测锁页内存与显存之间的非阻塞 DMA 吞吐率。
remote/presets.py 与 remote/forge_server.py 预置了覆盖全模态、全显存档位的 11 大明星模型，开箱即用：
模型 ID (id) |
HuggingFace 仓库 (repo) |
类型 | 体积 / 存储与显存架构 | 核心定位与亮点 |
|---|---|---|---|---|
minimax-h3-hybrid |
MiniMax-AI/MiniMax-H3-Hybrid-1.8 |
t2v |
39.8 GB · /dev/shm + G4/A100 |
音视频一体 1.8-Hybrid Turbo 旗舰，支持一句话生图与 32kHz 立体声电影视频直出 |
minimax-h3-int8 |
MiniMax-AI/MiniMax-H3-Hybrid-1.8 |
t2v |
25.6 GB · L4/A100/G4 |
Int8 量化极速版音视频引擎，单卡 24GB 显存流畅直出 |
breeze-tts-2 |
BreezeBlue/Breeze-TTS-2 |
tts |
7.2 GB · 30TB 谷歌云盘 (0 MB 显存) |
Artificial Analysis 榜首中英双语拟真语音/克隆，支持一句话音色设计与 [笑]/[叹气] 副语言，常驻云盘与内存、占用 0 MB GPU 显存 |
qwen-image-2.1-turbo |
Qwen/Qwen-Image-2.1-Turbo |
t2i |
57.7 GB · G4/A100 |
8 步极速原生 2K (2752×1536) 旗舰，中英文海报排版与电影级首帧直出 |
lyra-2 |
nvidia/Lyra-2.0 |
lyra |
98.4 GB · G4/A100 |
单张图片/一句话 → 可漫游 3D 世界穿梭长镜头（Wan2.1 14B + DA3 + MoGe + 3DGS 分屏） |
z-image-turbo |
Tongyi-MAI/Z-Image-Turbo |
t2i |
12.8 GB · 全系通用 |
8 步超写实摄影与海报模型，单流 DiT 架构，L4/T4 亦可流畅生图 |
flux-1-schnell |
black-forest-labs/FLUX.1-schnell |
t2i |
23.8 GB · G4/A100/L4 |
4 步极速 Rectified Flow 旗舰，电影级光影与欧美构图质感标杆 |
wan2.1-t2v-14b |
Wan-AI/Wan2.1-T2V-14B-Diffusers |
t2v |
32.5 GB · G4/A100 |
通义万相 14B 旗舰文生视频，大幅度物理运动与大师级镜头调度 |
wan2.1-i2v-14b-720p |
Wan-AI/Wan2.1-I2V-14B-720P-Diffusers |
i2v |
34.2 GB · G4/A100 |
通义万相 14B 720P 旗舰图生视频，首帧完美保持与高动态演进 |
ltx-video-2b |
Lightricks/LTX-Video |
t2v |
9.4 GB · 含免费 T4 |
实时级 DiT 视频生成引擎，连免费 T4 (16GB) 都能秒级出片 |
cogvideox-5b-i2v |
THUDM/CogVideoX-5b-I2V |
i2v |
20.6 GB · G4/A100/L4 |
智谱清影 5B 电影感图生视频，支持 L4 24GB 显存流畅推理 |
(同时完全支持在模型中心粘贴任意 HuggingFace owner/repo 链接，自动解析 model_index.json 并调用 hf_transfer + 16 线程并发极速拉取！)
- macOS 系统（推荐搭载 Apple Silicon
M1 / M2 / M3 / M4芯片的 Mac，系统自带python3即可，无需配置任何本地虚拟环境）。 - FFmpeg（用于本地视频缩略图提取与母带重编码）：
(注：
brew install ffmpeg
rife-ncnn-vulkan光流插帧引擎无需手动安装，首次使用本地插帧时 WorldForge 会自动下载适配 macOS Metal/Vulkan 的二进制包并自动解除 Gatekeeper 隔离属性。) - Google Colab CLI (
colab)：已完成账号登录并拥有可用计算单元（推荐选用G4Blackwell 98GB 或A10080GB 运行时）。
直接在 Finder 中双击仓库根目录下的 WorldForge.app（或 start.command）：
WorldForge.app会自动在后台守护拉起本地:7788服务（ForgeClient.ensureDaemonRunning()），并呈现原生 SwiftUI 120Hz 暗黑毛玻璃工作台；start.command会检测本地:7788服务并以獨立窗口模式弹出工作台。
git clone https://github.com/designfuchen/worldforge.git
cd worldforge
open WorldForge.app # 启动原生 SwiftUI 客户端（自动拉起后台 forge.py）
# 或仅启动本地守护进程 + Web 工作台：
python3 forge.py --open如果你手里有 RTX 4090 (24GB) 或 RTX 5090 (32GB)（Linux / WSL2 / 局域网工作站），完全不需要安装 google-colab-cli，一行脚本即可直接跑满本地显卡：
- 在你的 4090 / 5090 机器上启动推理后端：
chmod +x start_local_gpu.sh ./start_local_gpu.sh # 等价于：python3 remote/forge_server.py --local --host 0.0.0.0 --port 17860- 自动将模型与输出目录挂载至
~/worldforge_data（可通过WORLDFORGE_ROOT=/path/to/ssd自定义）； - RTX 5090 (
sm_120, 32GB) 与 RTX 4090 (sm_89, 24GB) 自动激活 PyTorch 2.x Flash SDPA 补丁、VAE Tiling 以及 超大容量模型智能 CPU-GPU 分块热卸载（FLUX.1、Z-Image Turbo、MiniMax-H3 INT8、Breeze-TTS-2满血直出；Wan 2.1 14B、Qwen-Image 2.1、Lyra 2.0自动开启防 OOM 分块流式卸载）。
- 自动将模型与输出目录挂载至
- 连接工作台：
- 本机直连：直接运行
python3 forge.py --open（自动探测本地:17860/:7860端口，0 秒免配置即连）； - Mac 跨局域网直连 4090/5090 主机：在 Mac 上运行：
python3 forge.py --gpu-url http://192.168.1.88:17860 --open
- 本机直连：直接运行
很多开发者自己部署 NVIDIA Lyra 2.0 时都会困惑：为什么官方宣传片里的镜头能一镜到底、丝滑穿过整座森林和城堡，而自己跑出来的视频要么画面像果冻一样扭曲、要么飞出几十帧后景深就彻底崩塌停滞？
WorldForge 在 remote/lyra_worker.py、remote/presets.py 与 forge_local/postproc.py 中内置了整套官方级「一直在穿梭 (flythrough)」五重秘籍：
自回归视频扩散模型（每个 chunk 80 帧）如果只朝着单一前推方向硬推超过 6～8 段，累积重投影误差会导致画面中心迅速糊化。
WorldForge 的 mode: "flythrough" 与 mode: "chained" 完整复刻了 @NVIDIAAI 官方长片（30.1s · 481帧 与 45.1s · 721帧）的黄金拍法：
- 双向倒放拼接 (
flythrough)：以你的原画作为「旅途中间锚点」：- 前推段 (
zoom_in/frames_in)：从原画出发，沿视线正前方推进241～481 帧（direction="right",strength=3.0），深入场景腹地； - 后退抬升段 (
zoom_out/frames_out)：同样从原画出发，向后拉远并轻微抬升俯仰角241 帧（direction="left",strength=1.5,upward_ratio=0.15）； - 张量级无损倒放缝合：在内存中直接将后退段沿时间维翻转（
res_out["video"].flip(dims=[2])），去掉重复的首帧后与前推段无缝拼接：# remote/lyra_worker.py video = torch.cat([res_out["video"].flip(dims=[2]), res_in["video"][:, :, 1:]], dim=2) warp = torch.cat([res_out["warp_video"].flip(dims=[2]), res_in["warp_video"][:, :, 1:]], dim=2)
- 前推段 (
- 多镜接力漫游 (
chained/segments)：在前推段结束后，自动提取末帧并通过DA3 × MoGe重新解算 3D 深度与内参（Re-Anchoring），无缝衔接第三段horizontal_spiral或orbit_horizontal轨迹，实现 721 帧（45.1 秒 @ 16fps） 跨轨迹一镜到底。 @NVIDIAAI同款3DGS vs Video斜切分屏直出 (split_3dgs.mp4+warp.mp4)：每次生成不仅输出高清world.mp4，还同步从res["warp_video"]导出 3D 高斯/点云前向投影视频warp.mp4，并自动合成左上角3DGS点云、右下角Video渲染成片、带抗锯齿白线/分割的split_3dgs.mp4！- WAN 3D 因果 VAE 的
cuDNN Conv3D防爆显存修复：针对lyra2_ar_inference.py在导入时全局关闭torch.backends.cudnn.enabled = False导致 3D 卷积退化至高内存原生算子的问题，remote/lyra_worker.py在导入后强制恢复cudnn.enabled = True与cudnn.benchmark = False，确保 481～721 帧超长序列 VAE 解码既快又稳。
Lyra 2.0 的底座是 Wan2.1-14B 视频生成模型。如果你只输入一句简单的 "A floating castle in the sky"，模型会本能地让云彩飘动、树叶摇晃、水面起波纹 —— 而任何场景内物体的自发运动都会严重破坏 3D 高斯/Plücker 光线重投影的几何一致性！
WorldForge 在 remote/presets.py 中内置了经过反复调校的 Frozen-Tableau（时间冻结舞台）母版提示词：
"A cinematic drone shot glides smoothly forward through the scene:
{scene}. The scene is a frozen tableau, frozen in time; every element is perfectly still. All structures, foliage, water, clouds, light and shadows remain absolutely stationary and unchanging. As the camera advances, more of the world is revealed, maintaining the same lighting, color palette, materials and textures. No wind, no motion of any kind; a silent, timeless, static world through which only the camera travels."
要让穿梭感极强，首帧原画必须具备**「前景两侧遮挡物（石拱门/鸟居/冰柱/石柱）+ 中央纵深通道 + 远景视觉焦点」**的单点透视结构（WorldForge 内置的 8 大 3D 世界预设：宫崎骏天空之城、千本鸟居·红枫、雨林失落神殿、极光冰晶宫殿、灯笼古镇长街、赛博朋克雨夜、深海亚特兰蒂斯、敦煌鎏金石窟全部采用此黄金构图）。
在进入扩散采样前，remote/lyra_worker.py 会先后调用 ByteDance Depth-Anything-3 (DA3) 与 Microsoft MoGe，在有效掩码区域内通过最小二乘法对逆深度（Inverse Depth）进行精确的物理尺度对齐，并在对齐后立即将 MoGe 卸载回 CPU 释放显存。
Lyra 2.0 原生工作分辨率为 832×480（宽高比 1.733:1）。WorldForge 的 _prepare_image() 会在推理前自动按目标宽高比执行像素级中心裁剪（Center-Crop），同时在文生图面板提供 Lyra 原生 832×480 (1664×960) 画幅预设，实现零裁切完美对接。
当云端生成的原始 16fps 穿梭视频自动同步回 Mac 后，在「M1 Max 超分 (⌘4)」面板开启黄金配方：
- 变速 (
speed: 2×或4×) + RIFE 光流插帧 (interp: 2×或4×)：消除扩散模型微小的帧间闪烁，将原始素材升级为1080p @ 60fps的丝滑穿越机镜头； - 尾帧高清定格 (
end_hold_image)：可选挂载一张 2K 高清目标原画，在穿梭结尾自动执行0.6s xfade交叉淡化 +3.0s zoompan缓慢推镜定格，输出libx264 -crf 16 -preset slow影院级成片。
仓库与本地作品库预置了由 Qwen-Image 2.1 Turbo (2K) + ARRI Alexa 65 / Cooke Anamorphic 电影摄影机光学预设 + NVIDIA Lyra 2.0 (14B) + M1 Max RIFE 1080p60 全链路实机跑出的标杆作品集：
| 🌸 岩井俊二·黄金逆光柔焦 (2K 直出) | 🌸 《情书》镰仓樱花夕阳逆光 (2K 直出) | 🌧️ 王家 8 《花 8E4A 年华》香港霓虹雨窗 (2K 直出) |
|---|---|---|
| 🏰 宫崎骏《天空之城》30s 3D 世界穿梭胶片轨 | 🏮 江南灯笼古镇 30s 3D 世界穿梭胶片轨 | 🌃 赛博朋克雨夜 30s 3D 世界穿梭胶片轨 |
|---|---|---|
- 10 张原生 2K 单点透视大师概念原画 (
drafts/)：涵盖吉卜力天空之城（手绘与 CG 双版本）、京都伏见稻荷千本鸟居、雨林失落神殿、极光冰晶宫殿、江南灯笼古镇、赛博朋克雨夜窄巷等； - 多部 3D 世界连续穿梭长镜头与 1080p @ 60fps 精修母带 (
~/Movies/WorldForge/)：宫崎骏天空之城_3D平滑穿梭_2x_1080p60fps.mp4/宫崎骏天空之城_3D高速穿梭_1080p60fps.mp4失落神庙_3D平滑穿梭_2x_1080p60fps.mp4/失落神庙_3D高速穿梭_4x_1080p60fps.mp4- 以及京都千本鸟居、极光冰晶宫殿、赛博朋克雨夜等多组
world.mp4原始 16fps 流，可直接在 A/B 帧率对比 (⌘5) 中与 1080p60 精修版同屏核验。
worldforge/
├── WorldForge.app # 💎 原生编译 macOS SwiftUI + AppKit 工作站应用包（支持 120Hz ProMotion）
├── macos_app/ # 🍎 原生 SwiftUI 客户端源码
│ └── Sources/
│ ├── AsyncMediaEngine.swift # ThumbnailCacheActor (L1+L2 双层缓存/0ms 主线程解码) + HoverVideoPlayerPool
│ ├── ForgeClient.swift # 原生 URLSession Actor 客户端、守护进程自启动与磁盘索引直读
│ ├── Models.swift # 全量强类型数据模型、7 大工作区路由与智能推荐引擎
│ └── Views/ # 3D 世界、2K 生图、M1 Max 超分、A/B 帧率卷帘对比、极速瀑布流画廊视图
├── forge.py # ⚙️ Mac 本地守护进程入口（100% Python 3 标准库，监听 127.0.0.1:7788）
├── start.command # 🚀 macOS 双击启动脚本
├── drafts/ # 🎨 内置 10 张原生 2K 单点透视大师场景母版原画
├── docs/
│ └── API.md # 📜 本地 (:7788) 与远端 (:7860) 完整 REST API 契约文档
├── forge_local/ # 🔧 Mac 本地核心模块（零第三方依赖）
│ ├── app.py # 核心状态机：会话编排、自动拉取成品 (auto_fetch)、空闲自动关机看门狗
│ ├── colab.py # google-colab-cli 封装、CU 余额轮询、SSH ControlMaster 多路复用与 tar 流上传
│ ├── tunnel.py # SSH 端口转发守护、指数退避重连、防误开机器校验、远端流式 HTTP 客户端
│ ├── postproc.py # Apple Silicon 本地后期：自动部署 rife-ncnn-vulkan、插帧、变速、尾帧 zoompan 定格
│ ├── gallery.py # 本地作品库管理 (~/Movies/WorldForge)、ffprobe 元数据解析与缩略图生成
│ ├── server.py # 多线程 HTTP Server 与 /api/remote/* 透明反向代理
│ ├── tasks.py # 本地异步任务队列与实时日志偏移流
│ └── config.py # 路径、端口与持久化配置管理
├── remote/ # ☁️ 自动同步并运行于 Google Colab GPU VM (/content/forge) 的云端引擎
│ ├── forge_server.py # FastAPI 仲裁器 (:7860)：GPU 队列、Pinned DMA 热置换、/api/benchmark 压测、扩展遥测
│ ├── lyra_worker.py # NVIDIA Lyra 2.0 常驻进程：Blackwell TF32/SDPA + Pinned DMA 热交换 + 双向倒放拼接
│ ├── diffusers_worker.py # 通用 Diffusers 常驻进程：Pinned DMA 热交换 + 自动 VAE Tiling + 动态签名反射
│ ├── setup_env.py # 幂等一键环境安装器 + hf_transfer 极速下载 + Blackwell (sm_120) SDPA 自动补丁
│ └── presets.py # 8 大内置旗舰模型 (DEFAULT_MODELS)、9 种 Lyra 3D 轨迹、8 大单点透视场景预设
└── web/ # 🌐 原生暗黑 Studio 风格 Web 界面（零构建步骤，纯原生 ES Modules + CSS）
完整协议定义请查阅 docs/API.md。
| 端点 (Endpoint) | 作用域 | 说明 |
|---|---|---|
GET /api/local/state |
本地 :7788 |
获取 Colab CU 余额/速率、SSH 隧道状态、远端健康度与空闲倒计时 |
POST /api/local/connect |
本地 :7788 |
建立单路复用 SSH 隧道 + 流式部署 remote/ + 启动远端 FastAPI 服务 |
POST /api/local/post |
本地 :7788 |
调用本地 Apple Silicon 执行 RIFE 插帧（1/2/4/8×）、变速、缩放与尾帧定格 |
GET /api/remote/metrics |
远端 :7860 |
实时获取 GPU 利用率/频率/PCIe代数/显存带宽利用率、176GB RAM、/dev/shm、Drive 与热切换速率 |
POST /api/remote/benchmark |
远端 :7860 |
运行 1.5s 云端 GPU 极限算力压测（返回 BF16/FP16 TFLOPS、显存带宽 GB/s、PCIe DMA GB/s） |
POST /api/remote/models |
远端 :7860 |
粘贴任意 HuggingFace owner/repo 地址，自动解析并注册为可常驻模型 |
POST /api/remote/jobs |
远端 :7860 |
提交 t2i / t2v / i2v / lyra / setup / download / load 异步任务 |
本项目基于 MIT License 开源。欢迎 Star ⭐、Fork 并提交 PR，一起把云端 GPU 与本地 Mac 的混合创作体验推向极致！