你的位置：龙虎棋牌2026世界杯官方最新版 > 龙虎斗app > 龙虎棋牌app官网版 一次三篇! 李飞飞的空间智能公司, 发论文了
剪辑｜Panda
今天，由李飞飞结伴创立的空间智能公司 World Labs 在吞并天发布了三篇时候论文！
三篇论文分别由公司里面实习生主导完成，斟酌标的相反，但分享吞并个中枢命题：借助已在海量图片数据上素质熟习的 2D 生成模子，镌汰 3D 内容生成的难度门槛。
值得珍爱的是，正如 World Labs 结伴首创东谈主 Justin Johnson 所言，尽管该公司此前已有后果展示，但这三篇论文确是该公司的首批论文（first-ever papers）。
回到这三篇论文的主题：3D 内容生成。这是一个历久以来「提及来苟简、作念起来极难」的领域。
现实寰球是三维的，但素质数据绝大渊博是二维的（包括相片、视频、图像），而不是带有体积、深度和守密关系的好意思满空间结构。一朝转入三维，素质数据骤减，几何一致性的珍爱变得指数级复杂。
夙昔数年，斟酌者们仍是找到了一条可行旅途：不从新素质 3D 生成模子，而是将 2D 扩散模子的弘远先验才智迁徙到 3D 生成任务中。
World Labs 此次发布的三篇论文，分别从不同角度延长了这条想路。
三项斟酌的具体切入点各有侧重：
World Tracing 科罚的是「从单张图像收复可见名义之外的好意思满三维几何」问题；
Modality Forcing 探索的是「如何让一个文生图模子同期具备深度感知和 3D 推理才智」；
Flex4DHuman 则将问题延长到时分维度，尝试从往往单目视频中升迁出可合成的动态 4D 东谈主体。
值得珍爱的是，就在论文发布的吞并天，World Labs 结伴首创东谈主 Christoph Lassner 在交代媒体上晓谕因病将离开公司，为这场学术亮相增添了一点东谈主事变局的注脚。
底下我就来具体望望 World Labs 的首批论文。
World Tracing
让每一个像素，都指向一个好意思满的 3D 寰球
要是你手中只须一张相片，你能从中收复若干三维信息？
学问告诉咱们：很有限。相片仅仅现实寰球在某一时刻、某一视角下的投影，深度信息丢失，守密面后方的空间皆备缺席。刻下主流的单图转 3D 次序，常常靠近一个两难逆境：要么作念深度计算（精准但只可收复可见名义）；要么作念生成补全（设想力丰富但甩手往往偏离原始图像的视觉细节）。
World Tracing 决策试图同期消解这两种错误。
论文标题：World Tracing: Generative Pixel-Aligned Geometry Beyond the Visible
论文地址：https://arxiv.org/abs/2606.13652
表情地址：https://haoz19.github.io/world-tracing-page/
论文由 Hao Zhang 主导，团队成员包括 World Labs 结伴首创东谈主 Ben Mildenhall、Christoph Lassner、Gengshan Yang 等东谈主。
中枢想路是：将每一个输入像素视为一条射线，沿着这条射线展望一组有序的三维坐标点——第 0 层是可见名义，之后各层按序是沿该射线标的的被守密几何体。论文将这种示意称为「pixel-aligned multilayer geometry representation」（像素对皆的多层几何示意），具体完毕为一个多层 XYZ 坐标张量（multilayer XYZ stack）。
换句话说，World Tracing 给每个像素对应的不仅仅一个三维点，而是一叠有序的三维点，纪录了这条视野穿越场景所经过的所有这个词几何层：第 0 层是告成可见的名义，更深的层则慢慢揭示被远景物体守密的荫藏几何体。
这就像是把相机比作一支铅笔：往往深度计算只可画出物体的笼统线，而 World Tracing 试丹青出这支铅笔穿透纸张时，另一面的面容。
展望这种「深度堆叠」自身是极高难度的任务，因为守密面的几何信息根底莫得出面前图像中，模子必须依赖对现实寰球空间结构的「学问」来进行推断。
为此，斟酌团队汲取了扩散模子来对这组有序深度值建模。扩散模子自然合乎处理带有不笃定性的分散式展望，而非给出单一笃定谜底。
更关节的是，所有这个词这个词展望过程永远对皆于原始输入图像的像素坐标。可见名义的深度被精准地「锚定」在图像信息中，而不行见部分的补全则在这个拘谨框架下进行生成。这使得最终的三维重建既诚实于输入图像，又具备好意思满的空间结构。
论文中展示的案例隐蔽了静态物体、室表里场景，乃至动态寰球建模。团队还发布了论文代码、表情主页和 Hugging Face 在线演示，让外界能够告成测试这套次序对淘气图像的处理效果。
关于 World Labs 这么以「空间智能」为中枢产物标的的公司来说，World Tracing 的深嗜深嗜深嗜深嗜在于：它提供了一种从单张图像登程、告成收复丰富三维结构的时候旅途，而不需要多视角输入或奋斗的三维数据标注。这与 Marble 产物「从图像生成可探索三维寰球」的中枢欢喜高度一致。
Modality Forcing
一个模子，同期统一神志、笔墨和深度
深度计算和图像生成，在传统上是两个皆备独处的任务，分别需要故意的数据集和独处素质的模子。前者需要精准的深度标注（LiDAR 扫描或双目视觉），后者依赖海量图文对。两套任务的数据领域收支悬殊——图像生成模子见过数十亿张图片，而深度模子的素质数据量常常仅仅零头。
这种分歧称，催生了一个当然的问题：能否让仍是在海量图文数据上素质熟习的文生图模子，告成学会对深度的感知？
Modality Forcing 给出了一个肯定的恢复，并走得更远。
论文标题：Modality Forcing for Scalable Spatial Generation
论文地址：https://arxiv.org/abs/2606.13676
表情地址：https://modality-forcing.github.io/
这篇由 Bardienus Duisterhof 主导的 World Labs 实习斟酌，中枢想法是：文生图是一种可膨大的 3D 推理预素质筹画，只须用对素质战略，吞并个模子不错在 RGBD 生成、深度计算和深度要求图像生成三项任务之间摆脱切换。
论文提议的次序名为「Modality Forcing」，其中枢计制是：给 RGB 和深度两种模态分别分拨独处的扩散噪声时分步（per-modality noise levels）。
素质时，RGB 和深度各自被加入不同进程的噪声，同期禁受各自独处的亏本监督；推理时，只需固定某一模态的噪声步为 0（即视为已知要求），对另一模态好意思满去噪，便可完毕图像→深度（I2D）或深度→图像（D2I）的要求生成；两者均加噪则为结伴生成。
尊龙凯时中国官方入口由于深度在像素空间（而非 VAE 隐空间）中告成扩散，模子不错从仅含稀少深度标注的果然寰球数据中学习，不再局限于依赖密集标注的合成数据集。
这种想路的上风在于：不需要特等引入独处的深度网罗，也不需要为每个任务单独遐想架构分支。一个预素质的文生图模子，通过 Modality Forcing 微调之后，就具备了对场景几何的告成感知才智。
从时候旅途来看，Modality Forcing 与连年来流行的多任务扩散模子斟酌（如 Marigold、Depth Pro、Lotus 等）标的一致，但其特有之处在于对「生成」与「感知」两类任务的统一处理。深度计算常常被视为一个判别任务（给定图像，输出深度值），而文生图是一个生成任务。
Modality Forcing 的孝顺在于阐述：这两种任务之间的鸿沟比设想中蒙胧得多；生成才智的集合，不错告成变调为感知才智的升迁，反之也是。
对 World Labs 来说，这项斟酌的深嗜深嗜深嗜深嗜延长到产物层面：Marble 的 3D 寰球生成需要对场景深度的精准统一。一个同期具备生成和感知才智的统一模子，龙虎棋牌app官网版将使 3D 寰球的构建愈加自洽，幸免深度计算模块和生成模块之间的累积弊端。
Flex4DHuman
从一段手机视频，「升维」出可合成的动态东谈主体
要是说前两篇论文处理的是静态或通用场景，Flex4DHuman 则将挑战聚焦于一个更具体但雷同长途的子问题：如何从一段往往的单目视频（比如手机拍摄的日常视频），重建搬动态东谈主体的好意思满四维结构，即三维空间+时分维度。
这个问题的难点在于「单目」两个字。多目次像系统不错通过视差告成测量三维坐标，但单目视频丢失了这种几何拘谨。从单目视频重建表露中的三维东谈主体，现实上是一个欠拘谨问题：吞并段视频序列，表面上对应无数种可能的三维表露轨迹。此前的次序大多依赖优化过程，算计耗时，且难以泛化到素质集除外的姿态和外不雅。
Flex4DHuman 由 Yipeng Wang 担任表情负责东谈主，第一作家为 Jen-Hao Cheng，责任在 World Labs 实习时代完成。
论文标题：Flex4DHuman: Flexible Multi-view Video Diffusion for 4D Human Reconstruction
论文地址：https://arxiv.org/abs/2606.13655
表情地址：https://andy-cheng.github.io/Flex4DHuman/
次序以阿里巴巴的 Wan 2.1（一个 1.3B 参数的文本生成视频 DiT）为基础进行微调，中枢改造只须一处：将原有的时空位置编码替换为一套五轴位置编码（five-axis positional encoding），在原有的空间坐标和帧序索引之外，特等引入视角槽索引和连气儿 SE(3) 相对相机几何，使模子在珍见解机制里面告成感知相机之间的相对位姿关系。
这个遐想带来了一个关节上风：不需要骨架计算（skeleton）、深度图或法线图等显式几何先验，仅凭相对相机姿态就能运行多视角视频的同步生成。这与此前主流次序（如 Diffuman4D 依赖 SMPL 骨架、MV-Performer 依赖深度和法线渲染）形成显明对比。
给定一段单目参考视频和筹画相机姿态，模子告成输出在时分上同步、视角上一致的多视角视频序列；再将这些多视角视频送入 FreeTimeGS 重建管线，即可得到动态 4D 高斯示意（4D Gaussian Splats）。
这套经过将视频扩散模子的弘远外不雅先验与 4D 高斯的高效渲染才智伙同起来，使得从一段舞蹈视频或行走视频登程，不错将其中的东谈主物「升维」为好意思满的动态 4D 金钱，再合成进淘气 3D 场景。这关于数字内容创作、造谣制片和 AR/VR 应器用有告成价值。
论文还考据了次序超出东谈主体的泛化性：吞并个模子经过极少微调后，不错实践到多物种动物的多视角生成，在跨物种零样本测试中仍保握较强性能，标明次序的中枢遐想不依赖东谈主体特有的几何假定。
论文在 DNA-Rendering 和 ActorsHQ 两个基准上进行了评测。与雷同基于单目参考视频的 Diffuman4D-mono-skeleton 比拟，Flex4DHuman 在 DNA-Rendering 上 PSNR 升迁约 9.3 dB；在零样本的 ActorsHQ 测试集上，PSNR 也起先敌手约 3.4 dB。
从更宏不雅的视角来看，Flex4DHuman 代表了「2D 视频数据赋能 3D 寰球建模」这一时候道路的一个典型样本。手机视频是东谈主类日常坐蓐最多的数据体式，要是能够高效地从中索要四维信息，将极大膨大 3D 寰球模子的素质数据着手。
联创 Christoph Lassner 晓谕下野
就在三篇论文发布的吞并天，World Labs 结伴首创东谈主 Christoph Lassner 在 X 平台发帖，晓谕我方将离开公司，开启下一段旅程。
Lassner 是 World Labs 四位结伴首创东谈主之一，另外三位分别是李飞飞、Justin Johnson 和 Ben Mildenhall。他历久从事算计机视觉与算计机图形学交叉领域的斟酌，专注于从 2D 图像和视频中收复可用的三维内容。
在加入 World Labs 之前，Lassner 的劳动轨迹隐蔽了多个行业前沿。他曾在初创公司 Bodylabs 责任，该公司后被亚马逊收购，专注于基于图像的三维东谈主体建模；在亚马逊时代，他主导栽培了 Amazon Halo 智妙手环的三维体型估算系统，用户仅需手机自拍，即可赢得精准的三维体魄模子。而后，他先后在 Meta Reality Labs Research 和 Epic Games 主握斟酌团队，深耕神经渲染和 NeRF（神经放射场）辩论时候，2022 年 Meta Connect 大会上展示的及时放射场渲染演示，恰是他地方团队的后果之一。他还栽培了 Pulsar 渲染器，一种基于球体基元的可微分渲染器，其后成为 PyTorch3D 的后端组件之一，在学术界得到粗拙利用。
Lassner 于 2024 年头与李飞飞等东谈主共同创立 World Labs。公司于同庚 9 月从隐身景况中走出，以约 10 亿好意思元估值完成 2.3 亿好意思元融资，投资方包括 NVIDIA、AMD、Adobe 和 Databricks 旗下风险投资机构。2026 年 2 月，World Labs 完成了由 Autodesk 领投的 10 亿好意思元新一轮融资，估值跃升至约 50 亿好意思元。
三篇论文的致谢列表中均出现了 Lassner 的名字，这意味着他在任时代积极参与了这些实习斟酌表情。
关于下野的原因，Lassner 在公开声明中作念了坦诚的阐述：夙昔几个月里，他履历了数起个东谈主事故，其中包括一次形成多处骨折和脑颤动的不测，面前仍在收复中。这段强制休息的时分让他有契机从新注视我方的处境，并作念出了退出日常运营职务的决定。他同期示意，将赓续以参谋人身份撑握公司，并对李飞飞、Justin Johnson 和 Ben Mildenhall 在这一决定过程中予以的统一和撑握抒发了感谢。
在向公司里面团队发送的信件中，Lassner 写谈，他「信赖 World Labs 以及咱们正在构建的职业的长途性」，公司面前所处的矫健位置让他确信此刻是交棒的合当令机。他示意，我方下一步的贪图尚不解确，但「对行将到来的事感到欢快」。
结语
三篇论文同日亮相，对 World Labs 而言是一个值得纪录的时分节点。这家公司自 2024 年创立以来，主要以时候博客和产物的体式与公众碰面：Marble 寰球模子的内测与公测、World API 的洞开、Spark 2.0……而此次是公司初度以 arXiv 预印内容式发扬发表学术论文。
此次的集体亮相，结伴首创东谈主 Justin Johnson 在 X 上的驳倒大要最能阐述其配景意涵：「3D 是一个令东谈主欢快的领域，咱们仍在摸索正确的任务界说、问题体式、模子架构，以及最好的膨大面容。咱们在这里分享一些想法，由一批出色的实习生主导完成。」
口吻和蔼，但标的很明晰：World Labs 正在将「空间智能」的斟酌道路推向更深处，并快活在这一过程中与学术社远隔享我方的想考。
文中视频连络：https://mp.weixin.qq.com/s/tSorVEK3cAszxBw_MKLzMQ龙虎棋牌app官网版
备案号: