fuse — 3D `tsdf_fusion` op

• 数据种类:depth → sdf

• 调用: import fullseye as fs; fs.ledger.fuse(depths: 'Sequence[np.ndarray]', Ks: 'Sequence', Rs: 'Sequence', ts: 'Sequence', bounds: 'Bounds', res: 'int', trunc: 'float') -> 'Tuple[np.ndarray, np.ndarray]'(要直接调用实现,import tsdf_fusion; tsdf_fusion.fuse(depths: 'Sequence[np.ndarray]', Ks: 'Sequence', Rs: 'Sequence', ts: 'Sequence', bounds: 'Bounds', res: 'int', trunc: 'float') -> 'Tuple[np.ndarray, np.ndarray]';从台账取用则 ops3d.get("fuse"))

用法

用 new_volume + integrate 把深度序列融合成一个 TSDF 体。返回 (tsdf, weight)。

各帧的 (K,R,t) 为 world→camera。多视角观测同一表面时权重会累加, 单帧中看不到的(自遮挡的)面由其他视角补全。

• depths: (H,W) 深度图像的列表(相机 Z 深度。0 以下、非有限的像素视为未观测)。各帧尺寸可以不同。

• Ks / Rs / ts: 各帧的 (3,3) 内参矩阵、(3,3) 旋转、(3,) 平移(X_cam = R X + t)。

• bounds: ((xmin,xmax),(ymin,ymax),(zmin,zmax)) 的 world 区域(各轴 max > min)。

• res: 边长方向的 voxel 数(正 int)。volume 为 res×res×res,轴顺序为 (x,y,z) 的 indexing='ij'。

• trunc: 截断距离(world 单位,正的有限值)。以 voxel 尺寸的数倍为宜,过小则观测无法落在表面两侧,过大则薄结构的正反面会混在一起。

返回值:tsdf (res,res,res) float32(未观测为 +1.0,表面前方为正、后方为负,[-1,1])和 weight (res,res,res) float32(观测次数)。表面点用 extract_surface_points(tsdf, weight, bounds, res) 取出。fail-closed(失败即拒绝):帧数为 0、列表长度不一致、退化 bounds、非正的 res / trunc 均抛出 ValueError。融合的细节(不更新遮挡区域的规则)参见 integrate。

背景知识指南(该算子背后的物理与约定)

• depth_sensors — 深度传感器知识 —— 测距原理、实机数值、缺测的表现

参考(示例数据、文献)

• 示例数据目录(下载 URL / 许可证) —— 2-D 用 skimage.data(BSD/公有领域)加合成图,3-D 给出真实数据源(Stanford/PDS 等)的下载 URL。

• 算子来历与参考文献 —— 该算子族所依据的研究/方法出处。

可运行的示例(实际调用该算子并已验证的样例)

• tsdf_fusion_demo — py -3.11 examples_3d/tsdf_fusion_demo.py

类型可衔接的下一个算子(可接受 `sdf` 作为输入)

sdf_to_occupancy · fuse_to_voxel · integrate · extract_surface_points · query_distance · sdf_union · sdf_intersect · sdf_subtract

同类别(`tsdf_fusion`)

integrate · extract_surface_points

*Provenance: tsdf_fusion.py — 3D 算子登记表。本条目由 tools/opdocs.py md 自动生成(请勿手工编辑)。*

fuse — 3D tsdf_fusion op

用法