眼睛区域语义识别 — 研究储备与实现技术方案

配套：docs/08 既有算法、docs/09 三层融合研究、docs/03 复盘沉淀。 本文档针对「在 cat.stl 类萌系模型上把眼睛拆成眼球/眼白/眼睑/眼眶 4 个语义区」这一具体需求，给出理论与实现路径。结论：不造新轮子，全部依赖现有几何基础设施（curvature / concavity / kdtree / adjacency）+ 一个新的「语义排序 + 形态聚类」轻量模块即可。 范围：知识储备 + 集成架构 + 可落地方案（尚未实现代码；待需求方审查后进入对抗 REFUTE）。

0. 背景与定位

0.1 用户原话与图示

• 用户在 cat.stl（25 MB，单色，无 UV / 无 texture）上想识别：
  • 眼球（eyeball） — 球面/凸曲面，外面一层
  • 眼白（sclera） — 球面的浅色区（因单色不可靠，v1 仅作提示标签，不强求）
  • 眼睑 / 眼皮（eyelid） — 包住眼球的曲面，可能呈环状或月牙
  • 眼眶（eye socket） — 凹陷的"洞"，包含整个眼部区域
• 角度敏感：cat 头像眼睛从正面/俯视/侧视形态变化大；算法应多视角一致。

0.2 为什么现有多层算法搞不定

→ 新增"形态-语义"层：用几何局部描述子（曲率符号 + 凹凸 + 局部拟合球度）做区域聚类，仅作用于「眼部候选 ROIs」——不替代 MultiView，而是 MultiView 之后的细精步骤。

1. 知识储备：眼睛在 3D 网格上的可识别特征

1.1 几何描述子（可直接复用现有函数）

1.2 形态学描述子（需新增）

1.3 语义排序：眼球 / 眼白 / 眼睑 / 眼眶的判别规则

1.4 眼球 vs 眼白 区分（v1，迭代需求方决策：4 区都要）

几何观察：眼白是"暴露在眼睑开口内的眼球外层"，与眼球共享凸球面但位置更靠近 ROI 外缘（与眼睑折痕相邻）。

v1 区分策略（需求方拍板）：

1. ROI 内做局部 RANSAC 球拟合，识别出所有 S>0.6 的凸面元组 → 候选眼球集合。
2. 对每个候选凸面元组：
   • 到 ROI 边缘最短距离 < d_innner_ratio * r_roi（默认 0.6）→ 判为 眼球（被眼睑包住的内部球）
   • 反之，紧贴眼球、且与眼球法向一致（<π/8 角度差）、单层厚度 → 判为 眼白
3. 单色模型无法靠"白色"判眼白，纯靠"位置 + 法向"——v1 接受偶尔误判。

退化方案：若 ROI 过小（候选凸面 < 30 face），眼球与眼白合并为 globe+ 一个区，状态消息告知需求方手动 lasso 拆分。

2. 算法框架（候选对比）

候选 A：多视角 ROI 抽取 + 局部形态聚类（推荐）

1. MultiView 找出"眼周"候选 face 集合（已有边界 ≈ 眼眶外轮廓）
2. 对每个候选区域：
   a. 半径 r 内拟合球，识别球冠 → label: globe/sclera
   b. 球冠之外剩余区域：concavity > 0.5 → socket；否则 → eyelid
   c. 用 face_adjacency 的二面角峰度识别 eyelid 边缘折痕
3. 输出 Vec<EyeRegion> 同 MultiViewRegion 结构

优点：直接复用现有几何工具，几行新代码；MultiView 给 ROI 后筛 ROI 内子区，避免在 56 万面 mesh 上跑全量形态分析（性能关键）。 缺点：依赖 MultiView 给的眼周 ROI 准确；若 MultiView 把眼周并入"额头"块就会漏——但这正是多层融合的动机（fuse 后再 eye-detect）。

候选 B：全 mesh 形态聚类

对每个面算 (S, concavity, compactness) 三维描述子，k-means 聚类 → 标签按 (S, concavity) 映射。

优点：不依赖 MultiView，可独立运行。 缺点：56 万面 → 1M+ 描述子 → 内存爆；k-means K=4 不知哪个簇是"眼球"，需后处理标签映射；跨模型无 anchor 不可靠。 否决：性能与可解释性双重失败。

候选 C：3DMM / 深度学习（MeshCNN、PointNet++、3D semantic segmentation）

否决：

1. 需要训练数据（人脸/猫脸 mesh 数据集稀缺）；
2. Tauri 端引入 PyTorch/TensorFlow 模型 200MB+，违背"轻量纯几何"路线；
3. 论文级工程，与本项目"算法融合层"定位不匹配。

3. 数据流与模块边界

3.1 后端新模块

src-tauri/src/segment/eye/
  mod.rs             // pub fn detect_eye_regions(mesh, roi_faces: &[u32]) -> Vec<EyeRegion>
  roi.rs             // 局部球拟合 RANSAC + 形态描述子
  classify.rs        // 描述子 → 语义标签 (socket|eyelid|globe|sclera)

复用：

• concavity::vertex_gaussian_curvature / vertex_concavity
• recommend::face_concavity_scores
• mesh.face_adjacency / face_kdtree

新增：

• 局部 RANSAC 球拟合（~80 行）
• 二面角峰度（~20 行）
• 标签分类表（~30 行硬编码映射 + 出处注释）

3.2 输出结构（与 MultiViewRegion 同构）

pub struct EyeRegion {
    pub semantic: EyeLabel,       // Socket | Eyelid | Globe | Sclera
    pub face_indices: Vec<u32>,   // 该区面成员（与 planar/multiview 一致，便于 fuse）
    pub boundary_edges: Vec<[[f32; 3]; 2]>,
    pub center: [f32; 3],         // 区域中心，便于"眼睛1/眼睛2"匹配
    pub confidence: f32,          // 0..1，分类置信度
}

3.3 ROI 输入接口（需求方决策：MultiView + lasso 兜底）

pub enum EyeRoiSource {
    /// 由 MultiView 自动识别的"眼周"块名（v1 默认）：传入 MultiViewRegion 的 face_indices
    FromMultiView { region_face_indices: Vec<u32> },
    /// 需求方手动 lasso 圈选（兜底）：传入面索引集合
    FromLasso { selected_face_indices: Vec<u32> },
    /// 全 mesh 扫描（候选 B，v1 不实现，留接口）
    WholeMesh,
}
pub fn detect_eye_regions(mesh: &MeshModel, roi: EyeRoiSource) -> Vec<EyeRegion>;

3.3 命令与前端

• 后端命令 detect_eye_regions(roi_strategy: String) -> Vec<EyeRegion>
• 前端 useTauriCommand 加 detectEyeRegions
• SeedPanel 新增「👁 眼睛识别」按钮（独立于现有三算法 / 融合按钮，避免误触）
• Viewport 用新颜色：眼球=#fbbf24(琥珀)、眼睑=#ec4899(粉)、眼眶=#6366f1(靛)
• 标签直进 suggestedSeeds（v1 只作证据，与 Layer2 一致，不入裁决）

3.4 与 Layer 4 融合的关系（v2 视角）

未来：把 EyeRegion 也规约成"边级投票"加入 Layer 4 fuse。

• 眼球曲面边界 → 投 cut
• 眼眶凹区边界 → 投 cut
• 平滑过渡 → 不投 v1 不实现，避免一次引入两个新维度（"ROI 输入 + 投票者"），先验证"算法层 ROI 内子区"逻辑。

4. 失败案例 / 退化输入

5. 可调参数（暴露给前端？v2 再说）

v1 全部固定写死，前端不可调（与现有 planar/multiview 行为一致——需求方已接受 v1 固定阈值策略，v2 再暴露）。

6. 测试计划

6.1 单元（必跑）

6.2 E2E（手工，需求方做）

需求方装包后跑 cat.stl：

1. 先 MultiView → 看眼周是否被单独分块
2. 若 ROI 找不准：需求方用 lasso 圈眼部 → 触发"限定 ROI 模式"的 eye 检测（v1 留口子）
3. 若 ROI 准：自动跑 → 检查眼睑/眼球标签是否合理

6.3 验收（与 Layer 4 fuse 联合）

需求方反馈：

• 眼睛各部分是否被正确区分？
• 颜色标注是否可读？
• 是否需要把 EyeRegion 加进 fuse？

7. 范围与放弃

v1 范围（首版）：

• 后端 eye 模块 + detect_eye_regions 命令 + 单测
• 前端「👁 眼睛识别」按钮 + Viewport 颜色标注
• 不入 Layer 4 fuse、不暴露参数、不依赖 UV/纹理

显式 deferred（v2）：

• 眼球/眼白区分（单色模型难以，仅作 label 提示）
• EyeRegion 加入 Layer 4 边级投票
• 暴露参数面板
• 闭眼状态特殊处理
• 端到端 PSB/真实模型基准

8. 风险与缓解

9. 参考文献（区别于 08 / 09）

• 局部球拟合：RANSAC sphere fitting, Schnabel et al. 2007 "Efficient RANSAC for Point Cloud Shape Detection"
• 形态学描述子：Gal et al. 2007 "Pose and Shape Recovery from Sparse 3D Data"（局部 shape diameter / sphere fitting）
• 眼睛分割数据集（v2 参考）：Daniilidis 2018 3D face landmark datasets
• 3D 语义分割 baseline：Qi et al. 2017 PointNet++

10. 决策点（待需求方审查）

1. 方案 A vs B vs C — 选 A？
2. v1 范围 — 是否同意"眼球/眼白合并、仅作提示"？
3. ROI 来源 — v1 用 MultiView 自动 ROI，留 lasso 兜底，可接受？
4. Label 颜色 — 琥珀/粉/靛 OK？还是要常规色（青/橙/绿）？
5. 是否进入对抗 REFUTE 阶段（派独立 agent 证伪）？

11. 对抗 REFUTE 审查结论（已收到，需求方决策后进入 REVISE）

REFUTE agent 对 docs/10 v1 方案给出 3 blocker + 7 major + 4 minor。摘要：

Blocker

1. 局部球度 S = 1/(1+e/r²) 对共面点退化（平面 RANSAC 球半径→∞、残差→0，S≈1）——平坦脸颊与球面眼球 S 均≈1，无法区分球 vs 平面，候选 A 主判别器作废。
2. 眼球/眼白距离判据写反——"到 ROI 边缘 < 0.6·r_roi" 应是"外缘=眼白"，方案写反成"小距离=眼球"。
3. MultiView ROI 前提虚假——MultiView 按法向一致（20°）生长，弯曲眼球法向跨 >20° 必切碎、平坦额头跨眼部合并；实际产物是"额头+眉毛+眼睑+鼻子"一坨，不产生"眼周 ROI"。

Major（节选）

4. face_concavity_scores 返回离散 {0, .333, .667, 1.0}，>0.5 等价"≥2/3 顶点凹"，与既有 concavity 语义错位。
5. 闭眼退化假设错误——折痕 S>0.6 会产假 globe。
6. compactness_threshold 死参数（从未使用）。
7. 候选 B 否决理由"内存爆"虚假（1.5M 面 × 3 float ≈ 17MB）。
8. v1 四区与"单色不可靠"自相矛盾。
9. EyeRegion → suggestedSeeds 接线未定义（recommend_seeds 消费 SeedSuggestion，需 adapter）。

12. REVISE — 修订后的方案（请需求方审批）

核心转变：v1 不再依赖 MultiView 自动 ROI，入口改为需求方手动 lasso 圈选眼睛——保留自动模式作 v2。

12.1 修订要点（采纳/反驳/显式 deferred）

12.2 v1 修订后的方案

1. 入口：需求方在 SeedPanel 点「👁 眼睛识别」→ 视口进入 lasso 模式 → 圈选眼睛 ROI
2. ROI 输入：lasso 选中的 face_indices → EyeRoiSource::FromLasso
3. ROI 内处理：
   a. 顶点级球/平面 RANSAC inlier 比 → 凸球冠面集合 (R>0.5)
   b. 凸球冠 + ROI 距离分三环 → Sclera(外) / Globe(中) / Socket 内壁（环外）
   c. ROI 内剩余非凸面：按 vertex_concavity 投票（≥2/3 顶点凹 → socket）/ 二面角峰度高 → Eyelid
   d. 闭眼 fallback：凸球冠 < 30 face → globe/sclera 标 absent，状态栏提示
4. 输出 Vec<EyeRegion>，通过 adapter 转 SeedSuggestion 进 suggestedSeeds
5. 需求方可点 ghost marker 采纳 / 拒绝

12.3 v1 范围（修订后）

• 后端 segment/eye/ 模块（mod.rs / roi.rs / classify.rs）
• 球-平面 inlier 比 RANSAC（新算法，~80 行）
• EyeRoiSource::FromLasso 入口（主）；FromMultiView 入口保留为 v2
• 4 区全部输出（sclera 为 Heuristic label）
• 前端 SeedPanel「👁 眼睛识别」按钮（进入 lasso 模式）+ suggestedSeeds ghost marker
• 单测：lasso 选球面 → 1 Globe + 1 Sclera；lasso 选凹半球 → 1 Socket；闭眼假 mesh → Eyelid only + 状态提示
• E2E：需求方装包 → 圈 cat 眼睛 → 看标签

12.4 显式 deferred（v2）

• MultiView 自动 ROI（前提未验证）
• EyeRegion 入 Layer 4 fuse
• 暴露参数面板
• 端到端 PSB 基准

本文件经需求方审批 REVISE 后才会启动实现。