Quotient: Quotient-Manifold Subspace Recovery for Low-Bit Vision Transformer Repair
具体工作收起
论文面向低比特 Vision Transformer 的修复问题,研究基于商流形的子空间恢复方法。论文已被 ICONIP 2026 接收,将收录于 Springer Lecture Notes in Computer Science(LNCS)会议论文集。
论文面向低比特 Vision Transformer 的修复问题,研究基于商流形的子空间恢复方法。论文已被 ICONIP 2026 接收,将收录于 Springer Lecture Notes in Computer Science(LNCS)会议论文集。
工业异常检测部署到产线时,算力预算通常是固定的,而 ViT 的开销随 token 数量线性增长。常规做法是 uniform 或 random pruning,但它们对 token 一视同仁,缺陷区域往往只占画面很小一块,恰恰最容易被丢掉。
EdgeToken-AD 把剪枝决策变成异常感知的:融合 CLS 注意力显著性、memory-bank 距离与 token 自身的统计信息,在固定推理预算下优先保留与缺陷相关的 patch。方法基于 DINOv2 与 PatchCore,不需要重训主干。
在 MVTec AD 上保留 80% token 时,PRO 相比 uniform pruning 提升 5.49 个百分点,相比 random pruning 提升 7.43 个百分点。
长上下文里追踪实体状态是世界模型的基本功,也是现有序列模型的薄弱环节:随着动作序列变长,模型对「某个实体现在处于什么状态」的记忆会逐步漂移。
Symplectic-Mamba 从结构上约束这件事。实体索引让每个实体拥有可寻址的状态槽位,动作条件更新使状态只在相关动作发生时被改写,哈密顿结构更新则借辛几何的保体积性质抑制长程累积误差。
在状态追踪任务上,方法同时优于通用序列模型与专门为该任务设计的基线。
稀疏传感器 Darcy 反问题的常用基准过于光滑:constant forcing、零边界、无噪观测、单一分辨率。在这样的设置下比较方法,结论可能并不成立。
这篇工作重新设计了评测协议,把任务扩展到多源 forcing、非零边界条件、含噪观测与跨分辨率 scale-up,然后重跑同一批方法。结果显示,简单基准会导出错误的传感器布局方案与被高估的可靠性结论 —— 换掉评测设置,排名就变了。
结论不是某个方法更好,而是评测本身需要先被质疑。
把预训练视觉模型迁移到双时相遥感变化检测时,PEFT 是自然选择,但现有载体对两个时相的输入无差别处理,而「哪里变了」本身就是任务信号。
这篇工作提出差异感知的参数高效适配:从双时相特征中提取差异描述子,用它动态调制 PEFT 模块的行为。调制是载体无关的,在 LoRA、Adapter、SSF、VPT 上都能接入。
在 LEVIR-CD 与 S2Looking 上取得稳定的 IoU 提升,同时明显降低了不同随机种子之间的波动 —— 后者对小样本遥感任务的实际可用性影响不亚于均值指标。
Xiongwei He, Xinjie Cui, Tianyi Ren, Xiaopeng Zhao, Qi Lu
论文面向农业领域的检索增强生成,研究在预算约束下核查生成内容中各项陈述的方法。论文已被 PRICAI 2026 接收。
Xiongwei He, Haonan Wang, Xinyu Li, Tingyu Zhang, Xinjie Cui
论文研究 Vision Transformer 的低比特训练后量化,在功能等价的表示之间搜索更适合量化的形式。论文已被 PRICAI 2026 接收。
Xiongwei He, Xiaopeng Zhao, Tianyi Ren, Qi Lu, Ruiyu Zhang, Xinjie Cui
论文跨多个视觉语言模型骨干,诊断性地研究视觉 Token 压缩中的提示条件视觉度量匹配问题。论文已被 PRICAI 2026 接收。
Xiongwei He, Tianyi Ren, Qi Lu, Xiaopeng Zhao, Xinjie Cui, Xiaoying Zhang
论文研究低比特多模态大模型的精度恢复,有选择地恢复关键注意力头。论文已被 PRICAI 2026 接收。
1 个项目 · 用到 Astro / TypeScript / Tailwind CSS / Cloudflare Workers
用 Astro 与 Tailwind 搭建、部署在 Cloudflare 边缘网络上的静态站点。