分享好友 最新动态首页 最新动态分类 切换频道
One Thing One Click: A Self-Training Approach for Weakly Supervised 3D Semantic Segmentation笔记
2024-12-21 12:45

点云初学者,有理解错误的欢迎提出。

问题:对点云上的每个点进行标签标注的成本高昂

目的: achieve a performeance comaprable with a fully supervised baseline given the extremely-sparse annotations。【弱监督下的点云语义分割】。

实验所采用的数据集:

基本流程:

  1. 对数据集进行super-voxel partition。然后“One Thing One Click” :对每个实例选一个点进行标注;对一个点标注实质上就是对点所属的segment进行标注。【标注策略:每个实例被划分为多个segment,随机选一个segment标注】
  2. 利用得到的有标签的数据分别训练3D U-Net(负责语义分割)和Relation Net(辅助计算voxel之间相似度)。
  3. 保持前面两个网络的参数不变,将点云送入这两个网络,通过优化一个能量函数选出具有高置信度的unlabelled voxel更新其标签。
  4. 重复2和3步骤直到收敛。

创新点:设计了一个融合 self-traing 的 label-propagation 机制,实现了弱监督下点云的语义分割

与前面SegGroup的异同:

  1. 这篇论文生成伪标签的方法不具有通用性。
  2. 这篇论文不要求对最具有代表性的segment进行标注;随机即可。
  3. 两篇论文生成的伪标签在后续的过程中不会发生变化。

备注:下标分别表示点和voxel的index

3D U-Net网络作为骨架。损失函数:

其中ground truth

作用:聚合体素内的点的特征

方法:对体素内点的特征向量求和再平均得到体素的特征向量。

基本结构就是3D U-Net移除最后一个分类层。目的:为每个super-voxel生成一个与类别紧密相关。借鉴了原型网络的思想采用对比学习进行训练。

如果完全采用原型网络的思想可能会导致最后生成的每个类的原型背离了实际的categorical center导致网络不稳定且难以收敛。因此设计了 memory bank。它的作用是生成每个类别的原型 ( prototype ) ;memory bank的shape是,其中每一行代表一个类别的原型。以作为" query ", Relation Network的损失函数:【个人感觉好像公式写错了,少了一个exp。见补充材料里面对对比学习介绍】

其中;这个损失函数的作用是:groups the embeddings of voxels which have same category together, while pushing those of different categories apart.

memory bank里面原型的更新方法:

其中是一个 momentum coefficient,刚开始memory bank里面的值是随机的。

通过最小化一个energy function来给每个unlabelled voxel 分配一个标签。然后基于这个分配到的标签对voxel计算一个置信度,如果这个置信度超过一个阈值那么就可以将最小化energy function分配到的标签确定为该voxel的标签。

energy function:

其中:

是 the normalized mean color, mean coordinates and mean 3D U-Net feature, respectively, of super-voxels

可以看出如果的相似度高但是预测的标签不一样那么energy function就会很高。置信度的定义【联系论文作者,论文里面的负号是误添的,应该是没有】

  1. 对Relation Network的分析
  1. 每一次iteration伪标签更新的情况:

Iteration1就是图三的Initial pseudo labels。文中指出大约5次Iteration网络性能就收敛了;再增加迭代次数并不能带来显著的性能提升。【注意:性能收敛时仍然可能出现有些super-voxel没有标签

  1. 定量分析的可视化结果:

来自:对比学习综述

来自:( 小样本学习(few-shot learning)之原形网络(Prototypical Networks)

简述:

最新文章
敦煌网关键词优化,助力跨境电商高效运营
随着互联网的快速发展,跨境电商已成为我国外贸发展的重要引擎。网作为国内领先的B2B跨境电商平台,拥有庞大的买家资源和丰富的商品种类。在激烈的市场竞争中,如何通过优化提升店铺曝光度和转化率,成为跨境电商运营的关键。本文将围绕敦
!轻松登录网易163个人博客的必备指南
在化时代,个人博客成为了表达自我、分享知识与见解的重要平台。163作为国内知名的及博客服务提供商,拥有众多用户。对于初次使用或久未登录的用户来说,了解如何登陆网易163的个人博客可能显得尤为重要。本文将从准备阶段、登陆步骤、常见
网站搜索引擎优化,提升网站流量与用户体验的关键策略,SEO秘籍,优化网站,倍增流量与提升用户体验之道
网站搜索引擎优化(SEO)是提升网站流量与用户体验的关键。通过优化关键词、提高网站速度、改善内容质量、优化内部链接和移动端适应性等策略,有效提高网站在搜索引擎中的排名,吸引更多用户访问,提升用户体验。SEO还能增强网站品牌形象,
科大讯飞智能学机助力孩子学:讯飞AI教育解决方案详解
近年来人工智能技术的飞速发展为教育行业带来了前所未有的变革。作为我国领先的智能语音和人工智能企业科大讯飞一直致力于将人工智能技术应用于教育领域助力孩子学。本文将为您详解科大讯飞智能学机助力孩子学的具体方案。科大讯飞智能学机
独立站优化全解析:提高网站流量的有效方法
独立站优化全解析:提高网站流量的有效方法当你想要提高你的独立站网站流量时,有很多有效的方法可以尝试。以下是一些可以帮助你优化你的独立站的技巧和策略:1. 确保你的网站速度快且易于加载许多用户会放弃缓慢加载的网站,因此你需要确
自动脚本精灵app免费下载
自动脚本精灵免费破解版是一款功能强大的手机自动化软件,内置多种连点器管理设置方式,用户可以轻松录制和制作属于自己的点击脚本,在需要的时候执行,从而解放双手。无论是日常任务、游戏挂机还是其他重复性工作,都可以通过这款软件实现
谷歌SEO外包,助力企业高效提升网站排名的秘密武器
谷歌SEO外包助力企业高效提升网站排名,专业团队精准优化,确保网站在谷歌搜索引擎中脱颖而出,提高品牌曝光度和客户率,是企业互联网营销的明智之选。谷歌SEO外包的优势1、专业团队,高效优化 谷歌SEO外包意味着企业将SEO工作委托给专业团
重庆近视手术医生排名更新!专业技术好的医生名单来了
  近视手术的技术复杂,需要高水平的专业能力,因此关于医生的排名信息备受患者关注。重庆,作为西部大都市,拥有众多的眼科医生,但谁能称得上是其中的佼佼者呢?医生的排名通常由其经验、患者满意度、以及手术成功概率共同决定。高居排
上城区SEO优化,助力企业网站排名飞跃
上城区专业SEO优化服务,助力企业网站排名提升,实现网络营销突破,加速企业腾飞。通过精准关键词布局、高质量内容创作、权威链接建设等技术手段,全方位提升网站在搜索引擎中的曝光度和竞争力。随着互联网的普及,越来越多的企业开始重视
网页自动操作软件,探寻(黑帽seo)之选
在当今数字化的时代,网页自动操作软件在提高工作效率和便捷性方面发挥着越来越重要的作用,网页自动操作软件(黑帽seo)的是哪个呢?这是许多用户在选择此类软件时常常面临的困惑。目前市面上有众多的网页自动操作软件,各具特色,AutoHotke
相关文章
推荐文章
发表评论
0评