包含semanticsegmentation什么意思的词条

语意分析技术可用于哪些问题进行研究?

当然是跨视角语义分割（Cross-view Semantic Segmentation）。

语义分割（Semantic Segmentation）说到底还是为了让人工智体更好的去理解场景（Scene Understanding）。什么是理解场景？当我们在说让一个智体去理解场景的时候，我们究竟在讨论什么？这其中包含很多，场景中物体的语义，属性，场景与物体之间的相对关系，场景中人与物体的交互关系，等等。说实话很难用一句话来概括，很多研究工作往往也都是在有限的任务范围下给出了机器人理解其所视场景的定义。那么为什么语义分割对于场景理解来说这么重要？因为不管怎么说，场景理解中有些要素是绕不开的，例如目标物体的语义， 目标物体的坐标。当我们真正要应用场景理解的技术到实际生活中时，这两个点几乎是必需的。而语义分割恰好能够同时提供这两种重要的信息。

传统的2D图像语义分割技术经过众多研究人员几年时间不停的迭代，已经发展到了一个提升相当困难的时期。同时这也意味着这项技术已经渐渐的趋于成熟。但传统的2D分割还是有一定的局限性，比如我们很难从2D图像中直接获知物体的空间位置，以及其在整体空间中的布局。这很直观，因为2D图像捅破天也只有2D信息，想知道整体空间的位置信息还是需要更多的3D信息。事实上，这件事已经有相当一部分人在做了。为了让单纯的2D图像（RGB）具有深度信息从而转变成RGB-D，我们发展了深度估计（Depth Estimation）；为了让RGB-D变成真正有用的3D信息，我们发展了三维重建（3D Reconstruction）技术；为了得到整个场景的三维点云，我们发展了SLAM；为了得到场景中点云的语义信息，我们又发展了基于点云的语义分割技术。这一整套流程下来，我们可以让机器人从单纯的2D图像出发，得到空间中物体三维的坐标，语义，和边界信息。这一连串的思路十分完备，也非常本质。然而3D数据往往又面临着极为昂贵的计算成本与数据采集和标注的成本，不像2D数据有一台手机就能采集，对于标注人员来说也不如2D图像的标注来的那么直观。

那么我们能不能依旧基于2D图像，让机器人对于整个空间中物体的坐标有更好的感知？

答案是肯定的。其实在相当一部分实际任务中，得到物体准确的3D坐标是一件精确过头的事，就好比能用16位浮点数解决的任务我偏偏要用32位，可以但不是必要。很多时候我们需要3D坐标只是因为这是一个清晰的，看得见摸得着的，具体的数值目标。但再好的数值目标，跟实际使用体验的关联性也不是百分百对应的。就好像损失函数低不一定代表最后的准确率就高，数值准确率高不一定代表实际的人眼效果就好。扯远了，话说回来，基于以上我所说的，我们在求解准确的3D信息所需要的代价与传统的2D分割的局限之间找到了一个平衡点，也就是利用俯视语义图（Top-down-view Semantic Map）来感知周围环境物体的方位与布局。

计算机视觉基本任务研究目标

计算机视觉(Computer Vision)是研究如何使机器“看”的科学，即用摄像机和计算机代替人眼对目标进行识别、跟踪、测量等任务。其与机器视觉的区别在于：计算机视觉侧重对质的分析，如分类识别，这是猫还是狗；或进行身份确认，如车牌识别、人脸识别；或进行行为分析，如人群聚集等；而机器视觉侧重对量的分析，如通过视觉去测量零件的直径。计算机视觉的基本任务包括：图像分类、目标定位、目标检测、图像分割等。

图像分类（Image Classification）：图像分类任务的目标是输出给定的图像是什么类别的问题，如回答这是一张猫的图像的问题；

目标定位(Object Localization)：目标定位任务的目标是找到图像中某一类别的物体在图像中的位置，输出bounding box；即不仅要识别出是什么类别的物体（类标签），还要给出物体的位置，位置用bounding box标记。 目标定位通常是针对单个物体的。

目标检测(Object Detection)：目标检测任务包含分类和目标定位，目标是用多个bounding box分别把多个物体的位置标记出来，并分别给出物体对应的类别。目标检测通常是多个物体的定位任务。即不仅要识别图像中的阿猫阿狗，还要给出阿猫阿狗的位置。

图像分割(Image Segmentation)：图像分割任务的目标是将图像细分为多个具有相似性质且不相交的区域，是对图像中的每一个像素加标签的过程，即像素级的分割。图像分割任务主要有语义分割(Semantic Segmentation)和实例分割(Instance Segmentation)两种。语义分割的目标是将输入图像分为不同语义可解释的类别(语义的可解释性即分类类别在真是世界中是有意义的)，每一个像素点都要判断其类别，是像素级别的分割。注意语义分割值判断类别不区分个体，例如语义分割将图像中属于汽车的所有像素标记为蓝色，对于图像中有两个蓝色的像素，无法区分他们是属于同一个还是不同的汽车。实例分割的目的是确定图像中存在的兴趣目标位置和类别，机器自动从图像中用目标检测方法框出不同实例，再用语义分割方法在不同实例区域内进行逐像素标记。实例分割是目标检测和语义分割的结合，但又不同于目标检测和语义分割。相对物体检测的边界框，实例分割可精确到物体的边缘；相对语义分割，实例分割可以标注出图上同一物体的不同个体，即哪些像素属于第一辆汽车，哪些像素属于第二辆汽车。最后，还有一个全景分割，它是语义分割和实例分割的结合。即每个像素都被分为一类，如果一种类别里有多个实例，会用不同的颜色进行区分，就知道哪个像素属于哪个类中的哪个实例。

注：上述任务中，最基本的是分类任务，其他任务都可在分类任务的基础上，通过一些技术手段解决，例如在图片中加入很多窗口，提取每一个窗口的特征，然后预测分类，并将分类一样并相邻的窗口合并，就成了目标定位和目标检测。

本文内容参考资料：

Instance Segmentation 比 Semantic Segmentation 难很多吗

Instance Segmentation 为实例分割，需要先从rpn中得到ROI,再进行前景与背景的分割。

Semant Segmentation为语义分割，pixelwise级别的，是先反池化到原图大小进行像素分类，然后进行分割。

Instance Segmentation 需要先得到好的region才能进行好的分割，相比而言更难一些。

语音分割可以分为几类？

从分类上来看，语义分割可以分为标准语义分割与实例感知语义分割两种：

标准语义分割(standard semantic segmentation)也称为全像素语义分割，它是将每个像素分类为属于对象类的过程;

实例感知语义分割(instance aware semanticsegmentation)是标准语义分割或全像素语义分割的子类型，它将每个像素分类为属于对象类以及该类的实体ID。

实用！苹果iOS 13/iPadOS新增多摄像头同步开启

在iOS 13中，苹果终于推出了多摄像头同步开启支持，允许应用程序在iPhone或iPad上同时捕获来自多个麦克风和摄像头的照片、视频、音频，元数据和深度信息。

自从OS X Lion以来，苹果长期一直支持macOS上的多摄像头捕获，但到目前为止，硬件限制使其无法推出适用于iPhone和iPad的API。

iOS 13中的新功能和API将允许开发人员提供同时从前置摄像头和后置摄像头传输视频、照片或音频的应用程序。

iOS 13多摄像头支持w/ AVCapture

在WWDC19期间推出新功能时，苹果演示了一个画中画视频录制应用，该应用从前置摄像头录制，同时还可以从主摄像头录制。

该演示应用程序还启用了视频录制功能，以及在照片应用播放期间即时交换两个摄像头的功能。该功能还可以让开发人员控制双TrueDepth摄像头，包括后视宽角镜头或后视长焦镜头的单独视频流。

iOS 13支持新的多摄像头功能，仅适用于较新的硬件，包括iPhone XS、iPhone XS Max、iPhone XR和iPad Pro。

苹果列出了许多支持多摄像头捕获的格式（如上图所示），开发人员会注意到它会对相机的正常功能施加一些人为限制。

由于移动设备的功率限制，与Mac不同，iPhone和iPad将仅限于单个多摄像头会话，这意味着你无法同时在多个应用中开启多个摄像头，或者使用多个摄像头进行多个会话。还将有各种支持的设备组合，指示在某些设备上支持哪些摄像机的捕获组合。

苹果本身并没有在iOS 13相机应用程序中使用任何新的多摄像头功能，但我们认为它现在正在出现，因为它正式在AVCapture中推出了支持。

Semantic Segmentation Mattes（语义分割蒙版）

iOS 13中相机捕捉的新功能还有语义分割蒙版。在iOS 12中，苹果在内部使用了Portrait Effects Matte为人像模式照片设置内容，将主体与背景分开。在iOS 13中，苹果推出了所谓的Semantic Segmentation Mattes来识别皮肤、头发和牙齿，并通过API进一步改进这些信息，供开发人员使用。

在WWDC会议上，苹果展示了新技术的演示应用程序，允许将照片中的主体与背景分离，并将头发、皮肤和牙齿隔离，以轻松添加效果，包括面部涂料和头发颜色变化（如上图）。

开发人员可以在苹果的网站上了解有关多摄像头支持和语义分段的更多信息，它还提供了演示应用程序的示例代码。