九游平台/ ai开发平台modelarts/ modelarts用户指南（standard）/ 使用自动学习实现零代码ai开发/ 使用自动学习实现物体检测/ 准备物体检测数据
更新时间：2024-10-24 gmt 08:00
查看pdf

准备物体检测数据-九游平台

使用modelarts自动学习构建模型时，您需要将数据上传至对象存储服务（obs）中。obs桶需要与modelarts在同一区域。

数据集要求

  • 保证图片质量：不能有损坏的图片；目前支持的格式包括jpg、jpeg、bmp、png。
  • 不要把明显不同的多个任务数据放在同一个数据集内。
  • 为了保证模型的预测准确度，训练样本跟真实使用场景尽量相似。
  • 为保证模型的泛化能力，数据集尽量覆盖可能出现的各种场景。
  • 物体检测数据集中，如果标注框坐标超过图片，将无法识别该图片为已标注图片。

数据上传至obs

在本文档中，采用通过obs管理控制台将数据上传至obs桶。

上传obs的文件规范：
  • 文件名规范，不能有中文，不能有 、空格、制表符。
  • 如不需要提前上传训练数据，请创建一个空文件夹用于存放工程后期生成的文件。如：“/bucketname/data-cat”。
  • 如需要提前上传待标注的图片，请创建一个空文件夹，然后将图片文件保存在该文件夹下，图片的目录结构如：“/bucketname/data-cat/cat.jpg”。
  • 如您将已标注好的图片上传至obs桶，请按照如下规范上传。
    • 物体检测数据集要求用户将标注对象和标注文件存储在同一目录，并且一一对应。例如标注对象文件名为“img_20180919_114745.jpg”，那么标注文件的文件名应为“img_20180919_114745.xml”。

      物体检测的标注文件需要满足pascal voc格式，格式详细说明请参见 表1。

      数据存储示例： 
      ├─ 
      │      img_20180919_114732.jpg 
      │      img_20180919_114732.xml 
      │      img_20180919_114745.jpg 
      │      img_20180919_114745.xml 
      │      img_20180919_114945.jpg 
      │      img_20180919_114945.xml
    • 只支持jpg、jpeg、png、bmp格式的图片，在obs管理控制台上传时，单张图片的大小不能超过5mb，单次上传的图片总大小不能超过8mb，数据量大时推荐使用obs browser 上传 。
    • 标签名是由中文、大小写字母、数字、中划线或下划线组成，且不超过32位的字符串。
      表1 pascal voc格式说明

      字段

      是否必选

      说明

      folder

      是

      表示数据源所在目录。

      filename

      是

      被标注文件的文件名。

      size

      是

      表示图像的像素信息。

      • width：必选字段，图片的宽度。
      • height：必选字段，图片的高度。
      • depth：必选字段，图片的通道数。

      segmented

      是

      表示是否用于分割。

      object

      是

      表示物体检测信息，多个物体标注会有多个object体。

      • name：必选字段，标注内容的类别。
      • pose：必选字段，标注内容的拍摄角度。
      • truncated：必选字段，标注内容是否被截断（0表示完整）。
      • occluded：必选字段，标注内容是否被遮挡（0表示未遮挡）
      • difficult：必选字段，标注目标是否难以识别（0表示容易识别）。
      • confidence：可选字段，标注目标的置信度，取值范围0-1之间。
      • bndbox：必选字段，标注框的类型，标注信息请参见 表2 。
      表2 标注框类型描述

      type

      形状

      标注信息

      bndbox

      矩形框

      左上和右下两个点坐标。

      100

      100

      200

      200
      标注文件示例： 
      
   test_data
   260730932.jpg
   
       767
       959
       3
   
   0

上传obs的操作步骤：

执行如下操作，将数据导入到您的数据集中，以便用于模型训练和构建。

  1. 登录obs管理控制台，在modelarts同一区域内创建桶。如果已存在可用的桶，需确保obs桶与modelarts在同一区域。
  2. 参考上传文件，将本地数据上传至obs桶中。如果您的数据较多，推荐obs browser 上传数据或上传文件夹。上传的数据需满足此类型自动学习项目的数据集要求。
  • 在上传数据时，请选择非加密桶进行上传，否则会由于加密桶无法解密导致后期的训练失败。
  • 用于训练的图片，至少有1种以上的分类，每种分类的图片数不少50张。

创建数据集

数据准备完成后，需要创建相应项目支持的类型的数据集，具体操作请参考创建modelarts数据集。

相关文档

网站地图