九游平台/ 对象存储服务 obs/ 最佳实践/ / 搬迁本地数据至obs
更新时间:2024-08-09 gmt 08:00

搬迁本地数据至obs-九游平台

背景

传统的自建存储服务器已不能满足大量的数据存储需求,主要原因可以归类为以下三点:

  • 数据存储量受限于搭建服务器时使用的硬件设备,如果存储量不够,需要重新购买存储硬盘,进行人工扩容。
  • 前期安装难、设备成本高、初始投资大、自建周期长、无法匹配快速变更的企业业务。
  • 需承担网络信息安全、技术漏洞、误操作等各方面的数据安全风险。

obs提供海量、稳定、安全的云存储能力,无需事先规划存储容量,存储资源可线性无限扩展,用户永远不必担心存储容量不够用。在obs上可以存储任何类型和大小的非结构化数据,多级可靠性架构以及服务端加密、日志管理、权限控制等功能,保障存储在obs上的数据高度稳定和安全。在成本方面,obs即开即用,免去了自建存储服务器带来的资金、时间及人力成本的投入,后期的设备维护也全部交由obs处理。

华为云提供搬迁方案,帮助用户将自建存储服务器上的数据短时间、低成本、安全、高效地搬迁至obs。用户可根据数据量、耗时、费用等需求选择适合的方案进行数据搬迁。

搬迁方案

针对不同的搬迁场景及需求,华为云提供如表1所示的几种搬迁方案。

表1 搬迁方案

搬迁方式

适用数据量

要求

耗时

费用

obs工具方式(在线)

不高于1tb的数据量

要求用户公网带宽空闲,需要人工操作客户端或脚本启动数据上传

家用100mbps带宽,1tb耗时1天左右

数据传输不收取费用,仅obs收取基本的存储费用

cdm方式(在线)

单次小于8tb的数据量

需要用户单独购买cdm服务

1tb~8tb/天(取决于网络和数据读取源的读写性能)

根据购买cdm实例规格以及使用时长收费,具体参见

des磁盘方式(离线)

单次小于30tb的数据量

需要用户自己提供磁盘

请参见

根据磁盘数量以及使用时长收费,具体参见

des teleport方式(离线)

单次30tb~500tb的数据量

由华为数据中心邮寄teleport给用户使用

请参见

根据数据大小以及使用时长收费,具体参见

云专线方式(实时)

每月大于100tb的数据量,需要实时在线上传

需要部署专线

根据专线带宽决定

根据专线距离以及带宽收费,具体参见

obs工具方式

obs工具方式适用于百gb规模的数据搬迁。obs提供obs browser 、obsutil等多种客户端工具,方便用户在本地直接将数据上传至obs。由于上传需要占用用户公网带宽,为不影响用户在公网上的主营业务,建议利用公网带宽空闲的时间上传数据。

各工具使用场景及操作指导,请参见。

cdm方式

云数据迁移(cloud data migration,cdm)提供同构/异构数据源之间批量数据迁移服务。cdm通过创建定时作业,将用户自建存储服务器上的文件系统、数据库、对象存储等数据源与华为云obs进行连接,从而实现定时、自动地将本地数据搬迁至obs。

图1 cdm方式搬迁数据示意图
  1. 创建obs桶

    通过obs控制台或obs browser 创建桶,用于存放原始数据。

  2. 购买cdm

    购买cdm服务,即创建cdm集群,用于管理连接与作业。

  3. 配置连接与作业

    在创建cdm集群中创建一个源连接和一个目的连接,分别与用户本地数据源和云端obs连接。然后再创建cdm作业,执行从本地数据搬迁到云端obs的任务。

  4. 启动数据传输

    运行cdm作业,启动数据传输。用户可以通过作业管理界面查看作业进度。

des磁盘方式

des磁盘方式同样采用离线的方式将用户数据磁盘(usb、esata接口的磁盘等)快递至华为云,实现数据高效传输。磁盘方式适用于30tb以下的数据量搬迁。

图2 des磁盘方式搬迁数据示意图
  1. 创建obs桶

    通过obs控制台或obs browser 创建桶,用于存放原始数据。

  2. 创建des磁盘方式服务单

    登录des控制台,创建一个磁盘方式的服务单。然后将des提供的签名文件导入本地数据磁盘并邮寄给华为云数据中心。

  3. 启动数据传输

    华为云数据中心收到用户的磁盘并将磁盘挂载到物理服务器后,会短信通知用户填写访问密钥(ak和sk)来启动数据上传。数据传输完成后,用户可以通过des控制台和obs控制台两种途径查看传输结果。同时华为云数据中心也会将用户磁盘回寄给用户。

具体操作步骤请参见。

des teleport方式

teleport是数据快递服务(data express service,des)专为30tb~500tb范围内数据搬迁至obs而定制的存储设备,具有防尘防水、抗震抗压以及gps锁定、传输加密等多重安全防护机制,配合离线传输的方式,能安全、高效的完成大规模数据搬迁。

图3 des teleport方式搬迁数据示意图
  1. 创建obs桶

    通过obs控制台或obs browser 创建桶,用于存放原始数据。

  2. 创建des teleport服务单

    des提供teleport和磁盘两种数据快递方式,在当前场景下选择teleport方式。

  3. 接收并导入数据至teleport

    成功创建des服务单后,用户将接收到由华为数据中心邮寄的teleport设备。接着进行简单配置操作使teleport与用户客户端连接起来,然后执行数据拷贝并将设备回寄给华为云数据中心。

  4. 启动数据传输

    在华为云数据中心收到回寄的teleport后,用户可以在des控制台上输入访问密钥启动数据从teleport到obs指定桶的传输。数据传输完成后,用户可以通过des控制台和obs控制台两种途径查看传输结果。

具体操作步骤请参见。

云专线方式

云专线方式由用户自己购买云专线服务(direct connect,dc),直接将用户本地的网络与华为云网络打通,实现专线直接访问obs等服务。云专线方式适用于需要频繁或实时地将本地数据搬迁至obs的场景。专线提供的低时延、高带宽,可以满足用户随时上传数据至obs的需求。

图4 云专线方式搬迁数据示意图
  1. 创建obs桶

    登录obs控制台,创建一个或多个用于存储用户数据的桶。

  2. 开通云专线服务

    登录云专线控制台,根据业务需求填写专线申请并提交订单,待管理员审核通过后,用户支付订单,联系运营商安排工程师接通两端物理线路,华为工程师配合进行连接配置。具体操作步骤请参见。

  3. 配置vpc终端节点

    在vpc终端节点中创建dns终端节点和obs终端节点,在本地数据中心配置dns转发规则、dns路由以及obs路由。具体操作参见。

    • “拉美-墨西哥城一”、“拉美-圣保罗一”和“拉美-圣地亚哥”区域支持服务类别选择“云服务”购买连接obs的终端节点,详情参见。拉美-墨西哥城一选择com.myhuaweicloud.na-mexico-1.obs;拉美-圣保罗一选择com.myhuaweicloud.sa-brazil-1.obs,“拉美-圣地亚哥”选择com.myhuaweicloud.la-south-2.obs。
    • 其他区域支持服务类别选择“按名称查找服务”购买连接obs的终端节点,请寻求九游平台的技术支持获取终端节点服务名称。
  4. 启动数据传输

    专线搭建成功并完成vpc终端节点配置后,用户便可以通过控制台、工具、api、sdk等多种方式将本地数据上传至obs。

相关文档

网站地图