九游平台/ 对象存储服务 obs/ sdk参考/ / / 分段上传
更新时间：2024-04-26 gmt 08:00

分段上传-九游平台

开发过程中，您有任何问题可以在github上，或者在中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。

对于较大文件上传，可以切分成段上传。用户可以在如下的应用场景内（但不仅限于此），使用分段上传的模式：

  • 上传超过100mb大小的文件。
  • 网络条件较差，和obs服务端之间的链接经常断开。
  • 上传前无法确定将要上传文件的大小。

分段上传分为如下3个步骤：

  1. 初始化分段上传任务（obsclient.initiatemultipartupload）。
  2. 逐个或并行上传段（obsclient.uploadpart）。
  3. 合并段（obsclient.completemultipartupload）或取消分段上传任务(obsclient.abortmultipartupload)。

您也可以直接使用sdk提供的接口（对分段上传的封装和加强）实现分段上传。

初始化分段上传任务

使用分段上传方式传输数据前，必须先通知obs初始化一个分段上传任务。该操作会返回一个obs服务端创建的全局唯一标识（upload id），用于标识本次分段上传任务。您可以根据这个唯一标识来发起相关的操作，如取消分段上传任务、列举分段上传任务、列举已上传的段等。

您可以通过obsclient.initiatemultipartupload初始化一个分段上传任务：

// 创建obsclient实例
var obsclient = new obsclient({
    // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量accesskeyid和secretaccesskey。
    // 前端本身没有process对象，可以使用webpack类打包工具定义环境变量，就可以在代码中运行了。
    // 您可以登录访问管理控制台获取访问密钥ak/sk，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
    access_key_id: process.env.accesskeyid,
    secret_access_key: process.env.secretaccesskey,
    // 这里以华北-北京四为例，其他地区请按实际情况填写
    server: 'https://obs.cn-north-4.myhuaweicloud.com'
});
obsclient.initiatemultipartupload({
       bucket : 'bucketname',
       key : 'objectname',
       contenttype : 'text/plain',
       metadata : {'property' : 'property-value'}
}, function (err, result) {
       if(err){
              console.error('error-->'   err);
       }else{
              console.log('status-->'   result.commonmsg.status);
              if(result.commonmsg.status < 300 && result.interfaceresult){
                     console.log('uploadid-->'   result.interfaceresult.uploadid);
              }
       }
});
  • 初始化分段上传任务时，除了指定上传对象的名称和所属桶外，您还可以使用contenttype参数和metadata参数分别指定对象mime类型和对象自定义元数据。
  • 调用初始化分段上传任务接口成功后，会返回分段上传任务的全局唯一标识（upload id），在后面的操作中将用到它。

上传段

初始化一个分段上传任务之后，可以根据指定的对象名和upload id来分段上传数据。每一个上传的段都有一个标识它的号码——分段号（part number，范围是1~10000）。对于同一个upload id，该分段号不但唯一标识这一段数据，也标识了这段数据在整个对象内的相对位置。如果您用同一个分段号上传了新的数据，那么obs上已有的这个段号的数据将被覆盖。除了最后一段以外，其他段的大小范围100kb~5gb；最后段大小范围是0~5gb。每个段不需要按顺序上传，甚至可以在不同进程、不同机器上上传，obs会按照分段号排序组成最终对象。

您可以通过obsclient.uploadpart上传段： 
// 创建obsclient实例
var obsclient = new obsclient({
    // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量accesskeyid和secretaccesskey。
    // 前端本身没有process对象，可以使用webpack类打包工具定义环境变量，就可以在代码中运行了。
    // 您可以登录访问管理控制台获取访问密钥ak/sk，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
    access_key_id: process.env.accesskeyid,
    secret_access_key: process.env.secretaccesskey,
    // 这里以华北-北京四为例，其他地区请按实际情况填写
    server: 'https://obs.cn-north-4.myhuaweicloud.com'
});
const bucketname = 'examplebucket';
const objectname = 'exampleobject';
const partsize = 5 * 1024 * 1024;
const uploadid = 'upload id from initiatemultipartupload';
const file = document.getelementbyid('input-file').files[0];
const lastpartsize = file.size % partsize;
// 段数量
const count = math.ceil(file.size / partsize);
// 上传第n段
const uploadpart = (n) => {
    obsclient.uploadpart({
        bucket: bucketname,
        key: objectname,
        // 设置分段号，范围是1~10000
        partnumber: n,
        // 设置upload id
        uploadid,
        // 设置将要上传的大文件
        sourcefile: file,
        // 设置分段大小
        partsize: count === n ? lastpartsize : partsize,
        // 设置分段的起始偏移大小
        offset: (n-1) * partsize
    }, function (err, result) {
        if(err){
                console.log('error-->'   err);
        }else{
                console.log('status-->'   result.commonmsg.status);
                if(result.commonmsg.status < 300 && result.interfaceresult){
                      console.log('etag-->'   result.interfaceresult.etag);
                }
        }
    });
}
// 上传第1段
uploadpart(1);

如果etag值获取是undefined，则需要配置cors规则，将etag添加到附加头域中即可，参考。

  • 使用partnumber参数指定分段号；使用uploadid参数指定分段上传任务的全局唯一标识；使用sourcefile参数指定待上传的文件；使用partsize参数指定分段大小；使用offset参数指定待上传文件的起始偏移大小。
  • sourcefile参数必须是file对象或者blob对象，例如在html页面中使用类型为“file”的input标签指定待上传的文件：。
  • 上传段接口要求除最后一段以外，其他的段大小都要大于100kb。但是上传段接口并不会立即校验上传段的大小（因为不知道是否为最后一块）；只有调用合并段接口时才会校验。
  • obs会将服务端收到段数据的etag值（段数据的md5值）返回给用户。
  • 可以通过contentmd5参数设置上传数据的md5值，提供给obs服务端用于校验数据完整性。
  • 分段号的范围是1~10000。如果超出这个范围，obs将返回400 bad request错误。
  • obs 3.0的桶支持最小段的大小为100kb，obs 2.0的桶支持最小段的大小为5mb。请在obs 3.0的桶上执行分段上传操作。

合并段

所有分段上传完成后，需要调用合并段接口来在obs服务端生成最终对象。在执行该操作时，需要提供所有有效的分段列表（包括分段号和分段etag值）；obs收到提交的分段列表后，会逐一验证每个段的有效性。当所有段验证通过后，obs将把这些分段组合成最终的对象。

您可以通过obsclient.completemultipartupload合并段：

// 创建obsclient实例
var obsclient = new obsclient({
    // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量accesskeyid和secretaccesskey。
    // 前端本身没有process对象，可以使用webpack类打包工具定义环境变量，就可以在代码中运行了。
    // 您可以登录访问管理控制台获取访问密钥ak/sk，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
    access_key_id: process.env.accesskeyid,
    secret_access_key: process.env.secretaccesskey,
    // 这里以华北-北京四为例，其他地区请按实际情况填写
    server: 'https://obs.cn-north-4.myhuaweicloud.com'
});
obsclient.completemultipartupload({
       bucket:'bucketname',
       key:'objectname',
       // 设置upload id
       uploadid:'upload id from initiatemultipartupload',
       parts: [{'partnumber':1,'etag':'etag value from uploadpart'}]
}, function (err, result) {
       if(err){
              console.log('error-->'   err);
       }else{
              console.log('status-->'   result.commonmsg.status);
       }
});
  • 如果最后一个段之外的其它段尺寸过小（小于100kb），obs返回400 bad request。
  • 使用uploadid参数指定分段上传任务的全局唯一标识；使用parts参数指定分段号与分段etag值的列表，该列表必须按分段号升序排列。
  • 分段可以是不连续的。

取消分段上传任务

分段上传任务可以被取消，当一个分段上传任务被取消后，就不能再使用其upload id做任何操作，已经上传段也会被obs删除。

采用分段上传方式上传对象过程中或上传对象失败后会在桶内产生段，这些段会占用您的存储空间，您可以通过取消该分段上传任务来清理掉不需要的段，节约存储空间。

您可以通过obsclient.abortmultipartupload取消分段上传任务：

// 创建obsclient实例
var obsclient = new obsclient({
    // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量accesskeyid和secretaccesskey。
    // 前端本身没有process对象，可以使用webpack类打包工具定义环境变量，就可以在代码中运行了。
    // 您可以登录访问管理控制台获取访问密钥ak/sk，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
    access_key_id: process.env.accesskeyid,
    secret_access_key: process.env.secretaccesskey,
    // 这里以华北-北京四为例，其他地区请按实际情况填写
    server: 'https://obs.cn-north-4.myhuaweicloud.com'
});
obsclient.abortmultipartupload({
       bucket:'bucketname',
       key:'objectname',
       // 设置upload id
       uploadid:'upload id from initiatemultipartupload',
}, function (err, result) {
       if(err){
              console.log('error-->'   err);
       }else{
              console.log('status-->'   result.commonmsg.status);
       }
});

列举已上传的段

您可使用obsclient.listparts列举出某一分段上传任务所有已经上传成功的段。

该接口可设置的参数如下：

参数

作用

uploadid

分段上传任务全局唯一标识，从obsclient.initiatemultipartupload返回的结果获取。

maxparts

表示列举已上传段的返回结果最大段数目，即分页时每一页中段数目。

partnumbermarker

表示列举已上传段的起始位置，只有part number大于该参数的段会被列出。
  • 简单列举
// 创建obsclient实例
var obsclient = new obsclient({
    // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量accesskeyid和secretaccesskey。
    // 前端本身没有process对象，可以使用webpack类打包工具定义环境变量，就可以在代码中运行了。
    // 您可以登录访问管理控制台获取访问密钥ak/sk，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
    access_key_id: process.env.accesskeyid,
    secret_access_key: process.env.secretaccesskey,
    // 这里以华北-北京四为例，其他地区请按实际情况填写
    server: 'https://obs.cn-north-4.myhuaweicloud.com'
});
// 列举已上传的段，其中uploadid来自于initiatemultipartupload
obsclient.listparts({
       bucket : 'bucketname',
       key: 'objectname',
       uploadid : 'upload id from initiatemultipartupload'
}, function (err, result) {
       if(err){
              console.log('error-->'   err);
       }else{
              console.log('status-->'   result.commonmsg.status);
              if(result.commonmsg.status < 300 && result.interfaceresult){
                     for(var i in result.interfaceresult.parts){
                           console.log('part['  i  ']:');
                           // 分段号，上传时候指定
                           console.log('partnumber-->'   result.interfaceresult.parts[i]['partnumber']);
                           // 段的最后上传时间
                           console.log('lastmodified-->'   result.interfaceresult.parts[i]['lastmodified']);
                           // 分段的etag值
                           console.log('etag-->'   result.interfaceresult.parts[i]['etag']);
                           // 段数据大小
                           console.log('size-->'   result.interfaceresult.parts[i]['size']);
                     }
              }
       }
});
  • 列举段至多返回1000个段信息，如果指定的upload id包含的段数量大于1000，则返回结果中interfaceresult.istruncated为true表明本次没有返回全部段，并可通过interfaceresult.nextpartnumbermarker获取下次列举的起始位置。
  • 如果想获取指定upload id包含的所有分段，可以采用分页列举的方式。
  • 列举所有段

由于obsclient.listparts只能列举至多1000个段，如果段数量大于1000，列举所有分段请参考如下示例：

// 创建obsclient实例
var obsclient = new obsclient({
    // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量accesskeyid和secretaccesskey。
    // 前端本身没有process对象，可以使用webpack类打包工具定义环境变量，就可以在代码中运行了。
    // 您可以登录访问管理控制台获取访问密钥ak/sk，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
    access_key_id: process.env.accesskeyid,
    secret_access_key: process.env.secretaccesskey,
    // 这里以华北-北京四为例，其他地区请按实际情况填写
    server: 'https://obs.cn-north-4.myhuaweicloud.com'
});
var listall = function (partnumbermarker) {
       // 列举已上传的段，其中uploadid来自于initiatemultipartupload
       obsclient.listparts({
              bucket : 'bucketname',
              key: 'objectname',
              uploadid : 'upload id from initiatemultipartupload',
              partnumbermarker : partnumbermarker
       }, function (err, result) {
              if(err){
                     console.log('error-->'   err);
              }else{
                     console.log('status-->'   result.commonmsg.status);
                     if(result.commonmsg.status < 300 && result.interfaceresult){
                           for(var i in result.interfaceresult.parts){
                                  console.log('part['  i  ']:');
                                  // 分段号，上传时候指定
                                  console.log('partnumber-->'   result.interfaceresult.parts[i]['partnumber']);
                                  // 段的最后上传时间
                                  console.log('lastmodified-->'   result.interfaceresult.parts[i]['lastmodified']);
                                  // 分段的etag值
                                  console.log('etag-->'   result.interfaceresult.parts[i]['etag']);
                                  // 段数据大小
                                  console.log('size-->'   result.interfaceresult.parts[i]['size']);
                           }
                           if(result.interfaceresult.istruncated === 'true'){
                                  listall(result.interfaceresult.nextpartnumbermarker);
                           }
                     }
              }
       });
};
listall();

列举分段上传任务

您可以通过obsclient.listmultipartuploads列举分段上传任务。列举分段上传任务可设置的参数如下：

参数

作用

prefix

限定返回的分段上传任务中的对象名必须带有prefix前缀。

delimiter

用于对分段上传任务中的对象名进行分组的字符。对于对象名中包含delimiter的任务，其对象名（如果请求中指定了prefix，则此处的对象名需要去掉prefix）中从首字符至第一个delimiter之间的字符串将作为一个分组并作为commonprefix返回。

maxuploads

列举分段上传任务的最大数目，取值范围为1~1000，当超出范围时，按照默认的1000进行处理。

keymarker

表示列举时返回指定的keymarker之后的分段上传任务。

uploadidmarker

只有与keymarker参数一起使用时才有意义，用于指定返回结果的起始位置，即列举时返回指定keymarker的uploadidmarker之后的分段上传任务。
  • 简单列举分段上传任务
// 创建obsclient实例
var obsclient = new obsclient({
    // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量accesskeyid和secretaccesskey。
    // 前端本身没有process对象，可以使用webpack类打包工具定义环境变量，就可以在代码中运行了。
    // 您可以登录访问管理控制台获取访问密钥ak/sk，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
    access_key_id: process.env.accesskeyid,
    secret_access_key: process.env.secretaccesskey,
    // 这里以华北-北京四为例，其他地区请按实际情况填写
    server: 'https://obs.cn-north-4.myhuaweicloud.com'
});
obsclient.listmultipartuploads({
       bucket : 'bucketname'
}, function (err, result) {
       if(err){
              console.log('error-->'   err);
       }else{
              console.log('status-->'   result.commonmsg.status);
              if(result.commonmsg.status < 300 && result.interfaceresult){
                     for(var i in result.interfaceresult.uploads){
                           console.log('uploads['   i   ']');
                           console.log('uploadid-->'   result.interfaceresult.uploads[i]['uploadid']);
                           console.log('key-->'   result.interfaceresult.uploads[i]['key']);
                           console.log('initiated-->'   result.interfaceresult.uploads[i]['initiated']);
                     }
              }
       }
});
  • 列举分段上传任务至多返回1000个任务信息，如果指定的桶包含的分段上传任务数量大于1000，则返回结果中interfaceresult.istruncated为true表明本次没有返回全部结果，并可通过interfaceresult.nextkeymarker和interfaceresult.nextuploadidmarker获取下次列举的起点。
  • 如果想获取指定桶包含的所有分段上传任务，可以采用分页列举的方式。
  • 列举全部分段上传任务
// 创建obsclient实例
var obsclient = new obsclient({
    // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量accesskeyid和secretaccesskey。
    // 前端本身没有process对象，可以使用webpack类打包工具定义环境变量，就可以在代码中运行了。
    // 您可以登录访问管理控制台获取访问密钥ak/sk，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
    access_key_id: process.env.accesskeyid,
    secret_access_key: process.env.secretaccesskey,
    // 这里以华北-北京四为例，其他地区请按实际情况填写
    server: 'https://obs.cn-north-4.myhuaweicloud.com'
});
var listall = function (keymarker, uploadidmarker) {
       obsclient.listmultipartuploads({
              bucket : 'bucketname',
              keymarker : keymarker,
              uploadidmarker : uploadidmarker
       }, function (err, result) {
              if(err){
                     console.log('error-->'   err);
              }else{
                     console.log('status-->'   result.commonmsg.status);
                     if(result.commonmsg.status < 300 && result.interfaceresult){
                           for(var i in result.interfaceresult.uploads){
                                  console.log('uploads['   i   ']');
                                  console.log('uploadid-->'   result.interfaceresult.uploads[i]['uploadid']);
                                  console.log('key-->'   result.interfaceresult.uploads[i]['key']);
                                  console.log('initiated-->'   result.interfaceresult.uploads[i]['initiated']);
                           }
                           
                           if(result.interfaceresult.istruncated === 'true'){
                                  listall(result.interfaceresult.nextkeymarker, result.interfaceresult.nextuploadidmarker);
                           }
                     }
              }
       });
}
listall();
父主题：

相关文档

网站地图