分段上传-九游平台

初始化分段上传任务

使用分段上传方式传输数据前，必须先通知obs初始化一个分段上传任务。该操作会返回一个obs服务端创建的全局唯一标识（uploadid），用于标识本次分段上传任务。您可以根据这个唯一标识来发起相关的操作，如取消分段上传任务、列举分段上传任务、列举已上传的段等。

您可以通过obsclient.initiatemultipartupload初始化一个分段上传任务。

• 用initiatemultipartuploadrequest指定上传对象的名称和所属桶。
• 在initiatemultipartuploadrequest中，您可以设置对象mime类型、对象存储类型、对象自定义元数据等对象属性。
• initiatemultipartuploadresponse.uploadid返回分段上传任务的全局唯一标识（uploadid），在后面的操作中将用到它。

上传段

初始化一个分段上传任务之后，可以根据指定的对象名和uploadid来分段上传数据。每一个上传的段都有一个标识它的号码——分段号（partnumber，范围是1~10000）。对于同一个uploadid，该分段号不但唯一标识这一段数据，也标识了这段数据在整个对象内的相对位置。如果您用同一个分段号上传了新的数据，那么obs上已有的这个段号的数据将被覆盖。除了最后一段以外，其他段的大小范围是100kb~5gb；最后段大小范围是0~5gb。每个段不需要按顺序上传，甚至可以在不同进程、不同机器上上传，obs会按照分段号排序组成最终对象。

您可以通过obsclient.uploadpart上传段。

• 上传段接口要求除最后一段以外，其他的段大小都要大于100kb。但是上传段接口并不会立即校验上传段的大小（因为不知道是否为最后一块）；只有调用合并段接口时才会校验。
• obs会将服务端收到段数据的etag值（段数据的md5值）返回给用户。
• 分段号的范围是1~10000。如果超出这个范围，obs将返回400 bad request错误。
• obs 3.0的桶支持最小段的大小为100kb，obs 2.0的桶支持最小段的大小为5mb。请在obs 3.0的桶上执行分段上传操作。

合并段

所有分段上传完成后，需要调用合并段接口来在obs服务端生成最终对象。在执行该操作时，需要提供所有有效的分段列表（包括分段号和分段etag值）；obs收到提交的分段列表后，会逐一验证每个段的有效性。当所有段验证通过后，obs将把这些分段组合成最终的对象。

您可以通过obsclient.completemultipartupload合并段。

分段可以是不连续的。

示例代码如下：

// 初始化配置参数
obsconfig config = new obsconfig();
config.endpoint = "https://your-endpoint";
// 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量accesskeyid和secretaccesskey。
// 您可以登录访问管理控制台获取访问密钥ak/sk，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
string accesskey= environment.getenvironmentvariable("accesskeyid", environmentvariabletarget.machine);
string secretkey= environment.getenvironmentvariable("secretaccesskey", environmentvariabletarget.machine);
// 创建obsclient实例
obsclient client = new obsclient(accesskey, secretkey, config);
try
{
    // 1. 初始化分段上传任务
    initiatemultipartuploadrequest initiaterequest = new initiatemultipartuploadrequest
    {
        bucketname = "bucketname",
        objectkey = "objectname"
    };
    initiatemultipartuploadresponse initresponse = client.initiatemultipartupload(initiaterequest);
    console.writeline("initiatemultipartupload status: {0}", initresponse.statuscode);
    console.writeline("initiatemultipartupload uploadid: {0}", initresponse.uploadid);
    // 2. 上传段
    string filepath = "localfile";//上传的本地文件路径，需要指定到具体的文件名
    long contentlength = new fileinfo(filepath).length;
    long partsize = 15 * (long)math.pow(2, 20); // 每个段大小15 mb
    list uploadresponses = new list();
    long fileposition = 0;
    for (int i = 1; fileposition < contentlength; i  )
    {
        uploadpartrequest uploadrequest = new uploadpartrequest
        {
            bucketname = "bucketname",
            objectkey = "objectname",
            uploadid = initresponse.uploadid,
            partnumber = i,
            partsize = partsize,
            offset = fileposition,
            filepath = filepath
        };
        uploadresponses.add(client.uploadpart(uploadrequest));
        console.writeline("uploadpart count: {0}", uploadresponses.count);
        fileposition  = partsize;
    }
    // 3.合并段
    completemultipartuploadrequest completerequest = new completemultipartuploadrequest()
    {
        bucketname = "bucketname",
        objectkey = "objectname",
        uploadid = initresponse.uploadid,
    };
    completerequest.addpartetags(uploadresponses);
    completemultipartuploadresponse completeuploadresponse = client.completemultipartupload(completerequest);
    console.writeline("completemultipartupload status: {0}", completeuploadresponse.statuscode);
}
catch (obsexception ex)
{
    console.writeline("exception:{0}", ex.errorcode);
    console.writeline("exception message:{0}", ex.errormessage);
}

取消分段上传任务

分段上传任务可以被取消，当一个分段上传任务被取消后，就不能再使用其uploadid做任何操作，已经上传段也会被obs服务端删除。

采用分段上传方式上传对象过程中或上传对象失败后会在桶内产生段，这些段会占用您的存储空间，您可以通过取消该分段上传任务来清理掉不需要的段，节约存储空间。

您可以通过obsclient.abortmultipartupload取消分段上传任务，示例代码如下：

// 初始化配置参数
obsconfig config = new obsconfig();
config.endpoint = "https://your-endpoint";
// 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量accesskeyid和secretaccesskey。
// 您可以登录访问管理控制台获取访问密钥ak/sk，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
string accesskey= environment.getenvironmentvariable("accesskeyid", environmentvariabletarget.machine);
string secretkey= environment.getenvironmentvariable("secretaccesskey", environmentvariabletarget.machine);
// 创建obsclient实例
obsclient client = new obsclient(accesskey, secretkey, config);
//取消分段上传任务
try
{
    abortmultipartuploadrequest request = new abortmultipartuploadrequest
    {
        bucketname = "bucketname",
        objectkey = "objectname",
        uploadid = "uploadid",//待取消的分段上传任务的id
    };
    abortmultipartuploadresponse response = client.abortmultipartupload(request);
    console.writeline("abort multipart upload response: {0}", response.statuscode);
}
catch (obsexception ex)
{
    console.writeline("errorcode: {0}", ex.errorcode);
    console.writeline("errormessage: {0}", ex.errormessage);
}

列举已上传的段

您可使用obsclient.listparts列举出某一分段上传任务所有已经上传成功的段。

该接口可设置的参数如下：

• 简单列举

// 初始化配置参数
obsconfig config = new obsconfig();
config.endpoint = "https://your-endpoint";
// 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量accesskeyid和secretaccesskey。
// 您可以登录访问管理控制台获取访问密钥ak/sk，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
string accesskey= environment.getenvironmentvariable("accesskeyid", environmentvariabletarget.machine);
string secretkey= environment.getenvironmentvariable("secretaccesskey", environmentvariabletarget.machine);
// 创建obsclient实例
obsclient client = new obsclient(accesskey, secretkey, config);
// 简单列举
try
{
    listpartsrequest request = new listpartsrequest();
    request.bucketname = "bucketname";
    request.objectkey = "objectname";
    request.uploadid = "uploadid";
    listpartsresponse response = client.listparts(request);
    console.writeline("list parts response: {0}", response.statuscode);
    foreach (partdetail part in response.parts)
    {
        console.writeline("partnumber: "   part.partnumber);
        console.writeline("size: "   part.size);
        console.writeline("etag: "   part.etag);
        console.writeline("lastmodified: "   part.lastmodified);
    }
}
catch (obsexception ex)
{
    console.writeline("errorcode: {0}", ex.errorcode);
    console.writeline("errormessage: {0}", ex.errormessage);
}

列举段至多返回1000个段信息，如果指定的upload id包含的段数量大于1000，则返回结果中listpartsresult.istruncated为true表明本次没有返回全部段，并可通过listpartsrespon.nextpartnumbermarker获取下次列举的起始位置。

• 列举所有段

由于obsclient.listparts只能列举至多1000个段，如果段数量大于1000，列举所有分段请参考如下示例：

// 初始化配置参数
obsconfig config = new obsconfig();
config.endpoint = "https://your-endpoint";
// 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量accesskeyid和secretaccesskey。
// 您可以登录访问管理控制台获取访问密钥ak/sk，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
string accesskey= environment.getenvironmentvariable("accesskeyid", environmentvariabletarget.machine);
string secretkey= environment.getenvironmentvariable("secretaccesskey", environmentvariabletarget.machine);
// 创建obsclient实例
obsclient client = new obsclient(accesskey, secretkey, config);
// 列举所有段
try
{
    listpartsrequest request = new listpartsrequest();
    request.bucketname = "bucketname";
    request.objectkey = "objectname";
    request.uploadid = "uploadid";
    listpartsresponse response;
    do
    {
        response = client.listparts(request);
        console.writeline("list parts response: {0}", response.statuscode);
        foreach (partdetail part in response.parts)
        {
            console.writeline("partnumber: "   part.partnumber);
            console.writeline("size: "   part.size);
            console.writeline("etag: "   part.etag);
            console.writeline("lastmodified: "   part.lastmodified);
        }
        request.partnumbermarker = response.nextpartnumbermarker;
    }
    while (response.istruncated);
}
catch (obsexception ex)
{
    console.writeline("errorcode: {0}", ex.errorcode);
    console.writeline("errormessage: {0}", ex.errormessage);
}

列举分段上传任务

您可以通过obsclient.listmultipartuploads列举分段上传任务。列举分段上传任务可设置的参数如下：

• 简单列举分段上传任务

// 初始化配置参数
obsconfig config = new obsconfig();
config.endpoint = "https://your-endpoint";
// 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量accesskeyid和secretaccesskey。
// 您可以登录访问管理控制台获取访问密钥ak/sk，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
string accesskey= environment.getenvironmentvariable("accesskeyid", environmentvariabletarget.machine);
string secretkey= environment.getenvironmentvariable("secretaccesskey", environmentvariabletarget.machine);
// 创建obsclient实例
obsclient client = new obsclient(accesskey, secretkey, config);
//简单列举分段上传任务
try
{
    listmultipartuploadsrequest listmultipartuploadsrequest = new listmultipartuploadsrequest();
    listmultipartuploadsrequest.bucketname = "bucketname";
    listmultipartuploadsresponse listmultipartuploadsresponse = client.listmultipartuploads(listmultipartuploadsrequest);
    console.writeline("listmultipartuploadsresponse status code: "   listmultipartuploadsresponse.statuscode);
    foreach (multipartupload upload in listmultipartuploadsresponse.multipartuploads)
    {
        console.writeline("objectkey {0}: " , upload.objectkey);
        console.writeline("initiated {0}: " , upload.initiated);
        console.writeline("\n");
    }
}
catch (obsexception ex)
{
    console.writeline("errorcode: {0}", ex.errorcode);
    console.writeline("errormessage: {0}", ex.errormessage);
}

• 列举分段上传任务至多返回1000个任务信息，如果指定的桶包含的分段上传任务数量大于1000，则listmultipartuploadsresponse.istruncated为true表明本次没有返回全部结果，并可通过listmultipartuploadsresponse.nextkeymarker和listmultipartuploadsresponse.nextuploadidmarker获取下次列举的起点。
• 如果想获取指定桶包含的所有分段上传任务，可以采用分页列举的方式。

• 分页列举全部分段上传任务

// 初始化配置参数
obsconfig config = new obsconfig();
config.endpoint = "https://your-endpoint";
// 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量accesskeyid和secretaccesskey。
// 您可以登录访问管理控制台获取访问密钥ak/sk，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
string accesskey= environment.getenvironmentvariable("accesskeyid", environmentvariabletarget.machine);
string secretkey= environment.getenvironmentvariable("secretaccesskey", environmentvariabletarget.machine);
// 创建obsclient实例
obsclient client = new obsclient(accesskey, secretkey, config);
//列举全部分段上传任务
try
{
    listmultipartuploadsrequest request = new listmultipartuploadsrequest();
    request.bucketname = "bucketname";
    listmultipartuploadsresponse response;
    do
    {
        response = client.listmultipartuploads(request);
        console.writeline("listmultipartuploadsresponse status code: "   response.statuscode);
        foreach (multipartupload upload in response.multipartuploads)
        {
            console.writeline("objectkey {0}: " , upload.objectkey);
            console.writeline("initiated {0}: " , upload.initiated);
            console.writeline("\n");
        }
        request.keymarker = response.nextkeymarker;
        request.uploadidmarker = response.nextuploadidmarker;
    }
    while (response.istruncated);
}
catch (obsexception ex)
{
    console.writeline("errorcode: {0}", ex.errorcode);
    console.writeline("errormessage: {0}", ex.errormessage);
}