分段上传-九游平台

初始化分段上传任务

使用分段上传方式传输数据前，必须先通知obs初始化一个分段上传任务。该操作会返回一个obs服务端创建的全局唯一标识（upload id），用于标识本次分段上传任务。您可以根据这个唯一标识来发起相关的操作，如取消分段上传任务、列举分段上传任务、列举已上传的段等。

您可以通过obsclient.initiatemultipartupload初始化一个分段上传任务：

// 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量access_key_id和secret_access_key_id。
// 您可以登录访问管理控制台获取访问密钥ak/sk，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
string ak = system.getenv("access_key_id");
string sk = system.getenv("secret_access_key_id");
string endpoint = "https://your-endpoint";
// 创建obsclient实例
obsclient obsclient = new obsclient(ak, sk, endpoint);
initiatemultipartuploadrequest request = new initiatemultipartuploadrequest("bucketname", "objectname");
objectmetadata metadata = new objectmetadata();
metadata.addusermetadata("property", "property-value");
metadata.setcontenttype("text/plain");
request.setmetadata(metadata);
initiatemultipartuploadresult result = obsclient.initiatemultipartupload(request);
string uploadid = result.getuploadid();
log.i("initiatemultipartupload", "\t"   uploadid);

• 用initiatemultipartuploadrequest指定上传对象的名称和所属桶。
• 在initiatemultipartuploadrequest中，您可以设置对象mime类型、对象存储类型、对象自定义元数据等对象属性。
• initiatemultipartuploadresult.getuploadid返回分段上传任务的全局唯一标识（upload id），在后面的操作中将用到它。
• 由于 http 编码规范限制，无法发送非 ascii 码字符，sdk 会在发送请求时对您头域中的中文汉字进行 url 编码，发送编码后数据。如您设置的值 content-disposition 为“attachment; filename="中文.txt"” ，则对象元数据中存储的信息为“attachment; filename="中文.txt"”。使用浏览器访问时浏览器将会自动解码。
• 如果不需要 sdk 帮您编码，可以调用 initiatemultipartuploadrequest.setisencodeheaders(false) 关闭自动编码。

上传段

初始化一个分段上传任务之后，可以根据指定的对象名和upload id来分段上传数据。每一个上传的段都有一个标识它的号码——分段号（part number，范围是1~10000）。对于同一个upload id，该分段号不但唯一标识这一段数据，也标识了这段数据在整个对象内的相对位置。如果您用同一个分段号上传了新的数据，那么obs上已有的这个段号的数据将被覆盖。除了最后一段以外，其他段的大小范围是100kb~5gb；最后段大小范围是0~5gb。每个段不需要按顺序上传，甚至可以在不同进程、不同机器上上传，obs会按照分段号排序组成最终对象。

您可以通过obsclient.uploadpart上传段：

// 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量access_key_id和secret_access_key_id。
// 您可以登录访问管理控制台获取访问密钥ak/sk，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
string ak = system.getenv("access_key_id");
string sk = system.getenv("secret_access_key_id");
string endpoint = "https://your-endpoint";
string uploadid = "upload id from initiatemultipartupload";
// 创建obsclient实例
obsclient obsclient = new obsclient(ak, sk, endpoint);
list partetags = new arraylist();
// 上传第一段
uploadpartrequest request = new uploadpartrequest("bucketname", "objectname");
// 设置upload id
request.setuploadid(uploadid);
// 设置分段号，范围是1~10000，
request.setpartnumber(1);
// 设置将要上传的大文件，其中localfile为待上传的本地文件路径，需要指定到具体的文件名
request.setfile(new file("localfile"));
// 设置分段大小
request.setpartsize(5 * 1024 * 1024l);
uploadpartresult result = obsclient.uploadpart(request);
partetags.add(new partetag(result.getetag(), result.getpartnumber()));
// 上传第二段
request = new uploadpartrequest("bucketname", "objectname");
// 设置upload id
request.setuploadid(uploadid);
// 设置分段号
request.setpartnumber(2);
// 设置将要上传的大文件
request.setfile(new file("localfile"));
// 设置第二段的段偏移量
request.setoffset(5 * 1024 * 1024l);
// 设置分段大小
request.setpartsize(5 * 1024 * 1024l);
result = obsclient.uploadpart(request);
partetags.add(new partetag(result.getetag(), result.getpartnumber()));

• 上传段接口要求除最后一段以外，其他的段大小都要大于100kb。但是上传段接口并不会立即校验上传段的大小（因为不知道是否为最后一块）；只有调用合并段接口时才会校验。
• obs会将服务端收到段数据的etag值（段数据的md5值）返回给用户。
• 为了保证数据在网络传输过程中不出现错误，可以通过设置uploadpartrequest.setattachmd5为true来让sdk自动计算每段数据的md5值（仅在数据源为本地文件时有效），并放到content-md5请求头中；obs服务端会计算上传数据的md5值与sdk计算的md5值比较，保证数据完整性。
• 可以通过uploadpartrequest.setcontentmd5直接设置上传数据的md5值，提供给obs服务端用于校验数据完整性。如果设置了该值，uploadpartrequest.setattachmd5参数会被忽略。
• 分段号的范围是1~10000。如果超出这个范围，obs将返回400 bad request错误。

合并段

所有分段上传完成后，需要调用合并段接口来在obs服务端生成最终对象。在执行该操作时，需要提供所有有效的分段列表（包括分段号和分段etag值）；obs收到提交的分段列表后，会逐一验证每个段的有效性。当所有段验证通过后，obs将把这些分段组合成最终的对象。

您可以通过obsclient.completemultipartupload合并段：

// 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量access_key_id和secret_access_key_id。
// 您可以登录访问管理控制台获取访问密钥ak/sk，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
string ak = system.getenv("access_key_id");
string sk = system.getenv("secret_access_key_id");
string endpoint = "https://your-endpoint";
string uploadid = "upload id from initiatemultipartupload";
// 创建obsclient实例
obsclient obsclient = new obsclient(ak, sk, endpoint);
list partetags = new arraylist();
// 第一段
partetag part1 = new partetag();
part1.setpartnumber(1);
part1.setetag("etag1");
partetags.add(part1);
// 第二段
partetag part2 = new partetag();
part2.setpartnumber(2);
part2.setetag("etag2");
partetags.add(part2);
completemultipartuploadrequest request = new completemultipartuploadrequest("bucketname", "objectname", uploadid, partetags);
obsclient.completemultipartupload(request);

• 上面代码中的 partetags是进行上传段后保存的分段号和分段etag值的列表，它必须是按分段号升序排列。
• 分段可以是不连续的。

并发分段上传

分段上传的主要目的是解决大文件上传或网络条件较差的情况。下面的示例代码展示了如何使用分段上传并发上传大文件：

// 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量access_key_id和secret_access_key_id。
// 您可以登录访问管理控制台获取访问密钥ak/sk，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
string ak = system.getenv("access_key_id");
string sk = system.getenv("secret_access_key_id");
string endpoint = "https://your-endpoint";
final string bucketname = "bucketname";
final string objectkey = "objectname";
// 创建obsclient实例
final obsclient obsclient = new obsclient(ak, sk, endpoint);
// 初始化线程池
executorservice executorservice = executors.newfixedthreadpool(20);
final file largefile = new file("localfile");
// 初始化分段上传任务
initiatemultipartuploadrequest request = new initiatemultipartuploadrequest(bucketname, objectkey);
initiatemultipartuploadresult result = obsclient.initiatemultipartupload(request);
final string uploadid = result.getuploadid();
log.i("uploadpart", "\t"  uploadid   "\n");
// 每段上传100mb
long partsize = 100 * 1024 * 1024l;
long filesize = largefile.length();
// 计算需要上传的段数
long partcount = filesize % partsize == 0 ? filesize / partsize : filesize / partsize   1;
final list partetags = collections.synchronizedlist(new arraylist());
// 执行并发上传段
for (int i = 0; i < partcount; i  )
{
    // 分段在文件中的起始位置
    final long offset = i * partsize;
    // 分段大小
    final long currpartsize = (i   1 == partcount) ? filesize - offset : partsize;
    // 分段号
    final int partnumber = i   1;
    executorservice.execute(new runnable()
    {
        @override
        public void run()
        {
            uploadpartrequest uploadpartrequest = new uploadpartrequest();
            uploadpartrequest.setbucketname(bucketname);
            uploadpartrequest.setobjectkey(objectkey);
            uploadpartrequest.setuploadid(uploadid);
            uploadpartrequest.setfile(largefile);
            uploadpartrequest.setpartsize(currpartsize);
            uploadpartrequest.setoffset(offset);
            uploadpartrequest.setpartnumber(partnumber);
            
            uploadpartresult uploadpartresult;
            try
            {
                uploadpartresult = obsclient.uploadpart(uploadpartrequest);
                log.i("uploadpart", "part#"   partnumber   " done\n");
                partetags.add(new partetag(uploadpartresult.getetag(), uploadpartresult.getpartnumber()));
            }
            catch (obsexception e)
            {
                log.e("uploadpart", e.getmessage(), e);
            }
        }
    });
}
// 等待上传完成
executorservice.shutdown();
while (!executorservice.isterminated())
{
    try
    {
        executorservice.awaittermination(5, timeunit.seconds);
    }
    catch (interruptedexception e)
    {
        log.e("uploadpart", e.getmessage(), e);
    }
}
// 合并段
completemultipartuploadrequest completemultipartuploadrequest =
    new completemultipartuploadrequest(bucketname, objectkey, uploadid, partetags);
obsclient.completemultipartupload(completemultipartuploadrequest);

取消分段上传任务

分段上传任务可以被取消，当一个分段上传任务被取消后，就不能再使用其upload id做任何操作，已经上传段也会被obs删除。

采用分段上传方式上传对象过程中或上传对象失败后会在桶内产生段，这些段会占用您的存储空间，您可以通过取消该分段上传任务来清理掉不需要的段，节约存储空间。

您可以通过obsclient.abortmultipartupload取消分段上传任务：

// 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量access_key_id和secret_access_key_id。
// 您可以登录访问管理控制台获取访问密钥ak/sk，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
string ak = system.getenv("access_key_id");
string sk = system.getenv("secret_access_key_id");
string endpoint = "https://your-endpoint";
string uploadid = "upload id from initiatemultipartupload";
// 创建obsclient实例
obsclient obsclient = new obsclient(ak, sk, endpoint);
abortmultipartuploadrequest request = new abortmultipartuploadrequest("bucketname", "objectname", uploadid);
obsclient.abortmultipartupload(request);

列举已上传的段

您可使用obsclient.listparts列举出某一分段上传任务所有已经上传成功的段。

该接口可设置的参数如下：

• 简单列举

// 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量access_key_id和secret_access_key_id。
// 您可以登录访问管理控制台获取访问密钥ak/sk，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
string ak = system.getenv("access_key_id");
string sk = system.getenv("secret_access_key_id");
string endpoint = "https://your-endpoint";
string uploadid = "upload id from initiatemultipartupload";
// 创建obsclient实例
obsclient obsclient = new obsclient(ak, sk, endpoint);
//列举已上传的段，其中uploadid来自于initiatemultipartupload        
listpartsrequest request = new listpartsrequest("bucketname", "objectname");
request.setuploadid(uploadid);
listpartsresult result = obsclient.listparts(request);
for(multipart part : result.getmultipartlist()){
    // 分段号，上传时候指定
   log.i("listparts", "\t" part.getpartnumber());
    // 段数据大小
   log.i("listparts","\t" part.getsize());
    // 分段的etag值
   log.i("listparts","\t" part.getetag());
    // 段的最后上传时间
   log.i("listparts","\t" part.getlastmodified());
}

• 列举段至多返回1000个段信息，如果指定的upload id包含的段数量大于1000，则返回结果中listpartsresult.istruncated为true表明本次没有返回全部段，并可通过listpartsresult.getnextpartnumbermarker获取下次列举的起始位置。
• 如果想获取指定upload id包含的所有分段，可以采用分页列举的方式。

• 列举所有段

由于obsclient.listparts只能列举至多1000个段，如果段数量大于1000，列举所有分段请参考如下示例：

// 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量access_key_id和secret_access_key_id。
// 您可以登录访问管理控制台获取访问密钥ak/sk，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
string ak = system.getenv("access_key_id");
string sk = system.getenv("secret_access_key_id");
string endpoint = "https://your-endpoint";
string uploadid = "upload id from initiatemultipartupload";
// 创建obsclient实例
obsclient obsclient = new obsclient(ak, sk, endpoint);
// 列举所有已上传的段，其中uploadid来自于initiatemultipartupload        
listpartsrequest request = new listpartsrequest("bucketname", "objectname");
request.setuploadid(uploadid);
listpartsresult result;
do{
    result = obsclient.listparts(request);
    for(multipart part : result.getmultipartlist()){
        // 分段号，上传时候指定
       log.i("listparts","\t" part.getpartnumber());
        // 段数据大小
       log.i("listparts","\t" part.getsize());
        // 分段的etag值
       log.i("listparts","\t" part.getetag());
        // 段的最后上传时间
       log.i("listparts","\t" part.getlastmodified());
    }
    request.setpartnumbermarker(integer.parseint(result.getnextpartnumbermarker()));
}while(result.istruncated());

列举分段上传任务

您可以通过obsclient.listmultipartuploads列举分段上传任务。列举分段上传任务可设置的参数如下：

• 简单列举分段上传任务

// 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量access_key_id和secret_access_key_id。
// 您可以登录访问管理控制台获取访问密钥ak/sk，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
string ak = system.getenv("access_key_id");
string sk = system.getenv("secret_access_key_id");
string endpoint = "https://your-endpoint";
string uploadid = "upload id from initiatemultipartupload";
// 创建obsclient实例
obsclient obsclient = new obsclient(ak, sk, endpoint);
listmultipartuploadsrequest request = new listmultipartuploadsrequest("bucketname");
multipartuploadlisting result = obsclient.listmultipartuploads(request);
for(multipartupload upload : result.getmultiparttasklist()){
    log.i("listmultipartuploads","\t"   upload.getuploadid());
    log.i("listmultipartuploads","\t"   upload.getobjectkey());
    log.i("listmultipartuploads","\t"   upload.getinitiateddate());
}

• 列举分段上传任务至多返回1000个任务信息，如果指定的桶包含的分段上传任务数量大于1000，则multipartuploadlisting.istruncated为true表明本次没有返回全部结果，并可通过multipartuploadlisting.getnextkeymarker和multipartuploadlisting.getnextuploadidmarker获取下次列举的起点。
• 如果想获取指定桶包含的所有分段上传任务，可以采用分页列举的方式。

• 分页列举全部分段上传任务

// 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量access_key_id和secret_access_key_id。
// 您可以登录访问管理控制台获取访问密钥ak/sk，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
string ak = system.getenv("access_key_id");
string sk = system.getenv("secret_access_key_id");
string endpoint = "https://your-endpoint";
string uploadid = "upload id from initiatemultipartupload";
// 创建obsclient实例
obsclient obsclient = new obsclient(ak, sk, endpoint);
listmultipartuploadsrequest request = new listmultipartuploadsrequest("bucketname");
multipartuploadlisting result;
do{
    result = obsclient.listmultipartuploads(request);
    for(multipartupload upload : result.getmultiparttasklist()){
        log.i("listmultipartuploads","\t"   upload.getuploadid());
        log.i("listmultipartuploads","\t"   upload.getobjectkey());
        log.i("listmultipartuploads","\t"   upload.getinitiateddate());
    }
    request.setkeymarker(result.getnextkeymarker());
    request.setuploadidmarker(result.getnextuploadidmarker());
}while(result.istruncated());