九游平台/ 对象存储服务 obs/ sdk参考/ / / 上传对象-流式上传(python sdk)
更新时间：2024-11-13 gmt 08:00

上传对象-九游平台

功能说明

通过sdk的流式上传，可以上传小于5gb的文件。本章节介绍如何使用python sdk流式上传对象。

流式上传使用包含“read”属性的可读对象作为对象的数据源，以网络流或文件流方式上传数据到指定桶。

接口约束

  • 您必须是桶拥有者或拥有上传对象的权限，才能上传对象。建议使用iam或桶策略进行授权，如果使用iam则需授予obs:object:putobject权限，如果使用桶策略则需授予putobject权限。相关授权方式介绍可参见obs权限控制概述，配置方式详见、。
  • obs支持的region与endpoint的对应关系，详细信息请参见。
  • 单次上传对象大小范围是[0, 5gb]。
  • 如果需要上传超过5gb的大文件，需要通过来分段上传。

方法定义

obsclient.putcontent(bucketname, objectkey, content, metadata, headers, progresscallback, autoclose, extensionheaders)

请求参数

表1 请求参数列表

参数名称

参数类型

是否必选

描述

bucketname

str

必选

参数解释：

桶名。

约束限制：

  • 桶的名字需全局唯一，不能与已有的任何桶名称重复，包括其他用户创建的桶。
  • 桶命名规则如下：
    • 3～63个字符，数字或字母开头，支持小写字母、数字、“-”、“.”。
    • 禁止使用ip地址。
    • 禁止以“-”或“.”开头及结尾。
    • 禁止两个“.”相邻（如：“my..bucket”）。
    • 禁止“.”和“-”相邻（如：“my-.bucket”和“my.-bucket”）。
  • 同一用户在同一个区域多次创建同名桶不会报错，创建的桶属性以第一次请求为准。

默认取值：

无

objectkey

str

必选

参数解释：

对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径，路径中不包含桶名。

例如，您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中，对象名为folder/test.txt。

取值范围：

长度大于0且不超过1024的字符串。

默认取值：

无

content

str

或

readable object

可选

参数解释：

待上传对象的内容。

取值范围：

须知：
  • 使用流式上传时，content参数必须是包含“read”属性的可读对象。
  • 上传文件流时，必须以二进制模式（“rb”模式或“rb ”模式）打开文件。

默认取值：

无

metadata

dict

可选

参数解释：

待上传对象的自定义元数据。obs支持用户使用以“x-obs-meta-”开头的消息头来加入自定义的元数据，以便对对象进行自定义管理。当用户获取此对象或查询此对象元数据时，加入的自定义元数据将会在返回的消息头中出现。

约束限制：

  • 所有自定义元数据大小的总和不超过8k。单个自定义元数据大小的计算方式为：每个键和值的utf-8 编码中的字节总数。
  • 自定义元数据的key值不区分大小写，obs统一转为小写进行存储。value值区分大小写。
  • 自定义元数据key-value对都必须符合us-ascii。如果一定要使用非ascii码或不可识别字符，需要客户端自行做编解码处理，可以采用url编码或者base64编码，服务端不会做解码处理。例如x-obs-meta-中文：中文 经url编码后发送，“中文”的url编码为：中文，则响应为x-obs-meta-中文: 中文

默认取值：

无

headers

putobjectheader

可选

参数解释：

上传对象的头域，用于设置对象的基本信息，包括存储类别、冗余策略等。

取值范围：

参考putobjectheader。

默认取值：

无

progresscallback

callable

可选

参数解释：

获取上传进度的回调函数。

默认取值：

无

说明：

该回调函数依次包含三个参数：已上传的字节数、总字节数、已使用的时间（单位：秒），示例代码参考。

上传进度回调功能仅支持流式上传、文件上传、上传段、追加上传和断点续传上传。

autoclose

bool

可选

参数解释：

上传完成后，自动关闭数据流。

取值范围：

true：自动关闭数据流。

false：不开启自动关闭数据流。

默认取值：

默认为true。

extensionheaders

dict

可选

参数解释：

接口的拓展头域。

取值范围：

参考。

默认取值：

无
表2 putobjectheader

参数名称

参数类型

是否必选

描述

md5

str

可选

参数解释：

待上传对象数据的md5值（经过base64编码），提供给obs服务端，校验数据完整性。

取值范围：

按照rfc 1864标准计算出消息体的md5摘要字符串，即消息体128-bit md5值经过base64编码后得到的字符串。

示例：n58ig6hfm7vqi4k0vnwpog==。

默认取值：

无

acl

str

可选

参数解释：

创建对象时可指定的预定义访问策略。有关访问控制列表（access control list，acl）功能的详细信息可参见acl功能介绍。

取值范围：

可选择的访问策略选项参见预定义访问策略。

默认取值：

无

location

str

可选

参数解释：

当桶设置了website配置，可以将获取这个对象的请求重定向到桶内另一个对象或一个外部的url。

例如，重定向请求到桶内另一对象：

location:/anotherpage.html

或重定向请求到一个外部url：

location:http://www.example.com/

obs将这个值从头域中取出，保存在对象的元数据“location”中。

约束限制：

  • 必须以“/”、“http://”或“https://”开头，长度不超过2kb。
  • obs仅支持为桶根目录下的对象设置重定向，不支持为桶中文件夹下的对象设置重定向。

默认取值：

无

contenttype

str

可选

参数解释：

待上传对象的文件类型（mime类型）。contenttype（mime）用于标识发送或接收数据的类型，浏览器根据该参数来决定数据的打开方式。

取值范围：

常见的contenttype（mime）列表参见。

默认取值：

如果您在上传object时未指定contenttype，sdk会根据指定object名称的后缀名来判定文件类型并自动填充contenttype。

contentlength

int

可选

参数解释：

待上传对象数据的长度。

约束限制：

  • 单次上传对象大小范围是[0, 5gb]。
  • 如果需要上传超过5gb的大文件，需要通过来分段上传。

默认取值：

如果不传，则sdk会自动计算上传对象数据的长度。

sseheader

ssecheader

或

ssekmsheader

可选

参数解释：

服务端加密头域，ssecheader或ssekmsheader。

默认取值：

无

storageclass

str

可选

参数解释：

对象的存储类型。

取值范围：

可选择的存储类型参见存储类型。

默认取值：

无

successactionredirect

str

可选

参数解释：

此参数的值是一个url，用于指定当此次请求操作成功响应后的重定向的地址。

  • 如果此参数值有效且操作成功，响应码为303，返回值中的location头域由此参数以及桶名、对象名、对象的etag组成。
  • 如果此参数值无效，则obs忽略此参数的作用，返回值中的location头域为对象地址，响应码根据操作成功或失败正常返回。

默认取值：

无

extensiongrants

list of extensiongrant

可选

参数解释：

待上传对象的扩展权限列表。

取值范围：

参考extensiongrant。

默认取值：

无

expires

int

可选

参数解释：

表示对象的过期时间（从对象最后修改时间开始计算），过期之后对象会被自动删除。

约束限制：

此字段对于每个对象仅支持上传时配置，不支持后期通过修改元数据接口修改。

取值范围：

大于等于0的整型数，单位：天。

默认取值：

无
表3 headpermission

常量名

原始值

说明

headpermission.private

private

私有读写。

桶或对象的所有者拥有完全控制的权限，其他任何人都没有访问权限。

headpermission.public_read

public-read

公共读私有写。

设在桶上，所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本。

设在对象上，所有人可以获取该对象内容和元数据。

headpermission.public_read_write

public-read-write

公共读写。

设在桶上，所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本、上传对象、删除对象、初始化段任务、上传段、合并段、拷贝段、取消多段上传任务。

设在对象上，所有人可以获取该对象内容和元数据。

headpermission.public_read_delivered

public-read-delivered

桶公共读，桶内对象公共读。

设在桶上，所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本，可以获取该桶内对象的内容和元数据。

说明：

public_read_delivered不能应用于对象。

headpermission.public_read_write_delivered

public-read-write-delivered

桶公共读写，桶内对象公共读写。

设在桶上，所有人可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本、上传对象、删除对象、初始化段任务、上传段、合并段、拷贝段、取消多段上传任务，可以获取该桶内对象的内容和元数据。

说明：

public_read_write_delivered不能应用于对象。

headpermission.bucket_owner_full_control

public-read-write-delivered

设在对象上，桶和对象的所有者拥有对象的完全控制权限，其他任何人都没有访问权限。默认情况下，上传对象至其他用户的桶中，桶拥有者没有对象的控制权限。对象拥有者为桶拥有者添加此权限控制策略后，桶所有者可以完全控制对象。例如，用户a上传对象x至用户b的桶中，系统默认用户b没有对象x的控制权。当用户a为对象x设置bucket-owner-full-control策略后，用户b就拥有了对象x的控制权。
表4 storageclass

参数名称

参数类型

描述

standard

标准存储

参数解释：

标准存储拥有低访问时延和较高的吞吐量，适用于有大量热点对象（平均一个月多次）或小对象（<1mb），且需要频繁访问数据的业务场景。

warm

低频访问存储

参数解释：

低频访问存储适用于不频繁访问（平均一年少于12次）但在需要时也要求能够快速访问数据的业务场景。

cold

归档存储

参数解释：

归档存储适用于很少访问（平均一年访问一次）数据的业务场景。

deep_archive

深度归档存储（受限公测）

参数解释：

深度归档存储适用于长期不访问（平均几年访问一次）数据的业务场景。
表5 ssecheader

参数名称

参数类型

是否必选

描述

encryption

str

必选

参数解释：

以sse-c方式加密对象。

取值范围：

aes256，即高级加密标准（advanced encryption standard，aes）。

默认取值：

无

key

str

必选

参数解释：

sse-c方式下加密的密钥，与加密方式对应，如encryption=‘aes256’，密钥就是由aes256加密算法得到的密钥。

取值范围：

长度为32字符串。

默认取值：

无
表6 ssekmsheader

参数名称

参数类型

是否必选

描述

encryption

str

必选

参数解释：

以sse-kms方式加密对象。

取值范围：

可选值：kms，即选择sse-kms方式加密对象。

默认取值：

无

key

str

可选

参数解释：

sse-kms方式下加密的主密钥。

取值范围：

支持两种格式的密钥描述方式：

  • regionid:domainid(租户id):key/key_id
  • key_id

其中：

  • regionid是使用密钥所属region的id，可在页面获取；
  • domainid是使用密钥所属账号的账号id，获取方法参见；
  • key_id是从数据加密服务创建的密钥id，获取方法请参见查看密钥。

默认取值：

  • 如果用户没有提供该头域，那么默认的主密钥将会被使用。
  • 如果默认主密钥不存在，将默认创建并使用。
表7 extensiongrant

参数名称

参数类型

是否必选

描述

granteeid

str

可选

参数解释：

被授权用户的账号id，即domain_id。

取值范围：

获取账号id的方法请参见。

默认取值：

无

permission

str

可选

参数解释：

被授予的权限。

默认取值：

无
表8 permission

常量值

说明

read

读权限。

如果有桶的读权限，则可以获取该桶内对象列表、桶内多段任务、桶的元数据、桶的多版本。

如果有对象的读权限，则可以获取该对象内容和元数据。

write

写权限。

如果有桶的写权限，则可以上传、覆盖和删除该桶内任何对象和段。

此权限在对象上不适用。

read_acp

读取acl配置的权限。

如果有读acp的权限，则可以获取对应的桶或对象的权限控制列表（acl）。

桶或对象的所有者永远拥有读对应桶或对象acp的权限。

write_acp

修改acl配置的权限。

如果有写acp的权限，则可以更新对应桶或对象的权限控制列表（acl）。

桶或对象的所有者永远拥有写对应桶或对象的acp的权限。

拥有了写acp的权限，由于可以更改权限控制策略，实际上意味着拥有了完全访问的权限。

full_control

完全控制权限，包括对桶或对象的读写权限，以及对桶或对象acl配置的读写权限。

如果有桶的完全控制权限意味着拥有read、write、read_acp和write_acp的权限。

如果有对象的完全控制权限意味着拥有read、read_acp和write_acp的权限。

返回结果

表9 返回结果

类型

说明

getresult

参数解释：

sdk公共结果对象。
表10 getresult

参数名称

参数类型

描述

status

int

参数解释：

http状态码。

取值范围：

状态码是一组从2xx（成功）到4xx或5xx（错误）的数字代码，状态码表示了请求响应的状态。完整的状态码列表请参见。

默认取值：

无

reason

str

参数解释：

http文本描述。

默认取值：

无

errorcode

str

参数解释：

obs服务端错误码，当status参数小于300时为空。

默认取值：

无

errormessage

str

参数解释：

obs服务端错误描述，当status参数小于300时为空。

默认取值：

无

requestid

str

参数解释：

obs服务端返回的请求id。

默认取值：

无

indicator

str

参数解释：

obs服务端返回的错误定位码。

默认取值：

无

hostid

str

参数解释：

请求的服务端id，当status参数小于300时为空。

默认取值：

无

resource

str

参数解释：

发生错误时相关的桶或对象，当status参数小于300时为空。

默认取值：

无

header

list

参数解释：

响应消息头列表，由多个元组构成。每个元组均包含两个元素，代表响应头的键值对。

默认取值：

无

body

object

参数解释：

操作成功后的结果数据，当status大于300时为空。该值根据调用接口的不同而不同，参见“”章节和“”章节的详细描述。

默认取值：

无
表11 getresult.body

getresult.body类型

说明

putcontentresponse

参数解释：

上传对象响应结果，参考。
表12 putcontentresponse

参数名称

参数类型

描述

storageclass

str

参数解释：

对象的存储类型。

取值范围：

  • 当对象存储类型是标准存储时，该值为空。
  • 可选择的存储类型参见storageclass。

默认取值：

无

versionid

str

参数解释：

对象的版本号。如果桶的多版本状态为开启，则会返回对象的版本号。

取值范围：

长度为32的字符串。

默认取值：

无

etag

str

参数解释：

对象的etag值，即base64编码的128位md5摘要。etag是对象内容的唯一标识，可以通过该值识别对象内容是否有变化。比如上传对象时etag为a，下载对象时etag为b，则说明对象内容发生了变化。etag只反映变化的内容，而不是其元数据。上传的对象或拷贝操作创建的对象，都有唯一的etag。

约束限制：

当对象是服务端加密的对象时，etag值不是对象的md5值。

取值范围：

长度为32的字符串。

默认取值：

无

ssekms

str

参数解释：

sse-kms方式的算法。

取值范围：

kms，即以sse-kms方式加密对象。

默认取值：

无

ssekmskey

str

参数解释：

sse-kms加密方式下使用的kms主密钥的id值。

取值范围：

有效值支持两种格式：

  1. regionid:domainid(账号id):key/key_id
  2. key_id

其中：

  • regionid是使用密钥所属region的id，可在页面获取；
  • domainid是使用密钥所属账号的账号id，获取方法参见；
  • key_id是从数据加密服务创建的密钥id，获取方法请参见查看密钥。

默认取值：

  • 如果用户没有提供该头域，那么默认的主密钥将会被使用。
  • 如果默认主密钥不存在，将默认创建并使用。

ssec

str

参数解释：

sse-c方式的算法。

取值范围：

aes256。

默认取值：

无

sseckeymd5

str

参数解释：

sse-c方式下加密使用密钥的md5值，该值用于验证密钥传输过程中是否出错。

约束限制：

由密钥值经过md5加密再经过base64编码后得到，示例：4xvb3tbntn tieva0/fgaq==

默认取值：

无

objecturl

str

参数解释：

对象的全路径。

默认取值：

无

代码样例

本示例用于上传网络流对象。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
 
from obs import obsclient
import os
import traceback
import sys
if sys.version_info.major == 2 or not sys.version > '3':
    import httplib
else:
    import http.client as httplib
# 推荐通过环境变量获取aksk，这里也可以使用其他外部引入方式传入。如果使用硬编码可能会存在泄露风险
# 您可以登录访问管理控制台获取访问密钥ak/sk，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
ak = os.getenv("accesskeyid")
sk = os.getenv("secretaccesskey")
# 【可选】如果使用临时aksk和securitytoken访问obs，则同样推荐通过环境变量获取
# security_token = os.getenv("securitytoken")
# server填写bucket对应的endpoint, 这里以华北-北京四为例，其他地区请按实际情况填写
server = "https://obs.cn-north-4.myhuaweicloud.com"
# 创建obsclient实例
# 如果使用临时aksk和securitytoken访问obs，需要在创建实例时通过security_token参数指定securitytoken值
obsclient = obsclient(access_key_id=ak, secret_access_key=sk, server=server)
try:
    # 设置网络流
    conn = httplib.httpconnection('www.a.com', 80)
    # 获取网络流
    conn.request('get', '/')
    # 读取网络流
    content = conn.getresponse()
    bucketname = "examplebucket"
    objectkey = "objectname"
    # 流式上传
    resp = obsclient.putcontent(bucketname, objectkey, content)
    # 返回码为2xx时，接口调用成功，否则接口调用失败
    if resp.status < 300:
        print('put content succeeded')
        print('requestid:', resp.requestid)
    else:
        print('put content failed')
        print('requestid:', resp.requestid)
        print('errorcode:', resp.errorcode)
        print('errormessage:', resp.errormessage)
except:
    print('put content failed')
    print(traceback.format_exc())

本示例用于上传文件流对象。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
 
from obs import obsclient
import os
import traceback
# 推荐通过环境变量获取aksk，这里也可以使用其他外部引入方式传入。如果使用硬编码可能会存在泄露风险
# 您可以登录访问管理控制台获取访问密钥ak/sk，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
ak = os.getenv("accesskeyid")
sk = os.getenv("secretaccesskey")
# 【可选】如果使用临时aksk和securitytoken访问obs，则同样推荐通过环境变量获取
# security_token = os.getenv("securitytoken")
# server填写bucket对应的endpoint, 这里以华北-北京四为例，其他地区请按实际情况填写
server = "https://obs.cn-north-4.myhuaweicloud.com"
# 创建obsclient实例
# 如果使用临时aksk和securitytoken访问obs，需要在创建实例时通过security_token参数指定securitytoken值
obsclient = obsclient(access_key_id=ak, secret_access_key=sk, server=server)
try:
    # 读取文件流
    content = open('localfile', 'rb')
    bucketname = "examplebucket"
    objectkey = "objectname"
    # 流式上传
    resp = obsclient.putcontent(bucketname, objectkey, content)
    # 返回码为2xx时，接口调用成功，否则接口调用失败
    if resp.status < 300:
        print('put content succeeded')
        print('requestid:', resp.requestid)
    else:
        print('put content failed')
        print('requestid:', resp.requestid)
        print('errorcode:', resp.errorcode)
        print('errormessage:', resp.errormessage)
except:
    print('put content failed')
    print(traceback.format_exc())

相关链接

  • 关于上传对象-put上传的api说明，请参见put上传。
  • 更多关于上传对象的示例代码，请参见。
  • 上传对象过程中返回的错误码含义、问题原因及处理措施可参考obs错误码。
  • 上传对象常见问题请参见上传对象失败。
父主题：

相关文档

网站地图