Ambry
Ambry是一个分布式对象存储系统,支持存储数万亿小型不可变对象(50K-100K)以及数十亿大型对象。它专门设计用于在网络公司存储和提供媒体对象。但它也可用作通用存储系统,用于存储数据库备份、搜索索引或业务报告。该系统具有以下特点:
- 高可用性和水平扩展性
- 低延迟和高吞吐量
- 针对小型和大型对象进行优化
- 成本有效
- 易于使用
需要至少JDK 1.8。
文档
详细文档可在 https://github.com/linkedin/ambry/wiki 获取
研究
在SIGMOD 2016发表的Ambry论文 -> http://dprg.cs.uiuc.edu/data/files/2016/ambry.pdf
如果您希望我们列出基于Ambry研究的论文,请发邮件至ambrydev@googlegroups.com。
入门
步骤 1:下载代码,构建并准备部署。
要获取最新代码并构建它,请执行以下操作:
$ git clone https://github.com/linkedin/ambry.git
$ cd ambry
$ ./gradlew allJar
$ cd target
$ mkdir logs
Ambry使用提供有关集群信息的文件来路由来自前端到服务器的请求,以及在服务器之间进行复制。我们将使用包含一个服务器和一个分区的简单集群图。该分区将使用 /tmp
作为挂载点。
步骤 2:部署服务器。
$ nohup java -Dlog4j2.configurationFile=file:../config/log4j2.xml -jar ambry.jar --serverPropsFilePath ../config/server.properties --hardwareLayoutFilePath ../config/HardwareLayout.json --partitionLayoutFilePath ../config/PartitionLayout.json > logs/server.log &
通过此命令,我们配置log4j属性,为服务器提供配置选项和集群定义,并将输出重定向到日志。记下返回的进程ID(serverProcessID
),因为它将用于关闭。
日志将位于logs/server.log
。或者,您可以更改log4j属性以将日志消息写入文件而不是标准输出。
步骤 3:部署前端。
$ nohup java -Dlog4j2.configurationFile=file:../config/log4j2.xml -cp "*" com.github.ambry.frontend.AmbryFrontendMain --serverPropsFilePath ../config/frontend.properties --hardwareLayoutFilePath ../config/HardwareLayout.json --partitionLayoutFilePath ../config/PartitionLayout.json > logs/frontend.log &
记下返回的进程ID(frontendProcessID
),因为它将用于关闭。确保前端已准备好接受请求。
$ curl http://localhost:1174/healthCheck
GOOD
日志将位于logs/frontend.log
。或者,您可以更改log4j属性以将日志消息写入文件而不是标准输出。
步骤 4:与Ambry互动!
我们现在可以开始将数据存储和检索到Ambry中了。让我们从存储一个简单的图像开始。出于演示目的,我们将使用已复制到target
文件夹中的demo.gif
图像。
POST
$ curl -i -H "x-ambry-service-id:CUrlUpload" -H "x-ambry-owner-id:`whoami`" -H "x-ambry-content-type:image/gif" -H "x-ambry-um-description:Demonstration Image" http://localhost:1174/ --data-binary @demo.gif
HTTP/1.1 201 Created
Location: AmbryID
Content-Length: 0
CUrl命令创建一个包含demo.gif二进制数据的POST请求。除了文件数据,我们还提供了作为blob属性的头。这些包括blob大小、服务ID、所有者ID和内容类型。
除了这些属性,Ambry还提供了任意用户定义元数据的支持。我们提供x-ambry-um-description
作为用户元数据。Ambry不会解释此数据,它仅用于用户注释。
响应中的Location
头是我们刚刚上传的blob的ID。
GET - Blob信息
现在我们已经存储了一个blob,让我们验证一下上传的blob的一些属性。
$ curl -i http://localhost:1174/AmbryID/BlobInfo
HTTP/1.1 200 OK
x-ambry-blob-size: {Blob size}
x-ambry-service-id: CUrlUpload
x-ambry-creation-time: {Creation time}
x-ambry-private: false
x-ambry-content-type: image/gif
x-ambry-owner-id: {username}
x-ambry-um-desc: Demonstration Image
Content-Length: 0
GET - Blob
既然我们已经验证Ambry能正确返回属性,那么让我们获取实际的blob。
$ curl http://localhost:1174/AmbryID > demo-downloaded.gif
$ diff demo.gif demo-downloaded.gif
$
这证实了在POST请求中发送的数据与我们在GET中收到的数据完全一致。如果你想看这个图像,只需在浏览器中访问http://localhost:1174/AmbryID
就可以看到刚刚上传的图像!
DELETE
Ambry是一个不可变的存储,blob不能更新,但可以删除以使其不可检索。让我们删除刚刚创建的blob。
$ curl -i -X DELETE http://localhost:1174/AmbryID
HTTP/1.1 202 Accepted
Content-Length: 0
您将无法再检索blob属性或数据。
$ curl -i http://localhost:1174/AmbryID/BlobInfo
HTTP/1.1 410 Gone
Content-Type: text/plain; charset=UTF-8
Content-Length: 17
Connection: close
Failure: 410 Gone
步骤 5:停止前端和服务器。
$ kill -15 frontendProcessID
$ kill -15 serverProcessID
您可以查看日志以确认服务已关闭。
其他信息:
除了上面演示的简单API外,Ambry还提供了仅获取用户元数据的GET
和HEAD
功能。除了演示的二进制数据POST
,Ambry还支持通过CUrl或Web表单上传multipart/form-data
。
其他值得关注的功能包括:
- 生存时间(TTL): 在
POST
时,可以通过添加名为x-ambry-ttl
的头来提供TTL(以秒为单位)。这意味着Ambry将在TTL到期后停止提供该blob。在GET
时,过期的blob的行为与已删除的blob相同。 - 私有: 在
POST
时,通过提供值为true
的x-ambry-private
头可以将blob标记为私有。可以根据blob是公开还是私有来配置API行为。