阿里云ECS上Hadoop HDFS的简单性能测试

在阿里云的ECS上部署了Hadoop,做了下HDFS的简单性能测试,记录如下,性能差距比较大。

使用的阿里云ECS配置如下:

参数名 参数值
Region 青岛
CPU 1核
内存 512MB
实例规格 ecs.t1.xsmall
系统盘 20G
操作系统 CentOS 6.3 64位

Hadoop HDFS的配置如下:

参数名 参数值
HDFS版本 社区2.4.0
集群ECS台数 6台
JVM堆大小 -Xmx400m
NameNode 2台ECS
JournalNode 1台ECS
DataNode 3台ECS

使用了TestDFSIO在同一个网段的另外一台独立的ECS上做多线程的简单写入和读取速率测试,结果如下(3次测试的平均结果):

测试类型 并发数 每个线程的写入大小 速率
写入 10 1GB 24.01MB/s
读取 10 1GB 40.55MB/s

虽然是最低配置,但由于机器上没有跑任何额外程序,Hadoop也只启动了HDFS,且测试程序是在另外一台ECS跑,所以正常应该是能跑慢网卡。

由于DataNode数据为3,所以这个速率可以近似认为是单台DataNode写云磁盘的速率,瓶颈应该还是在云磁盘。