阿里云ECS上Hadoop HDFS的简单性能测试
在阿里云的ECS上部署了Hadoop,做了下HDFS的简单性能测试,记录如下,性能差距比较大。
使用的阿里云ECS配置如下:
参数名 | 参数值 |
---|---|
Region | 青岛 |
CPU | 1核 |
内存 | 512MB |
实例规格 | ecs.t1.xsmall |
系统盘 | 20G |
操作系统 | CentOS 6.3 64位 |
Hadoop HDFS的配置如下:
参数名 | 参数值 |
---|---|
HDFS版本 | 社区2.4.0 |
集群ECS台数 | 6台 |
JVM堆大小 | -Xmx400m |
NameNode | 2台ECS |
JournalNode | 1台ECS |
DataNode | 3台ECS |
使用了TestDFSIO在同一个网段的另外一台独立的ECS上做多线程的简单写入和读取速率测试,结果如下(3次测试的平均结果):
测试类型 | 并发数 | 每个线程的写入大小 | 速率 |
---|---|---|---|
写入 | 10 | 1GB | 24.01MB/s |
读取 | 10 | 1GB | 40.55MB/s |
虽然是最低配置,但由于机器上没有跑任何额外程序,Hadoop也只启动了HDFS,且测试程序是在另外一台ECS跑,所以正常应该是能跑慢网卡。
由于DataNode数据为3,所以这个速率可以近似认为是单台DataNode写云磁盘的速率,瓶颈应该还是在云磁盘。