阿里云ECS上Hadoop HDFS的简单性能测试
在阿里云的ECS上部署了Hadoop，做了下HDFS的简单性能测试，记录如下，性能差距比较大。
使用的阿里云ECS配置如下：
| 参数名 | 参数值 |
|---|---|
| Region | 青岛 |
| CPU | 1核 |
| 内存 | 512MB |
| 实例规格 | ecs.t1.xsmall |
| 系统盘 | 20G |
| 操作系统 | CentOS 6.3 64位 |
Hadoop HDFS的配置如下：
| 参数名 | 参数值 |
|---|---|
| HDFS版本 | 社区2.4.0 |
| 集群ECS台数 | 6台 |
| JVM堆大小 | -Xmx400m |
| NameNode | 2台ECS |
| JournalNode | 1台ECS |
| DataNode | 3台ECS |
使用了TestDFSIO在同一个网段的另外一台独立的ECS上做多线程的简单写入和读取速率测试，结果如下（3次测试的平均结果）：
| 测试类型 | 并发数 | 每个线程的写入大小 | 速率 |
|---|---|---|---|
| 写入 | 10 | 1GB | 24.01MB/s |
| 读取 | 10 | 1GB | 40.55MB/s |
虽然是最低配置，但由于机器上没有跑任何额外程序，Hadoop也只启动了HDFS，且测试程序是在另外一台ECS跑，所以正常应该是能跑慢网卡。
由于DataNode数据为3，所以这个速率可以近似认为是单台DataNode写云磁盘的速率，瓶颈应该还是在云磁盘。
