Azure HDInsight 是完全托管的云服务,通过它,可以轻松、快捷、经济地处理大量数据。使用 Hadoop、Spark、Hive、LLAP、Kafka、Storm、 HBase 等常见开源框架。Azure HDInsight 允许实现许多方案,例如 ETL、数据仓库存储、及其 IoT 等。
服务特征
针对不同大数据方案优化的预配置群集
对群集提供 99.9 % 服务级别协议
高可用性
云缩放的成本效益
网络安全:保护网关 Azure VNET 支持
数据安全:对存储进行加密和基于角色的访问控制
集成:Azure Cosmos DB 和其他 Azure 数据服务
组件
Hadoop
Spark
交互查询
Kafka
HBase
Storm
扩展 HDInsight 以安装任何开源引擎 1
企业安全性套餐
定价特征
Azure HDInsight 群集
群集运行一组依赖于组件的节点,按分钟计费。节点因组(例如辅助节点、头节点等)、数量和实例类型(例如 D1v2)而异。
请参阅以下常见问题解答,了解有关工作负荷和所需节点的详细信息。在群集的生命周期内,客户为每个节点付费。
定价详细信息
HDInsight 群集由一组节点组成。在群集的生命周期内,用户需要付费使用这些节点。计费从创建群集开始,到删除群集结束,每分钟按比例计费。
定价方式
组件 | 定价 |
---|---|
Hadoop、Spark、Interactive Query、Kafka*、Storm、HBase | 基本价格/节点-小时 + ¥0/核心-小时 |
企业安全性套餐 | 基本价格/节点-小时 + ¥0.06/核心-小时 |
HDInsight 内存优化节点
实例 | 内核数 | RAM | 磁盘大小 | 价格 |
---|---|---|---|---|
E2 v3 | 2 | 16 GB | 50 GB |
¥1.31 /小时
(约合¥974.64 /月) |
E4 v3 | 4 | 32 GB | 100 GB |
¥2.63 /小时
(约合¥1,956.72 /月) |
E8 v3 | 8 | 64 GB | 200 GB |
¥5.27 /小时
(约合¥3,920.88 /月) |
E16 v3 | 16 | 128 GB | 400 GB |
¥10.54 /小时
(约合¥7,841.76 /月) |
E20 v3 | 20 | 160 GB | 500 GB |
¥16.92 /小时
(约合¥12,588.48 /月) |
E32 v3 | 32 | 256 GB | 800 GB |
¥21.08 /小时
(约合¥15,683.52 /月) |
E64i v3 | 64 | 432 GB | 1,600 GB |
¥42.14 /小时
(约合¥31,352.16 /月) |
E64 v3 | 64 | 432 GB | 1,600 GB |
¥42.14 /小时
(约合¥31,352.16 /月) |
HDInsight 的计算优化节点
实例 | 内核数 | RAM | 临时存储 | 价格 |
---|---|---|---|---|
F1 | 1 | 2 GB | 16 GiB |
¥0.531/小时
(约合¥395.064 /月) |
F2 | 2 | 4 GB | 32 GiB |
¥1.102/小时
(约合¥819.888 /月) |
F4 | 4 | 8 GB | 64 GiB |
¥2.193/小时
(约合¥1,631.592 /月) |
F8 | 8 | 16 GB | 128 GiB |
¥4.387/小时
(约合¥3,263.928 /月) |
F16 | 16 | 32 GB | 256 GiB |
¥8.763/小时
(约合¥6,519.672 /月) |
实例 | 内核数 | RAM | 临时存储 | 价格 |
---|---|---|---|---|
F1 | 1 | 2 GB | 16 GiB |
¥0.531/小时
(约合¥395.064 /月) |
F2 | 2 | 4 GB | 32 GiB |
¥1.102/小时
(约合¥819.888 /月) |
F4 | 4 | 8 GB | 64 GiB |
¥2.193/小时
(约合¥1,631.592 /月) |
F8 | 8 | 16 GB | 128 GiB |
¥4.387/小时
(约合¥3,263.928 /月) |
F16 | 16 | 32 GB | 256 GiB |
¥8.763/小时
(约合¥6,519.672 /月) |
F16s v2 | 16 | 32 GB | 256 GiB |
¥10.597/小时
(约合¥7,884.168 /月) |
HDInsight 常规用途节点
AV2 HDInsight 节点在 Av2 标准 VM 上运行,这是最新一代的 A 系列虚拟机,具有类似的 CPU 性能但磁盘速度更快。
实例 | 内核数 | RAM | 磁盘大小 | 价格 |
---|---|---|---|---|
A1 v2 | 1 | 2 GB | 10 GB |
¥0.545 /小时
(约合¥405.48 /月) |
A2 v2 | 2 | 4 GB | 20 GB |
¥1.079 /小时
(约合¥802.776 /月) |
A2m v2 | 2 | 16 GB | 20 GB |
¥2.079 /小时
(约合¥1,546.776 /月) |
A4 v2 | 4 | 8 GB | 40 GB |
¥2.169 /小时
(约合¥1,613.736 /月) |
A4m v2 | 4 | 32 GB | 40 GB |
¥4.166 /小时
(约合¥3,099.504 /月) |
A8 v2 | 8 | 16 GB | 80 GB |
¥4.326 /小时
(约合¥3,218.544 /月) |
A8m v2 | 8 | 64 GB | 80 GB |
¥8.328 /小时
(约合¥6,196.032 /月) |
A 系列通用节点
A3 是适合许多通用需求的实惠选择。在 Hadoop 上运行基础查询应用程序和模式的客户将因使用 A 系列而受益。
A1 节点只能用作 Storm 的 Zookeeper 节点。A2 节点只能用作 HBase 和 Storm 的 Zookeeper 节点。
A 系列不能用作 Linux 群集中的数据节点,只能用作头节点和 Zookeepers 节点,并且只有 A1、 A2、 A3 可用。
实例 | 内核数 | RAM | 磁盘大小 | 每节点价格 |
---|---|---|---|---|
A1 | 1 | 1.75GB | 70GB |
¥0.3981 /小时
(约合¥296.1864 /月) |
A2 | 2 | 3.5GB | 135GB |
¥0.9662 /小时
(约合¥718.8528 /月) |
A3 | 4 | 7GB | 285GB |
¥1.9425 /小时
(约合¥1,445.22 /月) |
D 系列节点:CPU 提速 60%,更大内存,本地 SSD
D1、D2、D11 节点只能用作 HBase 和 Storm 的 Zookeeper 节点。
实例 | 内核数 | 内存数 | 磁盘大小 | 价格 | |
---|---|---|---|---|---|
D1 | 1 | 3.5GB | 50GB |
¥0.5981 /小时
(约合¥444.9864 /月) |
|
D2 | 2 | 7GB | 100GB |
¥1.2362 /小时
(约合¥919.7328 /月) |
|
D3 | 4 | 14GB | 200GB |
¥2.4725 /小时
(约合¥1,839.54 /月) |
|
D4 | 8 | 28GB | 400GB |
¥4.965 /小时
(约合¥3,693.96 /月) |
|
D5 | 16 | 56GB | 800GB |
¥9.8999 /小时
(约合¥7,365.5256 /月) |
|
D11 | 2 | 14GB | 100GB |
¥1.9717 /小时
(约合¥1,466.9448 /月) |
|
D12 | 4 | 28GB | 200GB |
¥3.9434 /小时
(约合¥2,933.8896 /月) |
|
D13 | 8 | 56GB | 400GB |
¥7.8867 /小时
(约合¥5,867.7048 /月) |
|
D14 | 16 | 112GB | 800 GB |
¥11.2234 /小时
(约合¥8,350.2096 /月) |
Dv2 系列优化节点:最新一代的 CPU
Dv2 系列是附带更强大 CPU 的新一代 D 系列实例,内存和磁盘配置与 D 系列相同。Dv2 系列实例基于最新一代的 2.4 GHz Intel Xeon® E5-2673 v3 (Haswell) 处理器,通过 Intel Turbo Boost Technology 2.0 可以达到 3.2 GHz。Dv2 系列可以满足需要低延迟、本地 SSD 访问或较快 CPU 来运行应用程序的用户;D系列和Dv2 系列的较高内存能够为使用 HDInsight HBase 的客户提高性能;使用 HDInsight Storm 和 Spark 的用户可通过它更大的内存加载更大的参考数据,并利用它更快的 CPU 实现更高的吞吐量。
D 系列将继续适用,但建议使用 DV2 系列。
实例 | 内核数 | 内存数 | 磁盘大小 | 价格 | |
---|---|---|---|---|---|
D1 v2 | 1 | 3.5GB | 50GB |
¥0.5981 /小时
(约合¥444.9864 /月) |
|
D2 v2 | 2 | 7GB | 100GB |
¥1.2362 /小时
(约合¥919.7328 /月) |
|
D3 v2 | 4 | 14GB | 200GB |
¥2.4725 /小时
(约合¥1,839.54 /月) |
|
D4 v2 | 8 | 28GB | 400GB |
¥4.965 /小时
(约合¥3,693.96 /月) |
|
D5 v2 | 16 | 56GB | 800GB |
¥9.8999 /小时
(约合¥7,365.5256 /月) |
|
D11 v2 | 2 | 14GB | 100GB |
¥1.9717 /小时
(约合¥1,466.9448 /月) |
|
D12 v2 | 4 | 28GB | 200GB |
¥3.9434 /小时
(约合¥2,933.8896 /月) |
|
D13 v2 | 8 | 56GB | 400GB |
¥7.8867 /小时
(约合¥5,867.7048 /月) |
|
D14 v2 | 16 | 112GB | 800 GB |
¥11.2234 /小时
(约合¥8,350.2096 /月) |
常见问题
全部展开-
不同的 HDInsight 群集类型是如何计费的?
HDInsight 针对每个群集类型部署不同数量的节点。在给定群集类型中有用于各种节点的不同角色,使客户能够将给定角色中的节点大小调整为适合其工作负载详情。例如,如果执行的分析类型大量占用内存,那么 Hadoop 群集可将其工作节点设置为具有大量内存。
适用于 HDInsight 的 Hadoop 群集部署有三个角色:
- 头节点(2 个节点)
- 数据节点(至少 1 个节点)
- Zookeeper 节点(3个节点)
适用于 HDInsight 的 HBase 群集部署有三个角色:
- 控制服务器(2 个节点)
- 区域服务器(至少 1 个节点)
- 主节点/Zookeeper 节点(3 个节点)
适用于 HDInsight 的 Storm 群集部署有三个角色:
- Nimbus 节点(2 个节点)
- 监管服务器(至少 1 个节点)
- Zookeeper 节点(3 个节点)
适用于 HDInsight 的 Spark 群集部署有三个角色:
- 头节点(2 个节点)
- 工作进程节点(至少 1 个节点)
- Zookeeper 节点(3 个节点)(A1 Zookeeper 免费)
-
如果我的群集运行不到一小时,将会向我收费多少?
收费针对的是群集运行的分钟数(四舍五入到最接近的分钟),而不是小时。
-
可否提供有关计费如何工作的相关示例?
如果使用 2 个 D13 v2 头节点、3 个 D12 v2 数据节点和 3 个 D11 v2 Zookeepers 运行群集 100 个小时,将有以下计费方案:
在标准 HDInsight 群集上—100 小时 x (2 x ¥7.8867/小时 + 3 x ¥3.9434/小时 + 3 x ¥1.9717/小时) = ¥3351.87
-
如何检查是否已正确停止 HDInsight 群集并且将不对其计费?
若要停止 HDInsight 群集,则必须删除该群集。默认情况下,HDInsight 群集操作的所有数据均位于 Azure Blob 存储中,因此数据将不受影响。如果希望保留 Hive 元数据(表、架构),则应该借助外部元数据商店设置群集。你可以在 这篇文档 中找到更多详细信息。
-
如何减少不经常使用的群集的成本?
有多种方式可降低成本:
-
提高现有群集利用率。
1. 删除不使用的群集。要详细了解如何删除群集,请参阅 使用浏览器、PowerShell 或 Azure CLI 删除 HDInsight 群集
2. 减少。要详细了解如何手动缩放群集,请参阅 缩放 HDInsight 群集 - 使用更低的成本部署群集。这包括恰当计划要使用的节点数量、要用于头节点和工作器节点的节点类型以及要启动群集的区域(因为 HDInsight 提供了可以部署到的许多不同节点类型),以及一系列定价选项。查看本文的“基本价格/节点小时”部分,了解定价;如需了解详细信息,请参阅 HDInsight 群集的容量规划
-
提高现有群集利用率。
-
包含“x”个数据节点的群集的成本是多少?
若要估算不同大小的群集的成本,请尝试使用 Azure 计算器 。
-
我的 HDInsight 群集需要多少个数据节点?
数据节点数量视你的需求而变化。凭借 Azure 云服务的良好灵活性,你可以尝试多种不同的群集大小,以确定性能和成本的最佳组合,只需为在特定时间使用的服务付费。也可以按需缩放群集,以满足工作负载的要求。
-
如果我需要的 HDInsight 数据节点数超过了订阅允许的节点数,该怎么办?
对于所能创建的 HDInsight 数据节点的数目,每个订阅均有默认限制。如果你需要创建较大的 HDInsight 群集或多个 HDInsight 群集,其节点总数超过了当前订阅的最大值,则可以请求提高订阅的计费限制。请打开“支持类型”进行相关操作。根据你请求的每订阅最大节点数,我们可能要求你提供更多信息,以便我们能够优化你的部署。