安卓系统

亚马逊自动为开发人员使用Hadoop

如何在五分鐘內透過AWS的EMR服務快速開啟一個Hadoop叢集?

如何在五分鐘內透過AWS的EMR服務快速開啟一個Hadoop叢集?
Anonim

Amazon.com推出了一项托管服务,旨在简化开发人员使用MapReduce编程模型的Hadoop实现来处理处理器集群中的大型数据集。

称为Amazon Elastic MapReduce,云计算服务针对开发人员其应用程序需要处理大量数据,而Hadoop非常适合这些数据。

使用Amazon Elastic MapReduce,开发人员手动处理与Hadoop相关的许多任务都是自动化的,该公司的亚马逊网络服务(AWS)云计算部门在周四的官方博客中表示

[进一步阅读:最佳电视流服务]

“使用Elastic MapReduce,您可以创建,运行,监控和控制Hadoop作业轻松点击即可。你不必出去购买大量的硬件。您不必架起它,联网或管理它。您不必担心资源耗尽或与组织的其他成员共享资源。您不必监视它,调整它,或花时间升级系统或应用程序软件,“该博客文章中写道,

AWS在得知客户在Amazon上运行Hadoop作业后决定创建此服务弹性计算云(EC2)服务提供了托管计算能力,因为Hadoop越来越流行,亚马逊的目标是让其他开发人员更容易利用MapReduce的这个开源实现。

Elastic MapReduce与EC2和亚马逊简单存储服务(S3)托管存储云服务。“Elastic MapReduce自动在Amazon EC2实例上启动MapReduce框架的Hadoop实现,将作业流中的数据细分为更小的块,以便它们可以成为处理 - “地图”功能 - 并行处理,并最终将处理后的数据重组为最终解决方案 - “减少”功能。亚马逊S3作为分析数据的来源,并作为最终结果的输出目的地“,根据该服务的单独描述。

与其他AWS云服务一样,亚马逊也会根据Amazon Elastic MapReduce收费使用,没有最低费用。