安卓系统

雅虎通过发布内部版本寻求Hadoop升级

Anonim

为了推动采用Hadoop技术处理海量数据集,雅虎将发布一个已完善的软件版本,以支持其关键站点和服务。

周三,第二年的Hadoop Summit由雅虎组织,并由支持该技术的几家主要供应商赞助,包括IBM,Sun和Amazon.com。雅虎的搜索引擎,广告系统和网络邮件服务使用Hadoop,这是MapReduce编程模型的开源实现用于处理处理器集群中的大型数据集

[进一步阅读:最好的电视流服务]

在雅虎,Hadoop运行在超过25,000台服务器上,可以处理数百亿网页上的数据,几十个宠物通过发布其Hadoop发行版的源代码,雅虎希望能够推动这个Apache软件基金会项目的发展

使用Hadoop的创始人Doug Cutting的雅虎贡献了它的支持Hadoop对Apache项目的增强,但现在正在发布其全面的Hadoop实现,这是全球最大的Hadoop实现,并且已经在实时生产系统中进行了广泛的测试和完善。雅虎代码的商业用途没有任何限制

“有很多人表示,如果我们提供这些代码,这对其他用户会有用,”云计算高级副总裁Shelton Shugar说。雅虎

雅虎正在越来越多地整合Hadoop集群上的处理平台,因为它们可以更好地扩展并提供公司站点和服务所需的大规模数据处理功能。“

我们对Hadoop是如何“这是一个非常棒的平台,”Shugar说,

Amazon.com最近推出了一项托管服务,旨在简化开发人员使用Hadoop的所谓Amazon Elastic MapReduce,而Cloudera等公司为企业部署设计的商用Hadoop发行版