网站

雅虎帮助IIT Bombay建立Hadoop集群实验室

Biblical Series I: Introduction to the Idea of God

Biblical Series I: Introduction to the Idea of God
Anonim

雅虎帮助印度孟买技术研究院在孟买设立了一个Hadoop集群实验室,捐赠了一批运行开源Hadoop软件的服务器。

Apache Hadoop是一个开源的分布式计算项目,雅虎支持的Apache软件基金会

雅虎使用Hadoop运行大量关键操作,并且无法在公司内部对Hadoop进行所有研究,雅虎实验室高级副总裁兼负责人Prabhakar Raghavan表示。雅虎去年6月宣布推出自己的Hadoop发行版,引用了Apache Hadoop社区的兴趣,它发布了它测试并部署在自己的大型集群上的Hadoop版本。

集群M的实验室umbai将帮助学院研究领域的研究人员,例如搜索和排名技术,信息提取和自然语言处理。

希望研究与Web相关的问题的学术研究人员通常无法访问计算资源和TB级的Raghavan表示,从2007年在卡内基梅隆大学为Hadoop研究人员提供4000处理器的超级计算机开始,雅虎已经帮助美国其他大学设置了Hadoop “他说,”Raghavan没有提供关于安装在IIT上的集群的更多细节,只是说有数百个CPU和能够处理TB级数据的服务器已经部署在那里。“除了IIT Bombay,雅虎正在帮助在德国和新加坡的学术机构建立类似的集群,Raghavan说。他补充说,这是雅虎帮助建立这种集群的美国以外的前三个学术机构。雅虎计划后来联网世界各地的一些集群,以创建一个“更大的效用”。 Raghavan说,在此之前,Hadoop的系统管理功能必须得到加强,以防止一个机构的学生在另一个机构中崩溃工作。雅虎在2008年与Computational Research Laboratories(CRL)合作,该实验室是由印度塔塔集团向印度的学术机构免费提供超级计算设备,这些机构正在研究大规模计算,特别是在Hadoop周围。 Raghavan表示,这种合作仍在继续,但专注于高性能超级计算,

与Hadoop的学术机构合作帮助雅虎建立熟悉Hadoop平台的工程师库。他补充说,他们中的一些人甚至已经被雅虎雇用了。“

雅虎还从学术机构利用Hadoop进行研究中获得了一些想法,Raghavan说。然而,他并没有给出与学术机构合作提出的具体想法。