大家知道Google是世界上访问最大的网站之一,但有谁知道它每天处理多少数据呢?

    这里可以告诉你一个大致的数据,约20PB(20000TB,1TB=1024GB).的确是非常惊人的一个数字.这些数据每天通过巨大的群集来处理,截至2007年9月,Google的集群数量已经达到11000台.

    这些服务器的配置大多采用两颗英特尔至强(HT)处理器和4GB内存,两个160GB的硬盘,并采用以太网连接,每台大约在2400美元左右,以下是详细的统计表格.

    MapReduce statistics for different months Number of jobs (1000s)291712,217completion time () completion time ()634874395Machine years used2172,00211,081map input data ())3,28852,254403,152map output data ())7586,74334,774reduce output data ())1932,97014,018machines per job machines per job157268394Unique implementationsmap3951,9584,083reduce2691,2082,418