根據國外媒體報道,Twitter計劃開源Hadoop-happy架構的一個附加部分,Twitter用來作為內部數據分析。作為知名的Crane,這個是用來將MySQL轉化到Hadoop的工具。這一開源數據分析平台建立在Google的私有設施上。
Twitter使用Hadoop來進行數據分析,同時該平台也被使用在站點上,包括Twitter的名稱搜索功能。
Twitter的大部分表格數據存儲在MySQL中,只有一小部分存儲在Cassandra。Twitter的技術負責人表示要做的就是在一些地方結束MySQL表格存儲。
因此Crane被開發出來,用於將數據從MySQL到HDFS或者Hadoop的HBase上。
文章轉載自:開源中國社區 [http://www.oschina.net]
本文標題:Twitter將開源MySQL/Hadoop轉移工具
本文地址:http://www.oschina.net/news/10164/Twitter-to-open-source-MySQL-to-Hadoop-tool