- 相關(guān)推薦
入門級大數(shù)據(jù)分析：Google BigQuery
大數(shù)據(jù)項(xiàng)目挺嚇人的，尤其是如果包含了設(shè)置和管理Hadoop集群。如果你更習(xí)慣于SQL，而不是MapReduce，但是發(fā)現(xiàn)關(guān)系型數(shù)據(jù)庫不符合分析需求，Google BigQuery值得一看。Google BigQuery提供了大數(shù)據(jù)分析入門級方法。
BigQuery減少了分析大型數(shù)據(jù)集面臨的一些實(shí)現(xiàn)挑戰(zhàn)。價(jià)格模型促進(jìn)了統(tǒng)計(jì)分析技能的發(fā)掘，因此可以從數(shù)據(jù)樣品中導(dǎo)出有用的信息，而不是針對全部數(shù)據(jù)集進(jìn)行蠻力分析。
有時(shí)，要用大數(shù)據(jù)工作意味著處理速度的精確。比如，如果想要確定操作同一網(wǎng)站的兩個(gè)不同的客戶群組是否不同，應(yīng)該分析網(wǎng)站上與所有這些客戶活動相關(guān)每一個(gè)登錄日志。或者，可以取出一部分客戶子集樣例，分析這些樣例之間的不同。基礎(chǔ)統(tǒng)計(jì)提供了工具，可以幫助理解這種類型分析的錯(cuò)誤率，只要錯(cuò)誤在可接受范圍內(nèi)，結(jié)果對于決策制定就是有效的。
在TOP功能中可以看到這種交換，通過grouping和sorting操作返回頂行發(fā)現(xiàn)。可能返回近似的結(jié)果，但是這個(gè)函數(shù)通常比使用“group by”、“order by”和“"limit”的組合語句更快速。
Google BigQuery操作特性
BigQuery旨在分析數(shù)十億行近似的數(shù)據(jù)，使用類SQL語法。它并不是完全符合SQL數(shù)據(jù)庫的替代，并不適用于交易處理應(yīng)用。BigQuery支持分析交互風(fēng)格。使用SELECT命令構(gòu)建查詢，對于任何SQL開發(fā)者都應(yīng)該很熟悉。
查詢語言包括支持標(biāo)準(zhǔn)操作，比如joining、sorting和grouping，以及內(nèi)嵌數(shù)據(jù)結(jié)構(gòu)。正如我們所期望的大數(shù)據(jù)分析服務(wù)，可以支持統(tǒng)計(jì)函數(shù)，比如count、sum、average、variance和standard deviation(標(biāo)準(zhǔn)偏差)。Grouping函數(shù)和描述性統(tǒng)計(jì)的結(jié)合相當(dāng)直接的在兩個(gè)總體中比較平均數(shù)和變異數(shù)。
入門級大數(shù)據(jù)分析：Google BigQuery
聯(lián)接是標(biāo)準(zhǔn)化數(shù)據(jù)模型必要的操作，但是計(jì)算昂貴。BigQuery函數(shù)中的JOIN運(yùn)算符類似于SQL join，但是在聯(lián)接兩個(gè)表時(shí)，其中一個(gè)表必須是8MB或者壓縮到更小。這種類型的限制可以進(jìn)行更加有效的聯(lián)接操作，因?yàn)楦〉谋砜梢杂行Ц咚倬彺妫?lián)接到更大的表。如果必須聯(lián)接兩個(gè)大型表，可以使用JOIN EACH操作，但是性能就會更慢。
可以使用簡單的瀏覽器界面同BigQuery進(jìn)行交互操作。瀏覽器工具保留查詢歷史，提供了構(gòu)造查詢的工作局域。這是一種基本的工具;并不具備SQL開發(fā)者工具中全面的功能，比如MySQL Workbench和DBVisualizer。也可以通過命令行界面工作。
Google BigQuery的價(jià)格模型
通過訪問Google的云資源，你可能想知道為什么你要為查詢樣例或者近似結(jié)果操心，畢竟，你可以在這個(gè)問題上投入更多的硬件不是嗎?對，你可以，但是BigQuery基于你分析了多少數(shù)據(jù)來收費(fèi)。
Google的價(jià)格模型基于存儲和分析的數(shù)據(jù)總量。存儲費(fèi)用是每月0.12GB美元。交互查詢?yōu)槊刻幚?GB 0.035美元，包查詢費(fèi)用為0.02美元/GB。為了限制處理的數(shù)據(jù)量，可以限制分析的行數(shù)，包括你實(shí)際需要結(jié)果的列。BigQuery使用柱狀數(shù)據(jù)存儲，因此并不是所有的行數(shù)據(jù)，在一個(gè)或者更多列查詢時(shí)回復(fù)。
數(shù)據(jù)存入BigQuery，使用負(fù)載工作，可以同Google Cloud Storage的數(shù)據(jù)工作，或者使用POST請求本地文件系統(tǒng)中的數(shù)據(jù)。文件可以格式化成為CSV或者JSON格式。壓縮文件限制到1GB，但是非壓縮文件能到1TB。負(fù)載工作包括多達(dá)一萬個(gè)文件，但是所有文件的大小總和不能超過1TB。由于每天每個(gè)表可以擁有多達(dá)1000個(gè)負(fù)載工作，這些定額對于大多數(shù)項(xiàng)目不見得有實(shí)際的影響。
[入門級大數(shù)據(jù)分析：Google BigQuery]相關(guān)文章：
1.入門級大數(shù)據(jù)分析:Google BigQuery
【入門級大數(shù)據(jù)分析：Google BigQuery】相關(guān)文章：
大數(shù)據(jù)分析07-20
大數(shù)據(jù)分析07-25
大數(shù)據(jù)分析合集(6篇)07-25
大數(shù)據(jù)分析崗位職責(zé)(5篇)02-23
google搜索理念04-28
數(shù)據(jù)分析報(bào)告07-28
面對20億行代碼Google如何管理04-12
多維數(shù)據(jù)分析方法04-07