大數(shù)據(jù)筆試題之Spark常見的屬性區(qū)別總結(jié)

      在進(jìn)行大數(shù)據(jù)的面試過程中，經(jīng)常會(huì)被問到一些比較相近的屬性區(qū)別是什么，提前了解一下幫助你更好的應(yīng)對(duì)面試提問。

      1.repartition和coalesce的區(qū)別

      1.1. repartition只是coalesce接口中shuffle為true的實(shí)現(xiàn)

      1.2. 不經(jīng)過 shuffle，也就是coaleasce shuffle為false，是無法增加RDD的分區(qū)數(shù)的，比如你源RDD 100個(gè)分區(qū)，想要變成200個(gè)分區(qū)，只能使用repartition，也就是coaleasce shuffle為true。

      1.3. 如果上游為Partition個(gè)數(shù)為N，下游想要變成M個(gè)Partition

      N > M , 比如N=100 M=60, 可以使用coaleasce shuffle為false。但是如果N遠(yuǎn)大于M，比如N=100, M=1, 分區(qū)有一個(gè)激烈的變化時(shí)，此時(shí)如果用coalesce就只有一個(gè)task處理數(shù)據(jù)，資源利用不夠， Executor空跑，這時(shí)repartition是一個(gè)比較好的選擇，雖然有shuffle但是和只有1個(gè)Task處理任務(wù)比起來效率還是較高。

      N < M , coaleasce shuffle為false 不能增加分區(qū)，只能用repartition

      2.groupByKey 和 reduceBykey 區(qū)別

      reduceByKey 可以接收一個(gè) func 函數(shù)作為參數(shù)，這個(gè)函數(shù)會(huì)作用到每個(gè)分區(qū)的數(shù)據(jù)上，即分區(qū)內(nèi)部的數(shù)據(jù)先進(jìn)行一輪計(jì)算，然后才進(jìn)行 shuffle 將數(shù)據(jù)寫入下游分區(qū)，再將這個(gè)函數(shù)作用到下游的分區(qū)上，這樣做的目的是減少 shuffle 的數(shù)據(jù)量，減輕負(fù)擔(dān)。

      groupByKey 不接收函數(shù)，Shuffle 過程所有的數(shù)據(jù)都會(huì)參加，從上游拉去全量數(shù)據(jù)根據(jù) Key 進(jìn)行分組寫入下游分區(qū)，這樣會(huì)消耗比較多的資源，數(shù)據(jù)傳輸會(huì)導(dǎo)致任務(wù)處理的延遲。

      如果我們想要進(jìn)行分組后進(jìn)行聚合操作，使用 reduceByKey 會(huì)更高效， 因?yàn)閞educeByKey 會(huì)在map階段合并分區(qū)內(nèi)相同的key，而gourpByKey 則不會(huì)合并。

      3.Cache，Presist，CheckPoint的區(qū)別

      Persist 的 MEMORY_ONLY 級(jí)別的存儲(chǔ)等于 Cache，Persist 其他的配置只是存儲(chǔ)的方式不同，作用和原理是和 Cache 類似的，他們二者的區(qū)別如下：

      *Cache、Persist 是轉(zhuǎn)化類算子，和其他算子一樣，觸發(fā)的時(shí)機(jī)是在對(duì)應(yīng)分區(qū)的上游算子計(jì)算完成之后。

      *Cache、Persist 會(huì)把 RDD 緩存到指定位置，這個(gè)操作不會(huì)改變 Lineage 血緣的依賴關(guān)系，且 Job 執(zhí)行完成之后，緩存的數(shù)據(jù)會(huì)被清除。

      *Cache、Persist 一般應(yīng)用于需要訪問重復(fù)數(shù)據(jù)的應(yīng)用（如迭代型算法和交互式應(yīng)用）緩存可以運(yùn)行得更快。

      *CheckPoint 執(zhí)行完畢后，會(huì)產(chǎn)生 CheckPointRDD，此時(shí) lineage 血緣關(guān)系已經(jīng)改變了，容錯(cuò)會(huì)從CheckPointRDD 開始。

      *CheckPoint 將 RDD 持久化到 HDFS ，會(huì)被永久保存，可以給其他的 Driver 使用

      *雖然Presist 也可以持久化數(shù)據(jù)到磁盤，但是它有BlockManager管理，一旦Driver結(jié)束，BlockManager也會(huì) stop，被 cache 到磁盤上的 RDD 也會(huì)被清空,而 checkpoint 將 RDD 持久化到HDFS或本地文件，如果不被手動(dòng) remove 掉，是一直存在的。

      最后歡迎大家添加我們的大數(shù)據(jù)分享交流qq群：857910996 加群找管理領(lǐng)取免費(fèi)的大數(shù)據(jù)學(xué)習(xí)資料，還可以交流學(xué)習(xí)心得，歡迎大家進(jìn)群~~~