通用 spark 的性能如何

通用 spark 的性能是比較出色的。

首先,它的數(shù)據(jù)處理速度很快。相比 Hadoop 的 MapReduce ,Spark 可以將中間結(jié)果寫到本地磁盤或?qū)⒅虚g結(jié)果 cache 到內(nèi)存中,節(jié)省了大量的網(wǎng)絡(luò) IO 和磁盤 IO 開銷,性能比 Hadoop MapReduce 快 100 倍。即便不將數(shù)據(jù) cache 到內(nèi)存中,其速度也是 MapReduce 的 10 倍以上。

其次,Spark 通用性強(qiáng),提供了 MLlib 、GraphX 、Spark Streaming 和 Spark SQL 等多個(gè)出色的分析組件,涵蓋了機(jī)器學(xué)習(xí)、圖形算法、流式計(jì)算、SQL 查詢和迭代計(jì)算等多種功能,組件間無縫、緊密地集成,一站式解決工作流中的問題。

而且,Spark 易于使用,支持 Java 、Scala 、Python 和 R 等編程語言編寫應(yīng)用程序,自帶了 80 多個(gè)高等級(jí)操作算子,允許在 Scala ,Python ,R 的使用命令進(jìn)行交互式運(yùn)行,大大降低了使用者的門檻。

同時(shí),Spark 具有很強(qiáng)的適應(yīng)性,能夠與 Hadoop 緊密繼承,支持 Hadoop 的文件格式,如以 HDFS 為持久層進(jìn)行數(shù)據(jù)讀寫,能以 YARN 作為資源調(diào)度器在其上運(yùn)行。

總之,通用 spark 在速度、通用性、易用性和適應(yīng)性等方面表現(xiàn)優(yōu)秀,能滿足多種大數(shù)據(jù)處理需求。

特別聲明:本內(nèi)容來自用戶發(fā)表,不代表太平洋汽車的觀點(diǎn)和立場。

車系推薦

航海家
航海家
32.58-46.88萬
獲取底價(jià)
捷達(dá)VS7
捷達(dá)VS7
8.88-14.39萬
獲取底價(jià)
軒逸
軒逸
10.86-17.49萬
獲取底價(jià)

最新問答

想要準(zhǔn)確查詢小轎車的違章信息,可以通過以下幾種方式。 一是使用交管 12123 手機(jī) APP,下載注冊(cè)登錄后,輸入車輛相關(guān)信息,系統(tǒng)會(huì)展示違章詳情。 二是登錄各地交通安全綜合服務(wù)管理平臺(tái),按要求輸入車輛牌照、車架號(hào)等獲取違章記錄。 三是前往
夏利三缸發(fā)動(dòng)機(jī)的動(dòng)力表現(xiàn)總體來說較為不錯(cuò)。 它采用了三缸設(shè)計(jì),相較于傳統(tǒng)四缸發(fā)動(dòng)機(jī),具有一些獨(dú)特的特點(diǎn)。 首先,三缸發(fā)動(dòng)機(jī)更加輕便,能為車輛減輕重量,從而在一定程度上提升操控靈活性。 其次,其燃油經(jīng)濟(jì)性較好,能降低用車成本。 而且,像夏利
小排量車購置稅的計(jì)算方法是這樣的。 自 2018 年 1 月 1 日起,1.6 升及以下排量的乘用車恢復(fù)按 10%的法定稅率征收車輛購置稅。在計(jì)算時(shí),如果買的是國產(chǎn)私車,計(jì)稅價(jià)格為支付給經(jīng)銷商的全部價(jià)款和價(jià)外費(fèi)用,不包括增值稅稅款(稅率 1
寶馬 X3 油電混合的官方指導(dǎo)價(jià)因地區(qū)、配置和時(shí)間等因素而有所不同。 在海外市場,起售價(jià)約為 49545 美元,折合人民幣約 34.5 萬元。 在國內(nèi),2022 款寶馬 X3 油電混合車型的官方指導(dǎo)價(jià)在 39.28 - 47.98 萬之
上劃加載更多內(nèi)容