• <label id="nxzaf"><del id="nxzaf"></del></label>

        <fieldset id="nxzaf"><em id="nxzaf"></em></fieldset>
        <label id="nxzaf"></label>
        <span id="nxzaf"><optgroup id="nxzaf"></optgroup></span>
      1. 千鋒教育-做有情懷、有良心、有品質(zhì)的職業(yè)教育機構(gòu)

        當(dāng)前位置:首頁  >  IT問答庫  >  大數(shù)據(jù)基礎(chǔ)知識

        大數(shù)據(jù)之Spark框架中RDD和DataFrame的區(qū)別

        發(fā)布:大數(shù)據(jù) 2022-02-24 17:50

        大數(shù)據(jù)之Spark框架中RDD和DataFrame的區(qū)別

        推薦答案

          大數(shù)據(jù)覆蓋的技術(shù)點有很多,其中spark框架就是其中一種,本期小編為大家介紹的大數(shù)據(jù)培訓(xùn)教程就是關(guān)于Spark框架中RDD和DataFrame的區(qū)別是什么?RDD(提供了一種高度受限的共享內(nèi)存模型;DataFrame是一種分布式的數(shù)據(jù)集,并且以列的方式組合的。在spark中RDD、DataFrame是最常用的數(shù)據(jù)類型,在使用的過程中你知道兩者的區(qū)別和各自的優(yōu)勢嗎?關(guān)于如何具體的應(yīng)用今天就好好的分析一下。

          大數(shù)據(jù)之Spark框架中RDD和DataFrame的區(qū)別:

          一、RDD、DataFrame分別是什么?

          1、什么是RDD?

          RDD(Resilient Distributed Datasets)提供了一種高度受限的共享內(nèi)存模型。即RDD是只讀的記錄分區(qū)的集合,只能通過在其他RDD執(zhí)行確定的轉(zhuǎn)換操作(如map、join和group by)而創(chuàng)建,然而這些限制使得實現(xiàn)容錯的開銷很低。RDD仍然足以表示很多類型的計算,包括MapReduce和專用的迭代編程模型(如Pregel)等。

          2、什么是DataFrame?

          DataFrame是一種分布式的數(shù)據(jù)集,并且以列的方式組合的。類似于關(guān)系型數(shù)據(jù)庫中的表。可以說是一個具有良好優(yōu)化技術(shù)的關(guān)系表。DataFrame背后的思想是允許處理大量結(jié)構(gòu)化數(shù)據(jù)。提供了一些抽象的操作,如select、filter、aggregation、plot。DataFrame包含帶schema的行。schema是數(shù)據(jù)結(jié)構(gòu)的說明。相當(dāng)于具有schema的RDD。

          二、RDD、DataFrame有什么特性?

          在Apache Spark 里面DF 優(yōu)于RDD,但也包含了RDD的特性。RDD和DataFrame的共同特征是不可性、內(nèi)存運行、彈性、分布式計算能力。

          它允許用戶將結(jié)構(gòu)強加到分布式數(shù)據(jù)集合上。因此提供了更高層次的抽象。我們可以從不同的數(shù)據(jù)源構(gòu)建DataFrame。例如結(jié)構(gòu)化數(shù)據(jù)文件、Hive中的表、外部數(shù)據(jù)庫或現(xiàn)有的RDDs。DataFrame的應(yīng)用程序編程接口(api)可以在各種語言中使用,包括Python、Scala、Java和R。

          1、RDD五大特性:

          1.(必須的)可分區(qū)的: 每一個分區(qū)對應(yīng)就是一個Task線程。

          2.(必須的)計算函數(shù)(對每個分區(qū)進(jìn)行計算操作)。

          3.(必須的)存在依賴關(guān)系。

          4.(可選的)對于key-value數(shù)據(jù)存在分區(qū)計算函數(shù)。

          5.(可選的)移動數(shù)據(jù)不如移動計算(將計算程序運行在離數(shù)據(jù)越近越好)。

          2、DataFrame特性:

          1.支持從KB到PB級的數(shù)據(jù)量

          2.支持多種數(shù)據(jù)格式和多種存儲系統(tǒng)

          3.通過Catalyst優(yōu)化器進(jìn)行先進(jìn)的優(yōu)化生成代碼

          4.通過Spark無縫集成主流大數(shù)據(jù)工具與基礎(chǔ)設(shè)施

          5.API支持Python、Java、Scala和R語言

          三、RDD與DataFrame的區(qū)別

          RDD是彈性分布式數(shù)據(jù)集,數(shù)據(jù)集的概念比較強一點。容器可以裝任意類型的可序列化元素(支持泛型)RDD的缺點是無從知道每個元素的【內(nèi)部字段】信息。意思是下圖不知道Person對象的姓名、年齡等。

        1

          DataFrame也是彈性分布式數(shù)據(jù)集,但是本質(zhì)上是一個分布式數(shù)據(jù)表,因此稱為分布式表更準(zhǔn)確。DataFrame每個元素不是泛型對象,而是Row對象。

          DataFrame的缺點是Spark SQL DataFrame API 不支持編譯時類型安全,因此,如果結(jié)構(gòu)未知,則不能操作數(shù)據(jù);同時,一旦將域?qū)ο筠D(zhuǎn)換為Data frame ,則域?qū)ο蟛荒苤貥?gòu)。

          DataFrame=RDD-【泛型】+schema+方便的SQL操作+【catalyst】優(yōu)化

          DataFrame本質(zhì)上是一個【分布式數(shù)據(jù)表】

        2

          DataFrame優(yōu)于RDD,因為它提供了內(nèi)存管理和優(yōu)化的執(zhí)行計劃。總結(jié)為以下兩點:

          a.自定義內(nèi)存管理:當(dāng)數(shù)據(jù)以二進(jìn)制格式存儲在堆外內(nèi)存時,會節(jié)省大量內(nèi)存。除此之外,沒有垃圾回收(GC)開銷。還避免了昂貴的Java序列化。因為數(shù)據(jù)是以二進(jìn)制格式存儲的,并且內(nèi)存的schema是已知的。

          b.優(yōu)化執(zhí)行計劃:這也稱為查詢優(yōu)化器。可以為查詢的執(zhí)行創(chuàng)建一個優(yōu)化的執(zhí)行計劃。優(yōu)化執(zhí)行計劃完成后最終將在RDD上運行執(zhí)行。

          如果您想了解更多關(guān)于千鋒教育或者大數(shù)據(jù)培訓(xùn)教程,可以咨詢我們的客服小姐姐,他們會為您做詳細(xì)的解答。

        最新問答資訊

        01 unity用什么編程語言?unity學(xué)習(xí)難度大嗎

        學(xué)習(xí) unity 語言
        6020 人關(guān)注

        02 python容易學(xué)嗎?學(xué)好python有什么好處?

        學(xué)習(xí) python 工作 培訓(xùn)
        5389 人關(guān)注

        03 html是什么語言?html學(xué)習(xí)難嗎?

        學(xué)習(xí) html 語言 可以
        5062 人關(guān)注

        04 c語言難學(xué)嗎?c語言學(xué)好要多久?

        語言 技術(shù) 學(xué)習(xí)
        4733 人關(guān)注

        06 學(xué)好平面設(shè)計要多久?報速成班靠譜嗎?

        平面 設(shè)計 學(xué)習(xí) 時間
        4238 人關(guān)注

        相關(guān)問題

        學(xué)大數(shù)據(jù)需要具備什么基礎(chǔ)和知識點?

        大數(shù)據(jù)時代,不僅帶來了先進(jìn)的技術(shù),也帶來了很多求職機會,很多...

        大數(shù)據(jù)培訓(xùn)之?dāng)?shù)據(jù)分析思維

        想要學(xué)會數(shù)據(jù)分析,那么就還要學(xué)會數(shù)據(jù)分析思維,數(shù)據(jù)思維具有框...

        大數(shù)據(jù)都在哪些應(yīng)用領(lǐng)域比較常見?

        快速發(fā)展的時代,大數(shù)據(jù)圍繞我們的日常生活方方面面,單單在疫情...

        大數(shù)據(jù)培訓(xùn)分享:大數(shù)據(jù)分析的數(shù)據(jù)類型都有哪些

        互聯(lián)網(wǎng)時代,數(shù)據(jù)共享成了非常普遍的,各大企業(yè)對于同行業(yè)的數(shù)據(jù)...

        大數(shù)據(jù)之Spark框架中RDD和DataFrame的區(qū)別

        大數(shù)據(jù)覆蓋的技術(shù)點有很多,其中spark框架就是其中一種,本期小...

        大數(shù)據(jù)開發(fā)工程師是做什么的?

        隨著大數(shù)據(jù)在生活中應(yīng)用變得廣泛,大數(shù)據(jù)開發(fā)工程師也逐漸的出現(xiàn)...

        測一測
        你知道多少IT梗

        主站蜘蛛池模板: 国产精品露脸国语对白| 国产精品久久久天天影视| 久久久久夜夜夜精品国产| 91国在线啪精品一区| 欧美视频精品一区二区三区| 3级黄性日本午夜精品| 精品久久久久久国产三级| 亚洲精品无码久久久久AV麻豆| 杨幂国产精品福利在线观看| 天天爽夜夜爽精品视频app| 国产精品第1页| 久久精品免费一区二区三区| 精品一区二区三区无码免费视频| 小辣椒福利视频精品导航| 日产精品久久久一区二区| 国产成人精品一区二区三区| 国产精品视频色视频| 免费精品精品国产欧美在线| 日韩精品一区二区三区四区| 久久99亚洲综合精品首页| 在线观看自拍少妇精品| 2021国产精品成人免费视频| 国产精品激情综合久久| 国产精品熟女高潮视频| 国语自产少妇精品视频蜜桃| 91精品国产福利在线观看麻豆| 99爱在线视频这里只有精品| 2024最新国产精品一区| 精品一区二区三区在线观看| 国产精品无套内射迪丽热巴| 久久99国产精品久久久| 精品精品国产自在久久高清| 精品久久香蕉国产线看观看亚洲| 国产亚洲精品va在线| 久久久精品久久久久久| 久久久久亚洲精品无码蜜桃| 国产精品最新国产精品第十页| 国内精品免费视频精选在线观看| 国产精品视频久久久| 久久久久久噜噜精品免费直播| 国产精品成人免费福利|