2015黄网站色网址_健身教练70话到100话_国产亚洲欧美日韩综合综合一线二线三线_午夜福利免视频100集2019_免费在线av观看久久精品中字乱码一区二区三区,色色志愿者国产精品

          基于數(shù)據(jù)中臺的數(shù)字鄉(xiāng)村基礎數(shù)據(jù)資源體系建設

          發(fā)布時間:2024-11-20

          依托互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能和實體經(jīng)濟深度融合的現(xiàn)實環(huán)境,數(shù)字化賦能農(nóng)民生活改善和農(nóng)村全面發(fā)展。數(shù)字鄉(xiāng)村建設發(fā)展過程中,數(shù)據(jù)成為農(nóng)業(yè)生產(chǎn)的新要素,信息技術成為農(nóng)民生產(chǎn)經(jīng)營的新工具,互聯(lián)網(wǎng)成為農(nóng)村全面發(fā)展的新載體。數(shù)字技術正穿透所有經(jīng)濟和社會場域,作為應用場景,鄉(xiāng)村正成為城市之后的必然選擇,構成了“數(shù)字中國”的戰(zhàn)略要沖。數(shù)字鄉(xiāng)村建設通過科技創(chuàng)新,將大數(shù)據(jù)、人工智能、區(qū)塊鏈、云計算等數(shù)字技術與農(nóng)業(yè)全產(chǎn)業(yè)鏈以及生態(tài)保護進行深度融合,推動農(nóng)業(yè)綠色發(fā)展,形成高質(zhì)量且穩(wěn)定的生態(tài)系統(tǒng),形成良好的人居環(huán)境,為新發(fā)展格局提供基礎保障。

          隨著大數(shù)據(jù)技術的不斷發(fā)展,鄉(xiāng)村數(shù)據(jù)呈爆炸式增長,如何對鄉(xiāng)村數(shù)據(jù)資源進行有效的管理并提供共享服務,是數(shù)字鄉(xiāng)村建設亟待解決的問題。根據(jù)以往的數(shù)據(jù)集成思路,借助統(tǒng)一的數(shù)據(jù)平臺可以快速響應用戶的各種需求,滿足多種業(yè)務場景的應用。數(shù)據(jù)中臺技術是指運用統(tǒng)一的標準和技術,對海量的異構數(shù)據(jù)進行采集、加工、存儲、管理等一系列數(shù)據(jù)集成與管理,為各類應用提供數(shù)據(jù)共享服務。通過數(shù)據(jù)中臺,數(shù)字鄉(xiāng)村所涉及的各類用戶、政府、農(nóng)民、企業(yè)等對內(nèi)對外建立統(tǒng)一的業(yè)務系統(tǒng)和管理平臺,減少各種業(yè)務系統(tǒng)信息孤島現(xiàn)象,打通各部門間的數(shù)據(jù)墻,形成統(tǒng)一的數(shù)據(jù)規(guī)范。


          一、數(shù)字鄉(xiāng)村基礎數(shù)據(jù)資源數(shù)據(jù)中臺架構

          數(shù)據(jù)中臺設計原則。數(shù)據(jù)中臺的建設要保證來源于不同系統(tǒng)的同類數(shù)據(jù)具有一致性,要遵循相應的行業(yè)數(shù)據(jù)庫設計標準,以及農(nóng)業(yè)農(nóng)村領域的數(shù)據(jù)標準和地方標準。數(shù)據(jù)中臺設計時要在充分考慮數(shù)據(jù)實用性的基礎上整合數(shù)據(jù)資源,要通過不斷變化的需求進行數(shù)據(jù)資源的重組,滿足數(shù)據(jù)實用性原則;要考慮數(shù)據(jù)的獨立性,能夠使數(shù)據(jù)獨立于具體應用之外,不隨各類系統(tǒng)的變化而改變。同時,數(shù)據(jù)庫的設計要有可擴展性,當新的需求出現(xiàn)時,可以在原有基礎上進行擴展,不必完全重新設計數(shù)據(jù)庫。此外,數(shù)據(jù)中臺還應該有數(shù)據(jù)的安全設計,進行有效的備份和數(shù)據(jù)恢復,確保發(fā)生事故時能夠快速恢復,并且要有安全授權設計,避免非法用戶的訪問。

          數(shù)據(jù)中臺技術和層次架構。數(shù)據(jù)結構總體可以分為三種,結構化數(shù)據(jù)、非結構化數(shù)據(jù)以及其他半結構化數(shù)據(jù)。對于結構化數(shù)據(jù)的存儲目前主要用關系型數(shù)據(jù)庫處理;非結構化數(shù)據(jù)的存儲主要在非關系型數(shù)據(jù)庫中,例如文件管理系統(tǒng),存儲一些圖片、視頻、文檔等數(shù)據(jù);半結構化數(shù)據(jù)實質(zhì)是一種結構化數(shù)據(jù)的形式,包括一些相關的標記用以區(qū)分不同的語義元素。數(shù)據(jù)中臺建設過程中要能夠處理這三種類型的數(shù)據(jù)資源。

          數(shù)據(jù)中臺建設數(shù)據(jù)資源采集、數(shù)據(jù)資源融合、數(shù)據(jù)資源共享等數(shù)據(jù)服務體系。在整個體系建設中,將數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)標準納入其中。經(jīng)過數(shù)據(jù)中臺的不斷應用,推進數(shù)據(jù)的采集接入、分析、挖掘和治理能力的提升,從而完善數(shù)據(jù)中臺服務??傮w來看數(shù)據(jù)中臺主要包括數(shù)據(jù)的統(tǒng)一采集接入平臺、數(shù)據(jù)集中處理平臺、數(shù)據(jù)管理平臺、大數(shù)據(jù)分析與數(shù)據(jù)挖掘平臺、統(tǒng)一管理平臺以及數(shù)據(jù)可視化平臺等多個平臺。

          數(shù)據(jù)中臺數(shù)據(jù)架構。數(shù)據(jù)中臺的數(shù)據(jù)架構按數(shù)據(jù)庫的處理內(nèi)容不同分為原始庫、資源庫、主題庫、業(yè)務庫等。原始庫是存儲未經(jīng)處理的原始數(shù)據(jù),主要存放和原系統(tǒng)一致的數(shù)據(jù);資源庫的建設是基于原始庫,按資源類型的不同將原始庫中的數(shù)據(jù)規(guī)范化處理,形成不同主題的數(shù)據(jù);主題庫基于原始庫和資源庫,構建數(shù)據(jù)的邏輯關系,形成實體關系模型,完成知識圖譜的建設等;業(yè)務庫面向不同業(yè)務的場景,建立起相關的數(shù)據(jù)結構。數(shù)據(jù)中臺同時應建立起索引庫和資源目錄,對數(shù)字鄉(xiāng)村數(shù)據(jù)資源進行整合,對相應的元數(shù)據(jù)進行管理,比如業(yè)務元數(shù)據(jù)和技術元數(shù)據(jù)。

          采用分層分類方法將數(shù)字鄉(xiāng)村數(shù)據(jù)指標按照其屬性及其數(shù)據(jù)來源分為農(nóng)村基礎信息數(shù)據(jù)指標、農(nóng)業(yè)基礎信息數(shù)據(jù)指標、農(nóng)民基礎信息數(shù)據(jù)指標三大類,在每一大類里,業(yè)務關聯(lián)度高的數(shù)據(jù)歸入同一小類。數(shù)據(jù)指標采用名稱、代碼、數(shù)據(jù)類型、是否為空、注釋來描述數(shù)字鄉(xiāng)村相關數(shù)據(jù)。


          二、數(shù)字鄉(xiāng)村基礎數(shù)據(jù)資源體系建設路徑

          數(shù)據(jù)資源統(tǒng)一采集接入。數(shù)據(jù)資源的采集是數(shù)據(jù)擁有價值的第一步,同時也決定了數(shù)據(jù)潛在的意義。目前基于大數(shù)據(jù)技術的數(shù)字鄉(xiāng)村數(shù)據(jù)資源采集方式有以下幾種:一是利用農(nóng)村農(nóng)業(yè)各個業(yè)務系統(tǒng)進行信息采集,通過部署各類非關系型數(shù)據(jù)庫負載均衡和分片完成海量數(shù)據(jù)的采集。二是通過查看各個業(yè)務系統(tǒng)的系統(tǒng)日志采集數(shù)據(jù),利用在線分析和離線分析方式分析系統(tǒng)日志文件獲得數(shù)據(jù)。三是利用網(wǎng)頁數(shù)據(jù)的爬取技術采集網(wǎng)頁、論壇、交易平臺等數(shù)據(jù)信息。四是利用智慧終端各類傳感器、監(jiān)測平臺、監(jiān)控設備等來獲取圖片、視頻等信息。

          數(shù)據(jù)集中處理。數(shù)據(jù)集中處理主要是對數(shù)據(jù)的提取、清洗、關聯(lián)、對比、標識、對象化等操作。數(shù)字鄉(xiāng)村建設涉及的業(yè)務領域眾多、數(shù)據(jù)復雜多樣,采集獲取的數(shù)據(jù)往往不能直接用于數(shù)據(jù)分析,所以需要對獲取的數(shù)據(jù)進行數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)變換、數(shù)據(jù)規(guī)約等數(shù)據(jù)資源預處理,篩選出與主題相關的數(shù)據(jù)。數(shù)字鄉(xiāng)村建設中采集的數(shù)據(jù)源多來自不同的業(yè)務平臺,要將相關聯(lián)的異構數(shù)據(jù)源合并放入一個一致的數(shù)據(jù)存儲中完成數(shù)據(jù)的集成。

          鄉(xiāng)村基礎數(shù)據(jù)資源存儲。目前,農(nóng)業(yè)農(nóng)村相關業(yè)務平臺的后臺數(shù)據(jù)存儲多采用結構化關系型數(shù)據(jù)庫軟件存儲。大數(shù)據(jù)時代的數(shù)據(jù)存儲方式應該發(fā)生轉變,為海量多樣化數(shù)據(jù)分析提供支持,而主流的大數(shù)據(jù)存儲是支持海量數(shù)據(jù)讀寫,支持上億行、上百萬列的,面向列的分布式非關系型數(shù)據(jù)庫。鄉(xiāng)村業(yè)務系統(tǒng)中的政務文件、政策規(guī)定等非結構化數(shù)據(jù)可以用大數(shù)據(jù)平臺的分布式文件系統(tǒng)存儲;網(wǎng)絡輿情、業(yè)務日志等半結構化數(shù)據(jù)可采用列式存儲的分布式數(shù)據(jù)庫存儲;溫度、土壤、濕度自動監(jiān)測等小時、分鐘級數(shù)據(jù)提供時序數(shù)據(jù)庫實現(xiàn)海量數(shù)據(jù)存儲。

          數(shù)據(jù)組織管理。根據(jù)中臺數(shù)據(jù)架構進行數(shù)據(jù)的組織管理,建立原始庫、資源庫、主題庫、知識庫、業(yè)務庫、數(shù)據(jù)資源目錄。原始庫可以進行數(shù)據(jù)的原始加工,抽取數(shù)據(jù)的關鍵信息、對數(shù)據(jù)進行分級分類標簽管理,同時提供查詢、推送、對比、訂閱等服務。資源庫是經(jīng)由原始庫中的數(shù)據(jù)整合和清洗過后形成的,可以提供數(shù)據(jù)的檢索、統(tǒng)計分析、訂閱服務等。主題庫具有相似特征的不同數(shù)據(jù)分類進行歸集,構建不同實體間知識圖譜,能夠提供數(shù)據(jù)分析和統(tǒng)計服務。業(yè)務庫提供專題類業(yè)務分析,構建實體庫中的業(yè)務相關模型,基于資源庫建設而形成。

          數(shù)字鄉(xiāng)村元數(shù)據(jù)管理。為了更有效地完成數(shù)據(jù)的管理,方便數(shù)據(jù)的擴展,實現(xiàn)對鄉(xiāng)村數(shù)據(jù)資源的便捷訪問,設計使用元數(shù)據(jù)進行數(shù)據(jù)管理。元數(shù)據(jù)是用來描述數(shù)據(jù)的數(shù)據(jù),元數(shù)據(jù)和數(shù)據(jù)本身構成了不同層次的數(shù)據(jù),對于信息系統(tǒng)而言要能適應元數(shù)據(jù)結構和數(shù)據(jù)內(nèi)容結構。元數(shù)據(jù)管理可以進行元數(shù)據(jù)的自動修改,例如當系統(tǒng)應用需求發(fā)生改變或擴展時,元數(shù)據(jù)管理能自動識別變化,從而修改元數(shù)據(jù),信息應用系統(tǒng)不需要進行數(shù)據(jù)的整體修改。

          (來源:《當代縣域經(jīng)濟》)

          基于數(shù)據(jù)中臺的數(shù)字鄉(xiāng)村基礎數(shù)據(jù)資源體系建設 - 中昊智達控股集團