摘要：云計算與大數(shù)據(jù)編程技術(shù)提供了彈性、按需付費的資源解決方案，使高校能夠靈活配置計算資源，支持各類教學活動和科研項目。然而，云計算與大數(shù)據(jù)編程技術(shù)的資源利用效率與成本控制問題逐漸暴露，數(shù)據(jù)安全與隱私保護問題也日益突出，影響了數(shù)據(jù)分析結(jié)果的可靠性和計算效率。因此，本文深入分析了高校應用云計算與大數(shù)據(jù)編程技術(shù)中面臨的挑戰(zhàn)及其解決方案。高校應持續(xù)關(guān)注這些技術(shù)的發(fā)展動態(tài)，及時調(diào)整和優(yōu)化相關(guān)策略，緊隨前沿技術(shù)發(fā)展步伐，支持教學和科研活動的持續(xù)創(chuàng)新與發(fā)展。
關(guān)鍵詞：云計算；大數(shù)據(jù)編程；挑戰(zhàn)；解決方案
doi：10.3969/J.ISSN.1672-7274.2025.01.025
中圖分類號：TP 393.09 文獻標志碼：A 文章編碼：1672-7274（2025）01-00-03
Challenges and Solutions Faced by University Application Cloud Computing and Big Data Programming Technology
JIANG Ning
（Shandong Vocational University of Foreign Affairs， Rushan 264504， China）
Abstract： Cloud computing and big data programming technology provide flexible and pay as you go resource solutions， enabling universities to flexibly allocate computing resources and support various teaching activities and research projects. However， the resource utilization efficiency and cost control issues of cloud computing and big data programming technology are gradually exposed， and data security and privacy protection issues are becoming increasingly prominent， affecting the reliability and computational efficiency of data analysis results. Therefore， the article delves into the challenges and solutions faced by universities in applying cloud computing and big data programming technology. Universities should continue to pay attention to the development trends of these technologies， adjust and optimize relevant strategies in a timely manner， stay at the forefront of technology， and support the continuous innovation and development of teaching and research activities.
Keywords： cloud computing; big data programming; challenge; solution
云計算（Cloud Computing）是一種基于互聯(lián)網(wǎng)的計算模式，其通過網(wǎng)絡(luò)將計算資源、存儲資源、應用軟件和其他IT基礎(chǔ)設(shè)施以服務(wù)的形式提供給用戶。大數(shù)據(jù)編程技術(shù)指的是一系列用于處理、存儲和分析大量數(shù)據(jù)（通常是指海量數(shù)據(jù)）的編程方法和工具。精細化的資源管理與成本優(yōu)化能夠提高資源的使用效率，有效控制運營成本，為高校的財務(wù)管理提供保障。構(gòu)建全面的安全防護體系則有助于保護數(shù)據(jù)隱私，確保高校教學和科研數(shù)據(jù)的安全性。數(shù)據(jù)清洗與預處理、優(yōu)化算法與并行處理技術(shù)的應用，能夠提高數(shù)據(jù)分析的準確性和處理效率，支持高校更高質(zhì)量的科研成果和教學實踐。
1 高校應用云計算與大數(shù)據(jù)編程技術(shù)面
臨的挑戰(zhàn)
1.1 云計算技術(shù)應用面臨的挑戰(zhàn)
1.1.1 資源利用效率與成本控制
高校通常依賴云計算平臺來支持各類教學與科研活動，然而，云計算資源的分配面臨不平衡的挑戰(zhàn)，導致資源利用效率低下。高校的云計算資源在實際使用過程中經(jīng)常被配置得過多或者過少，如一些課程或?qū)嶒炐枰馁Y源量在規(guī)劃階段可能未能準確預測，導致資源配置過多但實際利用率低；而另一些高負荷的應用，如大規(guī)模的數(shù)據(jù)處理任務(wù)等，則可能面臨資源不足的問題[1]。這種資源配置不均的現(xiàn)象影響了教學和研究的效率，使云計算資源的成本難以得到有效控制。隨著學校信息化建設(shè)的深入，學生數(shù)量和教學需求的增長，如何精確掌握資源需求并合理分配，成為高校在云計算環(huán)境中面臨的一大難題。另外，云計算服務(wù)的成本控制也越來越復雜。由于云服務(wù)商提供的計費模式往往基于使用量，成本控制需要對資源使用情況進行精細化管理。盲目增加的計算資源和存儲空間將不可避免地引發(fā)成本的大幅上漲，不僅會給高校財務(wù)帶來壓力，也可能限制其進一步發(fā)展的空間。
1.1.2 安全與隱私保護
高校在使用云計算服務(wù)時，需要處理大量的敏感數(shù)據(jù)，包括學生的個人信息、學術(shù)研究數(shù)據(jù)以及教學資料。這些數(shù)據(jù)在傳輸、存儲和處理過程中，都面臨著嚴重的安全隱患。數(shù)據(jù)的傳輸過程可能會被惡意攻擊者截獲，存儲的數(shù)據(jù)則有可能遭遇未授權(quán)訪問或泄露，尤其是在數(shù)據(jù)處理過程中，云計算服務(wù)商的管理和技術(shù)能力直接影響到數(shù)據(jù)的安全性[2]。然而，由于云計算服務(wù)的開放性和共享性，確保每一層的數(shù)據(jù)安全和隱私保護措施都到位是一項極具挑戰(zhàn)性的任務(wù)。高校計算機教師不僅需要面對這些潛在的安全威脅，還需要遵循相關(guān)的法律法規(guī)和政策要求，確保學生和教師的個人信息得到妥善保護。
1.2 大數(shù)據(jù)編程技術(shù)應用面臨的挑戰(zhàn)
1.2.1 數(shù)據(jù)質(zhì)量參差不齊
在數(shù)據(jù)質(zhì)量方面，高校在進行大數(shù)據(jù)分析時，經(jīng)常會遇到數(shù)據(jù)源廣泛且格式多樣的問題。由于數(shù)據(jù)采集的途徑和方式不同，數(shù)據(jù)往往存在各種質(zhì)量問題，如缺失、重復、錯誤以及不一致等。這些問題不僅影響數(shù)據(jù)的整體質(zhì)量，也直接影響數(shù)據(jù)分析結(jié)果的準確性和可靠性[3]。數(shù)據(jù)缺失可能導致部分分析結(jié)果的不完整，而重復數(shù)據(jù)則可能導致資源的浪費和結(jié)果的偏差。數(shù)據(jù)格式的不統(tǒng)一和標準的不一致使數(shù)據(jù)整合和分析變得復雜，增加了數(shù)據(jù)預處理的難度。
1.2.2 處理性能與效率瓶頸
在數(shù)據(jù)處理過程中，尤其是在面對大規(guī)模的數(shù)據(jù)集時，計算資源的消耗和處理速度往往成為限制因素。處理性能的瓶頸可能來源于多個方面，包括數(shù)據(jù)存儲和檢索的效率、數(shù)據(jù)處理算法的復雜性，以及計算資源的配置等。對于高校計算機教師來說，這些性能瓶頸不僅影響了教學和研究的效率，還可能限制了創(chuàng)新和探索的空間[4]。尤其是在進行復雜的數(shù)據(jù)分析和建模時，處理速度慢和效率低可能導致數(shù)據(jù)處理過程的延遲，影響實驗和研究結(jié)果的及時性和準確性。
2 高校面對云計算與大數(shù)據(jù)編程技術(shù)應用
挑戰(zhàn)的解決方案
2.1 面對云計算技術(shù)問題的解決方案
2.1.1 精細化資源管理與成本優(yōu)化
采用基于人工智能的預測分析工具可以對未來的資源需求進行預測，實現(xiàn)預見性資源管理。云成本分析工具的應用是成本優(yōu)化的重要手段。通過數(shù)據(jù)驅(qū)動的決策，高校在保證資源滿足需求的情況下，優(yōu)化成本結(jié)構(gòu)，降低不必要的開支[5]。利用容器化技術(shù)可以實現(xiàn)應用的靈活部署和彈性伸縮，減少固定資源配置的成本。以阿里云視頻云的GRTN（Global Realtime Transport Network）低延時網(wǎng)實現(xiàn)邊緣傳輸（見圖1）為例，其匯聚了阿里云在音視頻通信領(lǐng)域的深厚技術(shù)積累與創(chuàng)新能力，巧妙融合了層級網(wǎng)與對等網(wǎng)的雙重優(yōu)勢，構(gòu)建起一個高效、靈活的混合網(wǎng)絡(luò)架構(gòu)，縮短了媒體傳輸?shù)逆溌烽L度，從根本上降低了數(shù)據(jù)傳輸?shù)难舆t。全鏈路深度集成了基于UDP的低延時RTC協(xié)議，確保了數(shù)據(jù)傳輸?shù)母咝c實時性。通過深度定制的動態(tài)路由策略、精細化的傳輸控制機制，以及前沿的邊緣計算技術(shù)，GRTN能夠在全球范圍內(nèi)實現(xiàn)資源的優(yōu)化配置與負載均衡，為用戶提供前所未有的流暢體驗。視頻云云考古機制作為GRTN的重要應用，更是將這一低延時傳輸技術(shù)的優(yōu)勢發(fā)揮到了極致，能夠無縫接入視頻云的直播、點播及RTC等多元化業(yè)務(wù)場景，助力客戶輕松實現(xiàn)業(yè)務(wù)的全球化擴展與實時交互，讓每一次視頻體驗都跨越距離，觸手可及。
2.1.2 構(gòu)建全面的安全防護體系
對數(shù)據(jù)進行加密處理可以有效防止數(shù)據(jù)在傳輸過程中被截獲或在存儲過程中被非法訪問�，F(xiàn)代加密算法，如AES（高級加密標準）和RSA（Rivest-Shamir-Adleman）算法能夠為數(shù)據(jù)提供強有力的保護[6]。實施嚴格的訪問控制和身份認證機制也是構(gòu)建安全防護體系的核心，包括多因素身份認證（MFA）、細粒度的訪問控制策略等，確保只有經(jīng)過授權(quán)的用戶才能訪問特定的數(shù)據(jù)和資源。設(shè)置基于角色的訪問控制（RBAC）可以根據(jù)用戶的角色和職責來限制訪問權(quán)限，減少內(nèi)部數(shù)據(jù)泄露的風險。定期進行安全審計和漏洞掃描是保障云計算環(huán)境安全的重要措施。不斷檢測系統(tǒng)中的潛在安全威脅和漏洞，及時修復安全漏洞，可以有效防止黑客攻擊和數(shù)據(jù)泄露事件的發(fā)生。
2.2 面對大數(shù)據(jù)編程技術(shù)問題的解決方案
2.2.1 數(shù)據(jù)清洗與預處理
高校在進行大數(shù)據(jù)分析時，數(shù)據(jù)來源廣泛且格式多樣，容易出現(xiàn)各種問題。來自不同系統(tǒng)的學生成績數(shù)據(jù)可能格式不一致，且有些記錄可能丟失或重復。為了提高數(shù)據(jù)質(zhì)量，必須對數(shù)據(jù)進行標準化處理，即將數(shù)據(jù)轉(zhuǎn)化為統(tǒng)一的格式，并處理缺失值和異常值。大數(shù)據(jù)編程內(nèi)容如圖2所示[7]。具體方法包括填充缺失值、刪除重復記錄、糾正錯誤數(shù)據(jù)等。這些操作可以通過使用數(shù)據(jù)清洗工具，如Open Refine或Python的Pandas庫自動化執(zhí)行，減少人工干預，提高效率。數(shù)據(jù)預處理不僅包括數(shù)據(jù)清洗，還涉及數(shù)據(jù)轉(zhuǎn)換和特征工程。
2.2.2 優(yōu)化算法與并行處理
優(yōu)化算法主要指在算法設(shè)計和實現(xiàn)過程中，通過改進算法結(jié)構(gòu)和降低時間復雜度提升處理效率。大數(shù)據(jù)處理優(yōu)化效果如表1所示。在處理大規(guī)模數(shù)據(jù)集時，傳統(tǒng)線性搜索算法可能效率低下，而利用二分搜索算法能夠提高數(shù)據(jù)檢索速度[8]。并行處理通過將大數(shù)據(jù)任務(wù)拆分為多個小任務(wù)并在多個處理單元上同時執(zhí)行，能夠提升數(shù)據(jù)處理速度。使用分布式計算框架如Hadoop和Spark等，將數(shù)據(jù)處理任務(wù)分布在多個計算節(jié)點上并行執(zhí)行數(shù)據(jù)處理任務(wù)，能夠大幅度提升處理效率。Spark的內(nèi)存計算能力相比于傳統(tǒng)基于磁盤的Hadoop MapReduce具有更高的處理速度，尤其適用于需要迭代計算的場景，如機器學習算法的訓練。
3 結(jié)束語
通過上述分析可知，高校應用云計算技術(shù)面臨的主要挑戰(zhàn)有資源利用效率與成本控制挑戰(zhàn)、安全與隱私保護挑戰(zhàn)、資源配置的不均衡挑戰(zhàn)、成本控制的復雜性挑戰(zhàn)，因而高校必須在資源管理中進行動態(tài)調(diào)整和精細化管理，優(yōu)化資源利用率并控制成本，而數(shù)據(jù)安全和隱私保護問題需要通過多層次的安全防護措施來應對，包括數(shù)據(jù)加密、訪問控制和安全審計等手段。高校應用大數(shù)據(jù)編程技術(shù)面臨著數(shù)據(jù)質(zhì)量參差不齊和處理性能瓶頸問題，因而必須在數(shù)據(jù)預處理階段進行充分的數(shù)據(jù)清洗，并采用優(yōu)化算法和并行處理技術(shù)來提高處理效率。
參考文獻
[1] 嚴競雄．基于云平臺和大數(shù)據(jù)技術(shù)的C語言編程實驗教學平臺設(shè)計與實現(xiàn)[J]．電腦編程技巧與維護，2023（5）：72-76．
[2] 何況，賈曉鳳，甄成，等．基于復雜地質(zhì)環(huán)境條件下的TBM施工數(shù)據(jù)挖掘與云計算綜合管理平臺搭建[J]．安全與環(huán)境工程，2023，30（4）：46-55．
[3] 徐強，王仕佐．基于改進Apriori算法的大數(shù)據(jù)AR挖掘仿真[J]．計算機仿真，2023，40（7）：509-513．
[4] 黃思云，齊金平．云計算環(huán)境下基于XML的異構(gòu)數(shù)據(jù)共享研究[J]．信息與電腦，2022，34（19）：16-19．
[5] 羅小剛，周亮．淺談基于計算機軟件工程的數(shù)據(jù)庫編程技術(shù)[J]．中國新通信，2023，25（14）：36-38．
[6] 胡巖，于洪金，劉眾望，等．基于云計算的機器人三維定位方法研究[J]．機電工程技術(shù)，2023，52（6）：1-5，147．
[7] 余少鋒，鐘建栩，朱磊，等．基于云計算的電力系統(tǒng)入侵檢測仿真與研究[J]．自動化儀表，2022，43（7）：12-16．
[8] 劉雨蒙，趙怡婧，王碧聰，等．結(jié)構(gòu)化數(shù)據(jù)庫查詢語言智能合成技術(shù)研究進展[J]．計算機科學，2024，51（7）：40-48．
作者簡介：姜 寧（1986—），男，漢族，山東乳山人，助教，本科，研究方向為計算機應用技術(shù)。
