導(dǎo)讀：騰訊作為國(guó)內(nèi)體量**大的互聯(lián)網(wǎng)公司之一，業(yè)務(wù)涵蓋用戶日常生活的方方面面，面對(duì)如此巨大業(yè)務(wù)數(shù)據(jù)量，如果不能對(duì)數(shù)據(jù)進(jìn)行專業(yè)化處理并高效有序地存、管、用，如果不能使數(shù)據(jù)產(chǎn)生應(yīng)有的價(jià)值，那么數(shù)據(jù)資產(chǎn)將會(huì)成為數(shù)據(jù)垃圾，成為社會(huì)和企業(yè)的負(fù)擔(dān)。大數(shù)據(jù)平臺(tái)作為騰訊底層的基礎(chǔ)設(shè)施之一，每天必須處理千萬(wàn)級(jí)規(guī)模的離線數(shù)據(jù)任務(wù)及十萬(wàn)億級(jí)別的實(shí)時(shí)計(jì)算，否則無(wú)法滿足業(yè)務(wù)每天數(shù)以億計(jì)的數(shù)據(jù)分析計(jì)算的需求。本文主要介紹騰訊大數(shù)據(jù)的構(gòu)建理念和總體架構(gòu)。01騰訊大數(shù)據(jù)的構(gòu)建理念項(xiàng)目立項(xiàng)的時(shí)候我們?cè)羞^(guò)激烈討論，是自主研發(fā)還是使用開源，“Tobe,ornottobe:thatisthequestion”。當(dāng)時(shí)業(yè)務(wù)需求比較迫切，2009年上半年，QQ空間引入了“開心農(nóng)場(chǎng)”業(yè)務(wù)，開啟了瘋狂增長(zhǎng)的模式，業(yè)務(wù)部門的同事看著幾乎是垂直的增長(zhǎng)曲線笑逐顏開，我們看著曲線卻笑不出來(lái)。如何能快速構(gòu)建全新的數(shù)據(jù)倉(cāng)庫(kù)，滿足業(yè)務(wù)快速增長(zhǎng)的計(jì)算需求，我們?cè)谂ふ掖鸢浮Ｔ?008～2009年，開源在國(guó)內(nèi)還沒大行其道，很多程序員都有一種偏見，覺得使用開源都是沒什么技術(shù)含量的。幾乎所有的程序員心里都有一個(gè)夢(mèng)想和追求，希望能自己實(shí)現(xiàn)一套前列的系統(tǒng)，從而在中國(guó)乃至世界的軟件行業(yè)揚(yáng)名立萬(wàn)。數(shù)據(jù)收集可以通過(guò)自動(dòng)化系統(tǒng)或手動(dòng)方法進(jìn)行。常州智能化數(shù)據(jù)采集系統(tǒng)

    是指H5集成JavaScript數(shù)據(jù)采集SDK后，H5觸發(fā)的事件不直接同步給服務(wù)端，而是先發(fā)給App端的數(shù)據(jù)采集SDK，經(jīng)App端數(shù)據(jù)采集SDK二次加工處理后入本地緩存再進(jìn)行同步。App為什么要與H5打通呢？主要是從以下幾個(gè)角度考慮。1.數(shù)據(jù)丟失率在業(yè)界，App端采集數(shù)據(jù)的丟失率一般在1%左右，而H5采集數(shù)據(jù)的丟失率一般在5%左右（主要是因?yàn)榫彺?、網(wǎng)絡(luò)或切換頁(yè)面等原因）。因此，如果App與H5打通，H5觸發(fā)的所有事件都可以先發(fā)給App端數(shù)據(jù)采集SDK，經(jīng)過(guò)App端二次加工處理后并入本地緩存，在符合特定策略之后再進(jìn)行同步數(shù)據(jù)，即可把數(shù)據(jù)丟失率由5%降到1%左右。2.數(shù)據(jù)準(zhǔn)確性眾所周知，H5無(wú)法直接獲取設(shè)備相關(guān)的信息，只能通過(guò)解析UserAgent值獲取到有限的信息，而解析UserAgent值，至少會(huì)面臨如下兩個(gè)問(wèn)題：（1）有些信息通過(guò)解析UserAgent值根本獲取不到，比如應(yīng)用程序的版本號(hào)等；（2）有些信息通過(guò)解析UserAgent值可以獲取到，但內(nèi)容可能不正確。如果App與H5打通，由App端數(shù)據(jù)采集SDK補(bǔ)充這些信息，即可確保事件信息的準(zhǔn)確性和完整性。3.用戶標(biāo)識(shí)如果用戶在App端注冊(cè)或登錄之前使用我們的產(chǎn)品，我們一般都是使用匿名ID來(lái)標(biāo)識(shí)用戶。而App與H5標(biāo)識(shí)匿名用戶的規(guī)則不一樣。杭州本地?cái)?shù)據(jù)采集管理系統(tǒng)數(shù)據(jù)采集可以通過(guò)智能家居設(shè)備實(shí)現(xiàn)對(duì)家庭能源消耗的監(jiān)測(cè)和管理。

    所以數(shù)據(jù)分析法在工業(yè)設(shè)計(jì)中運(yùn)用非常***，而且是極為重要的。[3]數(shù)據(jù)分析分析工具編輯使用Excel自帶的數(shù)據(jù)分析功能可以完成很多專業(yè)軟件才有的數(shù)據(jù)統(tǒng)計(jì)、分析，其中包括：直方圖、相關(guān)系數(shù)、協(xié)方差、各種概率分布、抽樣與動(dòng)態(tài)模擬、總體均值判斷，均值推斷、線性、非線性回歸、多元回歸分析、移動(dòng)平均等內(nèi)容。在商業(yè)智能領(lǐng)域Cognos、StyleIntelligence、Microstrategy、Brio、BO和Oracle以及國(guó)內(nèi)產(chǎn)品如YonghongZ-SuiteBI套件等。[5]數(shù)據(jù)分析步驟編輯數(shù)據(jù)分析有極***的應(yīng)用范圍。典型的數(shù)據(jù)分析可能包含以下三個(gè)步：[6]1、探索性數(shù)據(jù)分析：當(dāng)數(shù)據(jù)剛?cè)〉脮r(shí)，可能雜亂無(wú)章，看不出規(guī)律，通過(guò)作圖、造表、用各種形式的方程擬合，計(jì)算某些特征量等手段探索規(guī)律性的可能形式，即往什么方向和用何種方式去尋找和揭示隱含在數(shù)據(jù)中的規(guī)律性。[6]2、模型選定分析，在探索性分析的基礎(chǔ)上提出一類或幾類可能的模型，然后通過(guò)進(jìn)一步的分析從中挑選一定的模型。[6]3、推斷分析：通常使用數(shù)理統(tǒng)計(jì)方法對(duì)所定模型或估計(jì)的可靠程度和精確程度作出推斷。[6]數(shù)據(jù)分析過(guò)程的主要活動(dòng)由識(shí)別信息需求、收集數(shù)據(jù)、分析數(shù)據(jù)、評(píng)價(jià)并改進(jìn)數(shù)據(jù)分析的有效性組成。

    關(guān)于作者：胡典鋼，***工業(yè)物聯(lián)網(wǎng)**，順豐物聯(lián)網(wǎng)平臺(tái)負(fù)責(zé)人，兼任順豐集團(tuán)職業(yè)發(fā)展評(píng)審委員和ZETA聯(lián)盟工業(yè)物聯(lián)網(wǎng)高級(jí)顧問(wèn)，負(fù)責(zé)順豐物聯(lián)網(wǎng)平臺(tái)建設(shè)及產(chǎn)品化工作。在物聯(lián)網(wǎng)、邊緣計(jì)算、工業(yè)大數(shù)據(jù)領(lǐng)域從業(yè)10余年，有豐富的實(shí)踐經(jīng)驗(yàn)。歷任NI公司應(yīng)用工程師、高級(jí)應(yīng)用工程師、大區(qū)銷售經(jīng)理，兼任GSDZone社區(qū)專欄作者和海南大學(xué)校外**，NI（中國(guó)）**認(rèn)證雙架構(gòu)師——LabVIEW架構(gòu)師和TestStand架構(gòu)師，主導(dǎo)大型工業(yè)自動(dòng)化測(cè)試控制和工業(yè)物聯(lián)網(wǎng)項(xiàng)目的開發(fā)工作。2016年受邀撰寫專著《TestStand工業(yè)自動(dòng)化測(cè)試管理》，廣受業(yè)界好評(píng)，多次重印。本文摘編自《工業(yè)物聯(lián)網(wǎng)：平臺(tái)架構(gòu)、關(guān)鍵技術(shù)與應(yīng)用實(shí)踐》，經(jīng)出版方授權(quán)發(fā)布。（ISBN：978-7-111-70227-6）延伸閱讀《工業(yè)物聯(lián)網(wǎng)》點(diǎn)擊上圖了解及購(gòu)買轉(zhuǎn)載請(qǐng)聯(lián)系微信：DoctorData推薦語(yǔ)：這是一本從平臺(tái)架構(gòu)、關(guān)鍵技術(shù)、應(yīng)用實(shí)踐3個(gè)維度***講解工業(yè)物聯(lián)網(wǎng)如何在生產(chǎn)實(shí)踐中落地的著作。它是順豐物聯(lián)網(wǎng)平臺(tái)負(fù)責(zé)人10余年經(jīng)驗(yàn)的總結(jié)，得到了行業(yè)里近10位**的一致推薦。數(shù)據(jù)采集可以通過(guò)智能交通系統(tǒng)實(shí)現(xiàn)對(duì)交通擁堵和事故的實(shí)時(shí)預(yù)警。

    人工智能（AI）是指通過(guò)模擬、仿真和延伸人類智能的方法和技術(shù)，使計(jì)算機(jī)系統(tǒng)能夠執(zhí)行類似于人類的認(rèn)知、學(xué)習(xí)、推理和決策等智能活動(dòng)。人工智能的目標(biāo)是讓計(jì)算機(jī)系統(tǒng)能夠像人類一樣思考、學(xué)習(xí)和行動(dòng)，從而解決各種復(fù)雜的問(wèn)題，并提供智能化的服務(wù)和支持。人工智能涵蓋了多個(gè)子領(lǐng)域和技術(shù)，其中一些主要包括：機(jī)器學(xué)習(xí)：機(jī)器學(xué)習(xí)是一種讓計(jì)算機(jī)系統(tǒng)通過(guò)學(xué)習(xí)數(shù)據(jù)和模式來(lái)改善性能的技術(shù)，包括監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)等方法。深度學(xué)習(xí)：深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)分支，基于人工神經(jīng)網(wǎng)絡(luò)模型，通過(guò)多層次的非線性變換來(lái)學(xué)習(xí)數(shù)據(jù)的高級(jí)抽象表示，廣泛應(yīng)用于圖像識(shí)別、語(yǔ)音識(shí)別、自然語(yǔ)言處理等領(lǐng)域。自然語(yǔ)言處理（NLP）：自然語(yǔ)言處理是研究計(jì)算機(jī)如何理解、處理和生成自然語(yǔ)言的技術(shù)，包括文本分析、語(yǔ)言翻譯、語(yǔ)音識(shí)別等方面。計(jì)算機(jī)視覺：計(jì)算機(jī)視覺是研究計(jì)算機(jī)如何從圖像或視頻中理解和分析視覺信息的技術(shù)，包括目標(biāo)檢測(cè)、圖像分類、物體識(shí)別等領(lǐng)域。智能機(jī)器人：智能機(jī)器人是結(jié)合了感知、學(xué)習(xí)和決策能力的機(jī)器人系統(tǒng)，能夠自主地執(zhí)行任務(wù)和與環(huán)境進(jìn)行交互。 數(shù)據(jù)采集可以通過(guò)物聯(lián)網(wǎng)技術(shù)實(shí)現(xiàn)對(duì)設(shè)備狀態(tài)和故障的遠(yuǎn)程監(jiān)測(cè)。徐州光學(xué)數(shù)據(jù)采集單價(jià)

數(shù)據(jù)采集在科學(xué)研究中被廣泛應(yīng)用，例如天文觀測(cè)和地質(zhì)勘探。常州智能化數(shù)據(jù)采集系統(tǒng)

    ▲圖2***代離線計(jì)算平臺(tái)架構(gòu)第二代架構(gòu)從2012～2014年，在承載離線計(jì)算的基礎(chǔ)上，擴(kuò)展了平臺(tái)能力，支持實(shí)時(shí)計(jì)算的需求，如圖3所示?！鴪D3第二代實(shí)時(shí)計(jì)算平臺(tái)架構(gòu)在***代離線計(jì)算平臺(tái)基礎(chǔ)之上，我們?nèi)诤蟂torm和Spark構(gòu)建了第二代實(shí)時(shí)計(jì)算平臺(tái)。主要的演進(jìn)如下。1）集成Spark，離線計(jì)算比Hadoop性能更高。2）引入Storm，支持秒級(jí)/毫秒級(jí)的流式計(jì)算任務(wù)。3）建設(shè)了實(shí)時(shí)采集系統(tǒng)TDBank，數(shù)據(jù)采集實(shí)現(xiàn)從天級(jí)（T+1）到秒級(jí)的飛躍。4）支持資源和任務(wù)調(diào)度方面，平臺(tái)支持離線與在線混合部署，任務(wù)容器化，資源管理的維度支持CPU、內(nèi)存，以及網(wǎng)絡(luò)與I/O，進(jìn)一步提升了平臺(tái)輕量化、敏捷性與靈活性，極大提升了平臺(tái)利用率，降低了成本。第三代架構(gòu)從2015～2019年，在通用大數(shù)據(jù)計(jì)算外，開始支持機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等AI場(chǎng)景，BigData與AI在平臺(tái)層面逐步融合，如圖4所示?！鴪D4第三代機(jī)器學(xué)習(xí)計(jì)算平臺(tái)在第二代實(shí)時(shí)計(jì)算平臺(tái)基礎(chǔ)上，自主研發(fā)了機(jī)器學(xué)習(xí)平臺(tái)Angel，并以Angel為**構(gòu)建第三代機(jī)器學(xué)習(xí)計(jì)算平臺(tái)生態(tài)。主要演進(jìn)如下。1）我們與北京大學(xué)合作，自主研發(fā)了高性能分布式機(jī)器學(xué)習(xí)平臺(tái)。該平臺(tái)支持十億至百億維度模型，支持?jǐn)?shù)據(jù)并行及模型并行，支持在線訓(xùn)練。同時(shí)。常州智能化數(shù)據(jù)采集系統(tǒng)