0
| 本文作者： 張莉 | 2018-12-08 15:12 |
雷鋒網(wǎng)按：12月7日，京東舉辦首屆大數(shù)據(jù)峰會(huì)，此次峰會(huì)亮點(diǎn)頗多，京東打造的智能零售大數(shù)據(jù)“操作系統(tǒng)”全面亮相，并發(fā)布《京東大數(shù)據(jù)技術(shù)白皮書(shū)》，宣布與英特爾合作建立數(shù)字化零售聯(lián)合實(shí)驗(yàn)室、推出針對(duì)線(xiàn)下零售、區(qū)塊鏈等領(lǐng)域的多款產(chǎn)品。
值得注意的是，雷鋒網(wǎng)在現(xiàn)場(chǎng)觀察到，不同以往以戰(zhàn)略和產(chǎn)品為主的發(fā)布會(huì)，此次，京東大數(shù)據(jù)團(tuán)隊(duì)各技術(shù)部門(mén)負(fù)責(zé)人悉數(shù)登臺(tái)，詳細(xì)介紹了京東大數(shù)據(jù)平臺(tái)的底層架構(gòu)和技術(shù)細(xì)節(jié)。
京東集團(tuán)CTO張晨在開(kāi)場(chǎng)演講中指出，如今的京東已經(jīng)不僅僅是一家零售公司，而是數(shù)字經(jīng)濟(jì)與實(shí)體經(jīng)濟(jì)深度融合的創(chuàng)新企業(yè)，完整的產(chǎn)業(yè)鏈條帶來(lái)了海量大數(shù)據(jù)和豐富的業(yè)務(wù)場(chǎng)景。
據(jù)介紹，2010年京東就啟動(dòng)了在大數(shù)據(jù)領(lǐng)域的研發(fā)和應(yīng)用探索，正式組建京東大數(shù)據(jù)部，并確立了數(shù)據(jù)集中式的數(shù)據(jù)服務(wù)模式。
此次發(fā)布會(huì)，《京東大數(shù)據(jù)技術(shù)白皮書(shū)》正式對(duì)外發(fā)布，至于為什么選擇在這個(gè)節(jié)點(diǎn)發(fā)布，京東集團(tuán)副總裁、大數(shù)據(jù)平臺(tái)負(fù)責(zé)人翁志在接受包括雷鋒網(wǎng)在內(nèi)的媒體采訪時(shí)表示，首先，京東大數(shù)據(jù)經(jīng)過(guò)十幾年的發(fā)展，在技術(shù)上已經(jīng)積累到一定程度，是時(shí)候向外界展示其成果；其次，京東非常看好數(shù)據(jù)科學(xué)對(duì)整個(gè)經(jīng)濟(jì)發(fā)展的驅(qū)動(dòng)，通過(guò)這個(gè)節(jié)點(diǎn)發(fā)布白皮書(shū)，可以展示京東的技術(shù)能力，也希望通過(guò)大數(shù)據(jù)和數(shù)據(jù)產(chǎn)品的對(duì)外開(kāi)放，賦能行業(yè)，產(chǎn)生更大價(jià)值。
此外，翁志表示，通過(guò)發(fā)布大數(shù)據(jù)技術(shù)白皮書(shū)，可以讓行業(yè)伙伴和相關(guān)從業(yè)者對(duì)京東大數(shù)據(jù)整個(gè)發(fā)展概貌有比較系統(tǒng)的了解，“研發(fā)人員也可以通過(guò)這本書(shū)來(lái)了解京東是怎樣進(jìn)行數(shù)據(jù)處理的，可以看到我們?cè)谀姆矫娣浅Ｖ匾?，做了哪些工作；?duì)于大數(shù)據(jù)分析的從業(yè)人員，他們可以從中來(lái)了解京東大概數(shù)據(jù)的面貌，這里包括底層的，包括我們產(chǎn)品的，也包括我們應(yīng)用方向的，所以對(duì)他們來(lái)說(shuō)應(yīng)該也是非常有用；這本白皮書(shū)對(duì)普通的數(shù)據(jù)分析人員和新聞工作者也有參考價(jià)值?！?/p>
雷鋒網(wǎng)第一時(shí)間拿到了這本《京東大數(shù)據(jù)技術(shù)白皮書(shū)》，主體內(nèi)容共八個(gè)章節(jié)，涵蓋了京東大數(shù)據(jù)的發(fā)展歷程、技術(shù)體系、數(shù)據(jù)管理、數(shù)據(jù)產(chǎn)品、應(yīng)用場(chǎng)景、合作生態(tài)以及京東大數(shù)據(jù)的特點(diǎn)和展望。
雷鋒網(wǎng)注：京東大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)
白皮書(shū)中指出，京東大數(shù)據(jù)平臺(tái)的發(fā)展隨著京東業(yè)務(wù)同步發(fā)展，由原來(lái)的傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)模式逐步演變?yōu)?strong>基于Hadoop的分布式計(jì)算架構(gòu)。
技術(shù)領(lǐng)域覆蓋Hadoop、Kubernetes、Spark、Hive、Alluxio、Presto、Hbase、Storm、Flink、Kafka等大數(shù)據(jù)全生態(tài)體系。
目前已擁有集群規(guī)模40000+服務(wù)器、數(shù)據(jù)規(guī)模800PB+、日增數(shù)據(jù)1P+，每日的離線(xiàn)數(shù)據(jù)日處理30PB+，實(shí)時(shí)計(jì)算每天行數(shù)近萬(wàn)億條。
建設(shè)了完整的技術(shù)體系，包括離線(xiàn)計(jì)算、實(shí)時(shí)計(jì)算和機(jī)器學(xué)習(xí)平臺(tái)，可以滿(mǎn)足多種復(fù)雜應(yīng)用場(chǎng)景的計(jì)算任務(wù)。
元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、任務(wù)調(diào)度、數(shù)據(jù)開(kāi)發(fā)工具、流程中心等構(gòu)成了全面的數(shù)據(jù)運(yùn)營(yíng)工具。
分析師、指南針等數(shù)據(jù)應(yīng)用產(chǎn)品提供了便利的數(shù)據(jù)分析功能，以及敏感數(shù)據(jù)保護(hù)、數(shù)據(jù)權(quán)限控 制等策略方案，能夠最大程度地保護(hù)數(shù)據(jù)資產(chǎn)的安全。
利用大數(shù)據(jù)分析和挖掘，京東打造了個(gè)性化商城，自主研發(fā)了智能門(mén)店解決方案，打造了智能供應(yīng)鏈體系，京東大數(shù)據(jù)的應(yīng)用已滲透到了業(yè)務(wù)的各個(gè)環(huán)節(jié)。
京東大數(shù)據(jù)的特點(diǎn)包括：
高可用和高性能。采用自研 Yarn Federation 技術(shù)實(shí)現(xiàn)資源按需無(wú)限擴(kuò)展；采用自研大數(shù)據(jù)虛擬化容器技術(shù)實(shí)現(xiàn)計(jì)算資源共享；采用自研 Vitual FileSystem 技術(shù)實(shí)現(xiàn)計(jì)算存儲(chǔ)分離。
一站式服務(wù)平臺(tái)。覆蓋了用戶(hù)、商品、采銷(xiāo)、倉(cāng)儲(chǔ)、配送、 訂單、售后等電商全產(chǎn)業(yè)鏈數(shù)據(jù)；建立了完善的技術(shù)體系；提供全面的平臺(tái)產(chǎn)品和服務(wù)。
可靠的安全保障。數(shù)據(jù)分級(jí)保護(hù)；通過(guò)用戶(hù)權(quán)限系統(tǒng)保障用戶(hù)數(shù)據(jù)安全；對(duì)敏感數(shù)據(jù)傳輸通道進(jìn)行加密。
此外，京東大數(shù)據(jù)建設(shè)了全生態(tài)核心產(chǎn)品體系，是京東大數(shù)據(jù)業(yè)務(wù)的基礎(chǔ)服務(wù)平臺(tái)，為京東全業(yè)務(wù)生態(tài)提供一站式、自助式的大數(shù)據(jù)處理全流程解決方案。
涵蓋數(shù)據(jù)采集、存儲(chǔ)、加工、分析、可視化、機(jī)器學(xué)習(xí)等專(zhuān)業(yè)化產(chǎn)品和服務(wù)，在保障數(shù)據(jù)安全的前提下，提供更可靠、高性能的服務(wù)，降低大數(shù)據(jù)使用門(mén)檻，幫助京東大數(shù)據(jù)業(yè)務(wù)快速落地。
在論壇上，京東攜手英特爾宣布建立數(shù)字化零售聯(lián)合實(shí)驗(yàn)室，據(jù)介紹，雙方將探索IoT（物聯(lián)網(wǎng)）在線(xiàn)下智能零售解決方案中的應(yīng)用。
數(shù)字化零售聯(lián)合實(shí)驗(yàn)室將憑借京東在零售行業(yè)的海量大數(shù)據(jù)積累，與英特爾邊緣計(jì)算優(yōu)勢(shì)相結(jié)合，旨在建立更加完善的零售產(chǎn)業(yè)基礎(chǔ)設(shè)施，孵化并推動(dòng)新技術(shù)、新產(chǎn)品的商業(yè)落地與全球推廣。
翁志表示：“這個(gè)實(shí)驗(yàn)室將結(jié)合雙方的優(yōu)勢(shì)，開(kāi)發(fā)尖端的解決方案，將在線(xiàn)購(gòu)物出色的精準(zhǔn)體驗(yàn)帶給線(xiàn)下的消費(fèi)者。我們期待著擴(kuò)大與英特爾的合作，無(wú)論消費(fèi)者在哪里購(gòu)物，都能提供一流的個(gè)性化購(gòu)物體驗(yàn)。”
據(jù)了解，目前京東已與英特爾在門(mén)店科技、邊緣計(jì)算、新媒體領(lǐng)域展開(kāi)合作并取得了一定成果：
在門(mén)店科技方面，借助京東機(jī)器視覺(jué)算法與英特爾RRI邊緣計(jì)算和OPENVINO計(jì)算機(jī)視覺(jué)加速技術(shù)，已經(jīng)可以利用普通安防攝像頭做門(mén)店客流分析與用戶(hù)行為識(shí)別。
在邊緣計(jì)算領(lǐng)域，結(jié)合英特爾的技術(shù)優(yōu)勢(shì)與京東門(mén)店IoT平臺(tái)結(jié)合，提升了設(shè)備接入能力與邊緣計(jì)算能力。
新媒體方面，雙方正在就基于深度學(xué)習(xí)的智能媒體推薦平臺(tái)展開(kāi)合作，根據(jù)周邊客群特點(diǎn)提升廣告投放效果。
在論壇上，京東公布了針對(duì)線(xiàn)下零售的全新智能零售解決方案——數(shù)鏈+。
據(jù)介紹，數(shù)鏈+大數(shù)據(jù)智能零售服務(wù)解決方案整合了此前京東在門(mén)店科技、智能供應(yīng)鏈等業(yè)務(wù)上的經(jīng)驗(yàn)成果，由京東大數(shù)據(jù)團(tuán)隊(duì)自研形成。
該解決方案是將大數(shù)據(jù)技術(shù)和人工智能技術(shù)進(jìn)行結(jié)合打造出的智能零售業(yè)態(tài)。
首先，以社交體系、內(nèi)容體系以及交易體系為依托，為品牌商打造的線(xiàn)上線(xiàn)下一體化、服務(wù)深度定制化、場(chǎng)景交易高融合的零售解決方案，旨在成為智能零售的大數(shù)據(jù)“操作系統(tǒng)”。
其次，以實(shí)現(xiàn)產(chǎn)業(yè)鏈成本、效率最優(yōu)化，打造極致用戶(hù)體驗(yàn)為目的，針對(duì)現(xiàn)有的線(xiàn)下實(shí)體店進(jìn)行升級(jí)改造，為店鋪提供智能化數(shù)據(jù)支撐，實(shí)現(xiàn)“知人、知貨、知場(chǎng)”的精準(zhǔn)匹配，驅(qū)動(dòng)企業(yè)業(yè)務(wù)增長(zhǎng)、提升運(yùn)營(yíng)效率，為客戶(hù)提供個(gè)性化、高品質(zhì)產(chǎn)品及服務(wù)。
在該解決方案中，包含了前端的應(yīng)用到基礎(chǔ)的協(xié)議和數(shù)據(jù)支持，每一個(gè)功能都以組件化的模式對(duì)外輸出，并整合了祖沖之全鏈路數(shù)據(jù)平臺(tái)，提供更為完整的一體化解決方案。
此外，為了能夠更好地幫助商家使用這套解決方案，京東還推出了“燈塔”計(jì)劃，由組件、產(chǎn)品和服務(wù)三個(gè)部分組成，為商家提供業(yè)務(wù)對(duì)接、產(chǎn)品升級(jí)、技能培訓(xùn)等服務(wù)。
發(fā)布會(huì)最后環(huán)節(jié)，京東還發(fā)布了兩大企業(yè)級(jí)區(qū)塊鏈領(lǐng)域應(yīng)用平臺(tái)：
面向消費(fèi)品和醫(yī)藥行業(yè)推出的區(qū)塊鏈防偽追溯平臺(tái)能幫助消費(fèi)品行業(yè)建立全程的信息防偽追溯，并滿(mǎn)足企業(yè)多樣化的數(shù)字分析及營(yíng)銷(xiāo)需求；推動(dòng)醫(yī)藥領(lǐng)域建立透明、安全、高效的管理機(jī)制，實(shí)現(xiàn)疫苗、藥品、醫(yī)療器械等的追溯能力。
區(qū)塊鏈存證平臺(tái)可通過(guò)自動(dòng)化取證、可信存證、一鍵舉證、侵權(quán)預(yù)警等能力，應(yīng)用于多種同信任關(guān)聯(lián)的場(chǎng)景中，助力構(gòu)建信任經(jīng)濟(jì)大環(huán)境。
此外，京東在論壇上還推出了具有自主知識(shí)產(chǎn)權(quán)的企業(yè)級(jí)區(qū)塊鏈框架系統(tǒng)——JD CHAIN。
據(jù)介紹，其交易處理達(dá)到萬(wàn)級(jí)TPS，交易確認(rèn)縮短至秒級(jí)；基于可動(dòng)態(tài)伸縮的賬本存儲(chǔ)設(shè)計(jì)支持海量賬戶(hù)和交易；支持多核并行的高性能密碼算法，并且，該框架系統(tǒng)將在2019年1季度開(kāi)源。
相關(guān)文章：
專(zhuān)訪京東副總裁翁志：全方位解讀 CNCC 2018「數(shù)據(jù)開(kāi)創(chuàng)商業(yè)新生態(tài)」技術(shù)論壇 | CNCC 2018
京東發(fā)布智臻鏈，助力企業(yè)開(kāi)發(fā)區(qū)塊鏈應(yīng)用
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
