作者：京東零售 韓雷鈞

開篇

京東自營和商家自運營模式，以及伴隨的多種運營視角、多種組合計算、多種銷售屬性等數(shù)據(jù)維度，相較于行業(yè)同等量級，數(shù)據(jù)處理的難度與復(fù)雜度都顯著增加。如何從海量的數(shù)據(jù)模型與數(shù)據(jù)指標(biāo)中提升檢索數(shù)據(jù)的效率，降低數(shù)據(jù)存算的成本，提供更可信的數(shù)據(jù)內(nèi)容和多種應(yīng)用模式快速支撐業(yè)務(wù)的數(shù)據(jù)決策與分析，是數(shù)據(jù)團隊去年聚焦解決的核心課題。

過程中基于RBO、HBO等多級加速引擎、基于代價與場景消費的智能物化策略、基于One Metric的異構(gòu)融合服務(wù)、基于One Logic語義層的離近在線轉(zhuǎn)換以及基于圖形語法和多端一體的可視化工具，聯(lián)合GPT技術(shù)的智能問答系統(tǒng)chatBI，顯著提升業(yè)務(wù)數(shù)字化決策效率，過程中也沉淀了多篇軟著與多項技術(shù)專利。對于多級加速引擎與智能物化策略，行業(yè)普遍采用cube預(yù)計算+緩存模式，京東創(chuàng)新性落地了基于主動元數(shù)據(jù)的口徑定義以及基于數(shù)據(jù)消費場景與消費頻次的正負(fù)反饋動態(tài)決策，確保整個數(shù)據(jù)鏈路的存算分配“當(dāng)下最優(yōu)”，同時相較于粗粒度的物化策略，模型生命周期參考存儲代價配置，數(shù)據(jù)查詢鏈路根據(jù)RT表現(xiàn)動態(tài)尋址，這樣使得數(shù)據(jù)生產(chǎn)與數(shù)據(jù)消費形成交互反饋鏈路，決策依據(jù)更加豐富，決策粒度更加精準(zhǔn)。

基于圖形語法和多端一體的可視化能力打造層面，京東JMT數(shù)據(jù)可視化能力可以依托底層指標(biāo)中臺快速進行智能診斷與歸因，相較于tableau等頭部解決方案，融入了更多圖形語法同時可靈活適配多端多場景。

結(jié)合AIGC技術(shù)的智能問答系統(tǒng)chatBI，基于業(yè)務(wù)知識與數(shù)據(jù)資產(chǎn)的Prompt工程，使用本地大模型SFT對實體進行embedding，通過指標(biāo)統(tǒng)一DSL取代了行業(yè)普遍NL2SQL的解決方案，很好解決了人為意識到數(shù)據(jù)語言的轉(zhuǎn)換難題，所消耗芯片規(guī)模也顯著優(yōu)于行業(yè)水平，在數(shù)據(jù)智能分析診斷系統(tǒng)里準(zhǔn)確率大幅領(lǐng)先。

以上核心技術(shù)通過23年的打磨與應(yīng)用，數(shù)據(jù)指標(biāo)開發(fā)與共享效率大幅提升，分析看板搭建時間從天級別縮短到小時級別，且業(yè)務(wù)用戶逐漸可以進行自交付，解決了集中式研發(fā)的人力瓶頸，日均指標(biāo)消費頻次從23年初的百萬級增長到年末的數(shù)千萬；在23年基礎(chǔ)之上，我們未來還將在數(shù)據(jù)加速、智能物化、智能診斷、大模型應(yīng)用等方面持續(xù)深耕，不斷優(yōu)化數(shù)據(jù)存算成本，提升數(shù)據(jù)應(yīng)用的效率、體驗。

依托于京東數(shù)據(jù)資產(chǎn)的完備性、數(shù)據(jù)能力的自動化與數(shù)據(jù)應(yīng)用的智能化，結(jié)合業(yè)務(wù)場景真實遇到的痛點問題，我們積累了一些經(jīng)驗，
本文將通過如下幾個章節(jié)進行分享交流：
1、 數(shù)據(jù)資產(chǎn)篇--資產(chǎn)認(rèn)證與治理
2、 數(shù)據(jù)能力篇--指標(biāo)中臺實踐
3、 數(shù)據(jù)展現(xiàn)篇--數(shù)據(jù)可視化工具
4、 數(shù)據(jù)智能篇-- 基于大模型的智能化應(yīng)用

1、數(shù)據(jù)資產(chǎn)篇--資產(chǎn)認(rèn)證與治理

背景與挑戰(zhàn)

零售數(shù)據(jù)模型有80+萬張，其中有大量的臨時表、無效表等，零售數(shù)據(jù)資產(chǎn)用戶(尤其是分析師角色)一直存在找模型、理解模型、使用模型困難的情況，面對業(yè)務(wù)用數(shù)、分析需求，在找模型探數(shù)據(jù)的環(huán)節(jié)經(jīng)常消耗較多的時間精力，用戶普遍希望可以節(jié)約找、用模型的時間，提升交付數(shù)據(jù)結(jié)果、分析結(jié)果的效率，而且有些錯誤的或重復(fù)的資產(chǎn)在公司部門內(nèi)流通，重復(fù)資產(chǎn)一方面浪費成本，另一方面無法保證數(shù)據(jù)的一致性。

為解決用戶訴求，同時從產(chǎn)研角度希望優(yōu)化數(shù)據(jù)資產(chǎn)的質(zhì)量和標(biāo)準(zhǔn)化程度，從生產(chǎn)到消費均進行一定程度的優(yōu)化改造，提升端到端的資產(chǎn)建立標(biāo)準(zhǔn)化程度，進而提升用戶使用體驗。

數(shù)據(jù)統(tǒng)一語言

目標(biāo)：如下圖所示，拉齊資產(chǎn)建設(shè)者和資產(chǎn)消費者之間的溝通語言，提升找表效率、增強表的可解釋性。

通過數(shù)據(jù)維度建模的三個階段(概念模型、邏輯模型、物理模型)，形成描述模型的標(biāo)準(zhǔn)定義。

總結(jié)為一句話：

業(yè)務(wù)域 & 主題 下，描述了 X1業(yè)務(wù)過程 ， X2業(yè)務(wù)過程 的 X主體 表，每 更新頻率 更新 更新周期 數(shù)據(jù)的 存儲方式 表，表主鍵是 數(shù)據(jù)粒度

比如：adm_d04_trade_std_ord_det_snapshot通用域 & 交易 下，描述了 取消,完成,成交,訂單出庫,下單 的 大盤訂單 表，每天更新近1日的增量快照 表，表主鍵是 ord_type+sale_ord_det_id

維度建模方法論

3個階段：概念模型 > 邏輯模型 > 物理模型 (1:N:M )

概念模型

在一個分析領(lǐng)域內(nèi)，描述實體以及實體之間的關(guān)系，等同于業(yè)務(wù)圖譜。一個主題下一個概念模型。

實體之間的關(guān)系包括引用關(guān)系和繼承關(guān)系，引用關(guān)系：一個實體是另外一個實體的屬性。繼承關(guān)系：實體比另外一個實體更細(xì)化具體，比如事件和瀏覽。

where [業(yè)務(wù)域]+ why[主題]+who[主體集合] + what [業(yè)務(wù)過程集合]

舉例：交易的業(yè)務(wù)流程圖：

將業(yè)務(wù)流程中的實體（包括業(yè)務(wù)活動和業(yè)務(wù)對象）之間的關(guān)系構(gòu)建出來，變成交易主題下的概念模型：

?

邏輯模型

邏輯模型：是將概念模型轉(zhuǎn)化為具體的數(shù)據(jù)模型的過程。一個概念模型下會拆分成多個邏輯模型。拆分原則：根據(jù)主體或者業(yè)務(wù)過程進行拆分。

where [業(yè)務(wù)域] + why[主題] +who[主體] + what [業(yè)務(wù)過程]

這里的業(yè)務(wù)過程可以是單個，也可以是多個。一般根據(jù)業(yè)務(wù)將業(yè)務(wù)相似度高，同粒度的業(yè)務(wù)過程放在一起。

舉例：

where [主站] + why[交易] +who[訂單] + what [下單、支付、出庫、完成] where [主站] + why[交易] +who[訂單] + what [下單、支付] where [主站] + why[交易] +who[移動訂單] + what [下單]

物理模型

用技術(shù)手段將邏輯模型通過不同的加工方式和周期頻率等物化形成多個不同的物理模型。一個邏輯模型對應(yīng)一個或者多個物理模型。更新周期：每次更新多久的數(shù)據(jù)。更新頻率：多久更新一次。加工粒度：描述模型每一行的業(yè)務(wù)含義，也就是主鍵。

where [業(yè)務(wù)域] + why[主題] +who[主體] + what [業(yè)務(wù)過程]

+ when [更新周期+更新頻率]

+ how much [加工粒度]

+ how [更新方式]

舉例：

[主站] + [交易] +[訂單] + [下單、支付、出庫、完成] + [未歸檔/日]+[訂單號] + 增量

[主站] + [交易] +[訂單] + [下單、支付、出庫、完成] +[未歸檔/日]+[銷售訂單明細(xì)編號] + 增量

[主站] + [交易] +[訂單] + [下單、支付、出庫、完成] +[近1日/日]+[銷售訂單明細(xì)編號] + 增量

[主站] + [交易] +[訂單] + [下單、支付、出庫、完成] +[近180日/日]+[銷售訂單明細(xì)編號] + 增量

[主站] + [交易] +[訂單] + [下單、支付] +[近1日/日]+[銷售訂單明細(xì)編號] + 增量

[主站] + [交易] +[移動訂單] + [下單] +[近1日/日]+[訂單號] + 增量

資產(chǎn)認(rèn)證

基于數(shù)據(jù)標(biāo)準(zhǔn)，推進資產(chǎn)認(rèn)證，通過資產(chǎn)完備性、唯一性治理，存量資產(chǎn)關(guān)停并轉(zhuǎn)，提升認(rèn)證資產(chǎn)的需求覆蓋率，降本增效。目前，已認(rèn)證模型近3000張，資產(chǎn)需求覆蓋率84%以上，覆蓋零售范圍內(nèi)的交易、用戶、流量、營銷、財務(wù)等核心主題數(shù)據(jù)資產(chǎn)建設(shè)。

資產(chǎn)可感知

從全局到局部，端到端的全面了解數(shù)據(jù)資產(chǎn)，提升資產(chǎn)可感知的能力，包含：

1）推進數(shù)據(jù)資產(chǎn)圖譜的自動化構(gòu)建能力，從資產(chǎn)全景上快速了解到業(yè)務(wù)流程及業(yè)務(wù)數(shù)據(jù)化的資產(chǎn)模型（數(shù)據(jù)孿生）；

2）豐富模型詳情頁，歸一所有信息源，并增加對模型行高、數(shù)據(jù)范圍、常見問題等信息，提升用戶理解模型的效率；

3）標(biāo)準(zhǔn)字段庫，通過對字段標(biāo)準(zhǔn)口徑、業(yè)務(wù)描述、特殊場景、常見問題等信息的補充和完善，提升用戶理解模型、用模型的效率。

未來計劃

?以用戶反饋問題出發(fā)，完善和優(yōu)化數(shù)據(jù)標(biāo)準(zhǔn)5W2H，使其確保數(shù)據(jù)資產(chǎn)清晰易理解的目標(biāo)達成；

?依據(jù)樣板間的效果反饋，完善樣板間的功能和內(nèi)容，并推廣到其他主題資產(chǎn)；

?加強數(shù)據(jù)資產(chǎn)運營，擴展渠道，提升用戶找數(shù)用數(shù)體驗。

?

2、數(shù)據(jù)能力篇--指標(biāo)中臺實踐

背景與挑戰(zhàn)

?1、口徑歧義與存算不受控：指標(biāo)通常散落在BI報表工具、數(shù)據(jù)產(chǎn)品、ETL過程與各種中間表中，看不清，改不動；如何系統(tǒng)化保障存算資源使用合理？

?2、研發(fā)資源缺口：數(shù)據(jù)BP缺少OLAP數(shù)據(jù)研發(fā)、數(shù)據(jù)服務(wù)研發(fā)、前后端研發(fā)，在不擴招的情況下如何滿足各業(yè)務(wù)單元的用數(shù)訴求，降低指標(biāo)加工門檻，使少量BP同學(xué)即可完成自交付？

?3、指標(biāo)開放共享難：如何讓原本鎖定在數(shù)據(jù)應(yīng)用產(chǎn)品內(nèi)部的指標(biāo)無需重復(fù)加工即可對外開放共享，讓指標(biāo)流通起來？

技術(shù)先進性

縱觀業(yè)界比較成熟的指標(biāo)中臺相關(guān)建設(shè)，針對零售場景口徑變化快、用戶類型多且數(shù)量大、數(shù)據(jù)產(chǎn)品形態(tài)豐富等特點，我們打造了核心優(yōu)勢項能力：

1.全量的指標(biāo)明細(xì)資產(chǎn)管控能力【指標(biāo)、維度資產(chǎn)】

2.系統(tǒng)原生的拓?fù)淠芰Α局笜?biāo)市場】

3.業(yè)務(wù)公式統(tǒng)一沉淀能力【規(guī)則引擎】

4.指標(biāo)異常主動預(yù)警能力【指標(biāo)巡檢】

5.基于邏輯寬表的智能加速和擴維能力【定義驅(qū)動生產(chǎn)】

結(jié)合以上我們特有的優(yōu)勢項能力，在業(yè)界首次實現(xiàn)了生產(chǎn)與消費聯(lián)動互相促進，打造了數(shù)據(jù)收集、數(shù)據(jù)安全、指標(biāo)計算、監(jiān)控、分析以及決策支持的指標(biāo)生態(tài)，提供一站式的中臺化、服務(wù)化的指標(biāo)服務(wù)平臺，讓用戶可以高效地管理和分析各種業(yè)務(wù)指標(biāo)，主要解決用戶在數(shù)據(jù)處理和分析過程中遇到的以下幾個問題： （1）數(shù)據(jù)孤島：不同的部門或業(yè)務(wù)線可能使用不同的系統(tǒng)來記錄數(shù)據(jù)，導(dǎo)致數(shù)據(jù)分散在不同的地方，集中分析變得困難。 （2）數(shù)據(jù)標(biāo)準(zhǔn)一致性：保證整個組織內(nèi)部使用統(tǒng)一的數(shù)據(jù)指標(biāo)定義和計算邏輯。 （3）實時性：業(yè)務(wù)決策往往需要實時或近實時的指標(biāo)來支持，一站式指標(biāo)中臺化解決方案可以提供實時監(jiān)控和即時分析。 （4）自助式分析：業(yè)務(wù)人員和分析師可以通過友好的界面進行自助式的數(shù)據(jù)探索和分析，而不需要依賴于專業(yè)的數(shù)據(jù)團隊。 （5） 數(shù)據(jù)治理：包括數(shù)據(jù)安全、質(zhì)量管理、合規(guī)性監(jiān)控等多方面確保數(shù)據(jù)的準(zhǔn)確性和可靠性。

總體架構(gòu)設(shè)計

在架構(gòu)設(shè)計上我們參考了MDA和DDD的思想，希望通過口徑組件實現(xiàn)自動生成代碼并統(tǒng)一查詢語言，支持全鏈路行為決策；通過DRY的原則抽象指標(biāo)定義相關(guān)可積木化執(zhí)行的原語，以便于基于數(shù)據(jù)應(yīng)用的場景連接底層平臺能力；從圖中可以看到整體架構(gòu)分為物化層，語義層，和查詢層。在整個過程中都會伴隨數(shù)據(jù)加速，通過統(tǒng)一接入層開放給各個產(chǎn)品端或可視化工具來使用，物化層用來回答前面的存不存，存多久，存哪里，怎么存的問題；語義層用來通過系統(tǒng)將業(yè)務(wù)語言轉(zhuǎn)化為機器語言，查詢層用來回答數(shù)據(jù)去哪拿、怎么拿、怎么拿最快的問題，最上面藍色部分為各個消費指標(biāo)產(chǎn)物的產(chǎn)品端，深綠色是可視化工具，淺綠色是正在孵化階段的基于GPT的數(shù)據(jù)分析工具。

詳細(xì)設(shè)計展開

查詢層 ：統(tǒng)一查詢語言，最佳查詢策略、最優(yōu)查詢性能

統(tǒng)一的DSL

在查詢語言層面，需要將自然語言分析需求轉(zhuǎn)換為結(jié)構(gòu)化的查詢語言從而達到書同文、車同軌的目的，使得指標(biāo)數(shù)據(jù)所見即所得，開箱即用。我們通過如下案例來說明語言抽象的思路，例如一個常見的分析需求：

「23年12月21日'小米'品牌在各店鋪'成交金額'排名top5的情況」

如果將該需求進行結(jié)構(gòu)化抽取，可以做如下解釋：

聚合條件：【按‘店鋪’聚合】，篩選條件：【時間范圍 = '2023-12-21'、品牌 = '小米'（id是8557）】 ，要查的指標(biāo) = 【成交金額】，排序 = 【按‘成交金額’降序】， 返回維度屬性 = 【店鋪】，分頁 = 【第一頁-5條】。

通過這樣的結(jié)構(gòu)化思維的理解，則統(tǒng)一的指標(biāo)查詢語言可以由五要素組成：指標(biāo)、聚合條件、篩選條件、排序分頁、返回維度屬性?；诖宋逡?，設(shè)計出統(tǒng)一查詢DSL。如下結(jié)構(gòu)體所示，語法規(guī)則設(shè)計類似Json語法風(fēng)格。

{
    "indicators": [
      "ge_deal_standard_deal_ord_amt"
    ],
    "attributes": [
      "shop"
    ],
    "criteria": {
      "criterions": [
        {
          "propertyName": "main_brand",
          "values": "8557",
          "type": "string",
          "op": "="
        },
        {
          "propertyName": "dt",
          "value": "2023-12-21",
          "type": "string",
          "op": "="
        },
        ...
      ],
      "orders": [
        {
          "ascending": false,
          "propertyName": "ge_deal_standard_deal_ord_amt"
        }
      ],
      "maxResults": 5,
      "firstResult": 0,
      "group": [
        "shop"
      ]
    }
}

智能尋址拆分

在實際應(yīng)用情況中，在簡單的五要素基礎(chǔ)上，真實業(yè)務(wù)場景還存在一些同環(huán)比、復(fù)合指標(biāo)計算類似的分析及提數(shù)場景，則一次取數(shù)任務(wù)并不是提交一次引擎查詢就可以滿足需求。所以按照實際場景，查詢引擎在處理一次取數(shù)任務(wù)時，會生成一個執(zhí)行計劃DAG，主要包含兩層拆分原則：

（1）語義拆分：按照查詢引擎提供的DSL語義進行第一層拆分，結(jié)合統(tǒng)一的包含“指標(biāo)、維度、數(shù)據(jù)服務(wù)”的基礎(chǔ)元數(shù)據(jù)中心，進行尋址物料的歸堆分組，根據(jù)決策策略表進行拆分，包含取尋址最大必要集、在線轉(zhuǎn)離線的策略以及可手動調(diào)配的權(quán)重等，一個Job（對應(yīng)用戶一次取數(shù)任務(wù)）會拆分為多個Task，每個Task表示一批邏輯的指標(biāo)/維度查詢。

（2）引擎拆分：按照指標(biāo)維度所存在的數(shù)據(jù)服務(wù)（表引擎）進行第二層拆分，一個Task會拆分多個Query，每個Query表示一次面向引擎的查詢，包括上圖里當(dāng)期查詢、同期查詢等并針對Task按照實際查詢場景進行主從/并行的Query決策。

查詢邏輯加速

包含根據(jù)執(zhí)行計劃發(fā)起的主從/并行和點查/批查的查詢，通過這個邏輯加速可以減少2/3（整體的統(tǒng)計，一批指標(biāo)越多越明顯）的冗余數(shù)據(jù)查詢，從而提升整體TP99表現(xiàn)，同時在查詢層通過動態(tài)獲取集群CPU負(fù)載等情況可以用來進行自動切流、潮汐滾動等加速優(yōu)化，比如在雙流情況下，當(dāng)其中一條流集群CPU負(fù)載超過預(yù)設(shè)的閾值時，啟動自動切一部分流量到另一個流從而來前置降低集群負(fù)載避免影響查詢速度。又如在近線的查詢場景中（分頁邏輯異步發(fā)起多次請求，用戶預(yù)期分鐘級響應(yīng)內(nèi)），通過獲取集群CPU、負(fù)載的使用情況來動態(tài)調(diào)節(jié)請求的流速，從而通過最大化利用集群資源來實現(xiàn)查詢提速。當(dāng)然在查詢加速上少不了緩存的介入，通過JIMDB+本地緩存的方式進行多級緩存的加速。

語義層：數(shù)據(jù)知識系統(tǒng)化，使資產(chǎn)放心好用、治理有依據(jù)

數(shù)據(jù)知識系統(tǒng)化：

在數(shù)據(jù)知識可視化上要做的事兒是如何將業(yè)務(wù)語言轉(zhuǎn)化為機器語言，并根據(jù)設(shè)定的標(biāo)準(zhǔn)及規(guī)則進行執(zhí)行，對此分別從指標(biāo)維度體系化標(biāo)準(zhǔn)定義模型、指標(biāo)維度的數(shù)據(jù)安全保障模型、指標(biāo)消費應(yīng)用管理模型三個層面進行了系統(tǒng)化設(shè)計，為自動化生產(chǎn)、消費及全鏈路血緣可視化做數(shù)據(jù)治理打好基礎(chǔ)。

?指標(biāo)、維度體系化標(biāo)準(zhǔn)定義模型：

通過定義4w1h構(gòu)造原子指標(biāo)并結(jié)合標(biāo)準(zhǔn)維度定義的裁剪口徑進行唯一的、標(biāo)準(zhǔn)的衍生指標(biāo)定義。

復(fù)合指標(biāo)指建立在衍生指標(biāo)之上，通過一定運算規(guī)則形成的計算指標(biāo)集合（二次邏輯計算），如ARPU值、滲透率等；包括比率型、比例型、變化量型、變化率型、統(tǒng)計行（均值、分位數(shù)），復(fù)合指標(biāo)采用了“積木化+服務(wù)化”雙重解決方案，在既滿足業(yè)務(wù)靈活場景下，又做到了復(fù)合指標(biāo)的資產(chǎn)沉淀。

又如以復(fù)合維度的模型為例在維度模型上結(jié)合較頻繁變動的維度（維度的定義會周期性變動）調(diào)整項如何統(tǒng)一，對需求進行了抽象，設(shè)計復(fù)合維度模型，進一步擴充"指標(biāo)-維度-修飾"的概念體系，既保證了維度口徑定義的透明,又保證了邏輯一致且可被系統(tǒng)執(zhí)行;一次定義,多處使用，結(jié)合上面提到的統(tǒng)一查詢的服務(wù)化能力做到了真正的開放（日均調(diào)用量4000w）、共享（可復(fù)用，不用單獨開發(fā)）。

?指標(biāo)、維度數(shù)據(jù)安全保障模型：

對人在數(shù)據(jù)應(yīng)用產(chǎn)品上能看到什么樣的數(shù)據(jù)范圍需要有安全保障，避免數(shù)據(jù)泄露風(fēng)險。對此通過把看數(shù)視角【維度+維度值】定義到數(shù)據(jù)角色里，可做到數(shù)據(jù)角色被多個人或者崗位所復(fù)用。在數(shù)據(jù)角色基礎(chǔ)上抽取崗位的模型把人與角色關(guān)聯(lián)起來，保證一個人可有多個身份切換不同視角進行靈活看數(shù)。在崗位下通過設(shè)計功能角色把資源（菜單）的權(quán)限進行管控，在資源下進行具體指標(biāo)和維度組的關(guān)聯(lián)，從而達到在基礎(chǔ)的行列之外，提供了各種“視圖”級別的權(quán)控，而每一個“視圖”是展示的最小單元。而資源內(nèi)的指標(biāo)維度叉乘關(guān)系是數(shù)據(jù)權(quán)限全集的真子集從而達到快速分配權(quán)限的目的。

?指標(biāo)消費應(yīng)用管理模型：

當(dāng)一個指標(biāo)被申請消費時，需要知道被用在來什么平臺、什么端，應(yīng)用場景是什么樣的，從而來評估是否允許接入、是否需要重保、資源如何分配等。對此構(gòu)建消費應(yīng)用管理模型，從指標(biāo)到資源、場景、應(yīng)用端、應(yīng)用平臺的關(guān)系把消費血緣需要體現(xiàn)出的具體消費情況都能涵蓋。

資產(chǎn)放心好用：

在數(shù)據(jù)知識系統(tǒng)化的前提下，需要大量對外開放，基于三道防線保障了日常和大促的資產(chǎn)放心好用，為系統(tǒng)穩(wěn)定運行保駕護航：

?第一道防線：前置避免故障發(fā)生：

通過資源隔離來進行各平臺、端甚至看板級別的隔離保障，保障的是一些非重保看板查詢變慢或者阻塞不影響其他核心業(yè)務(wù)；壓測相關(guān)是在平臺層面上基于歷史調(diào)用采集分析對現(xiàn)實場景的高度還原，進行全鏈路節(jié)點高保真壓測，并且針對壓測期間通過動態(tài)別名切換技術(shù)，來實現(xiàn)業(yè)務(wù)無損壓測及數(shù)據(jù)產(chǎn)品無感知壓測；在混沌工程演練上將核心的數(shù)據(jù)鏈路注入問題點，自動識別潛在風(fēng)險，防患于未然。

?

?第二道防線：巡檢與監(jiān)控，主動發(fā)現(xiàn)

?

在態(tài)勢檢測及預(yù)警上，結(jié)合調(diào)用情況對預(yù)計算、預(yù)熱命中率等趨勢預(yù)警，防止有些預(yù)計算未命中或者預(yù)熱未覆蓋到的情況；在數(shù)據(jù)SRE的體系建設(shè)上，對調(diào)用情況通過全鏈路的uuid進行串聯(lián)，并進行可視化展示，提升數(shù)據(jù)可觀測性，打破多系統(tǒng)監(jiān)控數(shù)據(jù)孤島，提升監(jiān)控效率；巡檢能力是通過日常的訪問日志分析及梳理，以及各核心業(yè)務(wù)場景的輸入，如上圖所示，基于統(tǒng)一查詢服務(wù)的巡檢配置場景及對應(yīng)告警規(guī)則，結(jié)合巡檢自動化任務(wù)，可在任意時間按任意頻次動態(tài)執(zhí)行任務(wù)，防止數(shù)據(jù)空窗、跌0、異常波動等情況。先于用戶無感的在系統(tǒng)層面發(fā)現(xiàn)問題；從發(fā)現(xiàn)、跟進、分析、解決、經(jīng)驗沉淀做到全流程自動化。在實戰(zhàn)中巡檢的問題主要分以下幾類：

（1）對于實時數(shù)據(jù)異常的巡檢，第一時間發(fā)現(xiàn)后馬上進行數(shù)據(jù)流切換，用戶完全無感知；

（2）BP的戰(zhàn)報、日報通過巡檢無需人工確認(rèn)，自動將結(jié)果發(fā)送給對應(yīng)業(yè)務(wù)，可以及時介入；

（3）大促期間有很多指標(biāo)數(shù)據(jù)有“異?！贝蟛▌樱ㄒ?3年618期間為例，巡檢發(fā)現(xiàn)16個線上異常情況），產(chǎn)品研發(fā)收到巡檢結(jié)果后第一時間進行業(yè)務(wù)分析，從經(jīng)營狀態(tài)角度確保數(shù)據(jù)在預(yù)期之內(nèi)。

?第三道防線：應(yīng)急預(yù)案

對于一些已發(fā)生的問題，一定要有應(yīng)急預(yù)案才能真正做到臨危不亂，服務(wù)化對于限流、熔斷實現(xiàn)了精準(zhǔn)靶向，可做到針對某一個頁面的某個主題指標(biāo)進行細(xì)粒度限流或者熔斷處理，也可做到整體的看板或者集群粒度的處理，保證容災(zāi)的靈活性。同時對降級策略有更友好的設(shè)計，在降級后默認(rèn)返回兜底0的基礎(chǔ)上，通過緩存機制，可返回最后一次請求成功的結(jié)果，增加了系統(tǒng)靈活性及減少業(yè)務(wù)的損失。在應(yīng)急預(yù)案上由于壓力過大導(dǎo)致服務(wù)或容器出現(xiàn)異常時，會應(yīng)急啟動熱備容器，讓子彈飛一會兒，爭取更多的修復(fù)及問題定位時間。

存算成本集約化治理：

指標(biāo)體系開放，在生產(chǎn)、消費間進行系統(tǒng)化流轉(zhuǎn)，基于指標(biāo)體系及指標(biāo)消費應(yīng)用管理模型首次解決消費鏈路可追蹤，結(jié)合指標(biāo)的生產(chǎn)血緣，形成清晰的全鏈路血緣。

打通全鏈路血緣的必要性主要基于以下三大視角：

（1）用戶視角：讓用戶從指標(biāo)展示入口（標(biāo)準(zhǔn)化產(chǎn)品、數(shù)據(jù)工具）到口徑與資產(chǎn)血緣清晰可見，知道數(shù)據(jù)從哪來、怎么來、怎么用。

（2）治理視角：通過數(shù)據(jù)標(biāo)準(zhǔn)消費端反向治理，可清晰的知道某些模型或者表在消費側(cè)的使用情況如何，訪問少或功能相似的看板做整合，關(guān)停并轉(zhuǎn)，實現(xiàn)了從消費價值來反推資產(chǎn)ROI。

（3）監(jiān)控視角：當(dāng)大促期間發(fā)現(xiàn)某一數(shù)據(jù)任務(wù)延遲或者某一實時流積壓時，可通過血緣關(guān)系快速確定應(yīng)用上的影響范圍，從而能快速介入進行分析并判斷是否公告用戶。

物化層：基于數(shù)據(jù)消費行為(HBO)、系統(tǒng)內(nèi)置規(guī)則(RBO)自動加速

中間結(jié)果物化

大數(shù)據(jù)量預(yù)計算有著耗資源、易失敗的特點，數(shù)據(jù)同步會因為網(wǎng)絡(luò)抖動或集群異常造成同步失敗，整個鏈路失敗率高、重試成本高。用戶在定義驅(qū)動生產(chǎn)只配置基于數(shù)倉做預(yù)計算，結(jié)果數(shù)據(jù)同步到目標(biāo)數(shù)據(jù)源，中間過程并沒有做配置。為提高任務(wù)穩(wěn)定性，系統(tǒng)內(nèi)置RBO判斷為預(yù)計算任務(wù)會自動優(yōu)化生產(chǎn)路徑：首先生成預(yù)計算SQL，之后通過SQL做讀時建模，在數(shù)倉中自動創(chuàng)建模型并將預(yù)計算結(jié)果數(shù)據(jù)寫入到模型中，模型會繼承邏輯表5W2H并寫到元數(shù)據(jù)中，避免模型重復(fù)創(chuàng)建。最后基于模型生成數(shù)據(jù)同步任務(wù)。這樣任務(wù)失敗只需要重跑預(yù)計算或同步任務(wù)即可，無需全鏈路重跑，降低任務(wù)重試成本。更為關(guān)鍵的是，系統(tǒng)會給中間結(jié)果(包含系統(tǒng)創(chuàng)建模型)配置生命周期，讓數(shù)據(jù)合理生產(chǎn)與消亡，如果不被下游依賴則會全部清理直至下次使用再創(chuàng)建，避免人工開發(fā)場景只生產(chǎn)不治理的情況。

雙流場景，定義驅(qū)動生產(chǎn)內(nèi)配置雙流策略則會默認(rèn)生成一個計算任務(wù)，中間結(jié)果物化到臨時表并基于中間表數(shù)據(jù)生成兩個同步主備集群的任務(wù)。

數(shù)據(jù)索引增強

多維分析場景中，經(jīng)常使用Groupings Sets將多個維度組合進行計算，通常每個維度組合都對應(yīng)唯一編碼(命名為LVL code)供消費側(cè)查詢使用。之前人工開發(fā)大多數(shù)據(jù)研發(fā)和服務(wù)研發(fā)共同維護維度組合與LVL code映射表，在腳本和服務(wù)中通過硬編碼方式實現(xiàn)雙方聯(lián)動，維護成本極高。定義驅(qū)動生產(chǎn)判斷預(yù)計算目標(biāo)源是ClickHouse則自動使用Groupings Sets生成輕聚合數(shù)據(jù)，生產(chǎn)側(cè)通過調(diào)用生成LVL code函數(shù)獲取維度組合對應(yīng)的LVL code值，并自動將二者寫入到"數(shù)據(jù)索引"表中，消費側(cè)查詢時同樣通過"數(shù)據(jù)索引"表獲取編碼值生成SQL，生產(chǎn)、消費自動聯(lián)動。

自動加速與引擎優(yōu)選

除用戶手動創(chuàng)建加速方式外，系統(tǒng)還支持基于代價與用戶消費行為智能物化。用戶申請指標(biāo)填寫QPS、TP99兩個信息，用戶可在加速策略模塊選擇高階功能"智能物化"，并可配置存儲上限、構(gòu)建頻率、構(gòu)建結(jié)束時間等信息。系統(tǒng)分析訪問日志，會對指標(biāo)+維度粒度TP99大于目標(biāo)值進行自動生成加速策略，默認(rèn)將數(shù)倉數(shù)據(jù)進行預(yù)計算并同步到HBase中，系統(tǒng)判斷邏輯表配置了介質(zhì)加速 如HIVE2ClickHouse，則會通過引擎優(yōu)選功能判斷基于數(shù)倉和ClickHouse哪個計算更快、更省資源，一般會優(yōu)化為ClickHouse2HBase。

智能物化是整個系統(tǒng)的核心，解決業(yè)務(wù)敏捷與無序增長的困境，用戶定義完虛擬數(shù)據(jù)模型的業(yè)務(wù)邏輯后，引擎不會直接將其物化，而是按消費端對模型字段的產(chǎn)出時間和查詢速度的要求，分析全局?jǐn)?shù)據(jù)的查詢情況，選擇性按全局最優(yōu)的策略進行物化編排（通過物化視圖實現(xiàn)），并持續(xù)HBO優(yōu)化。

業(yè)務(wù)貢獻和價值

覆蓋數(shù)據(jù)中臺內(nèi)所有場景和數(shù)據(jù)團隊，零售內(nèi)4個C-1，及4個外部子集團產(chǎn)研（如CHO、京東健康、京東工業(yè)、京東自由品牌）。日均4000w+次數(shù)據(jù)調(diào)用，支持零售8000+個指標(biāo)，并支持了22個數(shù)據(jù)產(chǎn)品，覆蓋產(chǎn)研300+人。做到了無OLAP數(shù)據(jù)和服務(wù)端研發(fā)資源使用指標(biāo)服務(wù)平臺交付需求，數(shù)據(jù)整體交付效率由3天縮短到0.8天，提升需求交付效率70%。

3、數(shù)據(jù)展現(xiàn)篇--數(shù)據(jù)可視化工具

背景與挑戰(zhàn)

從行業(yè)來看，未來所有成功的企業(yè)都將是數(shù)字化轉(zhuǎn)型中表現(xiàn)卓越的組織。在數(shù)據(jù)展現(xiàn)能力上，持續(xù)探索數(shù)據(jù)可視化理論、豐富數(shù)據(jù)分析方法和可視化表達，推動數(shù)據(jù)可視化自動化、場景化、智能化快速落地，助力京東各業(yè)務(wù)單元敏捷作戰(zhàn)，激發(fā)個體創(chuàng)造力，不斷適應(yīng)市場和業(yè)務(wù)需求的變化。

技術(shù)先進性

通過持續(xù)建設(shè)系統(tǒng)能力，賦能看板、報告、大屏、分析、提數(shù)等多個業(yè)務(wù)場景，同時從4大方向縱向拉通系統(tǒng)質(zhì)量保障建設(shè)，提升系統(tǒng)穩(wěn)定性，最終實現(xiàn)在復(fù)雜多變的業(yè)務(wù)場景下，通過功能插拔、動態(tài)配置，構(gòu)建一站式的解決方案，主要具備以下優(yōu)勢能力：

1.分析可視化組件：引用業(yè)界先進的圖形語法理論結(jié)合SVG、D3等技術(shù)沉淀，自研9類可視化分析能力，如杜邦分析、異動分析、交叉分析等。相較于行業(yè)方案，更加貼合京東零售業(yè)務(wù)分析思路。

2.低代碼編排：設(shè)計并實現(xiàn)了編排技術(shù)方案，包括狀態(tài)管理機制、可視化編排系統(tǒng)、數(shù)據(jù)集編排系統(tǒng)、代碼生成與注入系統(tǒng)，可將萬行代碼的看板完全配置化實現(xiàn)。

3.PC、移動端雙端支持：基于移動端組件庫和低代碼平臺高效支持移動分析訴求，支持多端、多網(wǎng)絡(luò)、多設(shè)備，交互體驗媲美原生App。

4.報告、洞察等場景化能力：基于底層通用系統(tǒng)能力和能力基座打造。報告場景下業(yè)內(nèi)首次支持復(fù)雜數(shù)據(jù)PPT報告的自動化輸出，大幅提升分析師效率。洞察場景下基于標(biāo)準(zhǔn)化協(xié)議實現(xiàn)洞察配置化，并支持快速橫向擴展分析能力，高效支持不同業(yè)務(wù)場景下的問題自動發(fā)現(xiàn)與診斷歸因。

以上數(shù)據(jù)可視化技術(shù)方案目前在零售內(nèi)得到充分應(yīng)用，有效支撐日常迭代和大促期間復(fù)雜多變的業(yè)務(wù)場景，能夠?qū)崿F(xiàn)降低研發(fā)成本，提升研發(fā)效率，完善用戶體驗。

整體架構(gòu)介紹

在數(shù)據(jù)驅(qū)動業(yè)務(wù)運營的策略下，以高效靈活、場景化、智能化為目標(biāo)，整合數(shù)據(jù)資產(chǎn)和工具，以可視化組件和低代碼平臺為核心，打造黃金眼、商智等標(biāo)桿的數(shù)據(jù)應(yīng)用，實現(xiàn)對不同業(yè)務(wù)場景的快速賦能。我們通過持續(xù)建設(shè)系統(tǒng)能力，賦能看板、報告、大屏、分析、提數(shù)等多個業(yè)務(wù)場景，同時從4大方向縱向拉通系統(tǒng)質(zhì)量保障建設(shè)，提升系統(tǒng)穩(wěn)定性，最終實現(xiàn)在復(fù)雜多變的業(yè)務(wù)場景下，通過功能插拔、動態(tài)配置，構(gòu)建一站式的解決方案。

?

?

整體來看，數(shù)據(jù)分析可視化的能力建設(shè)，主要可以分為PC端能力建設(shè)和移動端能力建設(shè)兩個方向，接下來將從PC端的分析可視化組件建設(shè)、低代碼編排、數(shù)據(jù)推送，以及移動端能力建設(shè)和多端一體建設(shè)幾個方向，詳細(xì)介紹數(shù)據(jù)分析可視化的核心技術(shù)方案以及在業(yè)務(wù)中的應(yīng)用。

詳細(xì)設(shè)計展開

分析可視化組件

?

圖形語法理論

分析可視化組件底層均采用了業(yè)界先進的圖形語法理論。圖形語法是一種將抽象基本元素組合成圖表的規(guī)則。圖形語法深層次地反應(yīng)出統(tǒng)計圖形的層次結(jié)構(gòu)。在圖形語法學(xué)中，一般統(tǒng)計圖表的規(guī)格主要包含6個要素：

?DATA：一組從數(shù)據(jù)集創(chuàng)建變量的數(shù)據(jù)操作

?TRANS：變量轉(zhuǎn)換（如排序）

?SCALE：度量（如對數(shù)）

?COORD：一個坐標(biāo)系統(tǒng)（如極坐標(biāo)）

?ELEMENT：圖形及其藝術(shù)審美屬性（如顏色）

?GUIDE：一個或多個輔助物（如軸線、圖例）

和傳統(tǒng)枚舉圖表相比，使用圖形語法生成每一個圖形的過程就是組合不同的基礎(chǔ)圖形語法。故而它的靈活和強大之處就在于，只需要改動其中某一步驟，就能得到完全不同的、全新的圖表。

?

?

基于靈活的圖形語法理論基礎(chǔ)，沉淀了大量可視化分析能力，接下來將具體介紹幾種特色能力。

杜邦分析

杜邦分析法（DuPont Analysis）是一種綜合利用多個財務(wù)指標(biāo)比率關(guān)系來拆解企業(yè)財務(wù)狀況的分析方法。其基本思想是將企業(yè)凈資產(chǎn)收益率逐級分解為多項財務(wù)比率乘積，這樣有助于深入分析、比較企業(yè)的經(jīng)營業(yè)績。由于這種分析方法最早由美國杜邦公司使用，故名杜邦分析法。 使用杜邦分析法可以清晰描述指標(biāo)體系內(nèi)指標(biāo)的層次和指標(biāo)間的關(guān)系。如下圖所示，杜邦分析法通過樹形結(jié)構(gòu)自頂向下的展示了指標(biāo)間的構(gòu)成和層級關(guān)系，同時通過指標(biāo)之間的運算符號清晰展現(xiàn)出指標(biāo)之間的計算關(guān)系，例如“凈資產(chǎn)收益率=總資產(chǎn)凈利率 * 權(quán)益乘數(shù)”、“總資產(chǎn)凈利率=銷售凈利率 * 總資產(chǎn)周轉(zhuǎn)率”、“銷售凈利率=凈利潤 / 銷售收入”、“總資產(chǎn)周轉(zhuǎn)率=銷售收入 / 資產(chǎn)總額”。采用這一方法，可使財務(wù)比率分析的層次更清晰、條理更突出，為報表分析者全面仔細(xì)地了解企業(yè)的經(jīng)營和盈利狀況提供方便。

?布局策略：設(shè)計12種布局方案，分為兩大類：垂直方向（自頂向下、自底向上）、水平方向（自左向右、自右向左），通過d3-hierarchy對層次結(jié)構(gòu)數(shù)據(jù)進行布局計算，實現(xiàn)node布局。

?節(jié)點關(guān)系：node節(jié)點關(guān)系繪制（父子、兄弟）、node節(jié)點輔助信息繪制（提示、預(yù)警等），實現(xiàn)關(guān)系ICON位置計算、輔助信息位置計算。

?交互：設(shè)計了收縮展開、縮放能力，支持大數(shù)量圖表的交互，通過viewBox實現(xiàn)。

?異動分析

在實際的業(yè)務(wù)場景中，為實現(xiàn)對全鏈路監(jiān)測部分的可視化展示，沉淀了可復(fù)用的可視化組件：網(wǎng)格指標(biāo)卡。該組件適用于異常監(jiān)控分析、全鏈路轉(zhuǎn)化分析等分析場景，主要包括以下幾部分：

?指標(biāo)卡：集成指標(biāo)卡全部功能，并通過對異常指標(biāo)的特殊標(biāo)識來達到預(yù)警能力

?流轉(zhuǎn)線：反映指標(biāo)間的轉(zhuǎn)化關(guān)系

?標(biāo)題：業(yè)務(wù)流程的標(biāo)識

主要的實現(xiàn)流程如下：

?

?

在具體的技術(shù)實現(xiàn)上，針對點、線、卡片的位置計算和繪制，采用了類似杜邦分析的技術(shù)思路，前端動態(tài)計算節(jié)點、鏈接關(guān)系位置，并使用svg等前端技術(shù)進行渲染。除此之外由于圖表結(jié)構(gòu)和邏輯比較復(fù)雜，如何設(shè)計該圖表的配置化方案，成為了另一個技術(shù)難點。為此，針對標(biāo)題部分我們抽離行、列標(biāo)題組，復(fù)用流程標(biāo)簽組件的配置邏輯；針對卡片本身，復(fù)用了原先指標(biāo)卡的配置邏輯；針對指標(biāo)卡的位置和連接關(guān)系，用戶能夠通過行列坐標(biāo)的設(shè)置和關(guān)系綁定來進行細(xì)粒度配置，同時為了節(jié)省用戶的配置成本，組件會在初始化的時候進行默認(rèn)編排。

最終在商家異常全鏈路監(jiān)測需求中使用網(wǎng)格指標(biāo)卡組件，針對3個環(huán)節(jié)、7個模塊、19類的核心指標(biāo)與異常類型商家數(shù)量，讓用戶能夠從商家經(jīng)營整體環(huán)節(jié)通過預(yù)警功能進行風(fēng)險監(jiān)控和異常定位。

?

交叉分析

為解決復(fù)雜的數(shù)據(jù)分析場景，創(chuàng)建了一種基于React技術(shù)自研的交叉分析表格組件，將常見的表格操作與交叉數(shù)據(jù)分析的思路結(jié)合起來：在傳統(tǒng)可下鉆表格的基礎(chǔ)上，創(chuàng)新地抽取分析動作層，能夠類比數(shù)據(jù)分析中的切片、切塊和下鉆思路，進行數(shù)據(jù)分析，使用時允許用戶在多個合法維度中選擇，形成一條自定義下鉆路徑，成功地實現(xiàn)多種維度下，在表格中進行可下鉆的交叉數(shù)據(jù)分析，滿足了多元復(fù)雜的數(shù)據(jù)分析需求。

?

?

具體的實現(xiàn)原理是將表格的上卷下鉆邏輯與交叉數(shù)據(jù)分析邏輯結(jié)合起來，這里面的重點處理在于對從調(diào)用參數(shù)中過濾條件、維度字段和指標(biāo)字段的進行動態(tài)處理，從而實現(xiàn)交叉分析的數(shù)據(jù)獲取查詢。首先，對維度字段和指標(biāo)字段分別進行遍歷，能夠獲取到過濾條件、維度字段和指標(biāo)字段這三種參數(shù)，對于同一個表格來說，數(shù)據(jù)查詢的返回字段是一致的，于是在每一次遍歷中，都可以在查詢字段結(jié)果中增加一項，用于構(gòu)建最終數(shù)據(jù)查詢的結(jié)果集；接下來，從第一步觸發(fā)下鉆的的動作中，獲取到父層級的維度信息和具體的值，設(shè)置為過濾條件，通過這一步，可以查詢出當(dāng)前父級條件下的數(shù)據(jù)；接下來，同理如果該維度是子級維度，那么就把該維度條作為聚合維度進行操作；最后，將上述封裝好的操作條件，傳遞給后端進行查詢，并將獲取到的數(shù)據(jù)，根據(jù)父級指標(biāo)的維度值，拼接到該項的子節(jié)點字段中，這樣便語義化的可以了“在父級維度某個維值的過濾條件下，按子級維度聚合的”數(shù)據(jù)，再整體將最新的數(shù)據(jù)拼接到的表格數(shù)據(jù)中，至此便實現(xiàn)了交叉數(shù)據(jù)分析的分析動作。

?

自動化分析

在沉淀分析可視化組件的同時，也在自動化、智能化的數(shù)據(jù)分析方面進行探索和建設(shè)。其核心思路是，通過貢獻度和基尼系數(shù)等算法，計算出最需要關(guān)注的品牌、品類等，并基于增強分析技術(shù)，如洞察文案生成技術(shù)和圖表標(biāo)注技術(shù)等，自動生成數(shù)據(jù)報告。

同時，基于自動分析結(jié)果，還可以進一步通過多因素分析等可視化分析組件進行更深入的探查。基于表格組件，通過組件聯(lián)動能力，組合多個表格形成聯(lián)動下鉆分析。

?

低代碼編排

數(shù)據(jù)產(chǎn)品頁面具有復(fù)雜的業(yè)務(wù)邏輯。一方面頁面布局復(fù)雜，一個頁面可能包含數(shù)十種組件，涵蓋布局、篩選、可視化等多種組件；另一方面組件間存在大量聯(lián)動邏輯，如篩選組件間聯(lián)動、篩選組件和可視化組件聯(lián)動、可視化組件間的聯(lián)動以及和外部系統(tǒng)的聯(lián)動等；此外，業(yè)務(wù)場景靈活多變，例如在作戰(zhàn)單元模式下，Boss、采、銷、控等角色數(shù)據(jù)分析思路均不一致：這些都對編排能力提出了極大的挑戰(zhàn)。為解決這個問題，持續(xù)調(diào)研學(xué)習(xí)行業(yè)先進的低代碼技術(shù)理論，同時結(jié)合數(shù)據(jù)產(chǎn)品的特性，設(shè)計并實現(xiàn)了一整套編排技術(shù)方案。

首先是自研了基于MVC模型的JMT狀態(tài)管理框架，在redux的基礎(chǔ)上，升級了狀態(tài)的更新和變化響應(yīng)機制，支持復(fù)雜異步狀態(tài)管理，以一種通用狀態(tài)模型支撐了數(shù)據(jù)產(chǎn)品邏輯的配置化。

?

?

其次是基于JMT組件庫自研了可視化編排系統(tǒng)，一方面，通過多種靈活的布局組件，支持復(fù)雜頁面布局的編排。另一方面，提供了靈活的組件配置面板，除常規(guī)樣式的編排外，還充分發(fā)揮底層數(shù)據(jù)可視化能力，支持如杜邦分析等指標(biāo)關(guān)系的編排。此外，通過對底層React框架的靈活使用，創(chuàng)新組件嵌套機制，支持可視化組件互相嵌入形成聯(lián)動分析，如在杜邦分析中既展示GMV的拆解，也展示GMV的達成進度等。

?

第三是構(gòu)建數(shù)據(jù)產(chǎn)品特有的數(shù)據(jù)集編排系統(tǒng)，支持對數(shù)據(jù)資產(chǎn)、EasyData等多種數(shù)據(jù)源，通過編排維度、指標(biāo)、過濾構(gòu)建數(shù)據(jù)分析模型，并基于圖形語法技術(shù)將可視化組件和數(shù)據(jù)服務(wù)的olap能力做充分打通，實現(xiàn)數(shù)據(jù)驅(qū)動可視化。

第四是自研了一套代碼生成和注入系統(tǒng)?？梢暬幣藕瓦壿嬀幣攀褂靡惶讟?biāo)準(zhǔn)Schema進行驅(qū)動，在頁面發(fā)布時，會基于Schema，結(jié)合React和JMT狀態(tài)管理，自動生成代碼。此外，對于頁面中的尚未被組件功能覆蓋的個性化邏輯，可以通過代碼注入，配合JMT函數(shù)庫快速解決。在百億補貼等緊急需求中，代碼注入功能解決了大量個性化邏輯，在時間緊任務(wù)重的情況下，保質(zhì)保量交付需求。

?

數(shù)據(jù)推送

郵件作為現(xiàn)有工作模式下一種不可或缺的通信方式，在郵件里查看看板數(shù)據(jù)（定時匯總為小時/日/周/月等不同時間粒度），成為諸多用戶的強烈訴求。

各業(yè)務(wù)服務(wù)調(diào)用統(tǒng)一的后端服務(wù)創(chuàng)建定時推送任務(wù)，任務(wù)通過前置配置項檢查后，被添加到消費隊列中依次處理，處理的產(chǎn)物包括圖片、Email HTML、附件等，最終按照用戶配置的觸發(fā)方式推送出去。

下圖梳理出任務(wù)處理的關(guān)鍵流程：素材處理服務(wù)（Node）主要承擔(dān)推送任務(wù)消費及提供獲取素材的HTTP服務(wù)兩大功能。在任務(wù)消費過程中，素材處理服務(wù)會模擬用戶權(quán)限打開瀏覽器去做頁面Canvas圖像轉(zhuǎn)換、看板截圖、PDF生成等操作。如果觸達方式為郵件，則會將所有素材填充生成為Email Html文本文件，通過回調(diào)返回給后端，推送給用戶呈現(xiàn)的內(nèi)容是數(shù)據(jù)看板。

?

?

在素材生產(chǎn)過程中，服務(wù)通過捕獲屏幕快照來實現(xiàn)這一目的。但是某些情況下，比如設(shè)備性能較差或者頁面進行縮放而Canvas圖像尺寸沒有隨之調(diào)整時，快照圖片會變得模糊。為了解決這個問題，我們直接獲取Canvas對象。通過Chrome DevTools協(xié)議，可以將JS代碼發(fā)送到瀏覽器并在上下文中執(zhí)行，執(zhí)行結(jié)果會被序列化為JSON格式返回給Node.js環(huán)境，從而達到Node服務(wù)與chromium上下文通信的目的。

在處理階段，由于Canvas對象是Web API的一部分，只能在瀏覽器環(huán)境中使用。而常用的Node下操作Canvas的工具包幾乎都依賴底層的圖形庫，例如Cairo或Skia等。這對于開發(fā)環(huán)境（MacOS）和部署環(huán)境（CentOS）不一致的研發(fā)來說，調(diào)試難度較大。為了解決這個問題，通過Node.js環(huán)境提供的Buffer對象承接Canvas對象的Data URL，配合JPEG圖像編解碼器處理。這樣就無需考慮底層圖形庫的兼容性和安裝問題，實現(xiàn)素材圖片的順利生成。

?

?

依托于數(shù)據(jù)推送和低代碼能力組合的建設(shè)，在618大促期間，已將其應(yīng)用到業(yè)務(wù)小時報、作戰(zhàn)單元日報中，快速實現(xiàn)了基于看板的批量報告功能，幫助3C、大商超等數(shù)據(jù)BP快速實現(xiàn)面向作戰(zhàn)單元的日報和小時報推送，為多場景報告做到了很好的支撐。

移動端能力

通過復(fù)用PC端的低代碼編排能力，利用jmtm基礎(chǔ)組件庫和jmtm-charts圖表庫，能夠快速搭建起移動端的數(shù)智化分析功能。

?

針對移動端看數(shù)場景，使用自研的主題配置工具：將組件字號、顏色、圓角、尺寸等樣式變量化，從而可以根據(jù)具體需求進行靈活配置。其中色板變量的引入保證了組件庫的底色充足，而公共變量的使用則提高了配置效率。另外我們還引入組件變量，實現(xiàn)個性化的定制需求。支持在線預(yù)覽和一鍵發(fā)布等功能：用戶可以通過在線預(yù)覽功能，在配置過程中即時查看效果；一鍵發(fā)布功能則可以快速將配置好的主題應(yīng)用到移動端低代碼平臺中。

針對移動端的性能優(yōu)化，通過優(yōu)化動效的執(zhí)行時機，將動畫交互與耗時的DOM渲染分離開來，提高動效的流暢度，減少頁面加載時的卡頓感，確保用戶能夠得到良好的交互體驗。

針對移動端多頁面交互場景，創(chuàng)造性的采用類似原生多開webview的翻頁卡片機制并對多個頁面進行緩存處理，使整個應(yīng)用體驗更加接近原生化?；诙嗳藚f(xié)作及應(yīng)用的可擴展性考慮，我們借鑒業(yè)內(nèi)成熟的微應(yīng)用方案，并結(jié)合自身需求場景，支持微應(yīng)用嵌套微應(yīng)用的方案，為較復(fù)雜應(yīng)用的場景提供了可能。

多端一體建設(shè)

為了提高研發(fā)效率并滿足用戶在不同端的看數(shù)需求，我們在PC端邏輯編排的基礎(chǔ)上引入了hybrid概念，使編排引擎可以發(fā)布到移動端的多個產(chǎn)品線。在頁面打包及部署過程中，使用webpack插件jmtbuild-hybird-plugin，發(fā)布為能適配到多端的js-sdk資源。最后通過前端微服務(wù)平臺在對應(yīng)的容器中加載并展示頁面。

通過低代碼平臺生成的標(biāo)準(zhǔn)頁面需要在不同的業(yè)務(wù)端進行展示，在權(quán)限方面，針對嵌入到客戶端的場景進行了token校驗，對于瀏覽器H5，采用cookie解析的方式進行登錄校驗和數(shù)據(jù)安全保護。標(biāo)準(zhǔn)頁面默認(rèn)在公司內(nèi)網(wǎng)進行訪問，使用colorAdapter適配器函數(shù)可以使接口一鍵轉(zhuǎn)化，接入網(wǎng)關(guān)。網(wǎng)關(guān)統(tǒng)一接入了神盾、反扒、防刷等功能，保障外網(wǎng)訪問的數(shù)據(jù)和網(wǎng)絡(luò)安全。

業(yè)務(wù)貢獻和價值

在研發(fā)提效方面：在大促期間Boss作戰(zhàn)單元的模式下，在戰(zhàn)報的應(yīng)用場景上，通過低代碼加數(shù)據(jù)推送能力的快速整合，在兩周內(nèi)，支持多個部門的報告推送，累計推送戰(zhàn)報7220封；此外，在百億補貼重點項目中，面對緊急多變的業(yè)務(wù)場景，協(xié)同業(yè)務(wù)團隊通過低代碼線上配置化+二次開發(fā)的方式，2周內(nèi)交付5個看板、2個大屏，80%的需求在24小時內(nèi)交付。

在創(chuàng)新業(yè)務(wù)支持方面：業(yè)務(wù)對體系化看數(shù)需求強烈，期望使用移動端查看業(yè)績達成情況。通過移動端低代碼能力，僅用1個產(chǎn)品經(jīng)理、4個數(shù)據(jù)研發(fā)短時間內(nèi)從0到1打造出一個基于低代碼的黃金眼移動端應(yīng)用，快速解決業(yè)務(wù)移動端看數(shù)的訴求。

此外，隨著零售架構(gòu)扁平調(diào)整，Boss單元需要更高效的數(shù)字化決策工具，自動化分析能力也得到了充分的應(yīng)用：基于豐富的可視化組件和低代碼編排能力，結(jié)合后端的智能化算法，快速打造零售自動化分析看板，應(yīng)用于每日的經(jīng)營過程控制中，將診斷提前至每天的工作中，以提高發(fā)現(xiàn)問題和解決問題時效。

展望未來，我們會持續(xù)打磨現(xiàn)有能力，并不斷結(jié)合新的業(yè)務(wù)場景和行業(yè)調(diào)研，沉淀新的數(shù)據(jù)可視化分析能力。首先在智能化方向上，會基于圖形語法的可視化理論，并整合AI等能力，建設(shè)增強分析能力，打造增強圖表和自動化報表，實現(xiàn)自動洞察數(shù)據(jù)關(guān)聯(lián)、異常及趨勢等，將數(shù)據(jù)分析從描述性分析躍升到預(yù)測性分析和決策性分析；同時在質(zhì)量體系建設(shè)方面，會從監(jiān)控預(yù)警、代碼質(zhì)量等方向持續(xù)建設(shè)，在不斷提升交付效率的同時持續(xù)提升交付質(zhì)量：最終期望能夠通過數(shù)據(jù)分析技術(shù)能力的綜合運用，降低研發(fā)成本，提升研發(fā)效率，完善用戶體驗，高效推進人人都是分析師的戰(zhàn)略落地。

4、數(shù)據(jù)智能篇-- 基于大模型的智能化應(yīng)用

背景與挑戰(zhàn)

目前，數(shù)據(jù)分析服務(wù)主要通過數(shù)據(jù)產(chǎn)品、BI工具和配備數(shù)據(jù)分析師等方式來支持，在數(shù)據(jù)響應(yīng)效率、分析能力應(yīng)用的廣度、深度和頻率等方面各有不足，但業(yè)務(wù)時常需要通過數(shù)據(jù)驅(qū)動決策，就出現(xiàn)了數(shù)據(jù)獲取難、數(shù)據(jù)分析難等用戶痛點。大模型在數(shù)據(jù)消費領(lǐng)域的應(yīng)用，為用戶痛點的解決帶來了新的思路。

基于LLM的解決方案

對于京東復(fù)雜的業(yè)務(wù)和數(shù)據(jù)體系，大模型在數(shù)據(jù)服務(wù)領(lǐng)域的應(yīng)用很有價值，同時也面臨著挑戰(zhàn)。當(dāng)前的架構(gòu)設(shè)計充分考慮了已具備的底層數(shù)據(jù)服務(wù)能力，結(jié)合LLM實體識別、上下文推理、決策輔助能力將用戶查詢與復(fù)雜數(shù)據(jù)集的相關(guān)指標(biāo)匹配，實現(xiàn)快速準(zhǔn)確的數(shù)據(jù)查詢。通過NER識別將用戶的篩選條件、查詢指標(biāo)、聚合方式抽取出來，利用Norm(歸一化)把實體轉(zhuǎn)換成標(biāo)準(zhǔn)數(shù)據(jù)服務(wù)的調(diào)用參數(shù)，并且構(gòu)建索引將歸一化依賴的數(shù)據(jù)資產(chǎn)進行存儲，來實現(xiàn)自然語言查詢準(zhǔn)確數(shù)據(jù)的全鏈路，與此同時，建立完善的評估體系、利用本地模型優(yōu)化等機制，不斷提升應(yīng)答準(zhǔn)確率，為用戶帶來更優(yōu)質(zhì)的使用體驗。

基于業(yè)務(wù)知識和數(shù)據(jù)知識的Prompt工程

Prompt工程建設(shè)

?目標(biāo)確認(rèn)：針對用戶對數(shù)據(jù)的訴求，整理用戶問題確定輸入數(shù)據(jù)，基于不同任務(wù)目標(biāo)確認(rèn)不同輸出格式，如實體識別輸出標(biāo)準(zhǔn)格式的{實體類別：實體名稱}，指令生成輸出標(biāo)準(zhǔn)格式的{分析能力：分析指令}等。

?工程建設(shè)：確認(rèn)目標(biāo)后，從環(huán)境預(yù)設(shè)、指令描述、輸出規(guī)范等角度生成規(guī)范Prompt，不斷微調(diào)輸入結(jié)合業(yè)務(wù)知識的個性化案例。并通過中英互譯、預(yù)設(shè)負(fù)樣本、增設(shè)輸出校驗和邊際檢驗、動態(tài)Prompt生成等方案優(yōu)化，兼顧時效性的同時，提高輸出結(jié)果的穩(wěn)定性和準(zhǔn)確性。

準(zhǔn)確率提升

模塊歸一化模塊會把實體轉(zhuǎn)成數(shù)據(jù)服務(wù)支持的參數(shù)值，難點在于區(qū)分出相同名稱或者相似名稱， 為用戶匹配出最符合用戶需求的結(jié)果，包括指標(biāo)、篩選條件、聚合維度等實體的轉(zhuǎn)化，具體思路可以拆解成以下步驟：

?精確匹配：入?yún)㈩愋?、指?biāo)名稱或id、用戶權(quán)限多維度疊加判斷得到精準(zhǔn)結(jié)果；

?相似性匹配，在精準(zhǔn)匹配沒有結(jié)果之后，使用大模型對實體進行embedding操作，從庫里查詢出相似度最高的結(jié)果；

?建立索引：對實體建立別名層，滿足用戶個人習(xí)慣，如部門的簡稱、指標(biāo)的別名，來提升識別準(zhǔn)確率；

?用戶行為數(shù)據(jù)輔助：通過用戶在數(shù)據(jù)產(chǎn)品、數(shù)據(jù)工具等系統(tǒng)的行為數(shù)據(jù)，生成用戶對指標(biāo)、篩選條件、聚合維度的偏好數(shù)據(jù)，輔助提升準(zhǔn)確率。

評測體系

數(shù)據(jù)服務(wù)場景對準(zhǔn)確率要求較高，同時數(shù)據(jù)指標(biāo)相似度、數(shù)據(jù)口徑復(fù)雜等實際情況對大模型的準(zhǔn)確率有較高挑戰(zhàn)，如何保障回答的準(zhǔn)確性是產(chǎn)品設(shè)計之初就重點考慮的問題。目前通過周期性大樣本量評測集生成、檢驗，以及線上監(jiān)控的組合方式來保障。

?樣本設(shè)置：采用人工樣本和大模型生成樣本結(jié)合的方式，快速、多頻次對不同句式、不同場景的問答（1000+）做評測，來保障樣本的多樣性和豐富度。

?準(zhǔn)確率測評：通過批量調(diào)用接口返回大模型結(jié)果，離線代碼支持批量結(jié)果自動化比對，從而高效輸出任務(wù)的準(zhǔn)確率、時效性等指標(biāo)，同時同一批樣本會多次調(diào)用來評估任務(wù)的穩(wěn)定性。

?構(gòu)建產(chǎn)品功能：用戶可以在答案上點贊或點踩來反饋滿意度，產(chǎn)品側(cè)持續(xù)針對用戶反饋問題進行階段性優(yōu)化。

本地大模型SFT

基于LLM對prompt工程輸入token數(shù)量的限制及數(shù)據(jù)隱私安全的考量，我們也選用本地大模型進行Fine-tuning。它涉及在一個預(yù)訓(xùn)練模型的基礎(chǔ)上進行額外訓(xùn)練，以使其更好地適應(yīng)特定的任務(wù)場景，實現(xiàn)準(zhǔn)確率提升和影響時長降低，具有很好的效果。

指標(biāo)查詢場景

在指標(biāo)查詢場景中，用戶的提問方式具有高度多樣性，同時，影響查詢結(jié)果的關(guān)鍵因素也呈現(xiàn)出復(fù)雜的組合形態(tài)。為了提升查詢效率和準(zhǔn)確性，建立京東專屬的業(yè)務(wù)域知識庫來支持樣本的批量生成

?按場景構(gòu)建多樣化問題庫，如單/多指標(biāo)查詢、分維度查詢、維度id和name查詢、排序查詢等

?按查詢因素構(gòu)建變量知識庫，建立時間、指標(biāo)、維度、篩選條件知識庫，方便后續(xù)新增場景的快速擴充

模型訓(xùn)練前后準(zhǔn)確率對比提升明顯

?

數(shù)據(jù)分析場景

本地大模型可支持?jǐn)?shù)據(jù)交互，解決數(shù)據(jù)在傳輸過程中可能遭遇的安全風(fēng)險和隱私泄露問題。通過問題引導(dǎo)，降低用戶的使用成本，使用戶能夠智能化分析。通過用戶數(shù)據(jù)查詢的當(dāng)前表現(xiàn)，由大模型提供"分析線索"引導(dǎo)用戶進一步分析下探，線索包括：

?描述性分析，如銷量達成情況、趨勢分析、摘要總結(jié)

?探索性分析，如維度拆解、相關(guān)性指標(biāo)推薦、異常值識別等

業(yè)務(wù)價值評估

?數(shù)據(jù)查詢提效：通過自然語言對話，完成快速數(shù)據(jù)指標(biāo)查詢，單次查詢時效降至7.8秒，大大降低用戶數(shù)據(jù)獲取的時間，并且很好的支持了用戶個性化需求的滿足；

?數(shù)據(jù)分析賦能：依托豐富指標(biāo)維度數(shù)據(jù)，通過思維鏈實現(xiàn)自動化數(shù)據(jù)分析，并依據(jù)用戶的習(xí)慣喜好等選擇更貼合的數(shù)據(jù)路徑，非“分析師”角色用戶輕松實現(xiàn)多場景的快速智能分析

?數(shù)據(jù)消費拓展：通過產(chǎn)品賦能，為每一個用戶配置一個專屬的AI數(shù)據(jù)分析師，可以擴大數(shù)據(jù)消費用戶的規(guī)模，并且大幅提升數(shù)據(jù)消費的能力，支持業(yè)務(wù)應(yīng)用數(shù)據(jù)驅(qū)動決策

審核編輯 黃宇