作者：陳樹煌，TCL 實業資料管理部副總監（本文為作者在 StarRocks Summit Asia 2022 上的分享）

作為伴隨改革開放浪潮成長起來的中國領先電子企業，TCL 擁有 13 萬員工，業務遍及 160 多個國家和地區，全球累計服務使用者超 9。6 億。如此龐大的企業體量和業務規模，構建統一的資料分析平臺勢在必行。

截止目前，TCL 已將 StarRocks 應用於新方舟實時大屏、集團 HR 服務、郵件告警等場景。新方舟實時大屏場景中，TCL 基於 StarRocks 構建了實時數倉，平均的響應速度在 200-500 毫秒內；集團 HR 服務場景中，TCL 把小時級資料從 ClickHouse 切換到 StarRocks 上進行多表關聯的自助分析，查詢效能提升了 3-5 倍；在郵件告警場景中，TCL 基於 StarRocks 構建了實時日誌資料的資料分析及演算法應用，實現了秒級預警功能，準確率達到 92。3%。

本文將圍繞背景、OLAP 建設歷程、StarRocks 典型應用場景、未來規劃等幾點展開介紹 TCL 選擇並應用 StarRocks 的最佳實踐。

#01

背景介紹

TCL 集團經過四十多年的發展，形成了兩大集團和三大核心產業，其中 TCL 實業主要聚焦在智慧終端業務，包括 TV、空調、冰箱等等。而 TCL 科技則向產業鏈的上游發展，聚焦在半導體顯示、新能源與半導體材料等高科技產業。目前 TCL 有 13 萬名員工，業務遍及 160 多個國家地區。

格創東智是 2018 年 TCL 戰略孵化的工業網際網路企業，背靠 TCL 這棵大樹，對內負責 TCL 的數字化轉型建設工作，對外則將在 TCL 內部實踐成熟的方案轉化成產品或服務對外輸出。在去年剛獲得工信部雙跨平臺的認證，累計為 20 多個行業提供產品和諮詢服務。

TCL 即將迎來第 41 個生日，目前 TCL 正在進行第四次大的變革，全面地進行數字化轉型，TCL 總部負責整體的統籌以及統一投資建設各個產業公共的設施以及技術平臺，大資料平臺是其中的共享平臺之一。產業則根據自身的情況，自行規劃轉型的節奏。

TCL 實業目前正在進行業務模式、業務流程、規則等的梳理，輸出了 13 個一級流程。最近幾年會聚焦在研發領域的 IPD、供應鏈領域的 ISC、財務領域的 IFS 等重點的幾個流程，梳理清楚每個業務的步驟以及上面所承載的資料將流程資料固化到新的自研的一套業務系統，用這套業務系統替換掉現有的業務系統。

在今年年中，我們在一家子公司投入了 300 多名業務人員、200 多名技術人員，同時上線了七套供應鏈系統。緊接著在八月份上線了國內的營銷中臺，目前正在進行的是國內的服務售後平臺、研發平臺，以及相關其他子公司的供應鏈系統的建設。

接下來的一兩年是 TCL 實業建設的高峰期，對個人而言，這是積攢能力或者學習歷練的好機會。放眼當今中國，很少有集團級的企業做這麼大的投入，這對個人來說還是比較好的機遇，再此也歡迎感興趣的朋友加入我們，助力 TCL 的數字化轉型成功。

為什麼 TCL 會投入這麼多資源做標準的建設呢？做過資料分析平臺的朋友應該比較清楚，資料分析的難點不在於技術，而是資料。就像廚師要做出美味的佳餚，關鍵不在於使用多先進、多精美的廚具，而是在於食材以及相應的方法。

TCL 實業是與多家原先獨立經營的子公司整合而成，各個子公司的業務、資料、標準、流程都不一致，以研發運維為例，就存在了四套 PLM，在這上面所承載的對同一個電容，各個系統的編碼是不一致的，而描述這個電容所使用的欄位是不一樣的。有些系統可能用 10 個欄位去描述這個電容，有些系統用 50 個欄位描述這個電容，從系統層面是沒辦法識別成同一個電容，這導致後續無法進行集中採購，透過規模去降低成本，同時也無法進行整個庫存的分析，支撐後續的排查。有可能在 a 系統顯示的是缺料，但在 b 系統其實材料已經積壓。

所以實業目前想透過業務流程的標準化系統整合資料的治理，從資料產生就保證資料的乾淨、清潔，實現資料在全流程的貫通。一方面提升整個業務的運作效率，同時資料會匯聚到大資料平臺，做進一步的資料分析，支撐量化的決策，驅動業務的改進。

為了支撐資料從產生到後期的消費、運營，全生命週期的管理，我們在建設整個資料管理體系，包括一些政策、規範、流程組織等一些 IT 系統。

#02

OLAP 建設歷程

這是我們在建設的大資料及 AI 平臺的應用架構，最上面是資料分析的平臺，主要支撐的是自助 BI、大屏等等的一些分析。

TCL 經過幾十年的發展，有一些資料分析平臺，最簡單的就是關係資料庫，再加一些開源的元件，複雜點的是基於 Hive 平臺其它 BI 做相應的建設。

為了保證業務的平滑遷移，在集團統一的平臺建設的時候，我們也是基於整個 Hadoop 生態構建的 Hive 的數倉，將加工後的資料匯入到關係型資料庫或 Kudu 等資料庫去做資料的分析。

2021 年隨著財務資料的接入，海量分析的問題凸顯，於是我們引入了 ClickHouse。隨著業務發展、自助分析場景的應用越來越多，截至八月份，整個自助分析平臺累計達到 6000 使用者。多表關聯的效能以及併發的問題也逐漸出現，同時，業務對資料的實效性也要求更高，在此背景下，我們引入了 StarRocks 解決相應的問題。

上圖展現的是當前資料分析的相關元件，能看出元件還是比較多的，包括一些關係型的資料庫、Kudu、ClickHouse 的元件。這導致運維的成本比較高，開發也要基於不同的場景選用不同的元件，增加了開發的難度。我們希望逐漸替換成 StarRocks，去降低運維成本以及開發的難度，提升開發的效率。

目前我們也在做 StarRocks 相應些場景的驗證，基於前面的一些實踐，我們總結了 ClickHouse 與 StarRocks 的一些優缺點，ClickHouse 目前來說還是單表的效能最優，StarRocks 的優點在於多表關聯、寫入的效能以及高併發，整體來說跟業界的指標是一致的，這裡就不展開。

這是年初我們在做 POC 的時候做的多表上的寫入和查詢的對比，可以看出，隨著資料量增加，StarRocks 的優勢越來越明顯。

#03

StarRocks 典型應用場景介紹

1、新方舟實時大屏

第一個場景是新方舟的實時大屏，我們基於 StarRocks 構建了實時數倉，去支撐實時資料的分析，體現的是 StarRocks 的時效性和高併發。

新方舟是我們今年剛上線的營銷中臺。基於營銷，我們要做很多方面的資料的分析，這個場景要面臨跨越營銷、供應、製造等等多域的資料的整合分析，不同域的資料時效性，對分析的要求不一樣。

新方舟的整體架構如上圖所示。對於實時性要求比較高的分析，我們透過構建實時數倉去接入，而對於時效性要求比較低的，我們則透過離線數倉去接入。實時數倉和離線數倉加工後的資料全部匯入到 StarRocks，以支援前端的資料應用，包括一些大屏的分析、自助分析等等。

這是當時做的 618 的銷售看板，透過新方舟場景的驗證，StarRocks 能很好的支撐實時數倉以及實時報表分析的需求。

整體的體驗還是比較好的，平均的響應在 200 到 500 毫秒內。

2、集團 HR 服務

第二個場景是集團 HR 的服務，這裡主要是驗證 StarRocks 自助分析的過程中多表關聯的查詢效能。

集團 HR 是我們首個建設的資料資產，我們接入了各個產業的 E-HR 系統，進行資料的清洗，形成了整個資料的資產，支撐了幾個人力的應用和數字化運營的分析。

這裡面會有個指標極端的場景，TCL 每年會收到政府的一些臨時的報數要求，為了應付這種場景，我們會做一個花名冊，花名冊裡面有 200 多個欄位，欄位會分佈在 30 多張表裡面。

沒有做整個資料分析平臺之前，HR 是從 SAP 每月匯出資料到 Excel 進行報數分析，整個匯入的過程將近 30 分鐘。上線整個資料分析平臺之後，我們在資料平臺裡面會生成每個月的快照，支撐需要的自助分析，後來時效性提高到每天，今年提出更高的要求，要求小時級別的重新整理。

這個場景主要面臨的是多表關聯的查詢，剛開始，我們透過 ClickHouse 實現，包括每月的快照，每日的快照，用大寬表這種方式，整個體驗還是比較好的。但到了小時級別，就需要做多表的關聯，整個查詢的時間比較長，大概 15 秒左右。

在今年我們引進了 StarRocks 之後，把小時級的資料切換到上面，查詢的效能提升了 3-5 倍，查詢只需要 3-5 秒，使用者體驗比較好。

3、郵件告警

第三個場景是郵件告警，主要驗證的是 StarRocks 海量的讀寫、實時、高併發的能力。

整個 TCL 目前有 7 萬多名使用者，每天都面對著駭客攻擊等威脅，為了避免相關的安全隱患給公司造成損失，我們目前在嘗試透過一些 AI 等新技術去識別相應的風險。

這個場景主要面臨的挑戰是實時的要求比較高，海量資料的寫入效能要求比較高，以及高併發的資料統計查詢。

以前我們用 Kudu 加 Impala 實現，我們內部做了幾個 StarRocks 和 Kudu 的效能對比，發現 StarRocks 的整體效能優於 Kudu，包括寫入、查詢和高併發。於是我們整個場景都切換成 StarRocks 去實現，整體的效果還是比較好的。目前我到外地出差，一下飛機開啟郵件很快就能收到相應的提示。

#04

未來規劃

1. 打通融合：

StarRocks 是我們今年新上線的 MPP 資料庫，跟我們自研的大數平臺存在很多整合的工作，我們會繼續往下開展。

2. 提升效能：

整個實時數倉這塊規劃逐漸切換到 StarRocks，提升整個實時數倉效能。

3. 化繁為簡：

我們逐漸去收斂 OLAP 引擎到 StarRocks，降低運營以及開發的成本。

4. 極速統一：

極速統一相關的開發。打造以 StarRocks 為主的 OLAP 資料分析平臺，並基於此實現資料統一儲存、統一分析、統一服務、賦能不同業務場景，加速資料價值產出。

5. 穩定執行：

StarRocks 還算比較新的 MPP 產品，可靠性、穩定性有待進一步的觀察，我們也在逐步完善 StarRocks 的監控。

關於 StarRocks

StarRocks 創立兩年多來，一直專注打造世界頂級的新一代極速全場景 MPP 資料庫，幫助企業建立“極速統一”的資料分析新正規化，助力企業全面數字化經營。

當前已經幫助騰訊、攜程、順豐、Airbnb 、滴滴、京東、眾安保險等超過 170 家大型使用者構建了全新的資料分析能力，生產環境中穩定執行的 StarRocks 伺服器數目達數千臺。

2021 年 9 月，StarRocks 原始碼開放，在 GitHub 上的星數已超過 3600 個。StarRocks 的全球社群飛速成長，至今已有超百位貢獻者，社群使用者突破 7000 人，吸引幾十家國內外行業頭部企業參與共建。