商城網(wǎng)站制作為了保證在大數(shù)據(jù)處理時(shí)提高處理效率BI系統(tǒng)能的處理流程,會(huì)根據(jù)實(shí)際情況進(jìn)行數(shù)據(jù)建模,建模后的數(shù)據(jù)會(huì)保存在BI系統(tǒng)的寬表中。寬表從字面意義上講就是字段比較多的數(shù)據(jù)庫表,
網(wǎng)站制作公司提示通常是指業(yè)務(wù)主題相關(guān)的指標(biāo)、維度和屬性關(guān)聯(lián)在一起的一張數(shù)據(jù)庫表。BI系統(tǒng)的寬表都是多個(gè)業(yè)務(wù)數(shù)據(jù)庫表提取組合成的。數(shù)據(jù)處理數(shù)據(jù)處理主要是對(duì)存儲(chǔ)的數(shù)據(jù)進(jìn)行業(yè)務(wù)邏輯方面的處理,所有和業(yè)務(wù)邏輯相關(guān)的配置和處理都在這一層統(tǒng)一處理。從各個(gè)業(yè)務(wù)系統(tǒng)收集回來的數(shù)據(jù)參差不齊,為了滿足業(yè)務(wù)的數(shù)據(jù)需求,需要對(duì)數(shù)據(jù)進(jìn)行加工處理。在處理數(shù)據(jù)時(shí),又將數(shù)據(jù)分為數(shù)據(jù)模型和BI層數(shù)據(jù)兩部分。數(shù)據(jù)模型指的是單個(gè)業(yè)務(wù)需求下的需求內(nèi)容,有一點(diǎn)需要注意的是,這里的業(yè)務(wù)需求指的是業(yè)務(wù)提出需求對(duì)應(yīng)的業(yè)務(wù)實(shí)體,比如訂單量對(duì)應(yīng)的是訂單主表的數(shù)據(jù),而延伸的數(shù)據(jù)則需要獨(dú)立建模,如訂單的評(píng)論、商品明細(xì)等。BI層則可以組裝多個(gè)實(shí)體的數(shù)據(jù)模型用于展示。我們先來看一下數(shù)據(jù)模型,按照商城網(wǎng)站的業(yè)務(wù)的訴求組成不同的數(shù)據(jù)模型,簡(jiǎn)單地說,數(shù)據(jù)模型也是數(shù)據(jù)庫表,只不過是匯總后的寬表。數(shù)據(jù)模型的抽取要遵循3個(gè)準(zhǔn)則。

●限定條件:數(shù)據(jù)使用限定范圍,比如按城市維度、按用戶級(jí)別維度等,限定條件相關(guān)的字段需要出現(xiàn)在建模后的寬表中,以便在配置處理時(shí)使用。
●業(yè)務(wù)需求:業(yè)務(wù)提出的數(shù)據(jù)需求,比如希望看到每個(gè)城市的訂單量等,如果包含多個(gè)實(shí)體的訴求,則需要我們進(jìn)行拆解。
●數(shù)據(jù)口徑:數(shù)據(jù)統(tǒng)計(jì)方法不同,統(tǒng)計(jì)的結(jié)果也千差萬別,因此,統(tǒng)一數(shù)據(jù)的標(biāo)準(zhǔn)是非常重要的,口徑的維度包括但不限于取數(shù)周期、取數(shù)范圍和計(jì)算規(guī)則等。數(shù)據(jù)建模時(shí)要遵從數(shù)據(jù)庫的第三范式,即非主鍵的字段之間不能存在其他函數(shù)關(guān)系。而如果涉及復(fù)雜的數(shù)據(jù)顯示訴求,則可以在BI層通過數(shù)據(jù)模型的組合來實(shí)現(xiàn),以減少耦合度。數(shù)據(jù)模型也會(huì)因?yàn)榻y(tǒng)計(jì)周期的不同而有實(shí)時(shí)和非實(shí)時(shí)兩種情況。非實(shí)時(shí)數(shù)據(jù)模型一般用于統(tǒng)計(jì)對(duì)于時(shí)間敏感度較低的信息,比如統(tǒng)計(jì)全國(guó)日均單量、日均用戶數(shù)等;非實(shí)時(shí)的數(shù)據(jù)模型通常是通過腳本的方式進(jìn)行周期性統(tǒng)計(jì),考慮到處理量大的情況,一般會(huì)選擇在后半夜進(jìn)行。
網(wǎng)站制作公司資深框架工程師在這里提一下數(shù)據(jù)挖掘的概念,數(shù)據(jù)挖掘?qū)嶋H也屬于數(shù)據(jù)處理的一種,它是通過一定的算法找到數(shù)據(jù)之間的關(guān)系并把這個(gè)關(guān)系記錄下來(也就是保存在寬表中建模)。

關(guān)于數(shù)據(jù)挖掘的算法,網(wǎng)上有很多介紹,這部分是屬于開發(fā)的范疇,這里不做過多說明,對(duì)于產(chǎn)品來說可以了解一下原理和知識(shí)點(diǎn)。數(shù)據(jù)可視化數(shù)據(jù)可視化主要是將處理或配置后的數(shù)據(jù)表按照業(yè)務(wù)的維度要求進(jìn)行展示,包括圖文、表格等形式,也可以通過推送的方式定期發(fā)送數(shù)據(jù)內(nèi)容給指定人選。我們上面講到的3種業(yè)態(tài)組合實(shí)際是通過顯示輸出方式來區(qū)分的。常用的報(bào)表通過固化的方式展示,而一些復(fù)雜的報(bào)表則通過模型字段配置來組合,也就是我們說的BI層的數(shù)據(jù)模型組合展示。在顯示時(shí)一般會(huì)分為單表(Chart)和看板(Dashborad)兩種??窗宥嘤糜诙鄠€(gè)維度對(duì)比展示,往往用于整體狀況分析;單表則屬于某個(gè)細(xì)分業(yè)務(wù)單獨(dú)的數(shù)據(jù)統(tǒng)計(jì)。在推送方式上,數(shù)據(jù)展示包括數(shù)據(jù)報(bào)表展示、郵件推送和數(shù)據(jù)對(duì)外輸出等3種方式。數(shù)據(jù)對(duì)外輸出指的是為外部系統(tǒng)提供數(shù)據(jù)計(jì)算處理后的結(jié)果。在切分BI系統(tǒng)與其他系統(tǒng)邊界的時(shí)候應(yīng)遵循幾個(gè)原則:
●數(shù)據(jù)計(jì)算處理屬于BI系統(tǒng);
●根據(jù)數(shù)據(jù)觸發(fā)的操作流程,業(yè)務(wù)一般會(huì)放在業(yè)務(wù)系統(tǒng)中進(jìn)行;
●業(yè)務(wù)數(shù)據(jù)的展示要根據(jù)業(yè)務(wù)操作的便利性和與數(shù)據(jù)觸發(fā)后續(xù)流程的緊密度來判斷由哪個(gè)系統(tǒng)來實(shí)現(xiàn)。好了,
網(wǎng)站制作公司本文關(guān)于“電商平臺(tái)BI系統(tǒng)數(shù)據(jù)處理效率方案”就分享到這里,謝謝關(guān)注,博納網(wǎng)絡(luò)編輯整理。