怎樣做好一個(gè)大型電商或者行業(yè)門戶平臺(tái)?深圳網(wǎng)站建設(shè)公司認(rèn)為首先我們要了解大型網(wǎng)站的架構(gòu),大型網(wǎng)站架構(gòu)演化如果把上世紀(jì)90年代初CERN正式發(fā)布Web標(biāo)準(zhǔn)和第一個(gè)Web服務(wù)的出現(xiàn)當(dāng)做互聯(lián)網(wǎng)站的開始,那么互聯(lián)網(wǎng)站的發(fā)展只經(jīng)歷了短短20多年的時(shí)間。在20多年的時(shí)間里,互聯(lián)網(wǎng)的世界發(fā)生了巨大變化,今天,全球有近一半的人口使用互聯(lián)網(wǎng),人們的生活因?yàn)榛ヂ?lián)網(wǎng)而產(chǎn)生了巨大改變。從信息檢索到即時(shí)通信,從電子購(gòu)物到文化娛樂(lè),互聯(lián)網(wǎng)滲透到生活的每個(gè)角落,而且這種趨勢(shì)還在加速。因?yàn)榛ヂ?lián)網(wǎng),我們的世界正變得越來(lái)越小。同時(shí)我們也看到,在互聯(lián)網(wǎng)跨越式發(fā)展的進(jìn)程中,在電子商務(wù)火熱的市場(chǎng)背后卻是不堪重負(fù)的網(wǎng)站架構(gòu),某些B2C網(wǎng)站逢促銷必宕機(jī)幾乎成為一種規(guī)律,而鐵道部電子客票官方購(gòu)票網(wǎng)站的頻繁故障和操作延遲更將這一現(xiàn)象演繹得淋漓盡致。一邊是企業(yè)在網(wǎng)站技術(shù)上的大量投入,一邊卻是網(wǎng)站在關(guān)鍵時(shí)刻的頻繁宕機(jī);一邊是工程師夜以繼日地加班工作,一邊卻是網(wǎng)站故障頻發(fā)新功能上線緩慢;一邊是互聯(lián)網(wǎng)業(yè)務(wù)快速發(fā)展多領(lǐng)域挑戰(zhàn)傳統(tǒng)行業(yè),一邊卻是網(wǎng)站安全漏洞頻發(fā)讓網(wǎng)民膽戰(zhàn)心驚怨聲載道。如何打造一個(gè)高可用、高性能、易擴(kuò)展、可伸縮且安全的網(wǎng)站?如何讓網(wǎng)站隨應(yīng)用所需靈活變動(dòng),即使是山寨他人的產(chǎn)品,也可以山寨的更高、更快、更強(qiáng),一年時(shí)間用戶數(shù)從零過(guò)億呢?
一、大型網(wǎng)站建設(shè)軟件系統(tǒng)的特點(diǎn)
大型網(wǎng)站軟件系統(tǒng)的特點(diǎn)與傳統(tǒng)企業(yè)應(yīng)用系統(tǒng)相比,大型互聯(lián)網(wǎng)應(yīng)用系統(tǒng)有以下特點(diǎn)。高并發(fā),大流量:需要面對(duì)高并發(fā)用戶,大流量訪問(wèn)。Google日均PV數(shù)35億,日均IP訪問(wèn)數(shù)3億;騰訊QQ的最大在線用戶數(shù)1.4億(2011年數(shù)據(jù));淘寶2012年“雙十一”活動(dòng)一天交易額超過(guò)191億,活動(dòng)開始第一分鐘獨(dú)立訪問(wèn)用戶達(dá)1000萬(wàn)。高可用:系統(tǒng)7×24小時(shí)不間斷服務(wù)。大型互聯(lián)網(wǎng)站的宕機(jī)事件通常會(huì)成為新聞焦點(diǎn),例如2010年百度域名被黑客劫持導(dǎo)致不能訪問(wèn),成為成為重大新聞熱點(diǎn)。海量數(shù)據(jù):需要存儲(chǔ)、管理海量數(shù)據(jù),需要使用大量服務(wù)器。Facebook每周上傳的照片數(shù)目接近10億,百度收錄的網(wǎng)頁(yè)數(shù)目有數(shù)百億,Google有近百萬(wàn)臺(tái)服務(wù)器為全球用戶提供服務(wù)。用戶分布廣泛,網(wǎng)絡(luò)情況復(fù)雜:許多大型互聯(lián)網(wǎng)都是為全球用戶提供服務(wù)的,用戶分布范圍廣,各地網(wǎng)絡(luò)情況千差萬(wàn)別。在國(guó)內(nèi),還有各個(gè)運(yùn)營(yíng)商網(wǎng)絡(luò)互通難的問(wèn)題。而中美光纜的數(shù)次故障,也讓一些對(duì)國(guó)外用戶依賴較大的網(wǎng)站不得不考慮在海外建立數(shù)據(jù)中心。安全環(huán)境惡劣:由于互聯(lián)網(wǎng)的開放性,使得互聯(lián)網(wǎng)站更容易受到攻擊,大型網(wǎng)站幾乎每天都會(huì)被黑客攻擊。2011年國(guó)內(nèi)多個(gè)重要網(wǎng)站泄露用戶密碼,讓普通用戶也直面一次互聯(lián)網(wǎng)安全問(wèn)題。需求快速變更,發(fā)布頻繁:和傳統(tǒng)軟件的版本發(fā)布頻率不同,互聯(lián)網(wǎng)產(chǎn)品為快速適應(yīng)市場(chǎng),滿足用戶需求,其產(chǎn)品發(fā)布頻率是極高的。Office的產(chǎn)品版本以年為單位發(fā)布,而一般大型網(wǎng)站的產(chǎn)品每周都有新版本發(fā)布上線,至于中小型網(wǎng)站的發(fā)布就更頻繁了,有時(shí)候一天會(huì)發(fā)布幾十次。漸進(jìn)式發(fā)展:與傳統(tǒng)軟件產(chǎn)品或企業(yè)應(yīng)用系統(tǒng)一開始就規(guī)劃好全部的功能和非功能需求不同,幾乎所有的大型互聯(lián)網(wǎng)站都是從一個(gè)小網(wǎng)站開始,漸進(jìn)地發(fā)展起來(lái)的。Facebook是伯克扎克同學(xué)在哈佛大學(xué)的宿舍里開發(fā)的;Google的第一臺(tái)服務(wù)器部署在斯坦福大學(xué)的實(shí)驗(yàn)室里;阿里巴巴則是在馬云家的客廳里誕生的。好的互聯(lián)網(wǎng)產(chǎn)品都是慢慢運(yùn)營(yíng)出來(lái)的,不是一開始就開發(fā)好的,這也正好與網(wǎng)站架構(gòu)的發(fā)展演化過(guò)程對(duì)應(yīng)。
二、了解大型網(wǎng)站建設(shè)架構(gòu)的演化歷程
大型網(wǎng)站架構(gòu)演化發(fā)展歷程大型網(wǎng)站的技術(shù)挑戰(zhàn)主要來(lái)自于龐大的用戶,高并發(fā)的訪問(wèn)和海量的數(shù)據(jù),任何簡(jiǎn)單的業(yè)務(wù)一旦需要處理數(shù)以P計(jì)的數(shù)據(jù)和面對(duì)數(shù)以億計(jì)的用戶,問(wèn)題就會(huì)變得很棘手。大型網(wǎng)站架構(gòu)主要就是解決這類問(wèn)題。
1.初始階段的網(wǎng)站架構(gòu)大型網(wǎng)站都是從小型網(wǎng)站發(fā)展而來(lái),網(wǎng)站架構(gòu)也是一樣,是從小型網(wǎng)站架構(gòu)逐步演化而來(lái)。小型網(wǎng)站最開始時(shí)沒(méi)有太多人訪問(wèn),只需要一臺(tái)服務(wù)器就綽綽有余,這時(shí)的網(wǎng)站架構(gòu)如圖1.1所示。
初始階段的網(wǎng)站架構(gòu)應(yīng)用程序、數(shù)據(jù)庫(kù)、文件等所有的資源都在一臺(tái)服務(wù)器上。通常服務(wù)器操作系統(tǒng)使用Linux,應(yīng)用程序使用PHP開發(fā),然后部署在Apache上,數(shù)據(jù)庫(kù)使用MySQL,匯集各種免費(fèi)開源軟件及一臺(tái)廉價(jià)服務(wù)器就可以開始網(wǎng)站的發(fā)展之路了。
2.應(yīng)用服務(wù)和數(shù)據(jù)服務(wù)分離隨著網(wǎng)站業(yè)務(wù)的發(fā)展,一臺(tái)服務(wù)器逐漸不能滿足需求:越來(lái)越多的用戶訪問(wèn)導(dǎo)致性能越來(lái)越差,越來(lái)越多的數(shù)據(jù)導(dǎo)致存儲(chǔ)空間不足。這時(shí)就需要將應(yīng)用和數(shù)據(jù)分離。應(yīng)用和數(shù)據(jù)分離后整個(gè)網(wǎng)站使用三臺(tái)服務(wù)器:應(yīng)用服務(wù)器、文件服務(wù)器和數(shù)據(jù)庫(kù)服務(wù)器,如圖1.2所示。
這三臺(tái)服務(wù)器對(duì)硬件資源的要求各不相同,應(yīng)用服務(wù)器需要處理大量的業(yè)務(wù)邏輯,因此需要更快更強(qiáng)大的CPU;數(shù)據(jù)庫(kù)服務(wù)器需要快速磁盤檢索和數(shù)據(jù)緩存,因此需要更快的硬盤和更大的內(nèi)存;文件服務(wù)器需要存儲(chǔ)大量用戶上傳的文件,因此需要更大的硬盤。圖1.2 應(yīng)用服務(wù)和數(shù)據(jù)服務(wù)分離應(yīng)用和數(shù)據(jù)分離后,不同特性的服務(wù)器承擔(dān)不同的服務(wù)角色,網(wǎng)站的并發(fā)處理能力和數(shù)據(jù)存儲(chǔ)空間得到了很大改善,支持網(wǎng)站業(yè)務(wù)進(jìn)一步發(fā)展。但是隨著用戶逐漸增多,網(wǎng)站又一次面臨挑戰(zhàn):數(shù)據(jù)庫(kù)壓力太大導(dǎo)致訪問(wèn)延遲,進(jìn)而影響整個(gè)網(wǎng)站的性能,用戶體驗(yàn)受到影響。這時(shí)需要對(duì)網(wǎng)站架構(gòu)進(jìn)一步優(yōu)化。
3.使用緩存改善網(wǎng)站性能網(wǎng)站訪問(wèn)特點(diǎn)和現(xiàn)實(shí)世界的財(cái)富分配一樣遵循二八定律:80%的業(yè)務(wù)訪問(wèn)集中在20%的數(shù)據(jù)上。淘寶買家瀏覽的商品集中在少部分成交數(shù)多、評(píng)價(jià)良好的商品上;百度搜索關(guān)鍵詞集中在少部分熱門詞匯上;只有經(jīng)常登錄的用戶才會(huì)發(fā)微博、看微博,而這部分用戶也只占總用戶數(shù)目的一小部分。既然大部分的業(yè)務(wù)訪問(wèn)集中在一小部分?jǐn)?shù)據(jù)上,那么如果把這一小部分?jǐn)?shù)據(jù)緩存在內(nèi)存中,是不是就可以減少數(shù)據(jù)庫(kù)的訪問(wèn)壓力,提高整個(gè)網(wǎng)站的數(shù)據(jù)訪問(wèn)速度,改善數(shù)據(jù)庫(kù)的寫入性能了呢?網(wǎng)站使用的緩存可以分為兩種:緩存在應(yīng)用服務(wù)器上的本地緩存和緩存在專門的分布式緩存服務(wù)器上的遠(yuǎn)程緩存。本地緩存的訪問(wèn)速度更快一些,但是受應(yīng)用服務(wù)器內(nèi)存限制,其緩存數(shù)據(jù)量有限,而且會(huì)出現(xiàn)和應(yīng)用程序爭(zhēng)用內(nèi)存的情況。遠(yuǎn)程分布式緩存可以使用集群的方式,部署大內(nèi)存的服務(wù)器作為專門的緩存服務(wù)器,可以在理論上做到不受內(nèi)存容量限制的緩存服務(wù),如圖1.3所示。
網(wǎng)站使用緩存使用緩存后,數(shù)據(jù)訪問(wèn)壓力得到有效緩解,但是單一應(yīng)用服務(wù)器能夠處理的請(qǐng)求連接有限,在網(wǎng)站訪問(wèn)高峰期,應(yīng)用服務(wù)器成為整個(gè)網(wǎng)站的瓶頸。
4.使用應(yīng)用服務(wù)器集群改善網(wǎng)站的并發(fā)處理能力使用集群是網(wǎng)站解決高并發(fā)、海量數(shù)據(jù)問(wèn)題的常用手段。當(dāng)一臺(tái)服務(wù)器的處理能力、存儲(chǔ)空間不足時(shí),不要企圖去換更強(qiáng)大的服務(wù)器,對(duì)大型網(wǎng)站而言,不管多么強(qiáng)大的服務(wù)器,都滿足不了網(wǎng)站持續(xù)增長(zhǎng)的業(yè)務(wù)需求。這種情況下,更恰當(dāng)?shù)淖龇ㄊ窃黾右慌_(tái)服務(wù)器分擔(dān)原有服務(wù)器的訪問(wèn)及存儲(chǔ)壓力。對(duì)網(wǎng)站架構(gòu)而言,只要能通過(guò)增加一臺(tái)服務(wù)器的方式改善負(fù)載壓力,就可以以同樣的方式持續(xù)增加服務(wù)器不斷改善系統(tǒng)性能,從而實(shí)現(xiàn)系統(tǒng)的可伸縮性。應(yīng)用服務(wù)器實(shí)現(xiàn)集群是網(wǎng)站可伸縮集群架構(gòu)設(shè)計(jì)中較為簡(jiǎn)單成熟的一種,如圖1.4所示。
應(yīng)用服務(wù)器集群部署通過(guò)負(fù)載均衡調(diào)度服務(wù)器,可將來(lái)自用戶瀏覽器的訪問(wèn)請(qǐng)求分發(fā)到應(yīng)用服務(wù)器集群中的任何一臺(tái)服務(wù)器上,如果有更多的用戶,就在集群中加入更多的應(yīng)用服務(wù)器,使應(yīng)用服務(wù)器的負(fù)載壓力不再成為整個(gè)網(wǎng)站的瓶頸。
5.數(shù)據(jù)庫(kù)讀寫分離網(wǎng)站在使用緩存后,使絕大部分?jǐn)?shù)據(jù)讀操作訪問(wèn)都可以不通過(guò)數(shù)據(jù)庫(kù)就能完成,但是仍有一部分讀操作(緩存訪問(wèn)不命中、緩存過(guò)期)和全部的寫操作需要訪問(wèn)數(shù)據(jù)庫(kù),在網(wǎng)站的用戶達(dá)到一定規(guī)模后,數(shù)據(jù)庫(kù)因?yàn)樨?fù)載壓力過(guò)高而成為網(wǎng)站的瓶頸。目前大部分的主流數(shù)據(jù)庫(kù)都提供主從熱備功能,通過(guò)配置兩臺(tái)數(shù)據(jù)庫(kù)主從關(guān)系,可以將一臺(tái)數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)更新同步到另一臺(tái)服務(wù)器上。網(wǎng)站利用數(shù)據(jù)庫(kù)的這一功能,實(shí)現(xiàn)數(shù)據(jù)庫(kù)讀寫分離,從而改善數(shù)據(jù)庫(kù)負(fù)載壓力,如圖1.5所示。
數(shù)據(jù)庫(kù)讀寫分離應(yīng)用服務(wù)器在寫數(shù)據(jù)的時(shí)候,訪問(wèn)主數(shù)據(jù)庫(kù),主數(shù)據(jù)庫(kù)通過(guò)主從復(fù)制機(jī)制將數(shù)據(jù)更新同步到從數(shù)據(jù)庫(kù),這樣當(dāng)應(yīng)用服務(wù)器讀數(shù)據(jù)的時(shí)候,就可以通過(guò)從數(shù)據(jù)庫(kù)獲得數(shù)據(jù)。為了便于應(yīng)用程序訪問(wèn)讀寫分離后的數(shù)據(jù)庫(kù),通常在應(yīng)用服務(wù)器端使用專門的數(shù)據(jù)訪問(wèn)模塊,使數(shù)據(jù)庫(kù)讀寫分離對(duì)應(yīng)用透明。
6.使用反向代理和CDN加速網(wǎng)站響應(yīng)隨著網(wǎng)站業(yè)務(wù)不斷發(fā)展,用戶規(guī)模越來(lái)越大,由于中國(guó)復(fù)雜的網(wǎng)絡(luò)環(huán)境,不同地區(qū)的用戶訪問(wèn)網(wǎng)站時(shí),速度差別也極大。有研究表明,網(wǎng)站訪問(wèn)延遲和用戶流失率正相關(guān),網(wǎng)站訪問(wèn)越慢,用戶越容易失去耐心而離開。為了提供更好的用戶體驗(yàn),留住用戶,網(wǎng)站需要加速網(wǎng)站訪問(wèn)速度。主要手段有使用CDN和反向代理,如圖1.6所示。
網(wǎng)站使用反向代理和CDN加速訪問(wèn)CDN和反向代理的基本原理都是緩存,區(qū)別在于CDN部署在網(wǎng)絡(luò)提供商的機(jī)房,使用戶在請(qǐng)求網(wǎng)站服務(wù)時(shí),可以從距離自己最近的網(wǎng)絡(luò)提供商機(jī)房獲取數(shù)據(jù);而反向代理則部署在網(wǎng)站的中心機(jī)房,當(dāng)用戶請(qǐng)求到達(dá)中心機(jī)房后,首先訪問(wèn)的服務(wù)器是反向代理服務(wù)器,如果反向代理服務(wù)器中緩存著用戶請(qǐng)求的資源,就將其直接返回給用戶。使用CDN和反向代理的目的都是盡早返回?cái)?shù)據(jù)給用戶,一方面加快用戶訪問(wèn)速度,另一方面也減輕后端服務(wù)器的負(fù)載壓力。
關(guān)于大型網(wǎng)站建設(shè)的注意事項(xiàng)本文就介紹到這里,需要更詳細(xì)的文本方案,您可以聯(lián)系我們?cè)诰€客服獲取。深圳網(wǎng)站建設(shè)公司-博納網(wǎng)絡(luò)編輯整理。