作為國(guó)內(nèi)綜合金融卓越典范的中國(guó)平安集團(tuán)，IT引領(lǐng)業(yè)務(wù)發(fā)展是其多年踐行的企業(yè)科技發(fā)展戰(zhàn)略，憑借多年積累的技術(shù)與團(tuán)隊(duì)經(jīng)驗(yàn)，平安科技強(qiáng)大的IT能力始終為行業(yè)所矚目。而平安的云計(jì)算戰(zhàn)略，不僅僅著眼于平安集團(tuán)自身，更期望立足于整個(gè)金融行業(yè)（和國(guó)內(nèi)其他一些金融巨頭的定位一樣！），在科技服務(wù)自身發(fā)展的前提下，逐步謀求將先進(jìn)而豐富的IT能力與基礎(chǔ)設(shè)施資源對(duì)外進(jìn)行輸出，以科技的力量推動(dòng)行業(yè)整體發(fā)展。而對(duì)于行業(yè)中的中小機(jī)構(gòu)同業(yè)來(lái)說(shuō)，在符合信息安全要求的前提下，標(biāo)桿企業(yè)的專業(yè)技術(shù)與強(qiáng)有力的IT基礎(chǔ)設(shè)施平臺(tái)，是他們非常樂(lè)于學(xué)習(xí)和借力的先進(jìn)資源，可以更快、更便利地獲得專業(yè)的技術(shù)平臺(tái)解決方案，這有利于他們將有限的人力物力更專注地投向業(yè)務(wù)應(yīng)用層面的需求響應(yīng)。

 

平安科技正是在這一戰(zhàn)略前提下開(kāi)始致力于打造金融行業(yè)領(lǐng)先的“平安金融云”，恰逢標(biāo)志著Cloud2.0時(shí)代到來(lái)的容器技術(shù)傳入中國(guó)，其諸多革命性的技術(shù)優(yōu)勢(shì)很快引起了平安技術(shù)先行者們的積極關(guān)注。及至2015年下半年，平安科技決定在新的平安云平臺(tái)建設(shè)項(xiàng)目中，正式啟動(dòng)對(duì)容器技術(shù)的選型與引進(jìn)。

項(xiàng)目目標(biāo)場(chǎng)景

框架選型

在提供容器服務(wù)之前，平安云平臺(tái)已經(jīng)在為用戶提供云主機(jī)、云存儲(chǔ)等一系列企業(yè)公有服務(wù)，為了實(shí)現(xiàn)快速對(duì)接平安云已有IaaS平臺(tái)并提供全面的容器云運(yùn)營(yíng)管理能力，平安科技在容器管理平臺(tái)框架選型方面提出了以下選型要求：

• 架構(gòu)簡(jiǎn)單，能夠快速部署，易維護(hù)。
• 開(kāi)源，貼近主流社區(qū)和原生平臺(tái)。
• 支持多租戶，能夠嚴(yán)格的隔離和必要的互通。
• 支持VPC網(wǎng)絡(luò)降低對(duì)網(wǎng)絡(luò)的依賴。
• 符合容器服務(wù)規(guī)范的Stack、Service、Container領(lǐng)域模型。
• 完備、豐富的RestfulAPI。
• 跨平臺(tái)支持好，能夠適應(yīng)混合云部署模式。

經(jīng)過(guò)一系列的驗(yàn)證與測(cè)試平安科技最終在K8S，Mesos+Marathon以及Rancher之間選擇了我們的Rancher平臺(tái)作為容器服務(wù)平臺(tái)基礎(chǔ)框架。

自助服務(wù)

過(guò)去，開(kāi)發(fā)測(cè)試人員做應(yīng)用的開(kāi)發(fā)測(cè)試工作時(shí)往往需要通過(guò)繁雜的內(nèi)部資源申請(qǐng)流程獲取開(kāi)發(fā)測(cè)試環(huán)境。過(guò)程中常常需要與運(yùn)維團(tuán)隊(duì)中負(fù)責(zé)各個(gè)基礎(chǔ)設(shè)置資源管理以及數(shù)據(jù)庫(kù)、中間件管理的成員進(jìn)行多次溝通。無(wú)形中增加了時(shí)間成本溝通成本，同時(shí)所申請(qǐng)的環(huán)境在使用之后沒(méi)有有效的資源回收機(jī)制造成了大量的資源浪費(fèi)。

為了解決上述問(wèn)題，平安科技通過(guò)容器服務(wù)平臺(tái)為租戶提供自助開(kāi)發(fā)測(cè)試容器環(huán)境創(chuàng)建服務(wù)。租戶可以自助在平臺(tái)上快速部署所需服務(wù)與環(huán)境，并且在平臺(tái)所分配的資源池中使用或釋放開(kāi)發(fā)測(cè)試容器環(huán)境作用資源。同時(shí)自助的在平臺(tái)上完成鏡像管理、應(yīng)用編排、服務(wù)集群管理、容器管理等一系列工作。

持續(xù)交付

提供API對(duì)接平安已有的開(kāi)發(fā)管理平臺(tái)Wizard，為CICD流水線提供容器運(yùn)行環(huán)境，實(shí)現(xiàn)全流程部署自動(dòng)化。

技術(shù)實(shí)現(xiàn)方案

服務(wù)架構(gòu)

平安云統(tǒng)一管理區(qū)

容器服務(wù)門(mén)戶

• 門(mén)戶系統(tǒng)，提供容器服務(wù)操作。
• 基于lvs+keepalived部署架構(gòu)，外接mysql集群。

統(tǒng)一管理節(jié)點(diǎn)

• 采用Ansible，用于部署多租戶容器環(huán)境，添加主機(jī)，初始化Registry等節(jié)點(diǎn)管理。

平安云公共服務(wù)區(qū)

Rancher服務(wù)

• 核心服務(wù)組件，主要用于容器調(diào)度與部署。
• 基于lvs+keepalived部署架構(gòu)，外接mysql集群。

Docker節(jié)點(diǎn)

• 用于鏡像制作、上傳、下載，文件傳輸，執(zhí)行Docker命令。

PublicRegistry

• 平安官方公共鏡像倉(cāng)庫(kù)，同時(shí)是官方公共租戶的鏡像庫(kù)。
• 采取多節(jié)點(diǎn)掛載共享盤(pán)部署。

租戶VPC

租戶環(huán)境

• 每個(gè)租戶擁有完整容器部署和運(yùn)行環(huán)境，包括RancherServer、Docker節(jié)點(diǎn)、PrivateRegistry。
• 隔離與其他租戶之間的影響，減少跨租戶的網(wǎng)絡(luò)訪問(wèn)。

容器網(wǎng)絡(luò)

對(duì)外：ContainerBridge，采用端口映射。

對(duì)內(nèi)：容器之間直接使用容器管理平臺(tái)框架Rancher自帶的IPsec隧道實(shí)現(xiàn)。

如果某個(gè)容器需要對(duì)外服務(wù)，則采用端口映射方式，連通所在vm，就可以暴露服務(wù)。

如果容器不需要對(duì)外提供服務(wù)，只需要在同個(gè)應(yīng)用內(nèi)提供服務(wù)，那么采用ipsec方式，這樣避免浪費(fèi)過(guò)多端口。

容器與容器之間建立私有網(wǎng)絡(luò)，只有容器與容器之間可以訪問(wèn)。每個(gè)容器都擁有一個(gè)私有網(wǎng)絡(luò)地址：10.42.網(wǎng)段。

容器存儲(chǔ)

根據(jù)Docker官方提供的所有存儲(chǔ)驅(qū)動(dòng)的成熟度?？梢钥吹侥壳癙roduction-Ready的是AUFS和DeviceMapper。

目前平安科技容器服務(wù)統(tǒng)一運(yùn)行在CentOS，還沒(méi)使用其他操作系統(tǒng)。因此選擇DeviceMapper作為容器存儲(chǔ)驅(qū)動(dòng)。DeviceMapper底層直接使用云磁盤(pán)作為pool，采用LVM管理。

除了容器和鏡像存儲(chǔ)外，應(yīng)用數(shù)據(jù)存儲(chǔ)，包括配置文件采用了volume接口或者直接volume映射來(lái)解決應(yīng)用容器漂移的數(shù)據(jù)問(wèn)題。

日志

• 容器服務(wù)平臺(tái)日志：本地+云平臺(tái)ELK日志服務(wù)。
• 容器自身運(yùn)行日志：本地云磁盤(pán)+云平臺(tái)ELK日志服務(wù)。
• 容器內(nèi)應(yīng)用（業(yè)務(wù)方）日志：業(yè)務(wù)自行規(guī)劃，已經(jīng)提供目錄掛載。

容器監(jiān)控

主要依賴Rancher平臺(tái)自帶的主機(jī)與容器的監(jiān)控功能，同時(shí)，通過(guò)腳本，定時(shí)獲取容器本身的性能監(jiān)控(cpu/mem/network/storage)數(shù)據(jù)，能夠在portal上查看。

1、主機(jī)監(jiān)控

2、容器監(jiān)控

3、特定的中間件監(jiān)控

平安研發(fā)了基于zabbix/open-falcon的監(jiān)控平臺(tái)用來(lái)提供常見(jiàn)中間件的性能監(jiān)控（WebLogic/Tomcat/Nginx等），為中間件鏡像制作腳本，中間件監(jiān)控程序整合到Docker鏡像中，容器一啟動(dòng)，就能即時(shí)上報(bào)性能數(shù)據(jù)到監(jiān)控平臺(tái)，無(wú)需任何外部干預(yù)。

鏡像管理

針對(duì)鏡像管理，平安科技進(jìn)行了從單節(jié)點(diǎn)->雙節(jié)點(diǎn)->跨區(qū)域分布式架構(gòu)的演進(jìn)。

通過(guò)自行開(kāi)發(fā)的服務(wù)組件實(shí)現(xiàn)對(duì)不同區(qū)域數(shù)據(jù)中心的跨區(qū)域分布式鏡像管理，每個(gè)區(qū)域都部署一套，對(duì)接本區(qū)域的私有鏡像庫(kù)。一方面監(jiān)聽(tīng)當(dāng)前區(qū)域的鏡像倉(cāng)庫(kù)事件，然后主動(dòng)發(fā)起同步操作。另一方面：執(zhí)行Dockcer命令，管理該區(qū)域的所有運(yùn)行容器的機(jī)器。

項(xiàng)目成果

經(jīng)過(guò)大半年的設(shè)計(jì)、驗(yàn)證、實(shí)施，平安科技以全球領(lǐng)先的容器云開(kāi)源技術(shù)框架（Rancher）為核心，自主研發(fā)為主，圓滿完成了平安云CaaS容器服務(wù)平臺(tái)的建設(shè)，實(shí)現(xiàn)了為平安集團(tuán)旗下各個(gè)金融類別和擁有不同開(kāi)發(fā)模式的子公司用戶，提供物理機(jī)、虛擬機(jī)、容器等滿足不同種類計(jì)算需求的計(jì)算資源服務(wù)的總體目標(biāo)。并于2016年嘗試面對(duì)公眾市場(chǎng)發(fā)布推廣，成為金融行業(yè)走向容器云平臺(tái)公共服務(wù)的第一家機(jī)構(gòu)！

結(jié)語(yǔ)

睿云智合(Wise2C)作為Rancher在金融保險(xiǎn)行業(yè)的獨(dú)家總代理，有幸成為這一歷史性重大項(xiàng)目的合作伙伴，新的一年我們將一如既往地為平安金融云的不斷發(fā)展提供更多專業(yè)、高效的服務(wù)。

同時(shí)，我們也非常高興受邀參與到了更多不同運(yùn)營(yíng)方向的其他大型金融機(jī)構(gòu)的容器云平臺(tái)建設(shè)項(xiàng)目，為此我們正不斷完善自身的系列容器技術(shù)平臺(tái)產(chǎn)品，希望將我們的項(xiàng)目經(jīng)驗(yàn)和技術(shù)能力，完整而快捷地交付給更多的企業(yè)用戶！