注册 | 登录

[原创]高性能计算助力集团BI系统建设

一  集团简介

九州通医药集团股份有限公司发轫于改革开放之初的1985年,是一家以西药、中药和医疗器械批发、物流配送、零售连锁以及电子商务为核心业务的股份制企业,2008年含税销售额超过189亿元,是湖北省最大的民营企业,在全国近万家医药商业企业中位列第三名、中国民营医药商业企业第一名,已连续6年入围“中国企业500强”。截至2009年9月,集团拥有总资产70多亿元,下属企业70余家。

九州通在国内开创的“低成本、高效率”的医药商业模式被中国医药界誉为“九州通模式”,并成为中国医药物流发展的主流模式,铸就了享誉中国医药行业的九州通品牌。公司拥有完善的品种结构和丰富的客户资源,目前经营品规14000多个,上游合作伙伴4200多家,下游客户64000多家。现已有13家省级大型医药物流中心,17家地级配送中心,200多个业务办事处,覆盖了国内70%县级以上的行政区域,形成了国内辐射面最广的医药分销网络之一。

二  数据仓库创建背景

九州通医药集团于2000年5月28日成立湖北九州通,经历6年的发展,到2006年先后在全国成立了湖北、北京、上海、河南、新疆、广东、恩施、广州、山东、福建、荆州等11家分子公司。随着分子公司的不断增多,一方面,数据的收集汇总工作日趋困难(需要从各个公司通过EXCEL收集数据,然后将各个公司收集的数据再汇总),另一方面,由于管理和业务的需要,及时汇总分析数据显得越来越重要。在这个背景下,通过创建数据仓库,每天凌晨定时收集分子公司数据至数据仓库,实现数据集中,所有公司的汇总数据分析只需在总部完成,提升了数据汇总的及时性和便捷性。

三、数据仓库现状及面临的问题

1.系统图示:


 
2.硬件环境:

1)服务器:HP ProLiant DL580 G5(AK159A)
      CPU: Intel(R) Xeon(R) X7350 @2.93GHz (4CPU 4核)
      内存:32GB
        硬盘:SFF热插拔SAS硬盘146GB (8块)

2)磁盘阵列:HP EVA6000  146G(8块)

3.软件环境

1)操作系统

两台服务器使用操作系统均为Windows Sever 2008 R2(64位版)

2)数据库

两台服务器使用数据库均为Microsoft SQL Server Enterprise Edition (64-bit),版本均为10.0.2531.0
4.当前系统数据量等情况

1)数据量

当前数据为08年至今结转部分数据之后数据文件大小为130GB,每天提取35家分子公司250万行左右数据。每日数据增量大概120MB。三年数据超过1TB的数据量。

2)用户数和报表数

当前的用户数上至总经理,下至终端业务员,共计530人。

当前报表数量180张左右,日均访问报表次数为1200人次,峰值为2200人次 。

3)最大表

当前系统中最大的表为日库存结存表dw_jygk,存储2008年1月1日至今所有公司每天各个商品的库存结存数据,数据行数达到271123099,数据大小为50,216.328 MB。

5.当前急需解决问题

1)用户数不断增加给系统造成的性能压力,查询等待时间长等

2)业务不断增加造成的数据存储和计算压力

3)业务需求增加对计算机内存和CPU的计算压力

4)各分支机构数据汇集与分析对高性能计算机的要求

四、高性能计算方案平台架构及应用后效果

1)架构选择

经过我们的评估与了解,我们最终选择了基于INTEL最新的Nehalem EX架构做为我们BI高性能计算机的平台,运用最新的至强7500系统CPU X7560,该CPU拥有八个核心,16线程,24MB三级高速缓存,QPI达到6.4GB的速度,为我们处理BI对高性能计算的需求提供了加劲的动力,我们通过四路的X7560,开启CPU的超级程功能,使OS中的CPU线程达到64个,另外为了满足BI高性计算机的需求,我们还对IO进行了大规模升级,将原来的32GB DDR2内存升级到了256 GB DDR3内存,这是过去老的架构所做不到的,将原来的3GB SAS升级至 6GB SAS,这样大大提高了IO的吞吐能力。

2)实施后效果

1.CPU性能提高300以上%,见下图,以74系统为基准

2.内存IO能力得到近10倍提升,同时硬盘IO接口得到2倍的提升。

3.通过我们的测试,新老平台在CPU运行,性能方面,差距非常明显,通过改进,让业务部门更快地获得了相关的数据,大大提高了工作的效率和节省了等待的时间。

4.另外我们发现,新的平台在节电方面表现也不错,当晚上CPU运行很低时,会自动降低运行的频率,可以节约不少电费。

5.CPU虚拟化的表现也非常不错, CPU的VT虚拟化功能,比上一代的性能虚拟化有很大程度的提升。



版主点评
畅享精灵2010/7/280批注为入选博文大赛,加积分100
签名档
| 发表时间:2010/7/28 11:38:05 | 浏览数:4556 | 回复数:3
等级:试用期
行业:医疗/护理/保健/卫生
职能部门:信息/资料管理
城市:武汉市
金币:110

虚拟化虽然更节省资源
效率更高
但是我们老板一下子接受不了
| 发表时间:2010/7/30 12:30:11
等级:经理
行业:其他
职能部门:综合经营/企业管理
城市:厦门市
金币:891

硬件提升毕竟是有限,一切还是以需求为出发
BI建设要量力而行。
| 发表时间:2010/8/10 9:22:19
等级:试用期
行业:电信设备及服务
职能部门:IT经理
城市:上海
金币:303

BI 我们内存多达128G
| 发表时间:2010/8/19 20:33:41
等级:助理
行业:医疗/护理/保健/卫生
职能部门:
城市:上海
金币:306
(共 3 条) 上一页1 下一页
您还不是圈子成员,不能对文章进行评论。请先申请加入圈子,待管理员通过申请之后才能进行评论。