天旦前瞻技术服务金融云时代发展
2017-07-01 19:08 文章来自:中国网 收藏(0) 阅读(1116) 评论(0)
对于Openstack,从Austin走到Mitaka,经历了6年共13个版本。从极客技术圈的讨论,到主流用户的犹豫和怀疑,现在终于步入了国内大型股份制银行的数据中心,承载着全行的关键业务。

对于docker,“2014年年末,2015年年初的时候docker在人们脑子里几乎没什么印象。”高盛Goldman Sachs集团技术部负责人Don Duet说。然而未来高盛计划将90的计算任务切入容器环境中。

技术派热衷于讨论产品的新功能,比如大规模编排变得只需要敲一条命令docker swarm init那么简单。而技术决策者则需要考虑地更多、更长远。

天旦认为,在云时代技术决策者所关注的,除了云技术自身带来的好处之外,一般还会从“上云”和“云运营”两个阶段对问题进行考察。

“上云”

新应用,或者云原生应用对云是友好的。然而,现实中由大量既有应用组成的业务系统却承担着当前企业的关键业务。如果不能了解清楚里面的访问关系和属性,业务实际运行情况,那么对于“上云”这个过程来说是一个最大的挑战。

我们可以对企业内部的关键业务系统进行分级,分批梳理。当确立了重要级别后,需要从业务发起的入口,比如第一道防火墙开始,逐级对整个系统的网络和应用架构进行梳理。现在企业基本都已经数字化或者在数字化的过程中,单个业务系统自身也已经很复杂。可以从防火墙,到负载均衡器,到web服务器、app服务器和数据库。一旦是双活甚至多活,有灾备,那复杂性就进一步提高。此外,除了按照业务进行梳理外,还需要针对一些关键节点,比如ESB总线进行专题类的梳理。因为这些节点为多个应用同时提供服务。云端网络依靠策略驱动,比如:思科的ACIC记还有一个VTS。如果在“上云”过程中不能够全覆盖,无盲区了解到访问关系,那几乎就无法制定EPGEnd Point Group,一组特定功能计算节点的组合和刻画应用的ANPApplication Network Profile,进而造成在现在跑得好好的业务,往云端迁移后各种问题。

2015年4月天旦产品副总裁贺晓麟在思科中国区总部会议上分享《关键业务监控帮助ACI从迁移到投产》

天旦在2013年设计业务性能管理软件BPC 2.0和网络性能管理软件NPM 2.0时,就开发了服务路径图发现Service Path View Discovery功能。通过利用网络大数据Wire Data中蕴含的实时应用服务器之间的连接关系和属性,通过机器学习对行为进行判断和聚类,用象征着宇宙和星空的重力图来呈现。用户可以通过方便的拖拉拽操作,马上可以梳理清楚复杂业务系统里的访问关系。将原本数以月计的工作缩短到几个小时,而且梳理结果还可以实时展示和长期维护。进一步,在金融云环境中,虚拟机或者容器的扩缩变成常态。对业务的梳理也从事后补课,转变成对业务架构变化的实时动态感知。

天旦服务路径图发现功能,自动发现业务访问与依赖关系,将原来数以月计的人工业务梳理突破性地降低到分钟级

梳理完毕后,需要使用业务性能管理产品和网络性能管理产品两个视角对关键业务系统的运行情况进行监测,建立运行基线。这个为将来“上云”之后的持续运营——尤其是性能优化和容量规划提供了有效的依据。从云的运营角度来说,业务基线还可以在技术特性上为业务进行分级,包括:重要和非重要的,全天候的和特定时间段的比如券商交易,外汇交易就具有这个特点,实时和跑批的,高带宽消耗和低带宽消耗不要把Hadoop HDFS和实时交易业务编排在一台HOST上,时延敏感的和时延不敏感。

云运维

本着不可测量,就不能管理的原则,IT咨询公司Gartner在最新一篇名为《APM Needs to Prepare for the Future》的研究报告中提到,现有的APM工具在新时代下碰到了如下问题:

1、传统的植入Agent模式在容器化时代有违容器的使用方法和设计哲学。容器变得越来越小,只运行有限功能。

2、在资源编排环境中,比如Kubernetes,Mesos和Yarn,针对特定OS和JVM,提供深度分析的APM变得越来越困难。

3、为了减少性能开销,提供采样功能的APM可能在一个采样周期中都没法捕获一个只运行了几秒钟的容器。

4、每分钟百万级的交易量产生海量的性能数据对采集,存储和分析都是巨大挑战。

针对“云运营”所面临的技术挑战,Gartner认为:现代IT系统正在展现出模块化、动态化、分布式、移动化和内部复杂化的特征,运用传统技术从基础组件中获取数据进行监控和分析显得尤其困难。企业领导者需要采取一种以数据为中心的方法来进行管理监测。“网络大数据Wire data将会是在未来五年里,成为IT系统性管理方面最重要的信息来源。”

Gartner对“网络大数据”的定义是:从网络中传输的数据包和流里面提取的信息。Gartner认为,主要有四大趋势将让“网络大数据”在未来扮演越来越重要的角色:

1、企业数字化转型使得业务越来越依赖网络渠道;

2、越来越多的数据将在网络上交换,而非在系统内部交换;

3、容器化、微服务和快速交付的趋势将使准备预植入代码和充分就绪的日志变得越来越困难;

4、网络数据更加反应最终用户体验。

在“云运营”的阶段获取高质量的网络大数据也不简单。首先在云环境下,计算、存储、网络高度融合。尤其是在一些数据中心的设计中,存储平面的数据会共用提供业务逻辑交换的网络交换机。这就给数据获取带来了巨大的挑战:

1、如果从Spine交换机入手。意味着监控探针需要提供超高速接口一般是40G,甚至是100G,而且扁平化的网络造成几乎要为每一台Spine交换机都配置上监控探针。但是看到的数据,很可能就是存储平面交换的数据。如果一台分布式存储的节点损坏,进行Rebuild,单机可以很轻松的占用满一个万兆端口,产生海量的数据——然而,这些数据没有很多业务价值。

2、如果从Leaf交换机入口。意味着部署的量一下子陡增,几乎需要为每一台Leaf交换机都配置监控探针。而且由于云编排的特性,我们无法确定一个VM到底运行在哪台Leaf交换机上。

进而,不管是从Spine入手,还是从Leaf入手,都无法解决同一Host中两个vm或者两个容器的数据交换问题。

天旦帮助用户在云端获得高质量的网络大数据

天旦助力用户开启金融云时代

在Gartner的“面向未来”系列文章发表前的30个月,上海天旦就启动了内部代号“QuantumLeap”的计划,对云端技术进行投入和研究。从内部构建Openstack环境,到将研发和测试全部的系统切入容器环境再到和思科、IBM、Docker、Splunk、Cloudera成为技术及解决方案合作伙伴。最后帮助恒丰银行,贯穿整个“上云”过程,将全行业务切入云端并提供持续运营和保障。恒丰银行金融云平台是国内大中型银行中第一个实现生产环境下主要应用系统运行在基于开放开源的OpenStack云平台,也是第一家全面投产上线软件定义网络SDN和多租户行业云的大中型银行。其应用迁移项目自2016年3月开始实施,经过反复验证,启动了百余套系统的大规模云化改造,最终系统全部迁移至金融云数据中心。