告别“裸奔”十年:支付宝有哪些不为人知的“秘密”?
阿玺(胡喜,蚂蚁金服副CTO、副总裁、首席架构师)记得,当天所有人如临大敌,大家手忙脚乱地关闭各种非重要功能,临时“砍业务”、人工协调系统资源来释放系统容量。这就像一台电脑,为了保障一个程序的运转,把好多其他程序都关了。当最后一个应用被关掉时,整个数据系统离崩溃只差4秒。 “裸奔”。支付宝人很容易想到这个词。只差4秒钟,支付宝系统就“裸奔”了。 这是支付宝“双11”技术史上最惊心动魄的4秒,从那一刻起,苗人凤在2003年冬天里“一个礼拜把代码删了重写”的闲适感再也没有了。所有人的记忆停摆在后怕里。 “我曾经遇到过好几次深夜宕机,幸亏是深夜,但是一个多小时无法恢复。我们也不知道遇到什么问题,因为是一个黑盒,遇到数据和计算问题都是之前所有商业软件没有遇到过的,因为数据量非常大,到了瓶颈期程度。”阿玺回忆说。 人可以裸奔,技术不能裸奔。 从那惊魂4秒钟之后,“双11”成为技术部门的考评节点。阿玺说:“每年公司都会进行一次半年度绩效考评,别的部门都是10月就考评完了,但我们技术部门有个不成文规定,‘双11’之后再考评,因为‘双11’才能实战检验我们这半年技术做得怎么样。” 阿里巴巴有一个传统——逢山开路,遇水架桥,哪儿遇到了问题,就解决掉。市场需要C2C就做淘宝网,信任机制有问题就做担保交易,物流爆仓就做菜鸟。 天猫“双11”从诞生起就成为阿里巴巴的压力测试,2010年那一届,测出的压力点是支付宝。 惊魂之后,支付宝必须解决这个问题。 支付宝技术团队已经很明白到了必须改变的时候。当年使用IOE商用设备、开源软件,已经不能适用于“双11”交易量指数级增长对技术支持的要求。即使能支撑,成本也将是天文数字。 “内部决定要自研分布式数据库,OceanBase(一个支持海量数据的高性能分布式数据库系统)就是从那时候开始的,我们要做支付系统,要做金融系统,必须保证数据没有问题,并且有问题时快速恢复,之前的黑盒模式肯定是不行的。”阿玺说。 2013年,支付宝最后一台小型机下线,IOE中的I和E都已经被中国自主研发的技术取代,上云完成阶段性进展,这就像造发动机,意味着“双11”的交易量不会再受到技术制约,也意味着支付宝系统“裸奔”的可能性彻底终结了。 在终结了支付宝的“裸奔”传统之后,Lucy又带着支付宝终结了系统“裸奔”的可能性。 “从2014年开始,支付宝开始研发和施行全链路压测技术,这就有点像造飞机时候的风洞,造一个实验室,完全模拟当天峰值所有的真实环境,对系统进行压力测试。这样一来,到了‘双11’当天,平稳度过的概率就极高了。” “双11”前,蚂蚁金服办公区的所有大屏上,都在反复播放着鲁肃(程立,蚂蚁金服CTO)的“双11”寄语: “全天零重大故障及如丝般顺滑的用户体验,让我们一起为10年‘双11’完美收官,并开始向新一轮技术突破启航。期待大家不断技术创新和突破。‘双11’必胜!” 技术平稳背后,鲁肃和他带领的技术团队经过了无数场痛苦折磨。 鲁肃2004年以在读博士的身份加入淘宝,苗人凤是他的师父,后来将他带到了支付宝。起初鲁肃对被“发配”到支付宝充满怨念,他更希望在阿里巴巴或者淘宝,现在他则对苗人凤当年的行动充满了感激。
在蚂蚁金服,有两间以数字命名的办公室,一间是527,用以纪念2015年5月27日,杭州市政挖断光缆造成支付宝无法正常使用的事故;另一间叫1218,鲁肃是1218的参与者。 2015年12月18日,蚂蚁发生了一起比较大的技术故障,鲁肃带着一个小组,要在三天内将故障完全排除,否则后果会非常严重。“差不多三天三夜没睡觉处理故障,各种各样的问题,到最后一天我有点儿绝望,能不能处理完非常不确定。” 这是鲁肃在支付宝的十几年里遇到的最大难题,很难,但他一定要把这个事情解决掉,“减寿十年也得解决掉”。第三天凌晨,他收到一条语音消息。他妻子说,你要当爸爸了。“这就是人生,这一方面非常痛苦的事,另外一方面是听到好消息。” “最后到那天晚上,差不多就是赶在灾难来临之前我们解决了,那时候我眼泪就下来了。” 苗人凤告诉“商业人物”,支付宝的系统,也经历过几次危机,但是每次都能够化险为夷。 1218成了鲁肃最刻骨铭心的记忆,也成为了蚂蚁金服的一间办公室。苗人凤说,“527和1218,是我们蚂蚁技术团队非常重要的日子,也形成了自主研发技术的积累。像我们处于这样大规模的技术应用场景中,必须要对技术保持持续的敬畏感。” 开放 对于鲁肃来说,2018年“双11”,支付宝期待的不仅仅是平稳,还希望进一步降低人力物力的成本消耗,在未来十年进阶到“自动驾驶”式交易保障。同时,支付宝的技术也在双11场景中扮演更多元化的角色,除了用户下单支付那一秒的顺畅,还有区块链技术服务于用户海淘正品溯源、生物识别技术下的支付方式创新。 不得不提到2015年这一支付宝的关键年份。除了以数字命名了两间办公室外,支付宝还开始了技术开放的进阶之路,围绕交易场景向不同行业的智能化升级提供基础设施。 (编辑:老爷爷站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |