同时,微盟表示,现阶段,公司仍在与腾讯云技术团队共同研究制定生产环境和数据修复方案,预计2月25日晚24点前生产环境将修复完成,届时所有新用户将恢复服务;由于数据修复时间问题,老用户的数据修复工作预计会在2月28日晚24点前完成。
对于此次数据库破坏给商家带来的损失,微盟方面表示“暂时无法预计”,但正在拟定相关赔付方案来补偿因此次事故而遭受损失的商家,目前正在与每个商家沟通协调。
受数据事故影响,微盟股价2月24日出现下跌,市值一日之内蒸发超12亿港元。直至微盟发出公告解释,股价才转跌为涨,截至2月25日收盘,微盟股价日内上涨4.22%,报6.18港元。
黑暗
36
小时
“我们平台服务了9个商家,对接4万多用户,月均流水两三百万。”作为微盟平台上的中小企业服务商,王强的公司受这次数据删除事件影响颇大,“收入损失是一块,我们用户关系也会受到极大伤害。”
回忆起这两天的经历,王强言辞中皆是叹息:“本来以为只是服务器临时崩溃,没想到全部坍塌了。”
2月23日晚,王强像平时一样6点多就下班了,之后通过网络对后台数据进行监控和管理。万万没想到,8点多登陆的时候发现名称为“DUBBO”的服务器反馈失败。拥有乐观心态的王强起初并没有感觉到事态严重性,只以为是简单的服务器临时崩溃。
王强回忆称,微盟方面开始给到的解释是腾讯云硬件问题,“这种情况下,主数据失败也可以通过备份数据恢复,但最后备份数据也没有。”直到当天晚上11点多,在微盟组建的商家培训群中,不少商家都反馈了同样的问题,王强才意识到“系统已经崩溃得很严重了”。
“我们当初觉得微盟是上市公司,稳定性应该相对来说会比较好一些;我们又一直跟微盟那边有合作,比较熟悉,所以选择了微盟平台,也没有备选方案。”就是这份对微盟“独一无二”的信任,最终让王强在这场数据危机面前乱了阵脚。
这两天,王强通过微盟平台的专属客户经理在反复沟通,寻求解决方案。“他们给我们的反馈速度都很快,交流也比较好,”但事件已经超出了大家的承受范围,王强有些无奈地表示:“说白了,双方都没有应对方案。”
对于像王强这样没有任何备选的商家来说,能做的只有等,等微盟解释,等事情解决。有些情绪激动的商家,就会通过社交平台或者内部沟通群来表达自己不满。
2月25日早间,时隔36小时,微盟集团才正式发布公告,对这次事件作出解释:微盟研发中心运维部核心运维人员贺某于2月23日晚18点56分通过个人VPN登入公司内网跳板机,因个人精神、生活等原因对微盟线上生产环境进行了恶意的破坏。
微盟称,发现问题后立刻启动了紧急响应机制,并与腾讯云技术团队一起研究制定生产环境和数据修复方案,预计此次故障还会持续一段时间。
随后,腾讯云方面也给出紧急回复,称已经在第一时间与微盟对齐,研究制定修复方案。工程师们正在日夜赶工,将尽最大努力协助微盟降低损失。
一场人为的破坏导致了无法估量的损失,成千上万的商家生意停摆。根据微盟发布财报,截至2019年6月30日,微盟的SaaS产品及精准营销服务拥有300万注册商户,SaaS产品的付费商户数有70006名,精准营销的广告主数量有19537名。
为何一个员工就能破坏整个系统?
作为一家互联网技术公司,微盟在故障发生后36小时才发布公告,超48小时才能恢复小部分用户的数据,让外界也对其运维工作产生了较大质疑。
“感觉上来讲,反应速度有点慢了。但是这只是经验判断,因为具体细节不清楚。”某互联网公司运维专家刘源向全天候科技表示,正常情况下,相对比较成熟的运维,遇到比较重大的故障,一个小时之内应该能定位出故障位置,平时的小故障可能在15分钟、30分钟以内能定位到。而微盟在36小时后才公告事件始末,“有点匪夷所思”。
刘源分析认为,微盟的商家数据迟迟未能恢复可能是因为没有一个“兜底的备份、还原方案”。
“遇上这种恶意删除数据的事情,可能连备份也删除了,导致需要使用非正常手段恢复数据,这个时间就不可控了。”刘源推测,目前微盟可能需要人工通过冗余的日志,慢慢去一条条扒历史记录,构造数据,“一旦需要人工去找数据、订正数据,目前看来48小时有可能也算短的了,一周时间都是有可能的。”
在生意场上,时间就是商机,错过了时间等于错过一切,王强深谙其中之道。他透露,经过这次事件以后,商家肯定都会考虑“双备份”,甚至考虑要不要将自己商城的重点换到其它平台。
“虽然微盟在客户的运维方面还是很到位的,该有的服务提示都有给到,”王强坦言,过往与微盟的合作都很顺利,微盟表现出了一个成熟公司的姿态,“我们商家是依靠微盟这个平台去生存的,但每天上面这么大的(交易)量,如果客户丢失了怎么办。”出了事情后,甚至还有用户找上王强问,为什么当初不选择其它平台。
另外,数据的缺失也引发了一批商家的恐慌心理,不少商家都在社交平台上表达了自己对店铺数据、钱款的担忧。“对于商家来说,数据是无价的。假如真的数据找不回来,微盟跟商家之间可能还会有官司。”刘源说。
毫无疑问,微盟数据库被删一事再次给业界同行敲响警钟:数据安全管理无小事。刘源建议,未来企业在进行数据管理的时候应该做到两点:第一,实行备份机制;第二,管理权限要分开。
他强调,备份的工作一定要从业务条线独立出来,把权责分开;同时,做到“最小化授权”,需要的权限就给,不需要的就不给。另外,企业还需要加强演练,并提升对生产环境的定位。
SaaS服务商需求爆发
一场突如其来的新冠肺炎疫情将用户困在家中,为各行各业按下了暂停键,与此同时,也促成了“私域流量”运营这种模式的发展。
从疫情期间各行业企业的自救看,有人将私域流量的运营视为不得已而为之的微商行为,有人把它当成临时抱佛脚的救命稻草;有人则突然发现,数字化手段和私域流量经营成为帮助他们实现困境突围的重要抓手。
以化妆品品牌林清轩为例,原计划疫情期间武汉的30多家门店关闭,会使该市场业绩遭受重创。但借着小程序、直播做线上业绩,2月份其武汉门店业绩位列第二。
房企巨头恒大也在大力推行线上卖房。据恒大集团副总裁刘雪飞透露:“恒大网上卖房3天,认购套数已达到47540套,相当于房屋价值580亿。”
“私域流量”的再次火爆,也让为餐饮、零售业等提供SaaS服务的供应商重焕生机。一时间,微盟、有赞成为众多线下企业转型线上的有利武器。
删库事件发生前的近一个月里,攀高的市场需求、增长的商家数,让一二级市场投资者都特别看好两家企业。包括中金、中信建投、广发证券等机构还在近一个月内发布研报,对微盟集团给予“买入”评级。
按照微盟创始人兼CEO孙涛勇的想法,他是立志要将公司做成中国最大的企业服务供应商,成为“中国版Salesforce”。
微盟创始人兼CEO孙涛勇
这位2013年毕业于北京理工大学软件学院的“85后”,在大学期间,就曾收获IBM、淘宝、中软公司的Offer,但最终选择了百度商务搜索部,参与凤巢系统的研发工作。他称自己最向往的是百度大厦的办公场地、免费的水果、咖啡以及食堂,在百度他能找到Google的感觉。
在百度实习期间,孙涛勇白天上班,经常晚上加班到很晚还不忘回家补习功课,提交算法作业,基本上没有在12点前睡过觉。不断进取使他很快获得了公司认可,拿到了正式Offer。但在2012年,孙涛勇就离开了百度,开始了自己的创业之旅。
“30岁之前不去敲钟,人生都觉得不完整。”孙涛勇曾为微盟立下目标,希望能在5年内上市。带着这样的目标,他领着微盟业绩一路攀升,从2015年净亏损8860万元到2017年扭亏为盈,再到2019年上半年净利润2900万元,一举成为国内排名靠前的微信第三方服务提供商。
近日爆发的运维事故,让原本借着私域流量概念站上风口的微盟元气大伤,免不了一番用户纠纷、巨额赔偿、竞对追击。考验孙涛勇的时候来了。
越来越多的商家也会对SaaS服务行业的数据安全提出更高要求。
公告称,微盟已完成Saas业务数据恢复上线,并恢复了2月23日及之前的数据。对于部分使用微盟提供的临时过度方案商家,其店铺转移将于2020年3月4日上午10点完成,其将尽快上线线上赔付系统,履行赔付计划。
微盟集团还发布了针对事故的赔付计划,称准备了1.5亿元赔付拨备金,其中公司承担1亿元,管理层承担5000万元。
微盟删库危机事件正朝向有序解决的方向发展,但暂时无法做到人人满意。今年2月23日晚,微盟集团研发中心运维部一位核心运维员工贺某通过个人VPN登入公司内网跳板机,对微盟线上生产环境进行恶意破坏,直接导致微盟集团大面积的服务集群无法响应,生产环境及数据遭受严重破坏,微盟市值一日蒸发超10亿港元。
微盟删库危机事件正朝向有序解决的方向发展,但暂时无法做到人人满意。3月1日晚间,微盟(SEHK:02013)官方发布公开信,称在腾讯云团队协助下,被删数据已全面找回,同时公司将准备1.5亿元人民币赔付拨备金进行赔偿。
3月1日晚间消息,微盟发布公告, 截止到3月1日晚8点,在腾讯云团队协助下,数据已经全面找回。微盟表示,由于此次数据量规模非常大,为了保证数据一致性和线上体验,将于3月2日凌晨2点进行系统上线演练,将于3月3日上午9点数据恢复正式上线。
3月1日消息 微盟今晚发布公告,截止到3月1日晚8点,在腾讯云团队协助下,数据已经全面找回。微盟表示,由于此次数据量规模非常大,为了保证数据一致性和线上体验,将于3月2日凌晨2点进行系统上线演练,将于3月3日上午9点数据恢复正式上线。获悉,针对事故给商家造成的影响,微盟表示,管理层深感自责和愧疚,准备了1.5亿元人民币赔付拨备金,其中公司承担1亿元,管理层承担5000万元。同时,微盟研究商家赔付方案,拟定了现金赔付计划和流量赔付计划供商家选择。25日曾报道,微盟集团发布公告称,Saas生产环境及数据遭到员工“人为破坏”导致公司当前暂时无法向客户提供SaaS产品。犯罪嫌疑人是微盟研发中心运维部核心运维人员贺某,于2月23日晚18点56分通过个人VPN登入公司内网跳板机,因个人精神、生活等原因对微盟线上生产环境进行了恶意破坏。以下为公告全文:尊敬的微盟商户:截止到3月1日晚8点,在腾讯云团队协助下,经过7*24小时的努力,我们数据已经全面找回,由于此次数据量规模非常大,为了保证数据一致性和线上体验,我们将于3月2日凌晨2点进行系统上线演练,将于3月3日上午9点数据恢复正式上线。此次事故给商家经营造成了严重的影响,公司管理层对此深感自责和愧疚,我们准备了1.5亿元人民币赔付拨备金,其中公司承担1亿元,管理层承担5000万元。在紧抓数据恢复的同时,也在同步研究商家赔付方案,我们拟定了现金赔付计划和流量赔付计划供商家选择。同时此次事故也暴露出公司在数据安全方面出现了管理漏洞。事故发生后,我们加强了内部流程控制管理,同时邀请外部数据安全专家一起来评估数据安全保障方案,并迅速制定了一份数据安全保障计划,以杜绝此类事故的再次发生。事故经过2月23日,因公司员工恶意破坏公司线上生产环境及数据,导致公司系统服务不可用。目前,该犯罪嫌疑人已被上海市公安局宝山分局刑事拘留。2月25日,我们紧急恢复了核心业务的线上生产环境,新用户使用不受影响,并提供老用户临时过渡方案,确保商家在数据暂时没有恢复的情况下可以正常经营。2月28日,我们恢复了所有业务的线上生产环境,并且开放了老用户登录,以及恢复了微站产品的所有数据。截止到3月1日晚8点,在腾讯云团队的协助下,经过7*24小时的努力,我们已经全面找回数据。由于此次数据量规模非常大,为了保证数据一致性和线上体验,我们将于3月2日凌晨2点至8点,进行数据恢复上线演练,在此期间我们的系统将会停止服务,演练完成后系统数据回滚到3月2日的数据。我们将于3月2晚上10点至3月3日上午9点,正式进行数据恢复上线,我们将恢复2月23日之前的数据,同时将2月23日与3月2日的数据进行合并,届时我们所有的数据恢复完成。事故责任此次事故虽由“人祸”引起,但公司管理层有着不可推卸的责任。首先公司董事会主席兼首席执行官孙涛勇没有对数据安全引起高度重视,没有对数据安全保障方案进行深入的评估和审查,没有聘请外部专家顾问团队对数据安全进行评估和测试,没有把数据安全管理纳入到日常管理范围。其次公司执行董事兼首席技术官黄骏伟,作为公司技术负责人,没有对数据安全引起足够重视,没有严格按照公司的内控管理制度,对运维人员的权限进行分级和分区管理,对于数据安全技术体系的建设和引入,缺乏全局和前瞻性设计,对于安全监控体系没有执行到位。公司执行董事兼智慧商业事业群总裁方桐舒,作为SaaS业务负责人,没有对数据安全引起高度重视,没有严格执行公司内控管理制度并推动研发侧加强数据安全管理。赔付计划此次事故给商家经营造成了严重的影响,公司管理层对此深感自责和愧疚。事故发生后,公司管理层在紧抓数据恢复的同时,也在同步研究商家赔付方案。首先针对此次赔付计划,我们准备了1.5亿元人民币赔付拨备金,其中公司承担1亿元,管理层承担5000万元。其中公司董事会主席兼首席执行官孙涛勇承担3500万元,公司执行董事兼首席技术官黄骏伟承担500万元,公司执行董事兼智慧商业事业群总裁方桐舒承担500万元,公司执行董事兼智慧营销事业群总裁游凤椿承担500万元。其次整个赔付方案中,我们既要考虑商家因系统不可用而造成的利润损失,同时也要考虑系统不可用而带来的流量损失,因此我们的赔付计划做了两个不同的方案供商家任选其一。01现金赔付计划我们会针对因系统不可用期间商家边际贡献利润额进行赔付,具体公式计算如下:边际贡献利润额=日均收入×行业平均边际贡献利润率×系统故障时间(其中日均收入等于该商家在2020年2月17日晚7点至2020年2月23日晚7点在微盟系统中产生的实际成交额除税后的平均值;边际贡献利润率是指在收入(不含税)基础上扣除商品成本、仓储及物流费及推广费、销售佣金等与商品服务销售及交付过程直接相关的费用之后的边际贡献利润占收入的比例;行业边际贡献利润率最终参考值将以研究机构公开报告为准;系统故障时间自2月23日晚7点至3月3日上午9点)02流量赔付计划我们会针对因系统不可用期间的商家给予腾讯广告50000曝光次数进行流量补偿,并且提供账户运营服务,同时再延长SaaS服务有效期两个月。(其中腾讯广告包括微信朋友圈广告、微信公众号广告、小程序广告等;曝光次数是指该广告被用户看到的次数;运营服务包含广告的创意策划、素材制作、投放执行、数据分析、账户优化、数据报表等运营服务)最后我们所有的赔付将通过线上赔付系统完成,公司将在接下来一个月左右开发完成线上赔付系统,届时商家可通过登录微盟商户后台,点击申请赔付即可完成。数据安全保障计划此次事故暴露出公司在数据安全方面出现了管理漏洞。事故发生后,我们内部在系统自查的同时邀请外部数据安全专家一起来评估数据安全保障方案,现公布措施如下:措施一:数据安全管理机制全面加固与整改,加强运维平台治理1、完善数据安全管理制度(涵盖权限、监控、审计方面),严格执行授权审批制度;2、使用腾讯云CAM权限系统进行云资源管理,严格执行分级授权和最小集权限制度,对高危险动作执行二次授权制度;3、建立科学、高效、安全的网络策略,对开发环境、测试环境和生产环境进行严格隔离;使用腾讯云堡垒机替换自建堡垒机,进行细粒度权限分级和授权管理,同时严格审计堡垒机操作日志,发送安全审计报表;4、加强运维安全流程学习,职业道德学习,法律学习等。措施二:加强灾备体系的建设,做到多云异地冷备1、建立多云灾备体系,在北京、上海、南京等地区建立全备份的冷备系统架构;2、借助腾讯云的IAAS的底层服务能力,建立高可用的同城双活架构;3、云上所有的云主机,启用每天的快照策略,保证全量和增量备份;4、所有非结构化数据,使用腾讯COS对象存储系统进行归档保存,启用COS的多异地复制功能,数据存放多地,并且COS 冷存储,确保数据只增不减;5、建立月、季度级别的定期演练机制和制度 。措施三:基础设施全力上云1、借助腾讯云数据库MySQL的数据高可用和安全体系,逐步放弃自建数据库服务 ,迁移到腾讯云数据库(CDB),快速具备数据库跨可用区和异地灾备的能力;2、黑石1.0物理机全面升级黑石2.0,全面使用云主机。致谢此次事故给商家带来了严重的不良影响,我们深表歉意,同时我们也要感谢在至暗时刻仍然选择信任我们的商家、服务商、合作伙伴、投资人以及所有关心微盟的朋友们,最后再特别感谢腾讯云团队!微盟团队
7万商户苦苦等待的微盟公告来了。今日下午4点42分,据钛媒体了解,微盟集团官方公众号发布“删库”事件后的第二次业务进展公告,称业务进展顺利,目前新用户所有服务可用,老用户部分商家账户、权益数据等部分服务恢复,但预计“2月28日晚上可以恢复七成左右数据”。
2月28日消息 今日微盟发布业务、数据恢复进展公告。公告显示,截止到2月28日下午14点,所有业务已恢复服务。了解到,目前微盟已恢复了商家账户及权益数据,包括账号信息、店铺以及店铺权益等信息,预计到2月28日晚可恢复七成左右数据。同时微盟目前已恢复了微站产品的所有数据。获悉,关于赔付计划和数据安全保障计划,微盟将于3月1日零点正式公布。以下为微盟公告原文:
2月28日下午消息,新浪科技从微盟获悉,旗下微商城、智慧零售、微站业务已经正式恢复上线。受到人为删除数据库事件影响,微盟所服务客户已经连续5天无法使用小程序商城。不过据微盟方面透露,2月26日已经有部分客户恢复小程序商城。
2月27日消息 日前微盟发生程序员删库事件,有传闻称是与员工私事有关。对此获悉,今日微盟创始人孙涛勇回应称,事后通过警方了解,该员工一直深陷网络贷,还曾有过轻生,该员工春节期只能一个人在房间独处了30多天,加上本身经济上的困扰,就做出了这样的举动,事后他也说跟公司无任何仇恨。孙涛勇回应称:该名员工一直以来表现良好,绩效优秀,还被列为公司潜力人才培养目标。事后通过警方了解,该员工一直深陷网络贷,还曾有过轻生,该员工春节期间一直没有回家,由于疫情阶段不能外出,只能一个人在房间独处了30多天,加上本身经济上的困扰,就做出了这样的举动。我想这也是他选择一种自己解脱的方式吧,而我对他又痛恨又逐步转向了同情。25日曾报道,微盟集团发布公告称,Saas生产环境及数据遭到员工“人为破坏”导致公司当前暂时无法向客户提供SaaS产品。犯罪嫌疑人是微盟研发中心运维部核心运维人员贺某,于2月23日晚18点56分通过个人VPN登入公司内网跳板机,因个人精神、生活等原因对微盟线上生产环境进行了恶意破坏。据悉,2月26日,受删库事件影响,微盟股价24日出现下跌,市值一日之内蒸发约12.53亿港元。之后,随着生产环境和数据的修复,收盘时,微盟股价涨4.22%至6.18港元,总市值138.3亿港元。孙涛勇回应全文:
2月27日下午消息,针对删库事件,微盟创始人孙涛勇做出回应。他表示,没有去详细说明该员工删库的原因,是因为我们认为这是一个社会问题,不想放大。孙涛勇提到,自事故以来,微盟和腾讯云团队已经连续四天24小时两班倒工作,需要给商家一个交待,“我们不祈求能得到大家的援助,我们只希望此刻你们可以安静一点,让我们专心去处理好数据修。”
过去36小时里,SaaS服务商微盟的客户们炸锅了。“数据怎么办,钱会不会也没了?”社交平台上,不少商家纷纷发帖吐槽,“商家后台根本进不去,订单无法处理”,“连他们自己所有的官方小程序都挂了……”对此,微盟集团于2月25日早间发布公告解释称,SaaS业务数据由于员工个人精神、生活等原因“人为破坏”,目前公司已向上海警方报案,该员工已被刑事拘留。
2月25日,微盟集团在港交所公告称,SaaS业务数据遭到一名员工“人为破坏”。目前该员工已经被刑事拘留。微盟表示,自2月23日19点左右收到报警以来,公司正在全力恢复数据,拟定相关赔付方案来补偿此次事故而遭受损失的商家。