抵住暴雨的突袭、顶着7月的艳阳,在飞机延误高铁停运的恶劣天气下,来自全国各地的IT人如约而至,共赴这场一年一会的数据时代之约——2017 DAMS中国数据资产管理峰会!在连续举办的第三年里,DAMS峰会以数据资产管理、数据库、大数据、云计算、运维等多领域技术视角,继续聚焦数据、挖掘数据更广泛更深层的价值所在。
主会场精华概览:
“服务是一切想法的落地主体,产品是管理实践的价值体现!——新炬网络 程永新”
2017 AI技术风起云涌,云和大数据的迅速发展更为其推波助澜。然而当眼光收回到企业内部,却发现大多数企业的数据变现仍然是空中楼阁。面对冷静期过后数据资产管理缺失、企业IT系统数据黑盒化突出等“数据”难题,新炬网络董事、副总经理程永新基于公司多年的数据资产化管理运营经验,向现场听众展示了由数据架构、数据治理、数据运营、数据共享、数据变现五个维度组成的“五星模型”,并通过“服务+产品”双轮驱动的方式助力企业实现数据资产化管理与运营的全生命周期交付,让企业能够在越演越烈的跨界数据战争中抢占先机、快速落地。
“我们的想法是希望能从昨天的人肉运维或者叫黑屏运维,转化到今天或者明年的白屏运维,让我们的工作人员大屏幕都是白色的。——浙江移动 王晓征”
随着IT架构朝着虚拟化、云化演进,运维呈现出网元海量化、组件多样化、调度动态化等特点,这给传统运维人员带来了巨大的挑战。对此,浙江移动云计算中心主任王晓征深入探讨了私有云运维下的新环境和新挑战,从运维的理念、体系和工具三个维度铺开,以幽默生动的演说风格,向现场听众展示了浙江移动在运维管理体系建设和运维平台能力建设上采取的应对方式——两手抓,两手都要硬。
“飞机、高铁、长途站,条条大路通罗马;公有云、私有云、混合云,朵朵祥云上青天。——腾讯金融云 戴大海”
“私有云、公有云、混合云哪个好,从公转私还是私转公,这个问题其实在目前整个中国云计算的市场没有讨论的必要性,不同的流派、气宗和剑祖都有它存在的道理和原来的基础”,腾讯金融云总监戴大海在分享之初,就抛出了自己对云的看法。他讲到,作为公有云的代表厂商,目前腾讯云对类似像金融及政企客户推出了专有云的方案,并以微众银行为例,介绍了基于专有云实现的分布式应用架构和金融云实践,引起了现场听众极大的兴趣。
“比如城市安全体系的构建,如果我们从大数据里面分析出问题,得到了一些启示,进而把这个意见上升给管理者、城市的决策者,那么它就会触动社会管理创新的改进。——上海交通大学 樊博”
来自上海交通大学,同时也是长期植根于大数据与城市安全研究的樊博从社会管理的新视角阐述了如何使用大数据来进行应急管理。在他看来,其核心的问题就是要通过大数据,把分析出来的结论应用到社会管理创新上,使它能够将灾害突发事件控制在首发阶段,不要去次生,不要去进一步的衍生发展。
数据库&大数据专场精华概览:
“OLAP分析的技术进化是一个迷宫而不是金字塔,唯有适合自己业务场景的方案才是好方案。——唯品会 谢麟炯”
唯品会大数据平台高级技术经理谢麟炯从海量数据实时OLAP查询的业务需求和技术瓶颈两者间的矛盾说起,总结出唯品会的应对做法是让大数据实时OLAP分析场景从传统数据库向Hadoop生态迁移升级。在这个过程中,唯品会不仅通过开源计算引擎和自研引擎解决矛盾,提升系统性能,达到查询灵活和高性能的平衡,还会在未来就如何进一步提升实时OLAP系统的及时性、挑战实时和离线数据的融合而不懈努力。
“没完没了的报表从需求层面是不可能消失的,我们只能想办法应对它。——润乾软件 蒋步星”
应对业务部门提出来的数据及报表请求是IT运维部门的主要任务之一,占用巨大的工作量却仍然难以及时正确地响应,这让技术部门疲于奔命。针对这些数据请求的特征,润乾软件创始人蒋步星分享了润乾DQL产品和计算表、集算器三大自研产品,讨论了自助式数据产品应该重点解决的技术问题,并分析什么样的需求可能由业务部门自行解决;在不能自助解决时,又如何给予技术人员合适的协助,努力重点在哪里。
“第一,延迟要低;第二,要确保数据的一致性,不能丢也不能错;第三,整个组件要具备一种高吞吐的能力。——饿了么 陈永庭”
在千万级日订单、单IDC容量无法满足业务增长要求的背景下,饿了么开始了异地多活的调研和设计。来自饿了么的高级架构师陈永庭重点介绍该异地多活的数据基础实施项目DRC,分析在整个多活的设计和实施过程中处理异地数据同步的整体思想,以及他们如何实现MySQL异地实时双向数据复制和攻克DRC中的诸多难点。
“为什么花两年不止的时间做TiDB?因为我们想创造一种既有事务又有SQL还能水平扩展的新型数据库。——PingCAP申砾”
在线事务处理(OLTP)和在线分析处理(OLAP)这两类业务对数据库的要求完全不同,大多数情况下,同时有这两种需求的业务会维护两套异构系统,中间通过ETL工具连接起来。然而这种做法一方面无法保证数据的时效性,另一方面维护两套系统及其之间的数据同步也会提高业务的成本以及复杂性。对此,PingCAP副总裁申砾用PingCAP自主开发的分布式NewSQL数据库TiDB铺陈,分享了如何为具有OLTP/OLAP混合业务需求的用户简化业务架构和使用成本。
“我们做的所有事情基本就在这一张图里,内容也许看起来很平淡,但是要把这张图弄好,确实花了不少时间。——携程 许鹏”
携程具有丰富的产品线,因此海量的数据如何存储、分析和应用一直是痛点所在。对此,携程大数据基础平台Leader许鹏及其团队结合部门业务实际,广泛尝试各种大数据开源产品,在不断摸索中逐步形成稳定的大数据技术栈,同时充分利用了Kafka、Spark、Presto、Elasticsearch、Esper等开源产品并对其进行一定的改造,使得该方案兼具支持海量产线数据落地与亚秒级的实时分析和高效快速的交互式查询,更在此基础上结合业务提出了数据产品服务。
“作为一个目前主业为“聊天”的架构师,跟很多被业务场景困扰的用户交流后,我决定推出一本关于PostgreSQL 179个应用场景的数据库设计书籍。——阿里 德哥”
为什么要打通数据和计算?长期以来,许多人认为数据与计算是分离的,然而实际上是如此吗?假如数据与计算完全分离,每次计算都需要搬移大量的数据,效率会有多低?为什么分布式系统都会提到计算下推这种术语?能带来什么效益?未来的数据库如何往HTAP的方向发展?阿里资深数据库专家德哥以PostgreSQL的HTAP之路为例,逐一传授了打通数据库任督二脉的精髓所在。
云&运维专场精华概览:
“运维不仅仅是技术革新的受益者,更应该是贡献者。——轻维软件 宋辉”
在运维智能化这个词光鲜的背后,是无数运维人员7*24小时的保障和越来越多的锅。为了解决日常运维中随时可以把我们打趴在地的诸多痛点,轻维软件CEO宋辉提出:1、智能时代离不开数据。强调通过企业版Zabbix实现设备运行数据的统一采集,利用监控、日志、APM等手段构建全面的关系自发现能力;2、利用运维大数据(即ITOA)的价值,让各种数据关联产生更大的价值;3、重视整合的价值,在前两点的建设上提供整体运维解决方案,并基于此构建全面的自动化、智能化能力。
“best ofbreed的时代已经过去,best fit的时代已经来临。——平安科技 汪洋”
随着互联网和大数据的发展,应用场景的多样化和微服务架构的兴起要求应用使用不同的技术栈来实现。但过于开放、过多的数据库技术使用又会给企业带来IT管理的风险和成本的增加。平安科技数据库技术部总监汪洋就平安数据库多年运维累计下来的道、法、术与大家分享,讲述在一个体量如此巨大的数据库中,他们是如何在寻求标准化和灵活性、敏捷和稳定、系统开发和运维之间上下求索、取得平衡。
“混合云就是一个共享经济。——美团云陈志勇”
混合云具有灵活性,便于扩展,作为美团云今年主推的项目,其基础设施负责人陈志勇从数据中心实践和网络运维两方面入手,就如何利用现有硬件资源和公有云,实现私有云和公有云无缝集成,支持各项服务的快速部署进行了详细的讲解。
“DBA学习脉络:数据管理、架构设计、开发扩展、前瞻性、综合能力。——搜狐畅游 杨建荣”
DBA作为运维的一个分支,有运维行业的痛点,也会面临运维和开发之间的部门墙问题。不仅如此,对于DBA来说,自身的成长和发展也是需要考虑和规划的问题。搜狐畅游高级数据库专家杨建荣从入行时一个难忘的坑回忆去,逐步深入分析,在这个过程中引申出DBA需要掌握的五个技术点,最后构建出一个较为完整的MySQL知识体系,此外,还从性能优化、技术转型、多样化发展的角度对DBA职业发展给出了颇多建议。
“业界去年的一个热点是容器,而今年,微服务很火。——Pivotal 周晖”
云原生应用、应用微服务已经成为云计算的技术热点,基于Spring Cloud的微服务月下载量超过一千万,对于这股热潮,Pivotal云计算首席架构师周晖的观点是,在应用微服务之后,数据服务化和数据微服务化成为应用微服务深入发展的必然。而后他重点介绍了基于Spring微服务框架的数据微服务框架的发展,包括Spring响应式编程、函数编程、数据微服务、数据微服务流等最新技术进展。
“大量的实践能够总结成丰富的经验,丰富的经验再进一步能够提炼和形成方法论,而这,就是我们总结出来的方法论。——腾讯SNG 徐汉彬”
QQ会员活动运营平台(简称AMS系统)作为连续两年参与QQ春节红包活动的系统,均成功经受住了大规模流量考验,其中AMS日请求达到12亿,QPS峰值高达15w/s。腾讯SNG高级工程师徐汉彬从业务系统链路的梳理和流量评估方法、AMS系统基于春节活动链路的高可用架构改造、QQ春节红包活动的实战总结这三大方面,有趣地再现了他们在大流量活动的高可用建设方法论和真实场景。
最后,DAMS 2017中国数据资产管理峰会的圆满落幕,离不开诸多合作单位和媒体的倾情相助,在此特别鸣谢所有合作单位及支持媒体:
指导单位:上海市经济和信息化委员会
主办单位:上海市云计算产业促进中心、DBAplus社群
联合主办:新炬网络、产业转移促进中心(商务部上海基地)
赞助单位:腾讯云、轻维软件、Oracle、美团云、润乾软件、日志易、沃趣科技、PingCAP、帆软
HR独家合作:猎聘
战略合作:中生代技术、Linux中国