2015 中国大数据技术大会已经圆满落幕，本届大会历时三天，以更加国际化的视野，从政策法规、技术实践和产业应用等角度深入探讨大数据落地后的挑战，作为大数据产业界、科技界与政府部门密切合作的重要平台，吸引了数千名大数据技术爱好者到场参会。

　　本届大会邀请了近百余位国内外顶尖的大数据技术专家，以及来自各知名机构的一线开发人员，为与会者提供了13场精彩纷呈的特邀报告和近百场全覆盖的专题报告。报告内容涉及Hadoop、YARN、Spark、THBase、Kudu、PostgreSQL-X2等开源软件的最新进展，以及内存计算、大数据下的可视化、机器学习/深度学习、商业智能、数据分析等的最新应用案例。 众多重量级嘉宾奉献了一场场干货十足的主题分享，没有到场参会的同学，你们有福了，本文将奉上本届大会的第一手干货。

1. 启明星辰公司副总裁潘柱廷：2016 年大数据技术发展趋势解读 PPT下载

　　启明星辰公司副总裁，CCF 大数据专家委员会副秘书长潘柱廷发表了最新的“2016 年大数据技术发展趋势”，其主要包括：可视化推动大数据平民化;多学科融合与数据科学的兴起;大数据安全与隐私令人忧虑;新热点融入大数据多样化处理模式;随后，通过2013-2015的趋势对比指出了我国2016年大数据发展的最主要推动者将来自于大型互联网公司、政府机构和创业企业。

2. Databricks公司联合创始人、Spark首席架构师辛湜：Spark发展：回顾2015，展望2016 PPT下载

　　辛湜带来主题为《Spark发展 ：回顾2015，展望2016》的演讲，他介绍了Spark的目标是“Unified engine across data workloads and platforms”。在谈到Spark在2015年最大的改变时，他感觉应该是增加了DataFrames API。对于Spark的生态圈，他表示主要侧重三个不同的方向，一个是上层的应用，二是下层的环境，还有最重要的是连接到的数据源。

3. 京东云平台总架构师、系统技术部负责人刘海锋 ：从2014 到2016，大规模内存数据库演进之路 PPT下载

　　刘海锋带来了名为“大规模内存数据库JIMDB：从2014到2016”的主题演讲。JIMDB基于redis，以内存为中心的数据存储，其底层技术研发包括了存储引擎(Dict、LSM with RAM-SSD hybrid、B+Tree)、复制协议(async、sync等)、分片策略(Hash、Range)三个部分。过去两年，JIMDB一直持续建设，拥有着数千台大内存机器，多个数据中心，1000+线上集群，支撑了京东几乎所有的业务。

4. Hulu 资深研发主管梁宇明 ：Voidbox - Docker On YARN在Hulu的实践 PPT下载

　　Docker 技术越来越得到了很多开发者的青睐，而YARN对于多数爱好者来说还是一个比较新的产品平台。如果两者放在一起融化会发生什么事情呢?来自Hulu公司的资深研发主管梁宇明为大家讲解了这一神奇的经历。他的演讲题目是《Voidbox - Docker On YARN在Hulu的实践》。因为基于YARN的大数据计算平台使得不同的计算框架可以在同一集群中混合部署，进而提升了集群资源利用率。

5. Pivotal 研发总监姚延栋：开源大数据引擎：分布式Greenplum数据库内核分析 PPT下载

　　姚延栋介绍到GPDB源数据库是为大数据存储、计算、挖掘而设计的。接下来，他详细介绍了Greenplum 架构，该产品支持标准SQL支持，SQL 2003 OLAP扩展、支持 MapReduce、扩展编程语言(Python,R, Java, Perl, C/C++);并为客户提供访问接口，通过第三方工具实现文本分析和数据挖掘等。

6. 阿里巴巴iDST语音组高级专家鄢志杰 ：Deep Learning助力客服小二：数据技术及机器学习在客服中心的应用 PPT下载

　　鄢志杰发介绍数据技术及机器学习/深度学习在客服中心的应用，主要包括三个方面：一、语音识别沉淀客服数据，GPU多机多卡训练声学模型来识别语音;二、自动语音识别支撑传统客服全量质检，通过问题定位质检提升客服一致性;三、支付宝“我的客服”自动问题识别，通过用户行为轨迹进行预测。

7. 小米金融技术主管方流： 大数据在互联网金融中的应用 PPT下载

　　方流在主题演讲中重点介绍了DW建设的业务架构及开发工具，包括log利器Scribe、ETL利器之Hadoop/Hdfs、DW利器之HBase、数据分析利器Hive/Sentry、OLAP利器Impala、数据迁移利器之sqoop、机器学习利器之spark。同时重点分析了用户金融画像并针对大数据反欺诈，给出了自己的探索实践，防止盗号，提供异常环境监测/手机验证;防止身份伪造，采用实名认证;鉴定虚假资料，进行交叉验证。

8. 新加坡管理大学信息系统学院教授朱飞达 ：大数据与金融创新：从研究到实战 PPT下载

　　新加坡管理大学信息系统学院教授朱飞达分享了基于社交媒体大数据的个人征信应用模式，包括四个方面：提取社交维度特征，加入现在传统信用模型;采用产生式模式挖掘不同信用类别的隐含用户模型;基于社会关系网络的风险传递查询和探索引擎;实时反欺诈侦测和预警系统。

9. 宜信大数据创新中心首席数据科学家项亮： 大数据在信用风险管理中的应用 PPT下载

　　项亮带来的演讲主题是“大数据在信用风险管理中的应用”，现在金融行业获取的数据来自用户的方方面面，之前在传统金融中如何利用这 些数据一直没有得到系统的研究。项亮的演讲主要聚焦宜信数据系统是如何 设计的，数据来源是什么，如何存储和整理数据，如何提供服务。

10. 南京大学计算机系PASA大数据实验室教授黄宜华 ： Octopus(大章鱼)：基于R语言的跨平台大数据机器学习与数据分析系统 PPT下载

　　黄宜华认为大数据+机器学习是驱动全球互联网企业的核心。大数据机器学习是一个同时涉及到机器学习和大数据处理两个主要方面的交叉性研究课题。面向大数据复杂分析挖掘，现有的串行化机器学习与数据挖掘算法都需要重写，进行并行化设计以及不同的大数据并行处理平台上，各种大数据机器学习与数据挖掘算法需要进行基于特定平台的并行化算法设计等问题的存在，迫切需要研究提供一种统一化并易于使用的大数据机器学习系统支撑平台。

11. 百度基础架构部高级架构师沈国龙 ：BML百度大规模机器学习云平台实践 PPT下载

　　沈国龙提他总结了机器学习成功的要素：一、数据。包括数据收集和多套数据的打通，清晰、明确、“洁净”的数据源、Online & Offline数据的结合;二、系统。快速、低成本的实现，支持规模快速扩张的高效算法库，AB Test和模型迭代机制;三、评价标准。覆盖率、置信度、差异性、采纳率、新颖性、隐私性、预测Auc、NDCG、收入波动、人工使用体验等指标，对整体系统的影响。

12. 新浪微博算法技术总监姜贵彬：大数据驱动下的微博社会化推荐 PPT下载

　　新浪微博算法技术总监姜贵彬发表题为《大数据驱动下的微博社会化推荐》的演讲。他主要从以下几个方面进行了分享：推荐的角色与定位、大数据与推荐的关系、数据驱动下的微博推荐、商业推荐。他认为推荐扮演了加速器和调控器的角色。加速器是指加速优质信息传播、加速高价值关系构建、加速用户成长。调控器是指优化用户关系网络结构、调控和引爆信息的定向传播。

13. FreeWheel技术副总裁李旸：FreeWheel基于大数据的新兴视频广告测量实践 PPT下载

　　他主要从以下三个方面进行了分享：新兴视频广告测量方式、用户性别年龄预测、广告完成率预测。他提到广告测量的挑战仍然是广告的实际效果很难被测量，视频广告缺乏有效的测量方式。目前大多数都采用基于用户反馈进行测量。新兴视频广告测量方式包括三种：数字收视率、广告完成、可见曝光。

14. 阿里巴巴数据安全部阿里数据安全小组总监郑斌：大数据下的数据安全 PPT下载

　　阿里巴巴数据安全部阿里数据安全小组总监郑斌在《大数据下的数据安全》主题演讲中表示以数据流控制为中心的IT时代正走向以数据共享为基础、激活生产力为目的的DT时代，而大数据是新的生产要素，互联网+的新基础设施云网端(云：云计算、大数据;网：互联网、物联网;端：终端，APP)正激活大数据。

15. 数美公司联合创始人兼CTO梁堃：Sentry金融实时风控系统 PPT下载

　　数美公司联合创始人兼CTO梁堃在主题演讲中介绍了Sentry金融实时风控系统。他表示实时风控系统对于银行业继续保持高速发展越来越重要。Sentry金融实时风控系统是基于大数据技术构建的实时交易风险评估系统。其工作过程是，在每一笔交易发生时，实时进行(1)业务系统将交易信息发送风控系统;(2)发现该交易中存在的异常行为和可疑场景;(3)根据发现的“证据”计算该交易的风险系数;(4)将风险系数等相关信息反馈给业务系统。