rss
    0

    理解Spark、Hadoop系统适用的场景

    2024.04.11 | admin | 9次围观
    理解Spark、Hadoop系统适用的场景

      赛事预测&大数据

      今年欧洲杯小组赛英格兰补时绝杀威尔士取得胜利。除了英格兰粉丝的欢呼之外,雅虎的大数据研究员也同样十分兴奋。因为雅虎有准确预测一场胜利。雅虎与社交网站Tumblr、知名足球数据网站OPTA合作预测欧洲杯战况,给出了全程51场比赛的所有比分预测。在首轮比赛中,雅虎已经精确命中英格兰与俄罗斯的1:1比分。在小组赛赛程过半时,雅虎预测准确命中六场比分,比分预测正确率刚好为三分之一。

      早在2014年巴西世界杯的时候,谷歌的云计算猜中了全部八场16强比赛的最终晋级者。百度大数据更是猜中了包括冠军战德国胜阿根廷在内的所有淘汰赛赛事。不过今年雅虎是提前完成对整届赛事的预测。而当时,谷歌和百度则都是随着比赛进程不停修正数据,给出新的预测,所以成功率自然能高一点。

      体育训练&大数据

      大数据统计除了应用于赛事预测之外,在平时的训练中也发挥着重要的作用。在训练和比赛中,球员们可以戴上加速感应器、心率监测仪等设备,通过数据分析自身状态,许多俱乐部甚至以此为依据对球员的饮食习惯和睡眠进行适当的调整。通过大数据技术有效的分析,可以更科学有效的提供训练计划,减少伤病,提高成绩。

      除了应用于训练之外,最早通过大数据获取胜利的是德国队。早在2006的世界杯上,德国队与阿根廷队进行点球大战。依据德国队科研团队对阿根廷队以往的比赛习惯的数据分析,德国队门将莱曼提前获知阿根廷所有队员的罚球习惯。随后的点球大战中,扑出两球,最终以总分5:3淘汰了阿根廷队。

      体育周边&大数据

      除了足球场内,足球周边相关行业大数据也是很有意思。7月1日,滴滴出行公布了欧洲杯期间的出行数据,综合滴滴平台晚上11点到清晨6点的专快车、代驾订单可以发现,去往酒吧等传统聚会看球区域的订单并没有出现井喷式增长。这从另一个侧面说明,欧洲杯对国人的吸引力不够。

      而饿了么和支付宝口碑分别通过调取到家和到店服务大数据发现,欧洲杯期间,麻辣小龙虾和冰爽的啤酒成为了主力军,麻辣小龙虾今年也多了许多新奇的吃法,甚至女性夜宵客单价高达41.1元,更有最土豪女用户竟叫了49单。

      企业发展&大数据

      欧洲杯遇到大数据,这其实只是个开始。因为在赛场之外我们早已经看到大数据发展的迅猛速度。数据已渗透到当今每一个行业和业务职能领域,成为重要的生产因素。大数据在教育、医疗、交通、环保、经济金融等诸多领域都有应用场景,大数据产业大发展、大机遇、大红利的时代已然到来。

      大数据的爆炸式增长在大容量、多样性和高增速方面,全面考验着现代企业的数据处理和分析能力;同时,也为企业带来了获取更丰富、更深入和更准确地洞察市场行为的大量机会。对企业而言,能够从大数据中获得全新价值的消息是令人振奋的。然而,如何构建自己的大数据体系,开发优化企业的大数据平台,组建公司大数据团队,全面提高企业对大数据的挖掘、分析、应用的能力,则是企业需要面对的一系列现实的挑战。

      那么问题来了,如何向雅虎预测欧洲杯一样,玩儿转大数据?如何从零开始搭建自己的大数据系统?如何解决企业在大数据开发和建设中遇到的一列的问题?那么我们需要聊一聊极客邦培训(GIT)。

      极客邦培训(GIT)&大数据

      极客邦培训(GEEKBANGINNOVATIVETRAINING,简称GIT),是极客邦科技旗下企业培训品牌,由一线专家驱动的企业培训服务,专注于软件研发技术人才全方位培养,搭建有效互动交流的学习平台,助力企业软件研发管理团队职业发展和技能提升。GIT在大数据方向,拥有众多一线资深的大数据技术专家,能够快速有效的帮助企业提高大数据团队的研发能力。GIT目前主要有企业内训、工作坊、训练营三种培训方式,灵活多变的培训形式,也能更好的满足企业实际需求。

      极客邦培训(GIT)&工作坊

      GIT工作坊是针对软件研发团队开展的精品小班授课,提供研发团队提升必修精选课,课前课中课后缜密服务管控,携手全球知名一线技术专家,分享软件研发技术管理实践。

      07月23日-24日,我们将在深圳开展大数据相关课程的工作坊——《大数据(Hadoop、Spark、NOSQL)案例分析与实践》,课程的讲师为北京极客邦科技有限公司专家团队成员刘刚。

      刘刚

      北京极客邦科技有限公司专家团队成员

      刘刚老师目前就职于高德软件的云平台架构中心负责海量数据云平台架构的搭建、导航数据的处理和地图日志的分析。从事多年的Hadoop、spark开发和维护工作,擅长基于Hadoop、spark的海量数据平台的搭建,TB级数据的处理和基于Hadoop、spark的开发和集群的维护;并擅长MR开发,基于MR的算法开发,Hive、Hbase、spark和Mahout的实战和成功使用案例。著有《Hadoop应用开发技术详解》,持有《海量数据基于记录级别的容错》专利。

      这期工作坊面向各类IT/软件企业和研发机构的软件架构师、软件设计师、程序员,了解Linux系统及相关语言环境。将为大家全面而又深入的介绍Spark、Hadoop平台的构建流程,涉及Spark和Hadoop系统基础知识、概念及架构、Spark和Hadoop实战技巧、Spark和Hadoop经典案例等。

      帮助学员对Spark、Hadoop生态系统有一个清晰明了的认识;理解Spark、Hadoop系统适用的场景;掌握Spark、Hadoop等初中级应用开发技能;搭建稳定可靠的Spar、Hadoop集群,满足生产环境的标准。并带领大家学习大数据应用的几个行业中的经典案例,包括阿里巴巴,华为等大型企业的典型案例。

      如果您的企业或您的团队想参加本次的工作坊,请点击“阅读原文”了解更多课程信息,并在线进行报名,您也可以与我们的工作人员联系:

      课程费用:5600元/人

      电话:010-64392920

      邮件:gittraining@geekbang.org‍

      戳阅读原文,了解更多详情

    版权声明

    本文仅代表作者观点,不代表xx立场。
    本文系作者授权xxx发表,未经许可,不得转载。

    发表评论