今天给各位分享我眼中的大数据技术专业的知识,其中也会对对大数据技术专业的认识进行解释,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!
本文目录一览:
Tiger:我眼中的大数据-新生大学分享(1)
【作者按:本文为2016/10/15晚在新生大学社群的公开分享,旨在和大家探讨个人对大数据的一点浅见。虽然专业知识和写作水平有限,但哪怕能帮到一个人亦会欣慰,同时也期待能得到更多反馈。】
** 1. 认知误区**
在日常生活和工作中,我发现很多人对大数据的理解存在如下两个误区 :
现在很多人,言必称大数据。可是,大数据这个说法本身非常模糊,不知道他们在说大数据时具体指什么。这让我想起许多年前在国内流行的另外一个概念:纳米,我相信你一定很耳熟。那会儿,随便逛个商场或者看个电视,你都会发现铺天盖地的打着纳米旗号的广告袭来:什么“纳米冰箱”,“纳米空调”,“纳米彩电”。。。 就好像纳米是能治百病的灵丹妙药,任何东西只要贴上“纳米”的标签就好使了,就升值了,就高大上了。
今天,很多人对待大数据的态度和纳米一样,人云亦云,自我忽悠,然后互相忽悠。
当你问很多言必称大数据的人:大数据到底是什么?不知道大数据是什么?大数据是怎么用的?大数据到底对你的生活带来了哪些收益和影响呢?80%的人都会一脸懵逼,他们根本说不出所以然。当然,我不是说每个人都这样,但这样的人的确不少。
个人以为,实事求是的态度很有必要,理应推崇。
知之为知之,不知就知乎之。
不知道没关系,但如果硬是为了虚荣心去说大数据,为赋新词强说愁,这样的态度没有益处。
如果你真的觉得大数据这个东西非常好,既有趣也有用,那我们就卷起袖口,去搞懂细节,搞懂它的前世今生,乃至它未来的发展趋势。这样的态度既接地气,更能增加个人价值。
2. 数据分析
在和大家探讨真正的“大数据”之前,我们先聊聊数据分析。
数据分析实际上已经存在很久了,它根本不是什么新东西。
它不是什么新事物,也并不神秘,一点都不!
你会用Excel罢?Excel就是用来做数据分析的,千万不要小看它。而数据分析比Excel的历史还要早的多。
数据分析大致可分成四个层面:
首先,获得数据;
其次,从数据中提取信息;
再次,从信息中提炼出知识;
最后,通过知识发掘智慧。
总结下来就是:Data(数据)-Information(信息)-Knowledge(知识)-Wisdom(智慧)。
从另外一个角度来看,数据分析是技术和艺术的混合体:
3. 大数据的通用特征
大数据目前没有一个通用的定义,个人理解的大数据具备如下几个特征:
4. 大数据的用途
那么,大数据有什么用呢?其实有很多著名的例子,如Alphago干掉了韩国殿堂级棋手李世石,当然,这样的例子已经烂大街了。
从我个人而言,我会分享一个亚马逊的例子。我是亚马逊的资深用户,用了八年多了,所以它有我很多的消费行为数据,它知道我的购物的爱好、特征和规律。这里有一个截图:
当我登录亚马逊账户之后,它的推荐页面就是上面这样。这个页面上展示的商品就是它根据我之前买过的一些商品,通过推荐算法猜测我喜欢什么种类的商品,还会买什么商品。总之就是通过已买商品的各个特征去给你做推荐。
另外,大数据还可以用来找男女朋友。这里也有一个真实的故事:大概在前几年,美国的加州大学洛杉矶分校(UCLA)有个数学系的博士生,大龄单身宅男,就为找女朋友的事情发愁。但他是个极客,就想办法写了一个程序(爬虫),爬虫里面设定了许多符合他个人喜好的规则,然后用这个爬虫到一些婚恋网站上去爬取目标对象。这样就找到一些符合他喜好的目标对象,同时,在这个过程中自然排除掉了很多不符合他设定参数的目标。通过和筛选后的目标对象约会,最后他果然找到一个非常合适的女朋友,然后快乐地在一起。
大数据的应用实例还有很多,曾经在2012年在***上登过一篇报道叫《大公司如何窃取你的秘密?》,文中一个例子就是关于Target超市的大数据应用(美国一家超大规模的连锁超市)。报道称Target给明尼苏达州一户人家的女儿寄婴儿用品的优惠券,但是这个女孩还是高中生。他爸爸看到优惠券后非常震怒,认为有诱导未成年人怀孕的嫌疑,就去找当地超市理论。当时超市的经理比较诚恳,一脸懵逼地给顾客道歉。后来,这个父亲却主动打电话给超市过来道歉,说回家和女儿交流后发现她真的怀孕了。
剧情180度大反转!
这到底是怎么回事?原来,是Target超市的数据部门开发的怀孕预测模型,根据算法结合购物记录发现这个女孩极有可能怀孕。所以,在得到这样一个判断后,他们的营销部门就给这样的潜在的目标客户精准推送母婴商品的优惠券。这事听起来还是蛮可怕的,大数据虽然没见过你,但它可能对你了如指掌,知道你是什么样的人,家住哪,收入什么水平,开什么样的车,穿什么衣服,抽什么烟等等。
大数据甚至还可以做舆情监督和民意调查。比如说,微信在2016年就做了一个大数据分析,推测全国人民的心情,最后的结论是,每逢节日大家的心情就特别好,其中中秋和春节的心情格外好;年轻人相对更多愁善感,老年人反而更乐观开朗阳光,很有意思。
根据上面的例子,我们对大数据的用途做一个抽象和总结。以上的例子告诉我们,大数据可以用来 从已知到未知 ,就是说根据手上掌握的一些已知的信息可以推测出未知的规律和趋势,就像亚马逊猜我喜欢购买的商品,或者像Target推测高中生已经怀孕了,或者像UCLA博士生通过写程序找到女朋友。这些都是从已知到未知的推理。
大数据另外一个用途,就是可以 纠正错觉 或错误认知。因为,真实的原始数据是不会撒谎的,这里面包含了许多信息,甚至一些潜在的反常识的东西。就以我曾经做过的一个分析 《顶级风投的宿命》 为例。因为之前有过创业经历,个人会对投融资比较敏感。而当时创投界有所谓的风口论,比如O2O、生鲜电商等,这些方向的互联网公司特别容易拿到融资。那我在做完相关的数据分析之后发现:
真正一流的投资机构从不会赌所谓的风口,他们会坚持去投资一些商业本质更清晰的的公司和业务模式,像电子商务、对企业的服务、文化***等方向。
而这个认识是在我做数据分析之前完全不知道的,可以说颠覆了我此前的认知。进一步,我之前对风口论的认知就是错觉,而这个错觉就被数据分析很好地推翻了。所以,我认为大数据的第二个功能就是纠正错觉。
大数据分析确实有些必备的知识***,这里有幅来自IBM研究院的图,阐明了数据科学的必备知识领域。
大数据技术专业怎么样_就业方向_主要学什么
高考 填报志愿 时,大数据技术 专业怎么样 、 就业方向 有哪些、主要学什么是广大考生和家长朋友们十分关心的问题,以下是相关介绍,希望对大家有所帮助。
1、培养目标
本专业培养德智体美劳全面发展,掌握扎实的科学文化基础及数据库基本原理、程序设计、操作系统原理、 计算机 网络及相关法律法规等知识,具备大数据项目方案设计及实施等能力,具有工匠精神和信息素养,能够从事大数据实施与运维、数据采集与处理、大数据分析与可视化、大数据平台管理、大数据技术服务与产品运营等 工作 的高素质技术技能人才。
2、 就业 方向
面向大数据工程技术人员、数据分析处 理工 程技术人员、信息系统运行维护工程技术人员等职业,大数据实施与运维、大数据分析与可视化等技术领域。
3、主要专业能力要求
具备初步分析用户业务需求,制订大数据项目解决方案的基础能力;
具备开发数据采集、抽取、清洗、转换与加载等数据预处理模型的能力;
具备安装部署与使用数据分析工具,运用大数据分析平***成大数据分析任务的能力;
具备数据可视化设计,开发应用程序进行数据可视化展示,以及撰写数据可视化结果分析报告的能力;
具备大数据平台搭建部署与基本使用,以及大数据集群运维能力;
具备大数据平台管理、大数据技术服务、大数据产品运营等应用能力;
具备基于行业应用与典型工作场景,解决业务需求的数字技术综合应用能力;
具有探究 学习 、终身学习和可持续发展的能力。
4、主要专业课程与 实习 实训
专业基础课程:计算机网络技术、Web前端技术基础、Linux操作系统、程序设计基础、Python编程基础、数据库技术。
专业核心课程:数据采集技术、数据预处理技术、大数据分析技术应用、数据可视化技术与应用、数据挖掘应用、大数据平台部署与运维。
实习实训:对接真实职业场景或工作情境,在校内外进行大数据平台部署与运维、数据采集、数据预处理、大数据分析、数据可视化、数据挖掘应用等实训。在大数据相关企事业单位或生产性实训基地等场所进行岗位实习。
5、职业类 证书 举例
职业资格证 书 :计算机技术与软件专业技术资格
职业技能等级证书:大数据分析与应用、大数据应用开发(Python)、大数据工程化处理与应用
6、接续专业举例
接续高职本科专业举例:大数据工程技术、人工智能工程技术、云计算技术、计算机应用工程、软件工程技术
接续普通本科专业举例:数据科学与大数据技术、人工智能、智能科学与技术、计算机科学与技术、软件工程
如何看待数据科学与大数据技术专业
“数据科学与大数据技术”专业是近两年才设立的新专业。“数据科学与大数据技术”专业有着很好的就业前景并且就业的宽度广,就业薪资待遇水平高,缺点可能在于专业设立较新,教学课程设置上可能无法跟上大数据人才培养的技能需求。
“数据科学与大数据技术”专业的人才培养方向
分析类岗位
分析类工程师。使用统计模型、数据挖掘、机器学习及其他方法,进行数据清洗、数据分析、构建行业数据分析模型,为客户提供有价值的信息,满足客户需求。
算法工程师。大数据方向,和专业工程师一起从系统应用的角度,利用数据挖掘/统计学习的理论和方法解决实际问题;人工智能方向,根据人工智能产品需求完成技术方案设计及算法设计和核心模块开发,组织解决项目开发过程中的重大技术问题。
研发类岗位
架构工程师。负责Hadoop集群架构设计开发、搭建、管理、运维、调优,从数据采集到数据加工,从数据清洗到数据抽取,从数据统计到数据分析,实现大数据全产业线上的应用分析设计。
开发工程师。基于hadoop、spark等构建数据分析平台,进行设计、开发分布式计算业务,负责机器学习、深度学习领域的开发工作。
运维工程师。负责大数据基础平台的运维,保障平台的稳定可用,参与设计大数据自动化运维、监控、故障处理工具。
管理类岗位
产品经理。负责大数据平台产品的设计工作,主导数据产品的功能规划、体验设计,与研发、数据分析、算法团队紧密合作,挖掘数据价值,形成数据产品,包括部分数据可视化的产品设计等。
运营经理。根据业务特点,结合业务发展需求,设立数据监控模型,搭建数据分析架构,理解业务方向和战略,为业务战略决策、业务方向提供决策支持,竞争分析及建议。
“数据科学与大数据技术”专业的就业前景
人才需求方面,腾讯研究院于2017年12月发布了《2017年全球人工智能人才***》,数据显示,中国592家公司中约有4万位员工,而中国对于人工智能人才的需求数量已经突破百万,人才严重短缺,迫使企业不断降低工作经验门槛,甚至不惜从零培养人才。人工智能人才掌握的技能宽度和深度均在逐渐提高。2017年求职的人工智能人才中,有68%的人掌握至少3种技能,简历中最常出现的技能包括spark、深度学习、算法研究、Hadoop,Python等。而人工智能工程师的招聘主要集中在算法与开发两个大类, 本科学历及以上人才目前是人工智能领域的主力军,同时,就业人群在快速年轻化。
在薪资待遇方面,可参考IT行业类的专业,2016届本科应届毕业生就业薪资最高的10个专业中软件工程、计算机科学与技术、电子信息工程稳进前十,薪资待遇分布在7K到9K之间,IT行业的薪资待遇非常高。人工智能以及大数据技术的岗位人才需求逐步上升,未来可能会发展为就业前景最好的专业之一。
中专大数据专业怎么样?
该专业很不错,就业前景很乐观。大数据技术与应用专业的毕业生能在政府机构企业公司等从事大数据管理研究应用开发等方面的工作。
大数据专业和计算机专业比较像,是注重实践的专业。学生需要独立编写程序,对程序进行修改与调试,需要注意每一个细节才能顺利查错并运行程序。
简单地说,这个专业是以大数据为核心研究对象,以数学、统计学、计算机相关知识为支撑,进行大数据的发现、采集、处理、运算、分析、应用。可以说是不折不扣的交叉性学科。这是一个新工科专业,并且符合国家战略,顺应信息化时代发展需求的专业,需要大量的人才储备。
大数据最有优势的地方就是他能够判分析出,那些即便是凭着经验也未必能够洞悉的商机和未来的发展,借助于这样的特点,所以大数据技术被广泛的应用到各个行业去解决具体领域的问题。对于大学培养学生的角度来讲,大家也要了解一个情况是,开设的时间毕竟短,每个大学也在摸索中前进,会有不断地调整和突破,当然培养方向也会结合各自的特色进行培养,不过这个学科的本质专业知识结构还是来自数学、统计学和计算机相关内容。
大数据的一些特点,大数据能够做全样调查而非抽样调查,以前因为成本、各方面条件技术,不可能做全样调查,只能做抽样,但是现在技术发达了,我们可以通过大量数据统计分析得出我们想要的正确性尽量高的信息;并且看重效率,很多都是秒级决策,速度非常快。比如你上网搜索,北京大学怎么样,可能会搜出成千上万条答案,但是哪个是最有效的信息,得需要自己去判断了;再有就是着重于分析相关性,并不是因果性,举个例子,比如一个超市,饮料卖得好的时候雨伞卖的好,饮料卖得不好的时候雨伞卖的也不好,他不研究原因,而是去分析相关性得出数据,提供给超市,及时补货。
那么大数据是可以划分为数据获取、数据管理、数据应用等板块的。
数据获取是最基础的,比如收集很多天气信息,分析后的结果可以利用到农作物种植、航空系统等;
那获取的信息非常多图片、文本、视频、音频等等,需要进行管理,单台电脑是没办法完成的。这里要涉及一个大数据的核心概念就是分布式存储,整体要把网络里的存储设备都调动起来,同时集群化处理。一个大数据的服务中心,每天的耗电量非常的惊人,运算这些数据是需要几千台、几百台设备都参与其中的。
对于大数据的应用呢,太广泛了,最早使用大数据进行营销的可以说电商行业,分析数据得出消费者的购买习惯,提前生产资料物资,分析预测流行趋势、消费趋势等;再比如各位如果观看了我的视频、文章之后,系统会给大家进行一些相关内容的推荐;再包括市政交通方面的应用,能够有效解决解决堵车问题;再包括医疗领域、金融领域、无人驾驶等等。可以说方方面面都离不开大数据的支撑。
大数据技术怎么样
我是一个大二在读环境工程专业的学生,我有个朋友就是学大数据技术的,我来说说我对这个专业的感受。
专业简介
大数据技术这个专业近些年还是挺热门的,现在大数据专业就业前景比较乐观。作为人口大国和制造大国,我国数据产生能力巨大,大数据资源极为丰富。随着数字中国建设的推进,各行业的数据资源采集、应用能力不断提升,将会导致更快更多的数据积累。因此在大数据这方面还是需要大量人才涌入的。
学习感受
但是大数据技术这个专业相对来说比较难学,就算你只求考试不挂科,还是要抓紧时间学习的,别人周六周日有时间出去玩,但是学这个专业的人就得抓紧时间学习,不然得话就跟不上学习节奏了。
就业方向
大数据专业就业方向很广泛,大数据领域的岗位还是比较多的,尤其是大数据开发岗位,目前正逐渐从大数据平台开发向大数据应用开发领域覆盖,这也是大数据开始全面落地应用的必然结果。涉及的岗位诸如大数据工程师、大数据维护工程师、大数据研发工程师、大数据架构师等;大数据运维和云计算方向:涉及的岗位诸如大数据运维工程师等;这其中,数据挖掘,数据分析这一块是最容易入门,也是人才缺口最大的一块发展方向。
我眼中的大数据技术专业的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于对大数据技术专业的认识、我眼中的大数据技术专业的信息别忘了在本站进行查找喔。