大数据心得体会汇总十篇

  大数据心得体会篇(1)

  doi:10.3969/j.issn.1673 - 0194.2017.12.158

  [中图分类号]B84-0 [文献标识码]A [文章编号]1673-0194(2017)12-0-02

  和传统的数据库管理相比,大数据具备搜索快速、信息齐全、共享资源等优点,更是很好地解决了数据冗余的问题。随着时代的发展,大数据在很多行业、学科等领域得到了重视。近年来,大数据在心理学研究领域也有很多的作用和效果,心理学能够通过事物的表象反映出事物的内在特性,当然也需要对表象进行大量的研究分析,大数据在其M行研究分析方面起着不可估量的作用。

  1 大数据

  1.1 大数据的特点

  大数据相对于传统数据,对社会的发展影响力更大,它的特点可以从四个方面进行阐述。第一,数据十分庞大,已从TB级别进阶到PB级别;第二,数据的类型也是非常丰富和复杂的,在图像、文章、视频和定位等一些方面有非常多的有用信息被提供;第三,它处理的速率特别快,可以通过很多途径在数据中快速提取出有用的信息,这是传统数据无法与其相比的;第四,数据提取的准确性,在任何时候数据分析准确性的高低都是关键,公司能因其准确性的高低做出最佳的决策,在现今时代,快速获取有效性信息是决定成败的重要元素之一。也正是因为大数据具备的功能和作用,它被各行各业广泛采用。

  1.2 大数据的用途

  目前,虽然大数据在心理学研究领域并没有得到广泛的普及,但大数据技术上已经是相当普遍了,大数据在心理学方面的研究是大数据科学性的一种体现,它主要是发现和验证大数据的实际应用。同时,其在天文学、基因组学、生物等其他复杂的科研中应用广泛,是不可忽略的。通过研究者的不断改善和革新,大数据将会给各行各业带来不可估量的作用和效果。

  1.3 大数据于心理学研究

  利用大数据开展心理实验研究已经是水到渠成。2014年一项针对Facebook大量用户的情绪调查研究表明,情绪对心理的影响,利用大数据把研究结果进行分类。令人惊讶的结果出现了,在主要接受积极情绪的人群中,积极向上是人们主要的想法。在接受了较多的消极情绪后,原本积极的人都会慢慢就变得消极。在以前的心理学研究中收集近70万个样本,将耗费巨大的人力与物力,而大数据技术却能够轻易的做到。

  2 心理学

  2.1 心理学的特点

  人都是通过刺激下丘脑产生各种情绪,不管是何种表现都是表象,内在的情感需要通过心理学研究进行探究,心理的变化和发展是重点考虑的因素。大多数人都很排斥心理学家,认为他们是能轻易地探究人的内心。然而,在真实的心理学界并不存在人们普遍的这种想法,心理学家必须通过人们的行为举止,推测他们的心理,以逐渐推断出人心里真正的想法。心理学对于保持人们思想的积极性有着很大的促进作用,并有助于人们的身心和身体健康。

  2.2 心理学的研究逻辑

  在心理学研究上首先要提出一个假设:在当下飞速发展的数据采集技术,不管结果是支持哪一种推测,都会使人们展开无限遐想。然后再证明研究结果与预想的大规模用户实验,进行全程跟踪记录并证实,否则意味着预想错误。

  心理学在进行假设检验时的研究逻辑与其他学科不同,它具有先验性,在得出最终结果前先进行推断。另外,和心理学研究的逻辑有所不同的是,大数据得出结论之前必须要经过严密的数据分析,它的研究逻辑具有后验性。心理学研究的先验性实质上是由于传统研究方法在获取数据上的局限性,而大数据可以帮助心理学突破这一局限,使先验变为后验。这有利于推动心理学研究走向科学化、规范化,同时也符合理论与实践辩证统一的哲学理念。

  假设检验有一个很明显的缺陷是,要想得到正确的推断,必须逐次验证各项假设,这极大地浪费了人力、物力和时间。而大数据不同,其从各项数据中提炼出来的信息就可以引导出最终要证实的结论,这就是“数据驱动”的妙处,它极大地提高了最终推断的正确性和获取合理结果的可能性,提高了工作效率。

  2.3 心理学传统的研究方法

  大数据不仅可以解决数据冗余资源共享等问题,还让心理学研究逻辑不断得到数据采集的改进和完善,带来了全新的契机。在传统的研究方法中,心理学采用系统抽样法,抽取样本进行检验,再把结果统计在一起进行比对。反复地抽取样本才能体现结果的综合性,才能得出最终的结果。大数据时代的到来,让传统的研究方法得到改进,庞大的数据不再是头疼的问题,它能对数据进行快速对比,得出总体的比对结果,不再仅仅依赖于样本的检验。

  在心理学研究中,调查法占据重要的地位。问卷调查是最常见的调查法之一,把要调查的问题集中在一起,统一打印出来分发给众人填写,之后集中在一起查看大家对问题的看法。除了此之外,访谈法也是调查法中的一种。它一般是用面对面的交谈,了解各方面的信息,从而达到要调查的目的。除了听,看也能很好地对心理学现象进行阐述。人内心的想法都会有相应的肢体语言,对于一些不能用听获取信息的问题,观察法能很好的从侧面获取所需的信息。

  想得到比较严谨的研究结果,测验法是一个选择,它能把理论和实践结合起来,这在一定程度上完整了实验结果的准确性和实践性,更能说明研究结果。与之相像的是实验法,在大数据时代,实验法仍然是心理学研究中的“宝法”。实践让它在时代的洪流中仍不逊色,心理学研究的突破不仅要靠病例,也需要大量实验的数据证明,变与不变的量是一次次实践得来的,严格的实验条件是实验法的首要条件。

  2.4 心理学研究的载体

  量表和问卷作为心理学研究中的主要载体,需根据自身的情况,回答问题以让别人获取信息,信息的准确度取决于提供信息的人。这受表达者表达方式的限制,而情景式和投射式的量表,可以很自然地避免这种限制。情景模拟可以直观地反应人在这种情况下的行为,这时的行为是由下丘脑直接控制发出的,具有较高的真实性。投射测量会向被研究对象提供一些刺激情景,被研究者自由表达,分析其反应推断其人格特征。这几种工具载体被积极地应用于研究各种心理学问题,同时还有很多专门针对某种研究的载体工具,不同的载体在针对不同问题时,能发挥其独特的作用。近些年来,随着认知精神科学的兴起,记录神经方面的设备和技术也得到了很好的应用和发展。

  3 大数据时代的心理学研究

  3.1 大数据时代的网络运行

  大数据时代,网络是人人必不可少的联系媒介。网络浏览也是人们最快获取信息的途剑浏览过的网站会留下浏览的痕迹,浏览的痕迹能间接反映一个人的性格和内心。大量的浏览痕迹也能被快速捕捉,这些微小的痕迹在探究用户的心理素质和行为习惯方面有着相当大的作用。数据冗余不再是提取庞大数据需要担心的问题,人们的工作和生活与大数据越来越息息相关,对于在工作和生活中遇到的问题,也能够进行深入的了解和恰当的解决。现如今,越来越多的人用社交网络进行交流,传统的社交是永远不能达到这样的效果和作用的,所以网络社交从根本上创新了人们的交流方式,而通过人们在社交网络中的浏览痕迹,可以分析人们对彼此的心理,会对某些事做出什么样的回应。为什么会有虚拟世界的存在?什么样的虚拟世界可以构成一个虚拟的社会?网络的存在不是构建虚拟世界的主要因素,它只是一个虚拟基础。主要因素是人们在网络中的行为,只有类似于人类现实社会的生活状态,才能被称之为社会。在现实社会中的一切在虚拟世界中都要得到体现,其所表现出来的状态是个体在现实社会与虚拟社会的一致性,构成了人们对虚拟社会和现实社会的理解,对虚拟社会与现实社会已知悉的研究,探究两者之间的不同和一致,对认识虚拟社会、研究有关心理学理论,都具有非常重要的意义。

  3.2 剖析心理

  研究表明人在接受某项服务或者用过什么产品后,一定会在心里产生一个想法,这可以归纳为人的主观心理感受。用户在使用某种产品上会产生海量的使用记录,大数据方法能筛选出一些类似的记录提供给需求者,快速、有效地使研究者得到数据的有效值,有利于加快研究的进度,同时尽量准确地得知用户的想法,尽最大能力满足用户的心理需求。

  3.3 避免错误

  个体或者群体行为数据的逐渐增多,可以通过大数据进行心理行为分析,这能反映出比较大众的认知和感受,群体情绪的好坏能直接影响处理事情的能力,也有利于把握大事件的走向,避免由于数据调查精确性低导致恶性事件的发生。

  3.4 在线心理干预

  心理干预在心理学研究中对人是很有效果的,但是执行人员的不足让心理干预不能同时进行,需要耗费大量的资源。然而运用大数据技术在网络上进行快速有效地信息获取,能提高流程的速度,这样的在线心理干预能大面积进行,也会提高效率。

  3.5 在线心理测评

  目前,心理学界通用的主要测评手段是主观性较强的、来自用户自身的心理报告,这种方式的推广难度较高,且时效性也会受到限制,迫切需要改进。国内外学界对此已经展开了多项研究,试图运用数据技术,建立心理评估模型,借助超级计算机的力量,专家可以运用模型对广大用户实施实时的动态分析。

  3.6 心理学知识体系的构建

  在大数据背景下,心理学方面的知识体系也将迎来革新。目前,心理学界的知识体系是在分析了大量现实的个体案例后建立起来的,然而大量研究表明,许多人的性格在网络上与现实中差别较大,大数据为相关人员分析人们在虚拟网络世界的人格提供了便利,有助于其了解在不同环境状态下人所能表现出的人格。

  4 心理学研究的新动力

  在信息时代的今天,心理学的研究离不开大数据采集信息的技术,对于人类行为等的预测,是心理学研究的重要目标。而现今的心理学虽然已经有了很多研究成果,但仍然需要继续在研究的路上不断创新和前进,这对人类未来的发展有着很积极的作用。从某方面来说,行为预测这种外部表现是决策的关键。如果人们在研究结果上不过度加以解释的话,大数据方法将能直接通过群体的行为来进行数据分析,这可以对研究起到较大的帮助。心理学在逐渐发展的途中,需要的不仅是列出一大堆的课题研究,更需要考虑使用高效的方法去进行研究。

  5 结 语

  随着科技的发展,大数据成为了体现科学技术的重要产物之一。在心理学领域应适当运用这种技术,尤其对于行为这种外在表现的研究分析。目前,在大数据时代的心理学研究方面,很多研究都能依靠大数据取得较为有效的帮助,尤其是在效率和信息价值方面。同时,心理学与其他学科在很多方面也有密切的联系,适当在研究上提取出对其有用的信息也是必要的。对于研究的目标,相关人员需要充分运用高科技技术和设备,将心理学研究与大数据相联系,给传统的心理学研究提供一个新的发展方向,让心理学研究不断得到提升和完善。

  主要参考文献

  大数据心得体会篇(2)

  从上世纪90年代开始到现在,数据中心由于新增服务器而产生的投资基本稳定,甚至在投资比例上逐年下降,管理运行费用的绝对值和相对值都在逐年增加,电能消耗尤其是制冷费用已经占到了数据中心投资的相当大的一部分。所以下面我们着重讲一下在数据中心建设中怎么样从智能的角度提高能效标准,实现节能减排,建设绿色的数据中心。有数据显示,数据中心中37%的能源消耗是用在标准数据中心机房空调和制冷方面的。所以,在传统的数据中心和机房中普遍采用的精密工程制冷已经不适合今天的数据中心。今天数据中心密度越来越高和服务器密度越来越高的情况下,会出现数据中心里温度很低而服务器机柜却热得烫手的情况。

  通过改进之前靠空调为数据中心制冷的理念而产生的液态制冷理念,是针对这个问题而产生的很好的方法。业态制冷是指在服务器机柜和网络机柜当中安装液态制冷设备,并且这些液体在设备之间进行点对点的流动,实现冷却处理,最终降低消耗,提高运营效率。

  模块化数据中心大行其道

  大数据心得体会篇(3)

  大数据一词无处不在,一经推出席卷各个领域。不管定义如何,各种概念的核心基本一致,那就是大数据具有规模庞大、种类繁多、处理速度快、价值密度低等基本特点①。想要从大数据中获取新的有价值的信息,必须具备很强的数据挖掘、处理和分析利用的能力,这种能力也就是我们通常所说的大数据能力。具体来说对于大数据能力的构成有三个方面: 

  首先,大数据的基础设施建设能力随着升级基础设施相关的成本逐渐提高,持续的高投入和可量化的投资回报之间的矛盾对优化信息管理环境必然形成巨大压力。大数据基础设施包括有形基础设施和无形基础设施例如制度、文化、科学技术、组织和人力资本等要素;其次,大数据采集能力是指利用一定的技术手段,对收集来的数据资源进行检索的能力,主要包括数据的搜集能力和筛选能力。数据采集的能力的关键不仅仅在于获取多大规模的数据,而是数据的质量②。第三,大数据分析能力是指用适当的分析方法对收集来的大量数据进行研究以形成有效结论。在对大数据进行分析时获取数据的渠道、提取信息的能力、专业人员的技术、决策者的分析,這几方面构成一个有机的整体。其中获取数据关键在路径,提取信息能力的关键在工具,技术人员能力的关键在培养,但唯独分析决策者的能力要依靠更多其他非数据因素加以权衡,高效灵活的数据分析带来的价值是不可估量的,有时可能创造是决定性的突破。可见,大数据能力不是一种单一能力,而是一种复合型能力。 

  二、大数据能力建设对区域经济发展的意义 

  研究人员可以充分利用大数据快速挖掘信息间的相关性,更加客观准确地预测市场和产业发展的方向以及趋势,首先,大数据能力直接影响区域宏观经济规划的准确程度。通过大数据的海量数据信息,能够使看似毫无关联的信息进行专业化处理和分析归类,为区域经济的规划提供必要的信息支持。其次,加强大数据能力建设为产业结构调整提供重要支持。政府或者企业可以利用海量数据的收集和分析来帮助需要者进行精准化服务、降低成本、提高运营效益。提升大数据能力可以集中一定范围内的“大数据供应链、价值链、创新链、投资链、服务链等一系列大数据产业发展的核心链条,集合交叉、相互作用后,形成了复杂的、多维度的、网络体系生态环境③”。第三,加强大数据能力建设为单一企业的发展注入不竭活力随着智能化浪潮的影响,使得制造业企业的运营越来越依赖信息技术。譬如现实中以具体某一制造业企业为例,它会面临管理种类繁多的数据,涉及到大量的结构化数据和非结构化数据在大数据的指导下过去不再是不可追溯的历史,而是可以总结的规律;未来不再是盲目无知的期待,而是在一定程度上可被预测乃至把握的趋势。 

  三、大数据能力建设面对的困境 

  马克思在《关于费尔巴哈的提纲》中提到“人应该在实践中证明自己思维的真理性,及自己思维的现实性和力量,亦即自己思维的此岸性。”现实中不同的数据信息正在构成一个体系,而不同体系组合交叉成为客观世界的一部分,而非全部。大数据能力建设最有意义的事就是利用大数据及大数据技术创造价值。然而在付诸实践的过程中由于大数据数量大,多样性的特征,数据本身就存在着无序性、非标准化的特点,使得作为分析目标的数据本身就良莠不齐。再有,“无所适从”成为数据采集者的集中问题。因为数据的核心价值不仅仅来源于其海量的“大”,而来源于其中通过概率而产生的指向性。虽然国家制定了相关引导政策,但是现实中大数据能力在社会治理中暂时没有发挥出应有的效力。绝大部分的时候数据处于分散的孤立状态,体系和体系之间囿于各种壁垒无法建立连接,导致数据无法流动印证,使得实践的工作无法全面开展。典型的案例就是三大运营商BAT(百度、阿里巴巴、腾讯)之间各成体系,在他们的自有体系内,他们的数据量都非常巨大。但是,他们仅仅沉积和应用自己产品体系内的各种数据,不能与其他不同体系的相关数据进行关联洞察,而且各个体系内的数据过于粗放和碎片化,不能以用户为中心,无法进行有效的逻辑关联验证,最终使结果成为“管中窥豹”的片面结论。 

  四、大数据能力建设助推区域经济发展的新模式 

  有鉴于上述的分析,大数据能力建设对未来区域经济的发展起到至关重要的作用,而现实中由于部门壁垒、企业壁垒给大数据的协同融合带来的障碍,笔者通过实践中的摸索建议在一定区域范围内可以通过建立有限的云平台的方式将企业数据、社会发展数据和其他相关数据融会贯通,形成相互可以印证的规范的数据模式,为区域经济的发展带来新动力。 

  首先,整合区域内载体资源,对于一般地区而言,本区域内的载体资源主要分为民用和商用两类,有些地方还有工业用载体和教育类载体。在进行大数据建设之前可以适当的将区域内的载体资源分化成若干个片区,每一个片区设定一个云平台型管理机构,在标准化要求下,由这些机构统一负责将来的数据采集。但是值得注意的是云具有许多不同的形式和架构,设计载体云平台时需要具体问题具体分析。其次,政府通过政策引导企业积极参与载体平台建设,以降低企业运营成本为目标吸引企业加入平台,开放数据。免费的服务可以增加载体平台的粘性,让使用者形成一种不断关注的习惯,在这一心理偏好和心理依赖的影响下,通过提高访问频率、延长访问时间提升参与的程度,通过数据换数据的方式,方便大数据资源的交流和整合。第三.政府信息与社会主体信息实现融通,通过共享实现共赢。政府可以通过技术手段将平台贯通,根据提供数据的数量和质量区分获得数据的权限,根据不同的需求在不同出口按照不同算法呈现不同数据结果,从而满足多方面要求。 

  结语 

  提升大数据能力建设在大数据时代背景下,对于拓宽信息来源、提高了获取信息的时效性具有重要意义。通过制度创新和技术的进一步改进,让实时、快速、海量的数据为区域经济发展和社会资源整合提供重要的支撑。日益更新的观念将引领政府、企业和科研机构改善工作方式,提升工作效率。 

  参考文献 

  [1] 朱艳菊.政府大数据能力建设研究[J].电子政务,2016(7):123-129. 

  [2] 朱艳菊,政府大数据能力建设研究[J].电子政务,2016(7):125. 

  [3] 吴薛,吴俊敏,产业生态圈视角下大数据产业集群培育的研究—以苏州为例[J].常州大学学报(社会科学版),2015(1):56-62. 

  大数据心得体会篇(4)

  DOIDOI:10.11907/rjdk.162084

  中图分类号:TP317.4

  文献标识码:A文章编号:1672-7800(2016)012-0156-03

  0 引言

  随着科技在医学领域的应用,传统的放射诊断学成为医学影像的重要部分。X线摄影是临床最常用的医学检查方法,几乎适用于人体任何部位,它具有空间分辨率高、图像清晰、层析分明的特点,常用作医学诊断的辅助工具[1-3]。然而,由于在X光片成像时三维人体被显示为二维图像,所以人体器官显示会出现重叠和失真现象。通过将聚类分析技术应用于X光片数据,可为观察者提供更多信息,降低重叠和失真带来的影响[4]。

  本文提出一种快速有效的X光片图像聚类算法,通过改进K均值算法的初始值选取方法,有效提高了聚类效果。对比实验表明,本文算法获得的聚类结果明显优于传统的K均值算法。

  1 改进的K均值算法

  X光片具有数据量巨大、数据点分布稀疏、存在大量近似点(灰度相同的点)的特性,所以并不是所有聚类方法都会产生比较好的结果。X光片图像数据存在大量数据点,导致进行聚类分析的算法时间复杂度和空间复杂度不能太高,否则消耗的时间和占用的内存会难以承受。

  1.1 K均值聚类

  在所有聚类算法中,K均值算法适应范围广泛,针对X光片图像数据而言,类与类之间区别明显,在处理大数据集时,算法时间和空间复杂度都表现良好。K均值用质心定义原型,一般情况下数据点属性的平均值被定义为质心。大部分情况下,一个簇中不仅包含一个数据点,中心点是一组点中最具代表性的点[1]。K均值聚类可以用于各种数据类型,因为只需要对象之间的邻近性度量。

  K均值算法执行前,需要指定K值,K值表示希望从对象中得到簇的个数。算法开始执行时首先需要将每个点划分到距离最近的簇中。将所有点划分完后,计算每个簇的簇中心。重复划分所有点到最近的簇,并计算簇中心位置,直到簇不再变化。具体算法如下:①指定K个点作为初始质心;②Repeat;③将每个点指派到最近的质心,形成K个簇;④重新计算每个簇的质心;⑤Until;⑥质心不再变化。

  其中,K均值算法中的第③步如下,流程如图1所示:

  ①Repeat;②比较数据点到每个簇中心的距离;③将数据点划分到距离其最近的数据中心;④Until;⑤每个数据点都被划分到了最近的簇中。

  K均值算法中的第④步如下,流程如图2所示:

  ①Repeat;②数据点所在簇的簇内点数量加1;③数据点所在簇的总灰度=总灰度+数据点的灰度;④Until;⑤所有的数据点都被计算;⑥将每个簇的总灰度除以簇内点的数量得到簇的平均灰度。

  K均值算法优点是适用范围广,当簇与簇之间聚类较远差异较大时,数据维度较低的数据点分布相对密集,效果要好些。对于处理大数据集,这个算法较高效。

  计算的时间复杂度为O(NKt),其中N是数据对象数目,t是迭代次数。一般来说,K≤N,t≤N。K均值算法的空间复杂度需求不高,只需要存放数据点和质心。具体所需要的存储空间为O((m+k)n),其中m是对象数量,n是属性数。

  K均值算法缺点主要有:①算法执行前需要人为设定簇的个数,但是簇的个数常常难以估计;②在K均值算法中每一次对数据点进行划分都是由上一次划分得到的簇中心决定的,所以K均值算法的最终结果是由最初选取的簇中心决定的。选择不适当的数据点作为初始的簇中心(比如彼此靠得很近的数据点),就可能导致最后结果偏差。因此初始值的选取成为K均值算法无法回避的问题。目前为止,还没有发现一个适应范围很广的初始值选取方法;③K均值算法需要在一次次迭代中不断修改簇中心,每次修改后都需要将所有点重新划分。当数据量很大时,这样的操作十分消耗时间。所以,在面对海量数据计算时需要改进算法,以降低时间复杂度;④K均值算法的聚类划分特性,决定了它在处理非球状簇、不同尺寸、不同密度簇时,结果令人不满意,而且K均值算法受离群点和噪声的影响较大。

  1.2 改进的K均值算法

  本文首先对X光片进行预处理,然后从图片中获取数据,获得图像中每个点的灰度值,存储在灰度值矩阵G中。Gij表示图像中第i行、第j列点的灰度。对数据点进行聚类后,可以将处于同一个簇的点用同一种颜色在图片上标出,从而进行直观判断。

  由于K均值算法的聚类结果受初始簇中心影响极大,簇中心选取错误会导致很差的集成结果,所以k个初始簇中心选取至关重要。本文改进了传统K均值算法,流程如图3所示,主要步骤如下:①随机选取1个簇中心;②Repeat;③再随机选取1个簇中心;④比较选取的簇中心和之前选取的簇中心灰度值是否相同;⑤若相同则重新选取并回到步骤④;⑥Until;⑦簇中心的个数达到k个;⑧Repeat;⑨计算每个点到各个簇中心的距离;⑩找出每个点到各个簇中心的最短距离;B11将点划分到相应簇中,并修改Lij的值;B12重新计算每个簇的中心;B13Until;B14每个簇的中心都不再变化。

  在k个初始簇中心选取比较理想的情况下,k个聚类中心均匀地分布在图像的数据点中,此情况下获得的聚类结果会比较理想。此时,K均值算法和改进的K均值算法获得的聚类结果基本一致。

  在k个初始簇中心选取较差的情况下,K均值算法会得到“空簇”,产生较差的聚类结果,而改进的K均值算法不会遇到这种问题。当出现相同灰度值的簇,这个簇中心会被重新选取,从而使得每个簇中都会有一定数量的数据点,保证了迭代能正常进行。

  2 实验

  选取一张X光片作为原始数据,如图4所示。使用改进的K均值算法得到的结果如图5所示。原始的K均值算法聚类结果受初始值影响较大,时好时坏,在初始簇中心选取到灰度值相同的点时就会出现如图6所示的情况,有比较多的空簇。如图7所示的聚类结果仅在初始簇中心选择较好,没有发生簇中心重叠的情况下才会出现。

  改进的K均值算法虽然在k个初始簇中心选取上作了改进,使彼此不会有相同的灰度值,但这并不保证k个点会均匀地分布在所有数据点中,如果k个点彼此聚类比较近,仍会对簇的结果造成影响。

  3 结语

  本文提出了一种快速有效的X光片图像聚类算法,通过改进K均值算法的初始质心选取,有效提高了聚类效果。对比实验显示,本文提出的算法获得的聚类结果明显优于传统的K均值算法,验证了算法的有效性。

  参考文献:

  [1] 史盛君,宋立新,赵阳.基于神经网络的乳腺X光片中肿块检测法[J].哈尔滨理工大学学报,2008,13(6):101-104.

  [2] 王彦明,钱建忠,潘晨.基于SVM-2DPCA的X光胸片异常筛查[J].计算机工程, 2009, 35(18):170-172.

  大数据心得体会篇(5)

  作为目前亚洲最大的数字视觉展示企业,水晶石公司不仅是2008 年北京奥运会开幕式和闭幕式数字影像的总承包商,还是上海 2010 年世博会、深圳 2011 年大运会以及2012 年伦敦奥运会多媒体设计服务商。水晶石公司的核心业务是三维可视化的开发和应用服务,涉及的技术领域涵盖影视特效、3D动画、多媒体、影像数据库、在线三维展示等多个专业,主要在大型活动、演示汇报、科普教育、影视制作及城市数字化建设等方面为客户提供创新的视觉解决方案。

  伴随近年来水晶石公司在数字影视业务领域的快速发展,他们的数据中心承载了大量的渲染工作。根据工作需要,公司投入了大笔资金更新计算和存储设备,但是在投入之后,数据中心的整体性能却没有因此得到显著的提高。经过多方排查,水晶石公司发现,数据中心的主要问题出在网络上。主要是过去的交换机已经不能满足不断增加的高性能计算设备的需求,所以他们决定对网络进行整体性能的升级。

  水晶石数字科技有限公司技术总监方凡告诉记者,在网络产品选型的过程中,针对水晶石数据中心的状况,很多人都建议他直接采用光纤。“但是,从我们的出发点来讲,水晶石要建造的数据中心是以实用、廉价和低成本为主的。就渲染这个角度来看,我们对机房等级并没有特别高的要求,只要保证原始数据或者是控制数据尽量不丢失即可。所以,如果大规模的采用光纤,意味着所有的服务器都得改,至少每个服务器都要加一个光纤交换机,这是一个相当大的成本,投资回报比也会很低。”

  方凡表示,在测试的过程中,他们特意将“500多个刀片挂在一起”,由于数据量非常大,数据包同时发送的时候所占用的带宽也相当大,很多知名品牌的交换机都因此没有达到水晶石公司所要求的性能标准,最终只有H3C的S12500系列交换机既通过了这一测试,也符合他们对性价比的要求。

  据介绍,水晶石公司整网采取的是扁平化的组网结构,所以仅用1 台 H3C S12508 数据中心级核心交换机即组成了整网的核心。在接入层,水晶石公司全部采用了H3C的数据中心级 S5600、S5120EI 系列交换机,实现了万兆上行、千兆接入服务器。特别是高性能计算区,这是水晶石公司数据中心网络中最主要,也是规模最大的接入区,特别需要高可靠,高性能、低时延的网络产品,才能保证整个高性能计算系统的高效运行。“事实上,如果现在再加500个刀片服务器,我们当前的网络也可以支撑得住。”方凡对记者说。

  大数据心得体会篇(6)

  (一)基于云会计的财务共享中心绩效管理的特点和优势

  大数据时代下云会计技术的发展与应用对集团企业财务共享中心的绩效管理有着重要的影响。它能够有效地提高企业在内部管理决策方面的可靠性与准确性。现在,人们基于集团企业财务管理的特点和基本需求,探索出了“财务共享中心绩效管理”这种新型的管理手段。它能将流程再造和标准化,运用在分散在企业各个子公司当中的那些较为标准化、且容易重现重复的财务工作当中,使企业的财务管理效率得到有效提高,实现企业财务资源的优化配置,使企业的财务管理质量得到有效提升。同时,它还能使企业财务管理的可控性得到提高,管理风险得到降低。在企业的财务管理中,绩效管理是其中一个至关重要的环节。基于云会计的财务共享服务中心的推广运用,能够有效避免在绩效管理中出现的失序现象,使集团公司的管理层与职员对自身有一个明确的定位,使企业和个人的绩效得到有效增长,全面提升企业财务管理的效果。

  (二)现阶段我国在基于云会计的财务共享中心绩效管理方面的缺陷

  基于云会计的财务共享中心绩效管理,在我国还是一个新生事物。现在,虽然我国在这方面的研究已经取得了长足进展,但总的来说,我国现阶段在这方面还存在着一定的缺陷。这些缺陷主要体现为对大数据、云会计格局下的财务管理研究力度还不足,导致其的进一步发展推广受到了影响。这是我们今后需要提高的地方。

  二、管理框架模型的建立

  基于云会计的财务共享中心绩效管理,其运用于企业中所带来的优势是显而易见的。它在保证了财务管理质量的同时,又能使财务管理流程得到有效精简,人力资源成本得到有效降低。特别是能够让集团公司总部和各个基层单位都能对相关的财务信息进行统一接收、统一处理,及时发现管理中的缺陷和漏洞并进行查漏补缺工作。为了让研究思路更加清晰明了,这里我们结合基于云会计的财务共享中心绩效管理的相关要点,构建了一个大数据时代基于云会计的财务共享中心绩效管理的框架模型,并具体进行分析。通过对框架模型的分析可见,基于云会计的财务共享中心绩效管理的一般结构,一共包括6个层次。分别由基础设施层、业务层、数据层、服务层、应用层、用户层组成。其中,基础设施层是其他层次的基础。它的主要功能是对于企业的外部数据进行采集,并具体运用于数据层及应用层。业务层直接涉及绩效管理工作,我们在策划绩效管理的相关方案时,必须从业务层当中取得相关数据。数据层则是将基础设施层及业务层当中涉及绩效管理方面的数据(含结构化与非结构化数据)储存于ODS业务同步复制数据库里,然后以大数据的手段对相关数据进行分析处理,发送至数据中心,以备服务层和应用层之需。服务层的数据来源于经过加工处理的数据中心,并在服务层中对数据进行再次处理运用,然后运用相关技术对数据进行整合。在应用层中,其组织绩效管理分别来源于财务、客户、学习创新及内部流程。这四个维度又分别具有各自的具体要求。用户层即决策层。它由集团公司、子公司、财务共享服务中心等方面组成。其作用主要在于挑选合适的财务决策措施,运用到企业的财务管理中。

  三、大数据时代基于云会计的财务共享中心绩效管理的具体手段

  (一)构建起合理的绩效管理目标

  财务共享服务在运作上应当自成体系。其服务对象也较为宽泛。对于集团公司及其下属的基层单位,以及企业的外部客户,都必须确保服务到位。在确立绩效管理目标时,其指导方针必须立足于追求管理效率和管理质量的最大化,来达到管理的最优目标。通过大数据与云会计技术,我们就能获得财务共享中心的内外部数据,然后对这些数据进行调研分析,对管理、执行方面的目标都进行评估,寻求出具有可行性的方案。尤其是要重视对绩效指标的制订,这样才能确保绩效管理目标的准确性。

  (二)完成对管理目标的分配

  当我们完成了对财务共享服务中心的构建,此时就要下意识地将绩效管理目标,基于组织绩效与人员绩效的角度,来分别分配给不同的部门和员工,将明确的绩效责任落实到不同成员的头上。同时,我们还要针对这些工作指标,制订出完善的绩效考核制度,构建起赏罚分明的考核机制,以促进公司和员工为实现目标而努力。

  (三)建立起预警监督机制

  在集团企业的财务管理活动中,有时财务部门同业务部门所接收的财务信息之间常常出现出入。这是由于财务部门所获取的信息通常是经历了一些中间环节的,导致它与原始信息相比发生了一些变化。通过基于云会计的财务共享中心绩效管理,我们就能建立起有效财务预警监督机制。将管理方案同实际效果进行有效的对比、预测与跟踪。这样一旦出现信息出现某些出入,系统能够立即觉察到,对业绩完成不达标的单位与个人进行预警,并及时对管理方案进行的调整。使财务管理活动更具可控性。

  四、结束语

  在这个信息技术高度发达的大数据时代,大数据技术给集团企业的财务管理工作带来了新的转型方案。基于云会计的财务共享中心绩效管理,能够有效地提高企业在内部管理决策方面的有效性、可靠性与准确性,在集团公司财务管理活动中具有重要的应用价值。

  作者:潘明芳 单位:黔东南民族职业技术学院

  参考文献:

  大数据心得体会篇(7)

  随着信息技术和人类生产生活交汇融合,互联网快速普及,全球数据呈现爆发增长、海量集聚的特点,对经济发展、社会治理、国家管理、人民生活都产生了重大影响。

  中共中央总书记在国家大数据战略第二次集体学习中强调,大数据发展日新月异,我们应该审时度势、精心谋划、超前布局、力争主动,深入了解大数据发展现状和趋势及其对经济社会发展的影响,分析我国大数据发展取得的成绩和存在的问题,推动实施国家大数据战略,加快完善数字基础设施,推进数据资源整合和开放共享,保障数据安全,加快建设数字中国,更好服务我国经济社会发展和人民生活改善。

  建设现代化经济体系离不开大数据发展和应用,坚持以供给侧结构性改革为主线,加快发展数字经济,推动实体经济和数字经济融合发展,推动互联网、大数据、人工智能同实体经济深度融合,继续做好信息化和工业化深度融合这篇大文章,推动制造业加速向数字化、网络化、智能化发展。深入实施工业互联网。

  主要议题:

  大数据与数字中国

  以供给侧改革为主线,加快发展数字经济,推动实体经济和数字经济深度融合,推动两化融合,促进制造业向数字化、网络化、智能化发展

  大数据应用产业创新发展

  如何集中优势资源,突破大数据核心技术,加快构建自主可控的大数据应用产业链、价值链和生态链

  大数据与军民融合创新

  推动大数据安全、应急装备等发展为抓手,积极推进军民融合产业发展

  大数据与政府治理

  如何运用大数据提升国家治理水平,满足公民的个性化需求,提高政府的公共管理能力

  大数据与安全

  加大对大数据安全的研究力度,如何切实保障数据安全

  分论坛:

  论坛一:工业大数据论坛

  本论坛将围绕加强工业大数据基础设施建设规划与布局,推动大数据在产品全生命周期和全产业链的应用,推进工业大数据与自动控制和感知硬件、工业核心软件、工业互联网、工业云和智能服务平台融合发展,形成数据驱动的工业发展新模式,支撑中国制造2025战略,探索建立工业大数据中心。

  论坛二:大数据与金融、区块链创新论坛

  本论坛将围绕金融大数据帮助业务的精细化管理及风险的有效控制,充分发挥数据在投资决策、资产评估、产品定价、风险管理等金融活动中的支撑作用。运用大数据、区块链等技术探索创新金融机构业务模式和管理方式,提升金融机构经营效率。快发展大数据征信、指数及反欺诈业务,建设大数据检测预警系统,科学防范非法业务风险,提升行业运行管理效率

  论坛三:大数据与军民融合创新论坛

  本论坛将围绕推进军民两用技术协同创新进行探讨,利用发展大数据的优势,将军民人才、技术、数据等资源较好地汇集起来,呈现出军民融合产业集聚引领发展的良好态势。利用已形成的产业优势,打通军民融合资源共享通道,释放军工产业与民用产业发展潜能。

  论坛四:大数据与政府治理论坛

  本论坛围绕如何运用大数据提升国家治理现代化水平这一核心议题,探讨如何建立健全大数据辅助科学决策和社会治理的机制,推进政府管理和社会治理模式创新,实现政府决策科学化、社会治理精准化、公共服务高效化,形成覆盖全国、统筹利用、统一接入的数据共享大平台,构建全国信息资源共享体系,实现跨层级、跨地域、跨系统、跨部门、跨业务的协同。

  论坛五:大数据与医疗论坛

  本论坛将结合成都当地实际情势,围绕发展实时健康管理、人群疾病谱变化监测,基于个人基因组测序、跟踪、记录数据分析的健康咨询服务,以及基于临床大数据分析与挖掘的个性化诊疗服务,提高基因遗传诊断、疾病早期预测预警能力。

  论坛六:大数据标准论坛

  本论坛将围绕应用、 技术、产业、标准等角度,勾画出大数据发展的整体轮廓,从数据生存周期角度提出大数据参考架构。探索在不断创新应用与服务模式下的大数据标准体系及大数据标准化路线,提出大数据标准化工作建议。

  论坛七:大数据应用实践高峰论坛

  本论坛将宣传成都地区大数据企业以及大数据产品、解决方案,帮助本地企业拓展市场、寻求合作,促进整体成都及周边地区大数据产业的联动。

  论坛八:大数据与通信论坛

  本论坛将围绕如何发挥基础电信运营商拥有的电信数据资源优势,利用通信网络渠道资源,发展云计算、云安全和大数据服务。

  会议日程 (最终日程以会议现场为准) 日期:2018年7月10日, 地点:成都世纪城国际会议中心-五层水晶厅 时间 活动主题 演讲嘉宾及职务 08:30-09:00 签到

  09:00-09:30 致辞 领导致辞 09:30-10:00 抓住“数字中国”建设机遇 梅宏 中国科学院院士 10:00-10:30 大数据与先进制造 李言荣 中国工程院院士,四川大学副校长 10:30-10:55 推动大数据应用加速数字化转型升级 柯睿杰 微软大中华区董事长兼CEO 10:55-11:20 运营商大数据新思维 姜昕 TERADATA天睿公司大中华区解决方案总监 11:20-11:45 用工业大数据推动数字化创新 吴劲松 伟创力全球运营副总裁 11:45-12:10 区块链技术的应用与挑战 待定 12:10-12:35 AI与无界零售 刘晖 京东大数据研究院院长 日期:2018年7月11日, 地点:成都世纪城国际会议中心 时间 活动主题 演讲嘉宾及职务 08:30-09:00 签到

  09:00-09:30 从数字经济看中国新经济 潘云鹤 中国工程院院士 09:30-10:00 大数据助力“中国智造”弯道超车 李杰 美国辛辛那提大学(Univ.of Cincinnati) 讲座教授、《工业大数据》作者 10:00-10:25 工业互联网创造工业新机遇 陈永正 富士康工业互联网股份有限公司董事长 10:25-10:50 健康大数据 沈晓卫 IBM大中华区首席技术官、IBM中国研究院院长 10:50-11:15 我们将迎来自动驾驶时代 黄仁勋 英伟达联合创始人、CEO 11:15-11:40 AI芯片的新高地 余凯 地平线CEO 11:40-12:30 新一代大数据平台 周涛 成都电子科技大学教授 / Kevin Kelly 《连线》(Wired)杂志创始主编 往届嘉宾

  参会指南 会议门票 场馆介绍 票价5月1日-6月30日7月1日-7月9日

  600元/人1000元/人

  (1)参加7月10~11日两天上午全体大会及下午任意场专题论坛;

  (2)全体大会前排嘉宾区域就坐;

  (3)享有大会组委会提供的VIP午餐;

  (4)获得大会会刊资料;

  大数据心得体会篇(8)

  作为企业,所有的经营管理决策都依托于信息,在企业内部,这些信息体现为统计数据、财务报表、工作汇报、调查报告等,这些信息来自于不同的渠道,以不同的方式体现,是企业的管理者做出决策的重要依据。因此,信息对于现在的企业来说具有以下几方面的价值:

  1.帮助企业把握行业脉搏。通过对行业信息的了解和行业实时动态的了解,企业可以深入的了解行业的基本走势,判断行业的位置,并通过行业的观察来及时调整自身的经营方向。

  2.监测企业经营状况。通过企业内部的信息反馈系统,企业可以及时了解到各个部门的工作状况以及企业自身的经营状况,从而可以知道企业目前运行的质量的好坏。

  3.了解目标客户需求。来自企业的目标客户(顾客)的信息可以帮助企业发现现有产品和服务的不足,以及如何满足目标客户(顾客)的需求,这样企业可以有的放矢的对产品和服务进行改进,以提供更多吻合市场需求的产品和服务。

  4.发掘未来的商机。对于信息的常态的收集和分析,企业还可以找到新的细分市场,发现新的商机,并开发出更多的新产品和服务。

  5.建立企业预警系统。科学、有效、量化的数据系统可以帮助企业对现有的营销、管理中的各种问题进行预测,并能够及时了解来自各个层面的问题,因此,信息还有助于企业建立良好的公关、品牌、销售等预警系统,以应对来自市场的各种挑战。

  应该说,信息已经成为企业管理的重要的工具,而且,科学的信息收集系统和对于信息的正确的判断成为了企业是不是能够做出有效决策的重要考验。特别是随着信息信息量的加大,各种真信息和假信息混杂的情况下,企业不仅需要得到精华的信息,同时更希望了解信息背后的含义。这些都让企业产生了较大的信息需求。

  信息需求类型:宏观——微观,感性—理性

  中国改革开放仅20多年的时间,应该说在计划经济年代,企业是不存在信息需求的,而随着市场经济的发展,市场竞争的加剧,企业不得不通过多种渠道、多种方式来获取信息,从目前看来,企业所需要的信息有以下几种类型:

  第一,宏观经济信息。宏观经济的走向是每一个企业的负责人都关心的问题,因为企业的经营与国家经济的发展密切相关,不论是制造企业还是服务企业,都需要依托一个好的经济发展环境,因此,企业希望在运行过程中能够及时把握一些宏观经济的信息,这样可以从大方向上去掌握当前面临的经济形势。

  第二,行业统计数据。作为企业,行业的发展走势、竞争对手的现状等都是他们非常关心的问题,因此,对于行业统计数据的需求较大,特别是当一个企业要进入新的行业,他们就迫切需要了解行业目前的发展现状、行业集中度、竞争的激烈程度以及市场上各类公司的表现等,近几年在我所接触的很多企业客户中,对于行业研究的需求越来越强烈。而且,一些企业已经不仅仅满足于了解自身行业的数据,还渴求对于关联行业的数据都有一定的了解,比如手机行业对于电脑行业、装修行业对于服装行业的数据的需求等,因为这些行业之间可以互相借鉴一些产品设计和营销的策略和方法。

  第三,第一手调查数据。市场调查行业是应企业的信息需求而产生于20世纪80年末90年代初,目前已经发展成为信息咨询业中的一个重要的行业,而随着企业市场竞争的激烈,企业越来越关心自身的市场占有率、品牌影响力以及目标客户的评价。目前,企业对于市场调查数据集中的需求在于客户满意度调查、品牌形象调查、消费者需求调查等方面,随着未来各个行业的竞争,这类来自于第一手调查的需求还将呈现增长趋势。

  第四,社会生活中的各类反映趋势的数据。企业的经营者必须把握最前沿的资讯,才能让自己的视野更加开阔,同时也才能对企业做出具有前瞻性的判断,因此,很多企业的经营者对于社会生活各个方面的信心都很关心,特别是一些反映趋势的数据和信息,比如现代人生活方式变化的数据、国内外相关产业发展的数据,甚至是一些来自于时尚界的资讯。企业之所以关心这些信息,是因为希望从中获取一些创新的灵感以及捕捉商机。

  总的来看,目前企业对于信息的需求不仅看重宏观层面,也关注微观层面,不仅关心一些感性层面的信息,也关注一些理性分析的数据和报告。这个需求的特点与中国当前处于一个经济高速增长阶段有关系,企业的经营者必须通过各种立体的数据来了解自己的企业、行业以及社会环境,从而才能保证得出正确的决策。这并不是一个信息过剩的时代,而是一个真信息很难把握的时代。

  数据的价值:尴尬的现实

  很多跨国企业经过多年的运营已经形成了科学的管理体系,因此,他们在经营决策时候,更加重视对于数据的应用,“用数据说话”是他们的一个典型的形象,大到企业的经营目标,小到员工的绩效考评,都需要用数据的支持。但是,中国本土企业在这方面还没有得到足够的重视,当前调查数据的需求更多的还集中在中国的跨国公司,以及一些有品牌的大型企业,数据的价值还没有得到足够的重视。从当前中国企业的特点可以发现,中国企业对于数据的价值认识还不足,主要表现在:

  企业缺乏数据意识。过去很多企业都习惯于“拍脑袋”进行决策,因此对于科学的数据常常不予关注,主观的判断往往大于科学和系统的论证,而随着竞争的加剧,这种情形已经很难维持企业的发展。缺乏数据意识的主要原因一方面是企业的思维习惯的原因,另外一方面是因为企业没有看到数据的价值导致的,这依赖于统计机构和数据研究机构的共同努力。

  企业没有建立系统的数据收集体系。一些大型的品牌企业,都有专门负责市场信息的部门,并有专门的数据收集体系,因此,企业需要的外部信息可以通过制度化和规范化的体系获得,从而可以让企业做出灵敏的市场反应。但是现在大多数企业还没有规范的数据收集体系,因此就很难将各类数据进行深入的分析,为决策作参考依据。

  外部研究机构的价值没有得到重视。企业庞大的数据需求完全可以委托给第三方的数据研究机构来完成,这些数据研究机构由于掌握先进的调查统计方法和工具和专业的人才,可以帮企业节省大量的人力物力,但是这些研究机构还没有得到企业应有的重视,一方面,研究机构的水平之间差异较大,问题还比较多;另外一方面,数据研究产业刚刚发展起来,还需要一些时间才能真正普及到企业。

  理想化数据需求与数据采集难度的矛盾。有一些企业的经营者有强烈的数据收集的意识,但是由于过于关心一些硬性的数据,常常提出一些很难实现的数据需求,比如一些企业就非常关心竞争对手的销售额等数据,而在实际的数据调查中,这类数据很难通过一般的调查方式来获得,即便可以获得,其真实性也很难保证。而企业要这个数据的目标却并不是数据本身,但是一些企业经营者拿到数据的时候,往往关心的问题是自己的企业该怎么办,因此,提升企业对于不同数据能够带来的价值的意识,也是数据产业界未来需要加强的工作。

  数据将会成为中国新的一个产业链,目前来看,中国的数据产业还处于起步阶段,由于行业数据、统计数据不公开,更使得很多数据的获取难度和成本较大,常常导致一些企业转而降低了对于数据的需求量。

  信息需求的未来:5大趋势

  从长远来看,中国企业对于数据的需求将会呈现上升趋势,随着中国企业规模的壮大和经营管理的日渐成熟,“信息”将散发出无穷的魅力,同时企业对于信息的需求也呈现出一些新的趋势:

  信息需求立体化。过去很多企业对于信息的需求较为单一,比如只关心行业信息,或者只重视市场调查,而随着中国加入WTO之后面临的企业全球化的调整,以及外资企业对于中国市场的进攻,中国企业对于信息的需求将呈现出多元化的特点,不仅需要宏观的统计数据,也需要大量的第一手的市场调查,还需要一些及时的有价值的信息资讯。而作为市场信息的供应商,必须要学会多元化的整合企业的信息需求,并能够通过价值联盟、数据的多元开发来满足企业的需求。

  更关注数据解读而不仅仅是信息描述。信息固然重要,但是信息并不是企业最终需要的东西,企业需要的是基于信息的深度的解读,以及基于信息和数据形成的对策、思考和远见。因此,企业需要的不仅仅是信息,而是对未来的洞察力,以及下一步的行动选择,因为只有把握趋势,才能更好的创造未来。这几年数据调查业向咨询业转型的特点也是这一需求变化的体现,因此,未来能够以信息为核心,揭示信息背后的社会变迁、经济发展、行业竞争、生活形态等内在规律和未来趋势的机构将会备受欢迎,企业不仅关心“是什么”,还关心“为什么”和“怎么办”。

  数据信息指标化。很多时候,数据提供机构往往会给企业提供大量的数据、厚厚的调查报告,但是企业常常对于这些信息缺乏关注的时间和耐心,真正对于企业有帮助的是,能够将信息体系化,将数据指标化,能够通过整合出一些综合的反映市场变化的指标来指导企业的经营和管理,这将能够更好的满足企业科学化管理的要求,比如对于企业来说,一些指标就非常重要,例如品牌影响力、员工满意度、顾客满意度等,这些指标可以通过常态的动态的信息收集系统来收集,并能应用到企业的管理中,将能够进一步提升数据的价值。

  大数据心得体会篇(9)

  在2013年普利策新闻奖获奖名单中,获得“特稿写作奖(Feature Writing)”的《纽约时报》作品《雪崩》(Snow Fall: The Avalanche at Tunnel Creek)尤为引人注目,因为它意味着一种颠覆性的新闻写作方式得到了主流新闻界的认可。《雪崩》是由专题记者John Branch撰写的系列报道,以完全自然流畅且方便易读的方式集成了现场视频、照片和气象图表并在纽约时报的网站上,不仅突破了传统报纸的新闻呈现方式,其新颖程度甚至令其他在线新闻网站自愧弗如。打开这篇新闻网页,呈现在眼前的首先是全屏循环播放的积雪滚落下山坡的视频;往下滑动页面,则能见到记者的文字流畅地穿插于视频、照片和信息图之间。

  而早在2011年,调查性报道“弗罗里达州保险危机(Florida's Insurance Risk)就曾运用线上数据库;2012年《费城问询者报》在报道校园暴力事件时,也使用了视频、数据库和互动地图等数据资源。这些以多媒体进行呈现的新闻报道,虽然依旧以内容为核心,但大数据的优势已经充分显现:通过信息图(Infographic),繁琐、枯燥、抽象的内容、关系和变化过程得以可视化、形象化,充分调动受众的兴趣;节约受众时间,以便更好地关注、理解、记忆最重要的新闻点;有效梳理、整合事件的发展、变化过程;揭示事件中复杂的人物关系、利益关系和结构关系;整合与组织不同时间、来源的多种内容。

  媒体营销模式的更新:以往触不可及的梦想在大数据时代实现了

  在信息爆炸的社会,受众面对海量信息,往往需要花费大量的时间和精力进行筛选。但借助来自移动互联网和社会化媒体所提供的丰富数据资源(例如用户的地理位置、关系网、兴趣图谱等信息),以及日臻精确的挖掘和分析技术,媒体可以了解受众的心理、 需求以及行为习惯等,并以此为基础提供更符合受众需要的、个性化的内容服务与广告营销。这样的精准传播会加深受众好感,提高用户忠诚度。

  当人们惊喜地发现亚马逊、当当网的推荐正是下一本想要的书,豆瓣电台会根据用户的以往收听记录来播放其喜欢的音乐,Linkedin能基于个人信息和关注好友来推断用户可能认识的人时,数据的作用还局限于比较简单的网上行为分析。而近期在40多个国家大热的美剧《纸牌屋》的成功原因则更加发人深省:视频网站Netflix根据数据技术推导出喜欢BBC英剧(《纸牌屋》根据1990年BBC微剧改编)、大卫·芬奇和凯文·史派西的用户存在交集,进而买下版权进行改编和重拍,并且真的促成了这二人的黄金组合。

  以往触不可及的梦想在大数据时代实现了。而最深刻的革命其实不在外界,而在人类的思维领域。

  人类思维的转向:人类的态度、情绪、行为等都可以变为数据进行分析和预测

  人类内心深处隐秘的欲望、需求、情感是可以洞悉并预测的吗?这是一个长久以来盘亘在心理学家、行为学家、哲学家心中的困惑,而大数据时代的统计学家、数据挖掘专家则做出了肯定而乐观的回答。现在,“情感分析”、“预测模型”的应用已经渐入佳境,企业和媒体已经可以通过“情感分析”来确定社交媒体上用户群的态度,而推特(Twitter)甚至在2012年美国大选时对用户每天推文和评论的关键词进行量化跟踪,计算出“政治指数”来判断民心所向。

  大数据技术使得人类的态度、情绪、行为等以往认为难以测量的方面,都可以变为数据来进行分析和预测。日常生活里的可量化维度从未得到如此淋漓尽致的挖掘与利用,而数学模型也在更广泛的领域里得到了重视。以往的统计分析强调的是因果关系,而现在的大数据研究更注重相关关系。因果关系的讨论时常不够全面,而对相关关系的把握更能够产生效用。从对“为什么”的疑问到对“是什么”的追寻,这体现了人类对世界的探索和理解有了更丰富的思路。

  也许最极端的结论来自全球复杂网络研究权威艾伯特-拉斯洛·巴拉巴西。在《爆发:大数据时代预见未来的新思维》一书中,他宣称人类行为93%是可以预测的:“当我们将生活数字化、公式化以及模型化的时候,我们会发现其实大家都非常相似。我们都具有爆发式,而且非常规律。看上去很随意、很偶然,但却极其容易被预测。”“爆发”即指人们的工作、娱乐及其他种种活动都有间歇性,会在短期内突然爆发,然后又几乎陷入沉寂。人类行为并非随机的小概率事件,而是在意向作用下非常规的突变行为。

  不论巴拉巴西的理论是否赢得主流的共识,这些发现至少表明,在技术以外,大数据时代向人类昭示出越来越多富有启发意义的世界观和历史观。

  大数据时代的隐忧:数据垄断的困境

  首先,数据的可接近性并不就使得其使用合乎伦理。大数据为监测和预示人们的生活提供了极大的方便,然而个人隐私也随之暴露在无形的“第三只眼”之下。无论是电子商务、搜索引擎还是微博等互联网服务商都对用户行为数据进行了挖掘和分析,以获得商业利益,这一过程中不可避免地威胁到普通人的隐私。以往人们认为网络的匿名化可以避免个人信息的泄露,然而大数据时代里,数据的交叉检验会使得匿名化失效。许多数据在收集时并非具有目的性,但随着技术的快速进步,这些数据最终被开发出新的用途,而个人并不知情。不仅如此,运用大数据还可能预测并控制人类的潜在行为,在缺乏有效伦理机制下有可能造成对公平、自由、尊严等人性价值的践踏。

  其次,越大的数据并非总是越好的数据。对数据的盲目依赖会导致思维和决策的僵化。当越来越多的事物被量化,人们也更加容易陷入只看重数据的误区里。关于数据在何时何地有意义的争议,已经不再局限于“标准化考试是否能够衡量学生素质”之类的讨论,而是拓展到更加广阔的领域。另一方面,如果企业甚至政府在决策过程中滥用数据资料或者出现分析失误,将会严重损害民众的安全和利益。如何避免成为数据的奴隶,已经成为迫在眉睫的问题。

  第三,大数据的有限接入产生新的垄断和数码沟。面对大数据,谁能接入?为何目的?在何种情境下?受到怎样的限制?数据大量积累的同时,却也出现了数据垄断的困境。一些企业或国家为了维护自己的利益而拒绝信息的流动,这不仅浪费了数据资源,而且会阻碍创新的实现。与互联网时代的数码沟问题一样,大数据的应用同样存在着接入和技能的双重鸿沟。对于数据的挖掘和使用主要限于那些具有计算机开发和使用背景的专业人士,这也就意味着谁将占据优势、谁会败下阵来,以及由此而来的面对“谁更有权力”的拷问。

  大数据心得体会篇(10)

  关键词: 抽样调查 采集数据 调查技巧 数据评估

  中图分类号:F713.51文献标识码:A 文章编号:

  “开放、搞活”使商业流通领域中的中小企业和个体经营户得到前所未有的发展,逐步形成以限额以下企业和个体户为主体的商品流通新格局。在这种形势下,限额以下批零贸易业、住宿餐饮业统计调查面临调查对象数量庞大、规模小、分散、成分复杂、稳定性差、财务不健全、调查配合程度低等一系列难题。原来的流通统计调查方法已无法适应形势变化,统计调查部门无法取得准确的限额以下批零贸易业、住宿餐饮业统计数据,只能由县区统计调查部门对限额以上企业单位采用全面调查,而对限额以下的经营单位(包括个体户)采用抽样调查。从以前的调查过程和数据处理结果来看,限额以下抽样调查工作方案是科学可行的,运作是成功的。当然,限额以下抽样调查也存在一些不足的地方。现根据本市限额以下抽样调查工作的实践和体会,探讨商业个体经营户的调查技巧及应用。

  一、限额以下商业抽样调查工作中存在的问题

  1、样本户数据质量难保证。随着市场经济的不断深入,利益主体的多元化,限额以下商业日益壮大,已成为流通领域经济增长的新生力量。限额以下批发零售业、住宿餐饮业的抽样调查对象是小企业和个体经营户,他们大多没有专兼职统计人,没有规范健全的台帐。目前税收部门对一些小企业实行包税制度,因此,许多小企业不具有完整的财务资料;而个体经营者根本没有财务核算资料,进销存记录不全面,甚至没有相关记录,样本户提供的数据,存在较大的统计误差。

  2、调查户配合程度较低,变动频繁。一是批发零售业、住宿餐饮业抽样调查的核心数据指标“销售额”和“营业收入”,是调查对象最敏感的指标,因为调查会涉及到自身的商业秘密。对个体经营户而言,纳税多少税务部门要依销售额和营业收入而定。调查户在思想上存有戒备心理,一怕“露富”招惹是非;二怕“露底”,担心填报数据成为纳税、处罚的依据;三怕“露个人隐私”。因此个体和私营企业配合程度较低,普遍存在瞒报现象。调查员对调查户提供的数据要进一步分析评估,有时不得不调整申报数据。二是限下批零贸易企业、餐饮企业、个体经营户为了适应市场经济的发展,随时都有转换经营方向的可能,关、停、并、转现象时有发生,造成抽中的样本单位经营范围不稳定,搜集的数据可比性差,数据质量难保证。尽管现行的《抽样调查方案》要求对已关、停、并、转的样本进行同行业替换,但实际工作中要在同一调查区查找同行业、同规模、同变动趋势和幅度的样本很难。此外,经营大件商品行业的营业额月度起伏大,样本代表性较差,难以准确反映这类企业经营成果,造成抽样调查数据质量难以保证。

  3、部分辅助调查员的业务素质偏低。参与样本调查的人员绝大多数为村居委会工作人员兼职。既不具备专业统计调查知识,又不是专兼职统计员,仅仅经过调查部门调查前的培训,其业务技术水平、调查技能等远不能适应要求。

  二、对限额以下商业调查方法和技巧的可行性探讨

  (一)组织实施

  1、重视调查员的选聘工作。调查员的选聘工作必须充分依靠行政资源,要选聘被抽中居委会(社区)、村委会的工作人员兼任调查员,利用他们熟悉辖区内的经济经营状况,被个体经营户的认知度和信任度较高的优势,进行现场数据采集。选聘一个文化程度、责任心强、工作热情、组织能力好、沟通交流能力强、综合素质较高的调查员,是保证基层调查数据质量的关键,是限下商业抽样调查组织工作的基石,是取得调查成功的根本

  2、搞好培训和宣传发动工作。搞好限下商业抽样调查的培训和宣传发动工作,是保证调查工作顺利开展和及时准确取得调查数据的重要环节。全市(县)区级调查统计机构要做好调查方法培训和调查统计指标的解释工作,对于被抽中居委会(社区)、村委会以及个体户的宣传工作要具体进行落实,强调依法调查统计的地位。通过培训组建起一支责任心强、精通调查业务的人员队伍。在这一方面,应重视对调查员责任感的培养和调查技能的训练。由于商业调查面对的调查对象的特点,要取得准确的调查数据,关系熟的社区人员容易获得准确的数据,但还要要求调查员本身也要具于很高的素质,因此培训工作显得很重要。重点作好调查技术方面的培训、沟通能力、应变能力的培训,能够根据被调查者的心理状况、行为方式等个性化特征迅速地将被调查者拉向自己。教会调查人员掌握用灵活的调查方法和技巧,避免直接了当,生硬的调查询问方式。通过细致的宣传发动工作,要尽量消除调查对象的思想顾虑,提高调查对象的配合程度,建立和谐融洽的调查关系。

  (二)数据采集

  鉴于限下商业个体户相信依赖政府又担心露富被罚的复杂心理,数据采集方式还是选用入户采集数据,由选聘的调查员直接入户调查询问。无论是县(区)级调查统计机构承担的调查样本多少,组织现场调查都应该由选聘的调查员担当主角。一种形式是承担的调查样本较少,县(区)级调查人员可以和选聘的调查员共同入户采集数据。另一种形式是承担的调查样本较多,由选聘的调查员直接入户采集数据,县(区)级调查统计机构必须按比例进行电话抽查跟班调查。入户采集数据要灵活多样,有多种调查技巧可以采用。

  1、取得调查对象的信任。首先,访谈者要有朴实、亲切的外表举止。诚恳对待调查对象,避免居高临下的态度或有任何官员行为的架子,要有自然拉近距离的感觉;访谈时要面对而坐,不要一高一低,象审问一样,尽量做到中性访问者,努力取得调查对象的好印象。其次,访谈者要有体贴、体察调查对象心理状态的能力。例如,在交谈过程中应让调查对象有充分表达自己态度及想法的空间,特别在其兴致所至时或欲发泄一些不满时,应给以呼应和同情。对一些健谈及心情不好的调查对象应给予心理过渡的过程。

  2、技术性提问。影响基层报表的数据质量主要来至两层面:一是调查员层面。对调查员来说,正确理解调查指标的口径、范围及调查员良好的沟通能力调查技巧,都是提高调查质量的重要方面。二是调查对象层面。调查中常常遇到调查对象提供不实信息的问题,这就需要调查员能结合当地情况、其他同行者的经营状况、经营者自身的相关情况进行综合判断,还可以通过相关指标的比对来识别调查对象提供信息的可靠程度。因此调查人员对各项指标之间的关系和对调查行业的了解程度对调查结果和数据质量都会产生很大的影响。

  3、引导性提问。遇到难以得到真实数据或棘手回答的问题,采用引导性提问或诱导性提问,通常情况下,最好的引导就是重复。在访问技巧上也可以设立问题“陷阱”,以得到真实的调查结果。如:可以从调查对象的生活负担、上缴费用、大项消费、近年固定资产购置等问题着手;从周围同行业的经营状况和相邻的限下商业个体户的经营情况着手。通过旁征博引得到真实的调查结果。

  4、现场调查中注意的问题。为了提高调查数据的完整性和限下商业个体户的有效调查率,数据采集现场要求调查员还应注意一些问题。一是数据采集现场应尽量避免调查对象的同行或竞争对象在场,否则,会影响调查对象回答问题的真实性;二是现场数据记录要注意调查对象的状态和场景,否则,调查对象回答问题会有所顾忌;三是提问时间不宜过长,以8--10分钟内完成调查为宜,问题不宜过多,关键问题控制在5个以内为好。

  (三)数据质量评估

  各级调查统计机构针对个体商业抽样调查资料,应结合当地商业的发展状况,从样本代表性、调查制度执行情况、主要指标和相关专业指标趋势吻合性等方面,行业发展对比情况,邀请有关经济、社会、统计等知名专家,认真进行调查统计数据的质量评估认定工作,以达到个体商业抽样调查资料的客观性、真实性、可解释性、可衔接性、可比性等数据质量的基本条件。加强数据评估和开展数据质量大检查。加大了评估力度;采用自查、互查与数据质量大检查相结合的方式,加强对数据的检查,提高数据质量。

  可采用以下方法对数据进行评估: