大数据的感知，是了解和运用大数据的第一步，也可以理解为大数据的获取。

在当前大数据变革的时代，移动互联网、智能终端、新型传感器快速渗透到地球的每一个角落，人人有终端、物物可传感、处处可上网、时时在链接，数据增长速度用几何式增长甚至爆发式增长都很难形容得贴切。有机构预计，到2020年全球数据使用量将达到约44ZB(1ZB=10万亿亿字节)，将涵盖经济社会发展各个领域。由此产生的革命性影响将重塑生产力发展模式，重构生产关系组织结构，提升产业效率和管理水平，提高政府治理的精准性、高效性和预见性。毋庸置疑，大数据将创造下一代互联网生态、下一代创新体系、下一代制造业形态以及下一代社会治理结构。

一、大数据的认识

近年来大数据技术的快速发展深刻改变了我们的生活、工作和思维方式。大数据研究专家舍恩伯格指出，大数据时代，人们对待数据的思维方式会发生如下三个变化：第一，人们处理的数据从样本数据变成全部数据；第二，由于是全样本数据，人们不得不接受数据的混杂性，而放弃对精确性的追求；第三，人类通过对大数据的处理，放弃对因果关系的渴求，转而关注相关关系。事实上，大数据时代带给人们的思维方式的深刻转变远不止上述三个方面。笔者认为，大数据思维最关键的转变在于从自然思维转向智能思维，使得大数据像具有生命力一样，获得类似于“人脑”的智能，甚至智慧。

（一）总体思维

社会科学研究社会现象的总体特征，以往采样一直是主要数据获取手段，这是人类在无法获得总体数据信息条件下的无奈选择。在大数据时代，人们可以获得与分析更多的数据，甚至是与之相关的所有数据，而不再依赖于采样，从而可以带来更全面的认识，可以更清楚地发现样本无法揭示的细节信息。如今，技术环境已经有了很大的改善。在大数据时代进行抽样分析就像是在汽车时代骑马一样。在某些特定的情况下，依然可以使用样本分析法，但这不再是分析数据的主要方式。“也就是说，在大数据时代，随着数据收集、存储、分析技术的突破性发展，人们可以更加方便、快捷、动态地获得研究对象有关的所有数据，而不再因诸多限制不得不采用样本研究方法，相应地，思维方式也应该从样本思维转向总体思维，从而能够更加全面、立体、系统地认识总体状况。

（二）容错思维

在小数据时代，由于收集的样本信息量比较少，所以必须确保记录下来的数据尽量结构化、精确化，否则，分析得出的结论在推及总体上就会”南辕北辙“，因此，就必须十分注重精确思维。然而，在大数据时代，得益于大数据技术的突破，大量的非结构化、异构化的数据能够得到储存和分析，这一方面提升了从数据中获取知识和洞见的能力，另一方面也对传统的精确思维造成了挑战。在大数据时代，思维方式要从精确思维转向容错思维，当拥有海量即时数据时，绝对的精准不再是追求的主要目标，适当忽略微观层面上的精确度，容许一定程度的错误与混杂，反而可以在宏观层面拥有更好的知识和洞察力。

（三）相关思维

在小数据世界中，人们往往执着于现象背后的因果关系，试图通过有限样本数据来剖析其中的内在机理。小数据的另一个缺陷就是有限的样本数据无法反映出事物之间的普遍性的相关关系。而在大数据时代，人们可以通过大数据技术挖掘出事物之间隐蔽的相关关系，获得更多的认知与洞见，运用这些认知与洞见就可以帮助我们捕捉现在和预测未来，而建立在相关关系分析基础上的预测正是大数据的核心议题。通过关注线性的相关关系，以及复杂的非线性相关关系，可以帮助人们看到很多以前不曾注意的联系，还可以掌握以前无法理解的复杂技术和社会动态，相关关系甚至可以超越因果关系，成为我们了解这个世界的更好视角。舍恩伯格指出，大数据的出现让人们放弃了对因果关系的渴求，转而关注相关关系，人们只需知道”是什么“，而不用知道”为什么“。人们不必非得知道事物或现象背后的复杂深层原因，而只需要通过大数据分析获知”是什么“就意义非凡，这会给人们提供非常新颖且有价值的观点、信息和知识。也就是说，在大数据时代，思维方式要从因果思维转向相关思维，努力颠覆千百年来人类形成的传统思维模式和固有偏见，才能更好地分享大数据带来的深刻洞见。

（四）智能思维

不断提高机器的自动化、智能化水平始终是人类社会长期不懈努力的方向。计算机的出现极大地推动了自动控制、人工智能和机器学习等新技术的发展，”机器人“研发也取得了突飞猛进的成果并开始一定应用。应该说，自进入到信息社会以来，人类社会的自动化、智能化水平已得到明显提升，但始终面临瓶颈而无法取得突破性进展，机器的思维方式仍属于线性、简单、物理的自然思维，智能水平仍不尽如人意。但是，大数据时代的到来，可以为提升机器智能带来契机，因为大数据将有效推进机器思维方式由自然思维转向智能思维，这才是大数据思维转变的关键所在、核心内容。众所周知，人脑之所以具有智能、智慧，就在于它能够对周遭的数据信息进行全面收集、逻辑判断和归纳总结，获得有关事物或现象的认识与见解。同样，在大数据时代，随着物联网、云计算、社会计算、可视技术等的突破发展，大数据系统也能够自动地搜索所有相关的数据信息，并进而类似”人脑“一样主动、立体、逻辑地分析数据、做出判断、提供洞见，那么，无疑也就具有了类似人类的智能思维能力和预测未来的能力。”智能、智慧“是大数据时代的显著特征，大数据时代的思维方式也要求从自然思维转向智能思维，不断提升机器或系统的社会计算能力和智能化水平，从而获得具有洞察力和新价值的东西，甚至类似于人类的”智慧“。

大数据时代将带来深刻的思维转变，大数据不仅将改变每个人的日常生活和工作方式，改变商业组织和社会组织的运行方式，而且将从根本上奠定国家和社会治理的基础数据，彻底改变长期以来国家与社会诸多领域存在的”不可治理“状况，使得国家和社会治理更加透明、有效和智慧，不断成为企业、社会和国家层面重要的战略资源，成为机构的资产，成为提升机构和公司竞争力的有力武器。

二、安防大数据的获取

近年来，大数据一词越来越多地被提及与使用，其含义是广泛的，涉及到各行业。对安防行业来说，大数据是安防行业发展的未来之路，是智能化安防的提纲挈领。然而，大数据时代，如何对海量的数据进行分析和检索，成了安防企业竞相研究的课题。谁能掌握大数据下的智能分析，将海量数据化大为小、化繁为简，预先把监控行业网发展的脉搏，谁就将掌握市场和竞争的主动权。

在安防领域，大数据的来源和获取以平安城市、智能交通、智慧城市等大型项目的使用为主，由过去单一的系统布防逐渐转变为大数据应用分析的综合智能系统。”海量“和”非结构化“。这两个特点在视频监控行业尤为突出，如何在”海量“和”非结构化“的监控视频数据中快速找到对人们有用的信息变的尤为重要。

平安城市是一个特大型的管理系统，综合性强。它的建设目标是满足治安管理、城市管理、交通管理、应急指挥等需求，往往还要兼顾灾难事故预警、安全生产监控等方面对图像监控的需求，并考虑报警、门禁等配套系统的集成以及与广播系统的联动。所以，平安城市注定将是一个大的数据集合体，对它的精准分析和高效利用也就至关重要。而从具体行业来看，从”事后查看“到”事前预警“，多年来一直是公安、交通等各重点行业用户的迫切需求，但长期以来，视频的清晰度以及各项基础、分析技术的发展都无法满足现实的需求。而随着高清技术的应用以及IT架构、分析技术的快速发展，依靠大数据分析技术，能从大量非结构化的视频数据中提取出有价值的信息，从而使”事前预警“成为现实。

对于安防行业而言，在平安城市、智能交通管理、环境保护、危化品运输监控、食品安全监控，或是政府机构、大企业工作场所等与网络连接的设备系统有着巨大的数据来源。如何将各区域各行业的监控设备资源连接起来，通过信息公开、数据共享、数据挖掘推动新型的以大数据应用为基础的安防，构成了安防的大数据时代。目前发防大数据的来源可以归纳为以下几大类：

（一）视频数据

包括各地平安城市建设的视频监控数据、交警、城管、金融、海关、检验检疫等部门建设的视频监控数据以及接入到电信运营商公共平台的视频数据等等。而各企业、商铺、家庭等自建的相对独立的视频数据则难以采集、整合。随着高清时代的到来，视频数据已成为最重要的安防数据。

（二）卡口、电子警察数据

车辆、驾驶、通行数据，主要来源于智能交通领域。

（三）用户日常社交数据

包括用户日常上网浏览记录、消费记录、社交记录等数据。

（四）用户基站数据

包括用户位置数据、通信数据、访问数据等等。