1.1、大数据概述

1、大数据概述

1996年，SGI公司首席科学家John Mashey第一次提出大数据的概念。

2001年，Gartner分析师Doug Laney首先定义了大数据的三个维度：数据容量

速度和种类（3V）。

业界把3V扩展到了11V，但主要包括Volume、Velocity、Variety、Value等

2、大数据定义

指无法在可承受的时间内用软硬件进行捕捉、管理和处理的数据集合，需要新处理模式才能使该数据集合成为具有更强的决策力、洞察力和流程优化等能力的海量、多样化的信息资产。

3、海量数据的来源

由25%的结构化数据和75%的非结构和半结构化数据构成。

数据类型分为：

结构化数据：指可以存储在数据库里，可以用二维表结构来逻辑表达实现的数据。

非结构化数据：不方便用数据库二维逻辑表来表现的数据，包括所有格式的办公文档，文本、图片，XML，HTML，各类报表图像和音频，视频信息等等

半结构化数据：介于结构化数据和非结构化数据之间的数据。HTML文档就属于半结构化数据。

4、大数据的价值

对于企业组织，大数据在竞争能力构建、决策分析和成本控制等领域有广泛的应用前景；对于事业组织，大数据在科学探索、知识服务和社会安全等领域也有强烈的需求。例如：

1.在卫星测绘领域能海量存储数据。

2.在金融领域能盘活归档数据，深挖存量数据价值。

3.在能源勘探领域能进行潜力分析，降低的勘探成本。

4.在媒体娱乐中能进行高清制播

……

5、大数据基本特征（4V）

量大（Volume）：存储大、计算量大

样多（Variety）：来源多、格式多

快速（Velocity）：生成速度快、处理速度要求快

价值（Value）：价值密度的高低和数据总量的大小成反比，即有价值的数据比重小。

6、大数据带来的挑战：

网络架构：传统网络架构支持南北向网络流量，不适配大数据应用对东西流量的需求。

数据中心：同时访问子系统压力大。

数据仓库：不适应非结构化数据和半结构化数据在数据处理上的需求。

7、大数据与云计算的关系：

云计算是底层平台，大数据是应用。

云计算作为底层平台，整合了计算、存储、网络等资源。同时提供基础架构资源弹性伸缩能力。

大数据在云计算平台的支撑下，调度下层资源进行数据源加载，计算和最终结构输出等动作。

1.2、电信大数据应用

1、大数据给电信行业的机会与挑战

挑战1：电信行业生产圈的信息产业遇到了革命性的变化。运营商相关业务的发展更加依赖数据，如传统的语音、窄宽、带宽数据以及超宽带 数字经济等相关业务的数据数据量越来越大。

挑战2：OTT 虚拟运营商的介入。使得运营商竞争环境更加的复杂和激烈

挑战3：客户消费模式的改变。需要大数据分析深入洞察用户的需求，进行定制化的服务，改善客户体验

挑战4：提升精细化的管理水平。以数据为中心的运营支撑一体化、精细化成为必然趋势，数据将成为企业的核心资产。

2、电信行业大数据典型商业需求

大数据的总体目标是构建统一的数据采集与整合能力，大数据分析处理能力，计算及数据服务能力，大数据应用能力和互联网化得数据开放能力，支撑业务创新与商业成功。

（1） 延长用户生命周期----大数据建模支撑用户全生命周期的营销和维系

（2） 提升业务使用量----基于大数据的营销体系有效运作、支撑多批次、小群体、高成功率、多用户触点的营销

（3） 对外价值变现----实现对外合作、MR数字轨迹形成商业价值

3、常见应用场景

（1）、潜在离网用户维挽场景

通过大数据的用户管理，对潜在的离网用户进行数据分析。通过大数据实现用户管理、营销策划、营销实施和闭环反馈的拉通。当海量用户数据来了之后，用大数据平台对所有用户进行分类、识别和管理。用户识别之后，根据用户大数据分析结果触发营销策略。对用户在内部进行渠道选择，匹配相应的资源套餐，通过用户的选择来进行效果的反馈。

（2）、综合网管分析平台—基站关联分析场景

根据离网用户的位置轨迹，用户的业务行为，基站地图以及基站网络质量KPI获得数据源，然后进行大数据的建模分析，判断离网用户是否与其常出没的基站存在关联，进而输出质差基站列表、基站供需平衡度、经常出没已识别质差以及基站的未离网用户列表。最后确定可服务的商用场景。

（3）、数据变现场景：户外数字媒体/非数字媒体价值评估场景

户外媒体行业缺乏受众测量方法

户外数字媒体/非数字媒体价值评估场景----需求分析、相关数据分析、广告屏分析得出结果输出

4、电信运营商大数据应用方向

以前电信运营商的主要收入来源：语音、短信业务，未来：数字化服务收入时代。因此需要建设大数据平台支撑：（1）自有业务收入提升（2）非通信价值变现，进而使运营商的业务数字化。

2.1、信息安全框架

1>.信息与信息安全

信息：数据/信息流

2>.信息安全：

保密性（Confidentiality）：只有授权用户可以获取信息

完整性（Integrity）：信息在输入和传输过程中不被非法授权、修改和破坏，保证数据的一致性。

可用性（Availability）：保证合法用户对信息和资源的使用不会被不正当的拒绝。

上述三个基本安全属性成为CIA

3>.安全漏洞的影响

1.声誉损失 2.财务损失 3.知识产权损失 4.失去客户的信任 5.业务中断

这所有最终会造成信誉损失。

4>.信息安全

信息安全是“组织问题”不是“IT问题”，

超过70%的威胁是内部，

超过60%的罪魁祸首是初次欺诈和讹骗活动。

最大的风险和资产都是人。

5>.IATF——深度防御保障模型

IATF阐述了系统工程、系统采购、风险管理、认证和鉴定、以及生命周期、支持等过程。

6>.信息安全管理的作用

技术措施需要配合正确的使用才能发挥作用。

根本上说，信息安全是个管理的过程，而不是技术过程，技术不高但管理良好的系统远比技术高但管理混乱的系统安全。

7>.信息安全管理体系（ISMS）

ISMS是一种常见的对组织信息安全进行全面、系统管理的方法。ISMS是由ISO27000定义的一种有关信息安全的管理体系，是一种典型的基于风险管理与过程方法的管理体系。周期性的风险评估，内部审核，有效性测量，管理评审是ISMS规定的四个必要活动，能确保ISMS进入良性循环，持续自我改进。

2.2、信息安全审计

1、风险、信息安全风险的概念

风险：指事态的概率及其结果的组合

信息安全风险：指认为或自然的威胁利用信息系统及其管理体系中存在的脆弱性导致安全事件的发送及其组织造成的影响。（例如：棱镜门事件）

2、风险的构成

包括五个方面：起源（威胁源）、方式（威胁行为）、途径（脆弱性）、受体（资产）和后果（影响）

3、风险相关术语

1>.资产：任何对组织有价值的东西，是要保护的对象，以多种形式存在（多种分类方法）：

①物理：计算设备、网络设备和存储介质等

②逻辑：体系结构、通信协议、计算程序和数据文件等

③硬件 ④软件 ⑤有形、无形：品牌、名誉等

⑥静态：设施、规程等 ⑦动态：人员和过程、技术和管理等。

2>.威胁：

①可能导致对系统或组织危害的不希望事故潜在起因

②引起风险的外因

③威胁源采取适当的威胁方式才可能引发风险

常见的威胁源：操作失误、滥用授权、行为抵赖、身份假冒、口令攻击、密钥分析、漏洞利用、拒绝服务、窃取数据、物理破坏、社会工程等。

3>.脆弱性：

可能被威胁所利用的资产或若干资产的薄弱环节

造成风险的内因

脆弱性本身不对资产构成危害，会被威胁源利用，从而对信息资产造成危害

比如：系统程序代码缺陷、系统安全配置错误、系统操作流程有缺陷、维护人员安全意识不足。

4>.可能性：

某件事发生的机会；

代表威胁源利用脆弱性造成不良后果的机会；

4、风险的概念

威胁源采用某种威胁方式利用脆弱性造成不良后果的可能性，即威胁源采取威胁方式利用脆弱性造成风险。

word/media/image1.gif

5、信息安全审计

是依据有关信息安全技术与管理标准，对信息系统及由其处理、传输和存储的信息的保密性、完整性和可用性等安全属性进行评价的过程。是揭示信息安全风险的最佳手段，改进信息安全现状的有效途径，满足信息安全合规要求的有效方式。

2.3、信息安全标准

1、大部分信息安全问题的发生原因：

员工缺乏信心安全意识

没有建立必要的信息安全管理机制

没有严格执行信息安全管理制度

缺乏必要的信息安全技术控制措施

标准和标准化相关的基本概念

2、标准：

是为了在一定范围内获得的最佳秩序，经协商一致制定并由公认机构批准，共同使用和重复使用的规范性文件。

国际标准化组织（ISO）：是一个全球性的非政府性组织，是国际标准化领域中一个十分重要的组织。

国际标准：是指国际标准化组织或国际标准组织通过并公开发布的标准。

国家标准（GB）：是指国家标准机构通过并公开发布的标准。

3、信息安全标准体系

是由信息安全领域内具有内在联系的标准组成的科学有机整体；

是编制信息安全标准制定/修订计划的重要依据；

2.4、信息安全现状分析

1、常见信息安全问题

计算机病毒：编制者在计算机程序中插入的破化计算机功能或数据的代码，能影响计算机使用，能自我复制的一组计算机指令或程序代码。

系统漏洞：应用软件或操作系统软件在逻辑设计上的错误或缺陷。

黑客：热心于计算机技术、水平高超的闯入计算机系统或者网络系统者，热衷于从事恶意破解商业软件、恶意入侵别人网站等事务。

2、信息安全问题产生根源

内因：信息系统本身存在脆弱性，

过程复杂、结果复杂、应用复杂。

外因：威胁与破坏，

主要因为人为因素和环境因素。

3、信息安全发展阶段

1>.通信安全：

信息和保密性。诞生于20世纪40~70年代。

核心思想是：通过密码技术解决通信保密，保证数据的保密性和完整性，主要关注传输过程中的数据保护。

安全威胁：搭线窃听、密码学分析。

安全措施：加密技术。

2>.计算机安全：

随着计算机的出现，安全就聚焦在如何保护计算安全。诞生于20世纪70~90年代。

核心思想是：预防、检测和减小计算机系统（包括软件和硬件）执行未授权活动所造成的后果，主要关注与数据处理和存储时的数据保护。

安全威胁：非法访问、恶意代码、脆弱口令等

安全措施：通过操作系统的访问控制技术来防止非收取用户的访问。

3>.信息系统安全：

随着信息化的不断深入，互联网的出现需要用到信息系统，主要涉及到保密性、完整性、可用性等。诞生于20世纪90年代后。

核心思想是：综合通信安全和计算机安全。重点在于保护比“数据”更精炼的“信息”，确保信息在存储、处理和传输过程中免受偶然或恶意的非法泄密、转移或破化。

安全威胁：网络入侵、病毒破化、信息对抗等。

安全措施：防火墙、防病毒、漏洞扫描、入侵检测、PKI、VPN等

4>.信息安全保障：

提升到一个可以可靠的、有利的保障企业安全运作、国家安全。

核心思想是：信息安全从技术扩展到管理，从静态扩展到动态，通过技术、管理和工程等措施的综合融合，形成对信息、信息系统乃至业务使命的保障。

安全威胁：黑客、恐怖分子、信息战、自然灾难、电力中断等

安全措施：技术安全保障体系、安全管理体系、人员意识培训教育

2.5、信息安全发展趋势

云计算和软件开源正在逐步成为新的标准

1、云服务

随着越来越多企业和个人开始将有价值的数据保存在云环境中，恶意人士当然也会找到可行途径利用基础设施访问这些数据

2、勒索软件：

这种攻击通过加密重要文件，使得数据无法被访问，要求支付赎金。

防范：提前培训员工，增加其安全意识，并且要求有规律的、完整的备份数据，就可以有效的削减勒索软件造成的危害。

3、钓鱼式攻击：

攻击者建立足以以假乱真的信息和网站，或者装作是看上去来自可信来源的信息，继而通过这些手段来获取访问你的系统的权限。

4、已知的安全隐患

往往是IT部门面临的最大威胁之一。

软件必须定期跟新补丁

5、物联网

物联网代表了另一种潜在的威胁。

2.6、云安全框架

1、云安全与传统安全技术的关系

云计算安全模式的划分与传统安全模式大体类似，由于虚拟化的引入，需要纳入虚拟化的安全防护措施，在基础层面上依然可依靠成熟的传统安全技术来提供安全防护

2、云安全聚焦

（1）、应用安全将会聚焦在：

应用安全架构；

软件开发生命周期；

工具和服务；

合规性；

脆弱性

（2）、加密和密钥管理

云用户和提供商需要避免数据丢失和被窃。

加密提供了资源保护功能，同时密钥管理则提供了对受保护资源的访问控制。

加密及秘钥管理是云计算系统保护数据的核心机制。

加密和密钥管理聚焦在加密的机密性、完整性以及密钥管理

（3）、身份和访问管理

管理身份和访问应用程序的控制仍然是当今的IT面临的最大挑战之一。

从长远来说延伸企业身份管理服务到云计算确是实现按需计算服务战略的先导。因此，安全有效的云身份和访问管理是企业部署云计算体系的前提。

身份和访问管理聚焦在身份供应和取消供应、认证联盟、授权和用户配置文件管理。合规是整个过程的关键考虑因素

（4）虚拟化

虚拟化在云计算的应用中，提供了整个云计算平台。特别关注与系统和硬件虚拟化相关的安全问题。如果虚拟机存在漏洞，攻击者可能会利用漏洞获取对整个主机的访问控制。

3、业务连续性和灾难恢复

传统的物理安全、业务连续性计划（BCP）和灾难恢复（DR）等形式的专业知识与云计算仍然有紧密关系。

2.7、网络安全攻防介绍

1、OSI安全体系结构

OSI安全体系结构定义了系统应当提供的五类安全服务，以及提供这些服务的八类安全机制；

五类安全服务是：鉴别、访问控制、数据机密性、数据完整性和抗抵赖性

八类安全机制分别包括：加密、数字签名、访问控制、数据完整性、鉴别、流量填充、路由控制和公证。

2、网络协议安全问题

网络接口层安全问题常见的有：自然灾害、误操作、传输线路电磁泄露、ARP欺骗等； 网络互连层安全问题常见的有：分片攻击、IP地址欺骗、窃听和IP数据包伪造传输层 安全问题常见的有：SYN洪水攻击、TCP会话劫持、数据包伪造等

应用层安全问题常见的有：跨站点脚本、钓鱼攻击、数据泄露等

3、无线局域网安全问题

安全问题：传输信道开放、容易接入、开放式认证系统、易于伪造的SID、无保护任意接入

认证机制：开放式认证系统、共享密钥认证（使用WAP进行保护，手动管理密钥存在重大隐患）

4、网络安全设备—防火墙

防火墙是位于多个网络间，实施网络之间访问控制的一组组件集合防火墙功能；

防火墙作用：能在网络连接点上建立一个安全控制点，对进出网络数据进行限制，将需要保护的网络与不可信任的网络进行隔离，隐藏信息，并对进出进行安全防护，以及对进出数据进行安全检查、记录相关信息。

防火墙的局限性：只实现了粗粒度的访问控制，不能防范病毒

5、入侵检测系统

作用：启示防火墙重要补充，构建网络安全防御体系重要环节，能够克服传统网络防御体系的限制。

功能：检测并分析用户系统活动，检测系统配置和漏洞，对操作系统进行日志管理，并识别违反安全策略的用户活动，针对已发现的攻击行为做出适当的反应。

局限性：配置操作和管理使用较为复杂，高虚报警域。

6、网络架构安全

网络是新系统的基础支撑环境，网络架构安全核心是保护网络和基础设施，核心目的是通过增加系统的防御屏障或将各层之间的漏洞错开的方式防范差错方式，实现深度防御。即通过设置多次层次的安全防护系统而构成多道防线，即使某一防线失效也能被其他防线弥补或纠正。网络架构安全设计聚焦在合理规划网络安全区域、规划IP地址和VLAN设计、安全配置路由以及交换设备、网络边界访问控制策略、安全冗余配置等

2017华为网络技术大赛--大数据与安全