大数据，云计算&人工智能 - 好文

原文：https://mp.weixin.qq.com/s/jEfNk-Pr6rJmz2KWDohkKA
<https://mp.weixin.qq.com/s/jEfNk-Pr6rJmz2KWDohkKA>

一、云计算的最初目标：对资源的管理

本质：资源到架构的全面弹性

*
数据中心：计算资源、网络资源、存储资源

*
灵活性：

*
时间灵活性：想什么时候要就什么时候要

*
空间灵活性：想要多少就有多少

*
物理设备本身缺乏以上的灵活性

*
虚拟化：从整个数据中心虚拟化出硬件设备，实现灵活性

*
赚钱：VMware

*
情怀：开源——Xen，KVM

*
虚拟化 vs 云计算

*
虚拟化：需要人工制定虚拟机的配置，适用于集群较小(<100）的情形

*
云计算：使用调度(Scheduler）算法进行自动配置——由调度中心在大池子里进行虚拟电脑的启动和配置->云化/池化

*
云计算：Compute,Networking & Storage

*
私有云：帮助有钱的大用户部署虚拟化和云化的整套软件

*
公有云：把虚拟化和云化的软件部署在自驾的数据中心，开放给用户使用：AWS，阿里云，腾讯云，华为云等

*
赚钱：老大亚马逊AWS

* 情怀：老二Rackspace + NASA ->OpenStcak——开源云平台标准

二、云计算：从资源管理到应用管理

*
IaaS(Infranstracture As A Service)：实现资源层面的弹性

*
PaaS(Platform As a Service)：在IaaS的基础上，实现通用应用的自动安装部署->管理资源以上的应用弹性

*
用户的应用自动安装：Docker容器等->对用户应用程序进行自动部署

*
通用的应用不用安装->由云计算平台帮助用户去进行通用应用的维护：如MySQL，Oracle等->让用户专注于应用本身

*
容器对应用打包：封闭，镜像

三、大数据拥抱云计算

*
数据：

*
分类：

*
结构化数据

*
半结构化数据

*
非格式话数据

*
数据(Data)->清洗->信息(Information)->规律总结->知识(Knowledge)->实战总结->智慧(Intelligence)

*
从数据到智慧：通过分步处理，从数据中得到智慧

*
数据的收集

*
拿：爬虫

*
推送：由终端进行收集

*
数据的传输：一般采用消息队列模式

*
数据的存储

*
数据的处理和分析

*
清理和分析->高质量数据

*
分析->数据间相互关系->知识

*
数据的检索与挖掘

*
大数据时代：集群处理

*
对数据的收集：集群处理

*
对数据的传输：内存队列->基于硬盘的分布式队列(Kafka)

*
对数据的存储：单机文件系统->分布式文件系统

*
对数据的分析：分布式计算：PageRank Hadoop->Spark

*
大数据和云计算

*
云计算为大数据提供资源层的灵活性，也可以使用PaaS平台提供应用平台自动部署

*
现有公有云都会提供大数据的解决方案

四、人工智能拥抱大数据

*
机器与人心：智能推荐图灵测试

*
让机器学会推理：从严谨的公式->更一般的生活应用

*
教给机器知识：专家系统

*
使用统计方法->让机器自己学习

*
模拟人脑->神经网络

*
人工智能与大数据

*
神经网络包含众多节点，每个节点包含众多参数->大量参数量和计算量

*
对于人工智能，即使大数据厂商将对应软件给客户，由于没有数据训练->效果仍然很差

*
因此->由于云计算厂商有大量数据，可以在云计算厂商安装人工智能软件，给服务接口给用户使用->Software As A Service(SaaS)

*
人工智能作为SaaS平台进入云计算

热门工具换一换