云计算、大数据和人工智能这三者一样吗?

今天感谢分享与大家聊一聊云计算、大数据和人工智能。一般谈云计算的时候会提到大数据、谈大数据的时候会提到人工智能、谈人工智能的时候又会提云计算……感觉三者之间相辅相成又不可分割。可又难理解这三者之间的相互关系,所以有必要解释一下。

首先聊一聊云计算:

1.什么叫计算、网络、存储资源?

比如你要买台笔记本电脑,是不是要关心这台电脑是什么样的CPU?多大的内存?这两个就被我们称为计算资源。

这台电脑要上网,就需要有个可以插网线的网口,或者可以连接我们家路由器的无线网卡。您家也需要到运营商开通一个网络,然后会有师傅弄一根网线到您家来,师傅可能会帮您将您的路由器和他们公司的网络连接配置好。这样您家的所有的电脑、手机、平板就都可以通过您的路由器上网了。这就是网络资源。

您可能还会问硬盘多大?过去的硬盘都很小,大小如10G之类的;后来即使500G、1T、2T的硬盘也不新鲜了。(1T是1000G),这就是存储资源。

对于一台电脑是这个样子的,对于一个数据中心也是同样的。想象你有一个非常非常大的机房,里面堆了很多的服务器,这些服务器也是有CPU、内存、硬盘的,也是通过类似路由器的设备上网的。

2.管理的目标就是要达到两个方面的灵活性

时间灵活性:

想什么时候要就什么时候要,需要的时候一点就出来了;

空间灵活性:

想要多少就有多少。需要一个很小的电脑,可以满足;需要一个特别大的空间,随时上传随时有空间,永远用不完,也可以满足。

3.物理设备不灵活

首先是它缺乏时间灵活性,不能够达到想什么时候要就什么时候要。其次是它的空间灵活性也不行。例如用户需要一个很小很小的电脑,但现在哪还有这么小型号的电脑?如果买一个大的,可用户需要用的只有那么小一点,所以多付钱就很冤。

4.虚拟化灵活多了

虚拟化的技术使得不同客户的电脑看起来是隔离的。也就是我看着好像这块盘就是我的,你看着这块盘就是你的,但实际情况可能我的这个10G和你的这个10G是落在同样一个很大很大的存储上。如果事先物理设备都准备好,虚拟化软件虚拟出一个电脑基本上几分钟就能解决。这样空间灵活性和时间灵活性就基本解决了。

5.虚拟世界的赚钱与情怀

这个世界上很多软件都是有闭源就有开源,源就是源代码。也就是说,某个软件做的好,所有人都爱用,但这个软件的代码被我封闭起来,如果其他人想用这个软件,就要向我付钱,这就叫闭源。

但世界上总有一些大牛看不惯钱都让一家赚了去的情况。大牛们觉得,这个技术你会我也会;你能开发出来,我也能。我开发出来就是不收钱,把代码拿出来分享给大家,全世界谁用都可以,所有的人都可以享受到好处,这个叫做开源。

6.虚拟化的半自动和云计算的全自动

要说虚拟化软件解决了灵活性问题,其实并不全对。因为虚拟化软件一般创建一台虚拟的电脑,是需要人工指定这台虚拟电脑放在哪台物理机上的。这一过程可能还需要比较复杂的人工配置。所以使用VMware的虚拟化软件,需要考一个很牛的证书,而能拿到这个证书的人,薪资是相当高,也可见复杂程度。

随着集群的规模越来越大,基本都是千台起步,动辄上万台、甚至几十上百万台。这么多机器要靠人去选一个位置放这台虚拟化的电脑并做相应的配置,几乎是不可能的事情,还是需要机器去做这个事情。

人们发明了各种各样的算法来做这个事情,算法的名字叫做调度(Scheduler)。通俗一点说,就是有一个调度中心,几千台机器都在一个池子里面,无论用户需要多少CPU、内存、硬盘的虚拟电脑,调度中心会自动在大池子里面找一个能够满足用户需求的地方,把虚拟电脑启动起来做好配置,用户就直接能用了。这个阶段我们称为池化或者云化。到了这个阶段,才可以称为云计算,在这之前都只能叫虚拟化。

7.云计算的私有与公有

云计算大致分两种:一个是私有云,一个是公有云,这里混合云暂且不说这个。

私有云:

把虚拟化和云化的这套软件部署在别人的数据中心里面。使用私有云的用户往往很有钱,自己买地建机房、自己买服务器,然后让云厂商部署在自己这里.

公有云:

把虚拟化和云化软件部署在云厂商自己数据中心里面的,用户不需要很大的投入,只要注册一个账号,就能在一个网页上点一下创建一台虚拟电脑。例如国内的阿里云、腾讯云、网易云等。

8.云计算的赚钱与情怀

公有云的第一名亚马逊过得很爽,第二名Rackspace过得就一般了。没办法,这就是互联网行业的残酷性,多是赢者通吃的模式。

第二名就想,我干不过老大怎么办呢?开源吧。于是Rackspace和美国航空航天局合作创办了开源软件OpenStack,有了OpenStack之后,果真像Rackspace想的一样,你能想象到的所有如雷贯耳的大型IT企业:IBM、惠普、戴尔、华为、联想等都疯了。所有的IT厂商都加入到这个社区中来,对这个云平台进行贡献,OpenStack已经成为开源云平台的事实标准。

9 .资源层面的灵活性

随着OpenStack的技术越来越成熟,可以管理的规模也越来越大,并且可以有多个OpenStack集群部署多套。对于普通用户的感知来讲,基本能够做到想什么时候要就什么什么要,想要多少就要多少。

其实背后的机制是这样的:当大家都上传,云平台发现快满了的时候(例如用了70%),会采购更多的服务器,扩充背后的资源,这个对用户是透明的、看不到的。从感觉上来讲,就实现了云计算的弹性。其实有点像银行,给储户的感觉是什么时候取钱都有,只要不同时挤兑,银行就不会垮。

10.总结

到了这个阶段,云计算基本上实现了时间灵活性和空间灵活性;实现了计算、网络、存储资源的弹性。计算、网络、存储我们常称为基础设施Infranstracture, 因而这个阶段的弹性称为资源层面的弹性。管理资源的云平台,我们称为基础设施服务,也就是我们常听到的IaaS(Infranstracture As A Service)。

二、云计算不光管资源,也要管应用

实现了资源层面的弹性就够了吗?显然不是,还要有应用层面的弹性。虽然资源层面实现了弹性,但没有应用层的弹性,依然灵活性是不够的。

人们在IaaS平台之上又加了一层,用于管理资源以上的应用弹性的问题,这一层通常称为PaaS(Platform As A Service)。不同的环境千差万别,一个脚本往往在一个环境上运行正确,到另一个环境就不正确了,而容器是能很好地解决这个问题。

容器是Container,另一个意思是集装箱,其实容器的思想就是要变成软件交付的集装箱。集装箱具有两大特点:一是封装,二是标准。

那么容器如何对应用打包呢?

首先要有个封闭的环境,封闭的环境主要使用了两种技术,一种是看起来是隔离的技术,称为 Namespace,也即每个Namespace中的应用看到的是不同的IP地址、用户空间、程号等。另一种是用起来是隔离的技术,称为 Cgroups,也即明明整台机器有很多的 CPU、内存,而一个应用只能用其中的一部分。有了容器,使得 PaaS层对于用户自身应用的自动部署变得快速而优雅。