大数据虚拟化解析

一.为什么会有Docker出现

一款产品从开发到上线，从操作系统，到运行环境，再到应用配置。作为开发+运维之间的协作我们需要关心很多东西，这也是很多互联网公司都不得不面对的问题，特别是各种版本的迭代之后，不同版本环境的兼容，对运维人员都是考验 .Docker之所以发展如此迅速，也是因为它对此给出了一个标准化的解决方案。

环境配置如此麻烦，换一台机器，就要重来一次，费力费时。很多人想到，能不能从根本上解决问题，软件可以带环境安装?也就是说，安装的时候，把原始环境一模一样地复制过来。

开发人员利用 Docker 可以消除协作编码时“在我的机器上可正常工作”的问题。开发需要清楚的告诉运维部署团队，用的全部配置文件+所有软件环境不过，即便如此，仍然常常发生部署失败的状况。

Docker镜像的设计，使得Docker得以打破过去"程序即应用" 的观念。透过镜像(images)将作业系统核心除外，运作应用程式所需要的系统环境，由下而上打包，达到应用程式跨平台间的无缝接轨运作。在这里插入图片描述。

二.什么是Docker

Docker是基于Go语言实现的云开源项目。Docker的主要目标是“Build，Ship and Run Any APP，Anywhere”，也就是通过对应组件的封装、分发、部署、运行等生命周期的管理，是用户的App及其运行环境能够做到“一次封装，到处运行”。

Linux容器技术的出现就解决了这样一个问题，而Docker就是在它的基础上发展过来的。将应用运行的Docker容器上面，而Docker容器在任何操作系统上都是一致的，这就实现了跨平台、跨服务器。只需要一次配置好环境，换到别的机器上就可以一键部署好，大大简化了操作,Docker解决了运行环境和配置软件容器，方便做持续集成并有助于整体发布的容器虚拟化技术。

三.虚拟机技术与容器虚拟化技术

虚拟机就是带环境安装的一种解决方案。 它可以在一种操作系统里面运行另一种操作系统，比如在Windows系统里运行Linux系统。应用程序对此毫无感知，因为虚拟机看上去就跟真实的系统一样，能够使应用程序，操作系统和硬件三者之间逻辑不变

虚拟机的缺点：

资源占用多

冗余步骤多

启动慢

由于虚拟机存在这些缺点，Linux发展出了另一种虚拟化技术：Linux容器(LinuxContainers，缩写为LXC)。

Linux容器不是模拟一个完整的操作系统，而是对进程进程进行隔离。有了容器就可以将软件运行所需的所有资源打包到一个隔离的容器中。容器与虚拟机不同，不需要捆包一整套操作系统，只需要软件工程所需的库资源和设置。系统因此而变得高效轻量并保证部署在任何环境中的软件都能始终如一的工作。

比较Docker和传统虚拟机方式的不同之处：

传统虚拟机技术是虚拟机出一套硬件后，在其上运行一个完整操作系统，在该系统上在运行所需应用进程;

而容器内的应用进程直接运行于宿主的内核，容器内没有自己的内核，而且也没有进行硬件虚拟。因此容器要比传统虚拟机更为轻便。每个容器之间相互隔离，每个容器有自己的文件系统，容器之间进程不会互相影响，能区分计算字资源。

四.Docker的基本组成

Docker镜像(image)就是一个只读的模板。镜像可以用来创建Docker容器，一个镜像可以创建很多容器。

Docker容器(Container)独立运行的一个或一组应用。容器就是镜像创建的运行实例。它可以被启动、开始、停止、删除。每个容器都是相互隔离的、保证安全的平台。可以把容器看做是一个建议的Linux环境和运行在其中的应用程序。容器的定义和镜像几乎一模一样，也是一堆层的统一视角，唯一区别在于容器的最上层那一层是可读可写的。

Docker仓库(Repository)是集中存放镜像文件的场所。仓库和仓库注册服务器是有区别的。仓库注册服务器上往往存放着很多个仓库，每一个仓库又包含了多个镜像，每个镜像有不同的的标签(tag)。仓库分为公开仓库和私有仓库两种形式。最大的公开仓库是DockerHub

Docker本身是一个容器运行载体或称之为管理引擎。我们把应用程序或配置依赖打包好形成一个可交付的运行环境，这个打包好的运行环境就似乎image镜像文件。只有通过这个镜像文件才能生成Docker容器。image文件可以看作是容器的模板。Docker根据image文件生成容器的实例。可以生成多个同时运行的容器实例。

五、为什么使用Docker

Docker 在如下几个方面具有较大的优势：

更快速的交付和部署

Docker在整个开发周期都可以***的辅助你实现快速交付。Docker允许开发者在装有应用和服务本地容器做开发。可以直接集成到可持续开发流程中。

开发者可以使用一个标准的镜像来构建一套开发容器，开发完成之后，运维人员可以直接使用这个容器来部署代码。 Docker 可以快速创建容器，快速迭代应用程序，并让整个过程全程可见，使团队中的其他成员更容易理解应用程序是如何创建和工作的。 Docker 容器很轻很快!容器的启动时间是秒级的，大量地节约开发、测试、部署的时间。

高效的部署和扩容

Docker 容器几乎可以在任意的平台上运行，包括物理机、虚拟机、公有云、私有云、个人电脑、服务器等。 这种兼容性可以让用户把一个应用程序从一个平台直接迁移到另外一个。

Docker的兼容性和轻量特性可以很轻松的实现负载的动态管理。你可以快速扩容或方便的下线的你的应用和服务，这种速度趋近实时。

更高的资源利用率

Docker 对系统资源的利用率很高，一台主机上可以同时运行数千个 Docker 容器。容器除了运行其中应用外，基本不消耗额外的系统资源，使得应用的性能很高，同时系统的开销尽量小。传统虚拟机方式运行 10 个不同的应用就要起 10 个虚拟机，而Docker 只需要启动 10 个隔离的应用即可。

更简单的管理

使用 Docker，只需要小小的修改，就可以替代以往大量的更新工作。所有的修改都以增量的方式被分发和更新，从而实现自动化并且高效的管理。

从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。