云概念、架构和设计
云计算概念
云计算的定义
云计算(cloud computing)是分布式计算的一种,指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序,然后,通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。云计算早期,简单地说,就是简单的分布式计算,解决任务分发,并进行计算结果的合并。因而,云计算又称为网格计算。通过这项技术,可以在很短的时间内(几秒钟)完成对数以万计的数据的处理,从而达到强大的网络服务。
现阶段所说的云服务已经不单单是一种分布式计算,而是分布式计算、效用计算、负载均衡、并行计算、网络存储、热备份冗杂和虚拟化等计算机技术混合演进并跃升的结果。
云计算指通过计算机网络(多指因特网)形成的计算能力极强的系统,可存储、集合相关资源并可按需配置,向用户提供个性化服务。
云计算角色和职责
1.云服务客户(用户)Cloud Service Customer (user)
云客户是任何购买云服务的人,可以是个人或公司。云用户只是使用云服务的人,可能是作为云客户的公司的雇员或者只是个人。
2.云服务提供商(CSP)Cloud Service Provider (CSP)
提供云计算服务的供应商。CSP将拥有数据中心、雇用员工、拥有和管理(硬件和软件)资源、提供服务和安全,并为云客户和云客户的数据及处理需求提供管理方面的帮助,例如AWS、Rackspace和Microsoft Azure
3.云访问安全代理商(CASP)Cloud Access Security Broker (CASP)
第三方的实体,通常作为一个中介为云服务提供商和云客户提供独立的身份和访问管理(Indentityyand Access Management, IAM)服务,也称为云服务代理商(Cloud Service Broker,CSB)
4.云服务合作伙伴 Cloud Service Partner
与CSP有各种合作协议的实体,如电信、宽带提供商、软件即服务提供商和安全解决方案供应商。示例AWS(GuardDuty)和Rapid7
5.监管机构 Regulator
确保组织遵循规章制度框架。这些监管机构可以是政府机构、认证机构或合同的当事人,也称云审计师(Cloud Auditor)
6.数据所有者 Data Owner
收集或创建数据的组织。在组织中,通常会为数据指派一名特定的数据所有者,作为拥有数据权利和责任的个人;这个人通常是创建或收集特定数据集合(Dataset)的部门主管或业务单元经理。从云计算的角度看,云客户通常就是数据所有者。很多国际性条约和框架认为,数据所有者也是数据控制者(Data Controller)
7.数据托管者 Data Custodian
代表数据所有者操作、存储或移动数据的任何组织或人员。在组织内部,数据托管者可能就是数据库管理员。但在云环境中,数据托管者通常是云服务提供商。按照国际惯例,数据托管者也称为数据处理者(Data Processor)。
云计算关键特性
1.按需自助服务
用户只需单击按钮或API调用,AWS、Microsoft Azure、谷歌云和其他公共云平台即可为用户提供资源。由于拥有和运营的数据中心遍布全球,这些云计算提供商拥有大量的计算和存储资源。这对于习惯于内部部署采购流程的IT团队来说是一种根本性的进步。
云计算的自助服务提供特性与随需应变计算能力密切相关。开发人员无需采用更多的服务器交付到私有数据中心,而是可以选择所需的资源和工具(通常通过云计算提供商的自助服务门户)并立即构建。管理人员制定政策限制IT团队和开发团队可以运行的内容,但在其范围内,团队成员可以自由构建、测试和部署他们认为合适的应用程序。
2.广泛的网络访问
云计算的一个优势就是无处不在。用户可以通过全球互联网连接从任何地方访问数据或将数据上传到云平台。由于大多数企业混合使用操作系统、平台和设备,因此云计算是一个有吸引力的选择。
云计算提供商通过监控和确保反映客户如何访问云计算资源和数据的各种指标(延迟、访问时间、数据吞吐量等)来维护广泛的网络访问。这些指标包括服务质量要求和服务级别协议。
3.多租户
云管平台中租户的概念
云管平台中的租户是一个逻辑概念,我们每个人或者一个企业在公有云平台注册账户之后,平台就认为我们就是一个租户,就会以租户为基本单位来为我们分配资源。租户(Tenant)是指使用系统或计算资源的用户,包含在系统中可识别为指定用户的一切数据,比如在系统中创建的账户与统计信息(Accounting Data),以及在系统中设置的各式数据和用户所设置的客户化应用程序环境等,都属于租户的范围。
举例:比如我的华为云账户ABC,华为云就为我ABC这个账户分配了资源,身份ID、独立VPC。如果我再注册一个新的账户,那么华为云就会为我分配新的租户资源。就像给我建了一个独立数据中心,只有我一个人在用。
云管平台中多租户的概念
多租户是一种单个软件实例可以为多个不同用户组提供服务的软件架构。在云计算中,多租户也可以指共享主机,其服务器资源将在不同客户之间进行分配。租户间共享资源越多,基础资源的利用率越高,单位资源成本越低,租户间隔离性越差。
4.可扩展性和快速弹性
资源池可为云计算提供商和用户提供可扩展性,因为可以根据需要添加或删除计算、存储、网络和其他资产。这有助于企业IT团队优化其云平台托管的工作负载并避免最终用户瓶颈。云计算可以垂直或水平扩展,云计算提供商可以提供自动化软件来为用户处理动态扩展。
传统的内部部署架构无法轻松扩展。通常,企业必须通过购买服务器和其他基础设施资产来规划峰值容量。这些多余的资源在活动暂停期间处于空闲状态。
虽然可扩展性倾向于描述长期的云计算基础设施计划,但快速弹性更像是一种短期特性。当需求意外激增时,正确配置的云计算应用程序和服务会立即自动添加资源来处理负载。当需求减少时,其云计算服务将恢复到原来的资源水平。
5.资源池
公共云提供商依靠多租户架构来同时容纳更多用户。客户的工作负载是从硬件和底层软件中抽象出来的,它们在同一主机上为多个客户提供服务。云计算提供商越来越依赖定制硬件和抽象层来提高安全性,并加快用户对资源的访问。
6.可度量服务
按使用付费定价
这种云计算特性将IT支出从资本支出转移到运营支出,因为云计算提供商提供每秒计费服务。尽管这通常被视为一个积极因素,但IT团队必须小心谨慎,因为他们的资源需求可能不是静态的。采用的虚拟机应该大小合适,在不使用时关闭,或者根据情况缩小规模。否则,企业就会浪费成本,并且当月度账单到达时,将会支付更多费用。
这种定价模式曾经是云计算的唯一支付方式,但云计算供应商后来增加了各种定价计划,这些定价计划通常以较低的成本来换取长期的承诺。
计量服务
衡量服务使用情况对于云计算提供商及其客户都是有用的。提供者和客户监视并报告资源和服务的使用情况,例如虚拟机、存储、处理和带宽。该数据用于计算客户的云计算资源消耗,并输入按使用付费模型。同时,云计算提供商可以更好地了解客户如何利用其资源,并潜在地改善所提供的基础设施和服务。
7.安全性
到目前为止,还没有发现主要云计算平台的基础资源遭到破坏。尽管许多企业出于安全考虑而不愿迁移工作负载,但这些担忧在很大程度上已经消失,部分原因是云计算的上述特性带来的好处。全球主要云计算提供商雇佣了全球最优秀的安全专家,通常比大多数内部IT团队更能应对威胁。实际上,全球一些规模最大的金融机构表示云计算是一种安全资产。
构建块技术
1.虚拟化 Virtualization
虚拟化是一种资源管理技术,是将计算机的各种实体资源(CPU、内存、磁盘空间、网络适配器等)予以抽象、转换后呈现出来并可供分割、组合为一个或多个电脑配置环境。虚拟化技术可以扩大硬件的容量,简化软件的重新配置过程。
CPU的虚拟化技术可以单CPU模拟多CPU并行,允许一个平台同时运行多个操作系统,并且应用程序都可以在相互独立的空间内运行而互不影响,每一个操作系统中都有多个程序运行,每一个操作系统都运行在一个虚拟的CPU或者是虚拟主机上,因此,计算机的工作效率得到显著提升。
虚拟化技术不仅仅指虚拟内存和虚拟服务器,还包括网络虚拟化、微处理器服务器虚拟化、文件虚拟化和存储虚拟化等。
2.存储 Storage
存储技术的演变
ICT产业从60年代以主机、终端为核心的第一平台到80年代以个人电脑、客户端/服务器和局域网/互联网为依托的第二平台,直至今天演进到了以云计算、大数据、移动、社交媒体为依托的第三平台。第三平台被IDC称为ICT的未来,整个IT行业向第三平台转型是大势所趋。
随着上层应用的结构性变革,对应底层存储经历了直连式存储、传统存储、云存储三个阶段。
直连式存储DAS
直连式存储DAS:存储设备只是服务器的附属品,以服务器为中心,应用服务器只对各自的存储设备进行管理,将存储设备作为外设直接连接到服务器扩展接口下。
优点: 简单易用
缺点: 各系统下文件分散存储、各自管理,同时占用服务器资源进行备份和恢复等存储维护管理;接口通道有限;存储设备扩展需关机;不提供跨平台文件共享。
随着数据量的增长,以服务器为中心的存储架构力不从心;期望能独立出存储设备,并具有良好的扩展性、可用性、可靠性,传统存储满足了该需求,使得以服务器为中心的数据存储模式逐渐向以数据为中心的数据存储模式转化。
传统存储(NAS/SAN)
传统存储作为独立的子系统走向前台,以数据为中心;优势在于其性能、可靠性和数据服务能力(如备份、容灾等)。它根据存储接口差异分为:网络附加存储NAS(文件接口)和存储区域网络SAN(块接口)。SAN强调关键数据的存储可靠性和备份要求,NAS用于提供友好接口和可管理性。
NAS是一个专用的文件服务器,I/O路径在本质上仍是传统的服务器到存储设备I/O方式。
优点: 提供跨平台文件共享;优化的存储系统对数据集中管理;价格比SAN便宜。
缺点: NAS仍用网络进行备份和恢复,消耗带宽。
SAN是以块设备为基础构成集中管理的存储区域网,根据存储网络协议不同分为FC SAN和IP SAN。
优点: 性能优异,系统可靠性和备份效率高。
缺点: FC SAN价格昂贵;数据共享困难。
云存储
随着云计算、大数据、移动、社交媒体等新领域的突破,存储需求增长迅速;传统存储面临性价比低、扩展性有限等问题,云存储具备的优势正好有效的弥补了传统存储的短板。在数据量增长很快,或者数据总量大的的业务系统中,常采用云存储技术。
云存储技术分类
云存储分为:分布式块存储、分布式文件存储、对象存储;在存储体系结构层次不同层级引入网络和存储抽象,对外呈现不同的存储接口。
ceph
ceph是⼀种分布式存储系统,可以将多台服务器组成⼀个超⼤集群,把这些机器中的磁盘资源整合到⼀块⼉,形成⼀个⼤的资源池(⽀持PB级别,大厂用得多),然后按需分配给客户端应⽤使⽤。
特点:
1.⽀持三种存储接口: 对象存储、块存储、⽂件存储,称之为统⼀存储
2.采⽤CRUSH算法,数据分布均衡,并⾏度⾼,不需要维护固定的元数据结构。CRUSH需要集群的映射,并使⽤CRUSH映射在OSDs中伪随机存储和检索数据,数据在集群中均匀分布
3.数据具有强⼀致性,确保所有副本写⼊完成后才返回确认,适合读多写少的场景
4.去中⼼化,没有固定的中⼼节点,集群扩展灵活
缺陷:
1.去中⼼化的分布式解决⽅案,需要提前做好组件和节点部署规划设计
2.ceph扩容时,由于其数据分布均衡的特性,会导致整个存储系统性能下降
3.数据库 Databases
4.网络 Networking
5.机器学习 Machine learning
6.自动化和协调 Automation and orchestration
Comments NOTHING