爱游戏平台云计算技术_

 

  支持数万个客户端系统,支 持 PB 级存储容量,单个文 件最大支持 320TB 容量。

  支持 RDMA 网络,大文件 读写分片优化,多个 OSS 能获得更高的聚合带宽。

  (1)运行时模块化和扩展化:支持在控制器运行时进行服务的安装、删除和更新。 (2)多协议的南向支持:南向支持多种协议。 (3)服务抽象层:南向多种协议对上提供统一的北向服务接口。 (4)开放的可扩展北向 API:通过 REST或者函数调用方式,提供可扩展的应用 API 。 (5)支持多租户、切片:允许网络在逻辑上(或物理上)划分成不同的切片或租户 ; 控制器的部分功能和模块可以管理指定切片;控制器根据所管理的分片来呈现不同的 控制观测面。 (6)一致性聚合:提供细粒度复制的聚合和确保网络一致性的横向扩展。

  Lustre 是基于 Linux 平台的开源集群(并行) 文件系统,最早在 1999 年由皮特·布拉姆创建的 集群文件系统公司开始研发,后由 HP、Intel、 Cluster File System sInc 和美国能源部联合开 发,于 2003 年正式开源,主要用于高性能计算 领域。

  数据具有强一致性,确保所 有副本写入完成后才返回确 认,适合读多写少的场景。

  采用 CRUSH 算法,数据分 布均衡,并行度高,不需要 维护固定的元数据结构。

  云计算网络是一种 IT 基础设施,是云计算基础架构中的由软件 定义的计算机网络,其部分或全部网络功能和资源托管在私有或 公有云平台中,由内部或服务提供商管理,并可按需提供,内部 和外部的计算资源和用户可以使用云计算网络进行连接、通信。 企业可以使用内部部署的网络资源来构建私有云计算网络,也可 以使用公有云中的基于云的网络资源,或者两者的混合云计算网 络组合,这些网络资源包括虚拟路由器、防火墙、带宽和网管软 件等,并可根据需要提供其他工具和功能

  Swift 的数据模型采用层次结构,共设 3 层:Account/Container/Object(即账户/ 容器/对象)。每层节点数均没有限制,可以任意扩展。

  Swift 基于一致性散列技术,通过计算将 对象均匀分布到虚拟空间的虚拟节点上, 在增加或删除节点时可大大减少需移动的 数据量。 为便于进行高效的移位操作,虚拟空间大 小通常采用 2n。通过独特的数据结构即环, 将虚拟节点映射到实际的物理存储设备上, 完成寻址过程。

  资源池化技术通过计算、存储分离的架构,对基础算力资源统一调度、 编排,提供了超大规模的计算和存储资源池,提高可靠性和可用性。

  阿里云发布 CIPU对底层基础设施资源的虚拟化管理能力,承载飞天对这 些资源的编排和调度需求,具备存储、网络、计算、安全等硬件加速能力

  云计算是将计算、存储、网络以及虚拟化等技术进 行结合的技术方案,是产品技术和商业模式创新相 结合形成的数字基础设施。其关键技术包括虚拟化 技术、分布式存储技术、云计算网络技术、云计算 安全技术、云操作系统、云开发、云运维等。

  P4 是一种用于与协议无关的包处理器编程的高 级语言,它与 OpenFlow 等 SDN 控制协议协 同工作,解决了 OpenFlow 编程能力不足的问 题。

  数据中心网络的拓扑设计是为了缓解数据中心网络建设成本、设备规模及资 源利用率之间的矛盾。构建数据中心网络是为了支撑数据中心中服务器主机 之间的东西流量和南北流量。数据中心能够提供服务的规模取决于服务器主 机的数量,而构建一个数据中心的成本还需要考虑到支撑其网络通信的交换 机等设备的数量。设计数据中心的网络架构,用尽可能少的交换机和链路, 为尽可能多的服务器主机提供尽可能高的资源利用率,并不是一个简单的问 题。为了设计更加高效的数据中心网络,数据中心网络的拓扑结构也在不断 发生着新的变化。

  4 写请求给主副本,主副本给不同客户端的操 作分配序号,保证操作顺序执行。

  5 主副本把写请求发送到次副本,次副本按照主副本 分配的序号顺序执行所有操作。

  特别是针对 GB 级别的大文 件,适用于对数据访问延时 不敏感的搜索类业务。

  云计算的核心观念是将所有资源以服务的形式进行 抽象,网络也不例外, NaaS 。云服务提供商可以 将自身的网络资源虚拟化,并允许 租户按需对它们 进行租用

  OpenStack Neutron 是一个专注于在虚拟计算环境中提供 NaaS 的 SDN 项目。它的前身是OpenStack 中原有的定义网络模块管理接口的 Quantum 项目。Neutron 目前已经在 OpenStack中的 Quantum 里提供原有网络应 用的 API。Neutron 旨在弥补在云环境中已知的传统网络技术的缺陷。传统 网络管理在多租户环境中租户缺乏对网络拓扑和寻址的控制,使得租户难以

  Mininet 创建一个简单的由软件定义网络 控制的 Clos 数 据中心网络。Mininet 是一款基于 Python 和 Linux 网络命 名空间实现的轻量级 网络 仿真工具。由于其默认支持 OpenFlow 实现,经常被用于于软件定义网络相关的网络 仿 线 软件定 义网络

  分布式和虚拟化技术解决了供应链弹性、整体可扩展性和部分资源 利用率问题,推动互联网企业从“大机”向分布式系统整个迁移

  GFS 是谷歌的分布式文件存储系统,是专为存储海量搜索数据而 设计的,于 2003 年提出,是闭源的分布式文件系统。其适用于 大量的顺序读取和顺序追加(如大文件的读写)注重大文件的持 续稳定带宽,而不是单次读写的延迟。

  3 客户端将数据推送给主副本和次副本。 当所有副本都确认收到数据后,客户端发送

  SDN是一种架构,它抽象了网络的不同、可区分的层, 使网络变得敏捷和灵活,通过企业和服务提供商能够快 速响应不断变化的业务需求来改进网络控制。 在软件定义的网络中,网络工程师或管理员可以从中央 控制台调整流量,而无须接触网络中的各个交换机,无 论服务器和设备之间的特定连接方式如何,集中式 SDN 控制器都会指导交换机在任何需要的地方提供网络服务。

  采用完全对称架构,无主节点,无单点故障,爱游戏官网 易于大规模扩展,性能容量呈线性增长。

  数据实现最终一致性,不需要所有副本写入即可 返回,读取数据时需要进行数据副本的校验。

  Ceph 最早起源于 2004 年,是塞奇就读博士期间的成果,并随后 贡献给了开源社区。经过多年的发展之后,Ceph 已得到众多云计 算和存储厂商的支持,成为应用最广泛的开源分布式存储平台之一。 Ceph 根据场景可分为对象存储、块设备存储和文件存储。

  Ceph 充分利用了存储节点上的计算能力,在存储每一个数 据时,都会通过计算得出该数据存储的位置,尽量将数据分 布均衡。采用了 CRUSH、Hash 等算法,使得它不存在传统 的单点故障,随着规模的扩大,性能并不会受到影响。

  ONOS(Open Network Operating System,开放网 络操作系统)是专门面向服务提供商和企业骨干网的开 源 SDN 操作系统,是由开放网络实验室打造的一款商用 控制器爱游戏平台。ONOS 旨在满足服务提供商和企业骨干网高可 用性、可横向扩展及高性能的网络需求。ONOS 具有的 核心功能主要包含北向接口抽象层/API、分布式核心平 台、南向接口抽象层/API、软件模块化。

  基于组的策略(Group-Based Policy,GBP)是 OpenStack 的 API 框架, 提供一种 Intent驱动模型,旨在以独立于底层基础架构的方式来描述应用程 序需求。GDP 没有提供以网络为中心的结构(如第二层域),二是引入了一 个通用的“组”基元及一个策略模型来描述组之间的连接性、安全性和网络 服务。虽然 GBP 目前仅专注于网络领域,但它完全可以成为一个通用的框 架,在网络之外的其他领域取得应用。

  Swift 最初是由 Rackspace 公司开发的分布式对象存储服 务,于 2010 年贡献给了 OpenStack开源社区作为其最 初的核心子项目之一,为其 Nova 子项目提供虚拟机镜像 存储服务。

  (1)代理服务器 (2)认证服务器 (3)缓存服务器 (4)账户服务器 (5)容器服务器 (6)对象服务器 (7)复制服务 (8)更新服务 (9)审计服务 (10)账户清理服务

  通过在客户端缓存元数据, 尽量减少与元数据服务器的 交互,通过文件的预读取来 提升并发性能。

  元数据服务器需要的持久化 数据会通过操作日志与 checkpoint 的方式存放多 份,故障后元数据服务器会 自动切换重启。

  (1)数据通过负载均衡获得节 点动态IP 地址。 (2)通过块、文件、对象协议 将文件传输到节点上。 (3)数据被分割成4MB 对象并 取得对象ID。 (4)对象ID 通过Hash 算法被 分配到不同的PG 中。 (5)不同的PG 通过CRUSH 算法 被分配到不同的OSD 中。

搜索