CPFS存储技术，它如何革新数据管理与存储的未来？

CPFS存储是阿里云的全托管、可扩展并行文件存储系统，支持多种协议，优化GPU和CPU计算场景，适用于AI训练等多种业务。

1、定义：CPFS（Cloud Parallel File Storage）是阿里云完全托管、可扩展的并行文件存储系统，支持POSIX、MPI-IO和NFS协议，针对GPU和CPU计算场景进行了深度优化，提供对数据亚毫秒级的访问和百万级IOPS的数据读写请求。

2、产品亮点

高性能访问：支持标准的POSIX、MPI-IO、NFS协议，并支持协议互访，高性能计算程序无需进行任何接口适配和性能优化即可高效率执行。

统一命名空间下的子文件系统Fileset：在统一命名空间下，通过Fileset对文件系统进行切分独立管理，实现不同业务、不同部门之间的容量合理规划、数据和性能隔离、数据生命周期管理。

与OSS数据流动：方便的数据流动能力，让CPFS成为OSS数据的高性能加速器，AI/HPC等应用可以方便地通过CPFS的高性能文件接口访问OSS中的海量数据，冷数据也可流入低成本OSS，降低存储整体费用。

全并行架构：可支持百亿文件，百万IOPS和OPS，Tbps级吞吐，全闪存介质搭配RDMA高速网络，吞吐最大可以扩展到数百GB/s，数据IOPS和元数据OPS最大可以扩展到数百万，全并行多链接架构，通过专属客户端支持几千个节点并行与CPFS存储集群内的所有存储服务器建立连接，直读直写数据分片，无单点瓶颈，最大限度地发挥并行架构的优势，文件做block级别的分片，分片均匀分布在存储集群内，单个文件的读写可利用所有存储节点的IO带宽，支持数据自动平衡，通过Restripe迁移数据分片，防止数据热点，客户端缓存，可配置数据本地读缓存，缩短访问时延。

3、应用场景

AI与自动驾驶训练：自动驾驶场景下，每台测试车每天将产生几十TB数据，针对这些数据需要进行快速分析，同时控制数据快速累积带来的成本增长，超高性能CPFS存储可提高多机多卡GPU计算资源的利用率，降低计算成本，云上CPFS弹性扩展能力和即开即用，减少运维管理成本，CPFS和OSS数据流动，实现云上云下无缝对接，打通数据上传、计算、分发、归档全流程，降低数据存储成本。

基因与药物小分子计算：基于阿里云优秀的基础架构和底层盘古分布式存储系统，CPFS突破了传统NAS读强写弱的瓶颈，读和写均可达到极高性能，满足对写也有极高吞吐要求的基因计算的性能需求，CPFS与OSS数据流动，打通原始数据上传、计算、结果分发、归档全流程。

EDA仿真：分布式元数据架构，大文件分片读取实现大吞吐，分布式元数据打散元数据访问压力，实现小文件高OPS，一套系统可同时满足前端仿真和后端仿真的需求，支持数据落盘加密，满足数据安全需求。

影视渲染：文件存储CPFS通过缓存服务为影视渲染的TB级数据提供几十GB/s的超大吞吐和百万IOPS的性能，且可随渲染任务规模在线扩容吞吐能力，业务无需中断。

4、性能参数：文件存储CPFS可以提供数百GB的带宽，数百万的IOPS以及亚毫秒级的延时，具体的带宽和IOPS与购买的文件系统规模有关。

5、数据持久性和服务可用性：文件存储CPFS的数据持久化存储于阿里云自研的盘古分布式存储系统，支持多份数据拷贝，可以提供99.999999999%（11个9）的数据可靠性，文件存储CPFS的所有节点均为高可用设计，实现集群内秒级别的故障检测，并由CPFS集群调度器自动将服务切换到其他节点，同时兼顾负载均衡，整个切换过程用户不感知，提供远高于传统两节点的高可用性。

6、扩展性和弹性：文件存储CPFS支持在线扩容，由于所有数据均以条带化的方式存储并且支持扩容以后的自动负载平衡，可满足性能的线性增长，并且即时利用扩容节点的吞吐和存储能力，满足业务增长需要的更多容量与性能诉求。

7、安全性：文件存储CPFS支持配置企业自建的LDAP（Lightweight Directory Access Protocol）服务，来控制CPFS文件系统的用户访问，不接入LDAP时，CPFS只允许root用户访问文件系统，其他用户访问时将返回permission denied错误，接入LDAP时，您需要提供LDAP服务器并确保LDAP服务的连通性。

8、计费方式：文件存储CPFS的计费项包括存储容量和带宽，开通产品时默认按照实际使用量按小时计费（按量付费），同时也支持购买资源包（包年包月）的方式提前购买资源的使用额度和时长，获取更多的优惠。

FAQs

1、Q: CPFS存储适用于哪些具体场景？

A: CPFS存储适用于多种高性能计算场景，包括但不限于AI深度训练、自动驾驶、基因计算、EDA仿真、石油勘探、气象分析、影视渲染等业务场景。

2、Q: CPFS存储如何保证数据的持久性和服务可用性？

A: CPFS存储的数据持久化存储于阿里云自研的盘古分布式存储系统，支持多份数据拷贝，可以提供极高的数据可靠性，所有节点均为高可用设计，实现集群内秒级别的故障检测和自动服务切换，确保服务的高可用性。