数智化时期数据基础设施瞻望与建议

1 基于存算分离架构的AI-Ready 数据基础设施

以存算分离架构部署 AI-Ready 数据基础设施，加速智能显现AI 大模子走向多模态，算力集群限制和数据限制持续扩大、系统管制复杂过活渐增长的同期，数据存力渐渐成为 AI 持续高速增长的要害。存算分离架构的活泼性和孤立扩展，可有用简化智算集群管制、浅近筹画和存储永别按需扩展；在此架构下，活泼横向扩展、性能线性增长、多契约互通等才略成为数据基础设施基本条目。

1.1 趋势

1、AI 教悔走向多模态，数据限制持续增长、类型日趋复杂

伴跟着 AI 大模子从 NLP 走向多模态，数据快速扩张，带来了数据量的爆炸和数据处理复杂度的大幅提高。比如往时在 NLP 处理时，参数目限制平方在千亿级掌握，教悔数据都是不祥的数字、文本、图像、音频等；而到了多模态大模子时期，参数目限制也曾达到了万亿到十万亿级掌握，教悔数据追加视频、3D、4D 等等，每条教悔数据有几十 GB。数据考查方式，数据归集方式，数据组织款式都发生的根人道的变化。

2、陪同 AI 算力集群限制越来越大，算力利用率持续评述

AI 大模子的教悔和推理过程，主要分为四个阶段：数据获取，数据预处理，模子教悔，模子推理。

阶段一：数据获取，将不同数据源的数据导入到存储中（平方遴选数据湖），通过 Spark 中分析软件进行数据荟萃、过滤、聚类和索引，用于以后的分析和处理。平方，这个阶段需要 EB/PB 级的原始语料数据，通过 NAS、S3 等不同的契约进行考查，触及到 KB 级大小的文献、MB级大小的图片等，是一个夹杂 IO 读写模子。

阶段二：数据预处理，经过清洗之后的数据，通过数据预处理软件，进行特征提取，秉性建模，并进行向量化，咱们称之为“特征库”。

阶段三：模子教悔，通过 AI 教悔集群进行轮训（Epoch），并在每个 epoch 期间调整权重和偏置以优化模子质地，最终输出简略处分某类问题的“模子数据库”。这个阶段，每次教悔前，需要将海量的教悔数据集加载到 GPU 内存中，过程中需要周期性地将 TB 大小的 Checkpoint 文献保存到存储中，故障时又需要从存储中快速地加载 Checkpoint 进行规复。特别强调的是，这个过程对存储的性能条目极高，而且是越快越好。Meta 的 Llama 3 大模子进行教悔的过程中，Meta动用了 1.6 万块 GPU 集群，该教改悔程中碰到了 419 次随机组件故障导致的教悔中断，平均每 3小时发生一次，频频的故障严重影响了 AI 模子的教悔遵循和安靖性。集群的业务中断时期为：

那么年均集群中断时期为：

那么在每次故障后何如快速读取数据、尽快再行规复教悔就显得尤为焦虑。以 Checkpoint 的读写为例：每个 GPU 教改悔程中会同步写一个 Checkpoint 分片，整个GPU 产生的 Checkpoint 最终组装成一个无缺的 Checkpoint。任何一个分片诞妄都将酿成这个周期的教悔无效。

如下图所示，每个教悔节点在 T0 时刻产生 N 个分片，组合成一个 T0 时刻无缺的 Checkpoint 0。如果这些 Checkpoint 分片保存在就业器腹地皮中，那么整个节点和会过异步的方式同步至外置存储中。

如果节点 2 发生故障，此时教悔任务领先会删除该故障节点，切换至新的节点 N，但由于就业器件腹地皮无法分享数据，是以只可从外置存储进行加载。由于是异步同步机制，只可加载到数个周期以前的 Checkpoint 分片，酿成这几个周期的教悔任务无效。另外，外置的对象存储往往性能很差，加载时期很长，在这个加载过程中，通盘教悔任务处于恭候现象，1 个节点拖慢通盘集群的规复遵循。

阶段四：模子推理，用户输入查计划题时，为了提高大模子推理的准确性，幸免其出现幻觉，企业一般都会利用私域的学问对大模子进行微调，并通过检索增强生成（RAG）时期提高回应问题的准备性。

导致 AI 幻觉的原因是多方面的：

a）通用大模子的数据质地不高，限制不够大。如果使用不准确或者诞妄的数据进行教悔，大模子就会产生 AI 幻觉。大模子教悔所使用的数据可能包含诞妄信息，这些信息可能源流于数据荟萃过程中的诞妄、数据处理阶段的问题，或者是历史数据留传问题。不准确的数据会平直影响模子的判断和预测才略，导致模子输出不可靠的结尾。如果教悔数据在不同群体、类别或场景中存在偏见，那么这种抵抗正会在模子的推理结尾中被放大，进一步影响模子的平正性和普适性。举例，如果一个用于对象识别的模子主如果用淡色对象的数据教悔的，它在深色对象上的识别效果可能会显贵着落。跟着时期推移，某些数据可能会失去推行意旨，如果接续使用这些落伍数据教悔模子，会导致模子无法适合最新的应用场景和需求变化。

当模子教悔的数据限制不够大时，模子的泛化才略会受到甩手，即模子对未见过的数据和新场景的适合性会较差。这平方阐扬为模子在教悔集上阐扬优异，但在本色应用或测试集上性能明显着落。大限制数据蚁合应涵盖丰富的场景和千般性，以确保模子具备庸俗的学问意见和处理才略。若数据限制虽大但千般性不及，同样会甩手模子的应用范围和性能阐扬。

b）通用大模子欺诈于行业中进行二次教悔和微调时，行业数据不够多，数据质地不高，限制也不够大。当行业数据量有限时，通用大模子在进行二次教悔时，模子容易在一丝的教悔数据上过度拟合，导致其在新的、未见过的数据上阐扬欠安，这种情况在机器学习和深度学习中十分常见，特别是在复杂的模子结构中。另外，小限制的数据集可能不及以涵盖行业中整个焦虑的场景和情况，这会导致模子的教悔不具备挥霍的代表性，从而在本色应用中出现预测偏差。特定行业的数据散布可能存在明显的长尾效应，即大部分数据集合在少数类别，而其他类别数据真贵，这会酿成模子在常见类别上阐扬精湛，而在少数类别上阐扬较差。如果行业数据质地不高，包含噪声或者诞妄信息，也可能是标注不一致，致使是要害信息缺失，这都将影响模子的判断准确度，进而影响最终的应用效果。

c）推理空泛行业共鸣或者基础学问，空泛行业实时信息，时效性不够。大模子如果进军对行业共鸣和基础学问的意见，其推理过程可能无法长远到行业本色问题的中枢，导致分析结尾停留在名义。在行业决策过程中，模子由于进军必要的行业布景学问，可能无法提供有用的决策提拔，影响决策的准确性和可靠性。行业特有的模式和划定需要大都专科学问撑持才能识别和学习，空泛这些学问的模子难以准确把合手行业秉性。另一方面，行业实时信息是模子预测改日趋势的焦虑依据，关于模子的时效性至关焦虑，如金融市集的价钱变动、供应链管制的库存动态等，进军实时信息将导致模子输出落伍，无法实时反映行业变化。

1.2建议

1、遴选存算分离架构，永别部署智能算力和存力，各自按需演进

在 AI 大模子的部署中，将算力和存力分开部署的存算分离架构显得尤为焦虑。这种架构不仅简略有用地提高资源利用遵循，还能为模子教悔和推理提供渊博的提拔。存算分离使得筹画和存储资源不错孤立进行横向或纵向扩展，凭证本色需求增减资源，幸免过度投资和资源浪费。同期，在现阶段 AI 大模子发展中，更正粗疏式堆算力模式，选拔高性能、高可靠的专科外置存储，合理设立存储集群性能，从 AI 教悔的全经由角度优化，评述教悔任务中断，提高算力可费用。为了保险通盘集群的负载平衡性，在需求岑岭期，不错增多筹画资源以处理更大的数据量，而无需操心存储瓶颈；反之，在数据密集型任务中，不错单独增强存储性能，提高举座处理速率。用户不错凭证不同资源价钱走势和本身业务特色，选拔性价比最优资源组合，有用戒指老本。

另一方面，AI 的发展也会伴跟着算力、算法和数据的不断上前演进。存算分离架构允许筹画资源和存储资源孤立进行时期更新和升级。这意味着不错在不影响到另一方的情况下，遴选最新的处理器或优化算法提高筹画性能，或者遴选新的存储时期提高数据读取速率。在 AI 规模，模子和算法的迭代速率绝顶快。存算分离架构不错快速适合这些变化。举例，当一个新的 AI 模子需要更多的筹画资源时，不错飞速增多 GPU 或 TPU 节点，而无需操心存储瓶颈。由于筹画和存储资源是孤立的，因此更容易集成最新的时期进展，如新式神经荟萃架构或优化算法，只需在相应的筹画或存储层面进行升级即可。存算分离架构还提拔多佃户环境，不同的用户不错分享筹画和存储资源，同期又能保证资源之间的断绝和实验安全。数据存储孤立于筹画资源，不错更专注于数据的安全和备份，减少数据诞妄和丢失的风险。遴选高性能（带宽、IOPS）、活泼扩展、可靠的专科 AI 存储，提高集群的可费用。

2、数据基础设施具备横向扩展才略，性能随容量线性增长

刻下的 AI 大模子也曾从处理单一类型的数据（如文本）发展到处理多种类型的数据（如文本、图像、音视频等）。这种多模态致使全模态的发展旅途将使得教悔数据集的限制从 TB 级别飞腾至PB 乃至 EB 级别。AI 大模子的参数目也从千亿级别向万亿致使十万亿限制迈进。这意味着所需要的筹画资源和存储资源将同步增多，存储系统必须简略适合这一变化，提供挥霍的容量以及与之匹配的性能。存储需要提拔 EB 级的容量扩展，何况在容量扩展的同期性能也要随容量线性增长。跟着模子复杂性的增多，数据存取和预处理的复杂度也在飞腾。存储系统不仅要支吾大限制数据的高速存取需求，还要提拔复杂的数据处理经由，因此还需要提拔 GPU、DPU、NPU 等横向扩展才略，用于 IO 处理的加速。AI 存储系统应该被想象为同期具备高性能层和大容量层，且对外呈现斡旋的定名空间。这种想象允许数据初次写入时凭证战术摈弃于不同的层级，并可凭证考查频度和时期等战术自动进行数据分级转移，从而优化举座性能与容量利用率。为了支吾 AI 全经由中的数据存储和考查需求，AI 存储系统需遮蔽从数据获取、预处理、模子教悔到模子部署的各个阶段。这不仅简化了数据流转过程，还减少了因数据转移带来的时期和资源消耗。梦想的存储架构应具备全对称式架构想象，无孤立的元数据就业节点。跟着存储节点数的增多，系统的总带宽和元数据考查才略简略终了线性增长，自尊 AI 教改悔程对高性能的需求。

3、数据基础设施提拔多契约，且契约之间互通

在 AI 的数据预处理阶段，数据清洗、数据集成、数据移动和数据消减是四个要害门径。但是，这些门径往往需要遽然大都时期和资源。数据准备的过程不仅需要处理大都的数据，还需要确保数据的准确性和一致性。由于数据源的千般性和复杂性，处理过程中可能会遇到各式问题，如数据缺失、不一致和冗余等，这些都需要仔细处理和考据。因此，数据准备阶段平方是通盘 AI 技俩中最耗时的部分之一，举例 PB 级数据，预处理就会历时数月。

如图 20 所示，由于数据契约不同，数据在存储间需要屡次拷贝。教悔准备时触及亿级文献拷贝，以天级到周级为单元，教悔准备耗时长。比如华为的盘古小艺语音模子教悔，原始数据 2PB，凭证上游业务需求，数据清洗过程扩张为30+PB，耗时长达几个月。AI 全经由触及的器用链可能使用不同的契约。优秀的 AI 存储应该提拔NAS、大数据、对象等多种契约，且各契约语义无损，确保与原生契约相通的生态兼容性。另外，在 AI 的各个阶段中，数据应当简略终了 0 拷贝和 0 形状移动。通过全局文献系统和多契约互通来提高数据准备的遵循，幸免数据在数据中心间、开发间的拷贝。何况数据处理和 AI 教悔与推理各个阶段之间无需数据拷贝，加速大数据和 AI 平台的部署与并行处理，减少恭候时期和性能蚀本。

存储系统还要提拔高性能动态夹杂负载，需要在数据导入、预处理、模子教悔等阶段同期处理大小文献的读写操作，并在这些操作中保持高性能，特别是生成 Checkpoint 时的大都写入操作，如图21 所示。

2 全闪存助力高效数据处理

以全闪存提高数据处理遵循，加速数据价值开释陪同 AI 大模子算力集群限制不断增长，算力恭候数据所产生的算力空载问题日渐凸起，亟需加速数据考查遵循以提高算力利用率。与此同期，智能化升级也在加速数字化转型，进而产生更多的业务数据，增多了数字化基础设施处理数据的复杂度和压力。

全闪存是数智化时期提高数据处理遵循、自尊业务需求的最优解，同期自尊不断增长的数字化转型和日益深化的智能化变革；与此同期，配合向量 RAG、长凹凸文操心存储等新兴数据范式，不错有用简化数据考查，终了以存强算，提高系统举座性能。

2.1趋势

1、多源异构海量数据预处理日趋复杂，传统数据管制走向详细数据治理现在的数字环境中，酬酢媒体、物联网开发、在线交往、传感器荟萃等丰富的数据源流持续产生数据。在数据冗余与复杂度的累积之下，为了从海量无序的数据中加速吸收“养分”，企业需要剔除无效数据和杂音数据以寻找有用特征和价值信息，这需要更渊博、更智能的数据处理时期来进行数据的存储、治理与分析。

比喻，自动驾驶教悔需要汇集各式额外路况、极点天气下的开发运奇迹态，以遮蔽改日不同场景下的行为预测与决运筹帷幄作。仅 Waymo 一家公司的公开数据集就包括约 1000 辆测试车、以为10 万英里驾驶时长的采集数据，单辆测试车每天就会生成 20TB 以上的原始数据。在日益强烈的市集竞争之下，从测查察证到限制商用的周期被不断压缩，迫使车企愈加速速地从所采集的海量数据中提真金不怕火出优质算法，如转移学习、少样本学习和自监督学习，以快速提高模子的适合性，这就需要更高的数据读取遵循。

在医疗影像分析（如 CT、MRI、X-ray 等）中亦然如斯。一次全身 CT 扫描产生数千张图像，数据量可达 GB 级，但着实有会诊价值的决定性信息平方只占很小一部分，一个轻微的肿瘤或极度组织可能只占据几张图像的极小区域，其余部分则是正常组织或无关区域，这对要害病灶识别与筛选的遵循提议了更高的条目。

另外，传统的数据存储主要照看数据的存取、管制和备份规复，依赖于相干型数据库、文献系统等，以求确保数据的耐久性和可考查性。但是今天，企业对数据的格调也曾缓缓走向数据的详细49治理，一方面强调对数据的全生命周期管制，如整合、清洗、标注、保护、合规处理与价值挖掘。

这平方需要将来自不同系统、不同平台、不同开发的数据集成到斡旋的数据环境中，提供全面斡旋的数据视图和分析才略，提拔数据的跨部门迎阿与跨地域分享。举例，零卖商通过集成来自线上渠说念和线下门店的数据（如销售数据、客户反馈、库存信息），提供全渠说念的详细客户视图，优化库存管制和营销战术。

2、更大限制的算力条目数据存储提供更高性能的数据考查

深度学习模子中的神经荟萃层数与参数目越来越多，催生了越来越高的数据维度和量级。为了教悔这些模子，传统的数据处理方法已难以自尊需求，传统的相干型数据库与存储主要以索引和相干模子为基础，在处理高维度数据（如镶嵌向量）和复杂查询时遵循显贵评述，比如面对 100 万札纪录的反映时期高达 1~5 秒，而专为高维数据而想象的向量数据库仅需几十毫秒。

向 量 数 据 允 许 从 数 百 万 个 数 据 点 中 快 速 进 行 相 似 度 计 算 和 最 近 邻 搜 索（k-Nearest Neighbors, k-NN），这关于处理大都数据的任务（如图像检索、文本匹配）绝顶焦虑，简略大幅提高模子优化、数据处理的遵循。举例，在电商营销推选系统中，用户和商品以特征向量的形状来筹画出相似度与相干，从而进行个性化推选。

3、数据实时处理渐渐成为多种业务的基础需求

AI 时期缓缓融入金融交往、自动驾驶、智能制造等行业，不仅需要传统数据分析才略来如期处理历史静态数据（如季度报表等），更需要实时处理动态的数据流，这需要系统必须能在毫秒级的时期内处理和分析数据，从而作念出准确的决策，以匡助企业得到各异化上风。比如，纳斯达克股票交往所需要处理来自内行各地的市集数据，包括股票价钱、交往量、订单信息等，每秒需处理数百万个订单和数据包并实时推广交往决策。流式数据处理框架的兴起，如 Apache Flink 和 Kafka Streams，条目数据存储简略更全面地交融各式实时数据形状、更快速地反映数据读写肯求，让分析和教悔更实时，提拔 AI 系统的动态决策才略。

2.2建议

1、构建以数据详细治理为计划的数据基础设施

数据存储从传统的数据管制走向数据详细治理，一方面终了多源异构海量数据的快速归集和会聚，另一方面通过专科的数据预处理器用链，从海量数据中高效提取所需的教悔数据。

详细治理一般分为三个层级。领先是开发管制层，在数据中心维度将所稀有据存储开发管制起来，作念到斡旋管制、斡旋运维。其次是数据管制层，借助全局文献系统，将企业分散在所稀有据中心的数据都纳入到并吞张数据舆图，终了可视化管制和调遣。终末是数据过滤层，惟有将原始数据50过滤处理（也被称为预处理）后，所形成的高质地数据集才能被包括 AI 在内的多种分析平台所高效处理。

2、通过全闪存存储和语义翻新为算力高效提供数据

全闪存存储可极地面评述数据读取和写入的时期，能提供更高的 IOPS 和更低的反映时延，提高当代数据中心的性能，从而自尊企业对实时数据处理和分析的极致条目，显贵提高数据处理的遵循。

不论是面向相干型数据库的集合式架构，如故面向海量非结构化数据的散布式架构，都不错利用闪存的高性能、大容量、低功耗，在有限空间内提供惊东说念主的性能密度和容量密度，从而自尊大限制算力对数据的高速考查，撑持大限制算力阐发出其应有的作用。

同期，翻新的数据考查语义（内存语义、向量语义等）不错评述算力和数据之间的旅途，加速算力对数据的考查。

3、斡旋数据基础设施平台，终了数据高效流转

提供数据全生命周期的管制，从数据的生成、存储、处理到最终的存档和捐躯，均能高效而可靠地进行。终了多契约交融互通，使得数据不错在不同的存储和筹画环境中高效流转，无需进行繁琐的数据转移操作。这种免转移的数据流转方式，不仅简单了大都时期和资源，还确保了数据在传输过程中的安全性和无缺性，进一步提高了数据处理的遵循。

3 存储内生安全成为基本需求

数据存储是数据安全的起跑线，数据安全不可输在起跑线上智能化升级过程中，一方面加速了数字化转型，产生更多高价值业务数据，另一方面评述了黑客门槛，让恐吓挫折愈加频频。

非论是产生了更多数据的数字化，如故持续成长的智能化，均需要在数据基础设施层面构建防治说合的数据安全体系，基于存储内生安全，从被迫支吾挫折走向主动全面防护。

3.1趋势

1、数据量增长而备份窗口有限，招呼更强备份才略

ChatGPT、盘古等 AI 大模子的同意发展驱动了数字化规模关于数据价值挖掘才略的需求。百行万企利用 AI 时期挖掘大都结构化和非结构化数据中的荫藏模式和学问，揭示其中的关联、趋势和划定，为大模子提供丰富的教悔材料，以产生正确的决策结尾。这些数据价值挖掘诉求驱动了用户荟萃更多维度、更高频次的数据，使得数据量呈指数级增长，数据价值也比以往更高。

面对数据的爆发式增长，数据备份迎来新的挑战。在数据短期留存场景中，在原有相通大小的备份时期窗口内，备份存储需要完成更多的高价值数据备份任务，这条目更先进的备份介质和架构，比如遴选全闪化的备份介质、利用重删压缩算法备份更多数据、使用数据纵贯的备份一体机等。关于数据长久留存的场景，许多 AI 模子会调取历史的警戒数据来进行二次教悔，且由于场景不同，常常出现并吞份数据多份数据拷贝的情况。这使得备份存档介质在处分数据留存期问题的基础上，不仅需要具有温冷数据自动分级的才略，还需要具备备份存档数据快速切换的才略。对此，业界厂商也曾尝试使用备份存档交融的架构同期保存詈骂留存周期的数据，通过架构里面的自动分级，终了长久留存数据的快速规复。

2、AI 评述恐吓挫折门槛，全面数据保护大势所趋

生成式 AI 出现以来，传统的安全自动化大大提高，但随之带来的是：恐吓软件的变体迭代也愈加频频，荟萃挫折的门槛被大幅评述。有研究标明 WormGPT、FraudGPT 等器用的出现，生成式 AI 导致荟萃垂钓邮件挫折增长 135%。据最新市集调研申诉数据，生成式 AI 和云的庸俗应用使得坏心机器东说念主（Bad bots）暴涨，占互联网总流量的 73％。日本一位莫得任何专科 IT 学问的须眉，仅使用生成式 AI 的问答功能，制造出能对电脑府上加密、索求赎金的恐吓病毒。

同期，生成式 AI 还可优化恐吓挫折的挫折方式，使挫折内容愈加难以被阔别，如借助 Bot 自动化挫折技能，让挫折者不错更快速、准确地扫描流毒或对荟萃发起挫折，大幅增多荟萃挫折的波及面和有用性。2023 年 11 月份，中国某黑客组织借助 ChatGPT 进行病毒挨次优化、流毒扫描、渗入获取许可权、植入恐吓病毒等一系列挫折技能，酿成某公司就业器全部挂死，并以此对受害公司进行恐吓。

3.2建议

1、建造全闪存备份存储，提高备份遵循

通过全闪介质终了同期间窗内更快的备份与规复遵循，利用重删压缩算法在同容量备份更多副本，规复更多数据；通过数据纵贯的三合一架构 ( 备份软件、备份就业器、备份存储 ) 提高可靠性，幸免传统就业器堆叠架构的链路闪断风险。针对长久留存和短期留存数据共存的场景，遴选备份存档一体架构，将备份存档数据交融，终了数据的无损分级，备份存档数据的无缝切换。

2、建造多层防恐吓，从被迫走向主动，防治说合

通过存储、荟萃等基础设施的说合，遴选多档次、端到端的有用防护，可提供造反恐吓软件的最好驻守。荟萃与存储多层检测及联动的数据保护，通过有用的挫折前防护、挫折时的精确检测及反映和挫折后快速规复，使恐吓挫折防护从被迫反映向主动驻守革新，匡助用户实时发现并防止恐吓挫折，保护数据不被行恶加密和窃取，利用存储快速安全规复数据，全办法构建防恐吓安全防护体系。

4 AI数据湖使能数据可视可管可用

建造 AI 数据湖底座，冲突数据烟囱，终了数据可视可管可用陪同 AI 算力集群限制增长，海量多源异构数据的管制也曾成为主要挑战之一。数据舆图绘图、数据归集、数据预处理、海量数据分级管制和安全保护等职责，是 AI 大模子教悔首当其冲的要务。

为数智化转型建造 AI 数据湖底座，基于数据编织才略冲突数据烟囱，才能终了海量多源异构数据存得下、流的动、用得好。

4.1趋势

1、数据渐渐成为 AI 的各异化竞争力

“缺数据，不 AI”也曾成为业界共鸣，数据的限制和质地决定了 AI 的高度。凭证《2023 Global Trends in AI Report》调研统计，构建 AI 基础设施的主要挑战中，数据钞票的有序有用管制越过数据安全与筹画性能，成为 TOP 1 的挑战。改日 AI 大模子的利害，20% 由算法决定，80% 由数据决定。在 DataLearner 大模子详细名次榜中，Meta 公司的 LLaMA3 大模子依靠70B 参数 +15 万亿 Token 数目得到 82 分，远超 LLaMA2 大模子使用 70B 参数 +2 万亿 Token数目得到的 68.9 分。企业尤其需要照看行业数据、日常运营数据等中枢数据钞票的原始积贮，充足的数据、高质地的数据将匡助企业显贵提高 AI 教悔和推理的效果。

2、数据钞票管制成为企业开展 AI 实践的要害准备

数据质地是数据钞票管制的中枢问题之一，在通盘 AI 的功课经由中，准备好高质地的数据所遽然的时期占通盘 AI 功课的 80%。多数企业濒临数据源流开阔，数据质地芜乱不王人，导致很难快速准备好教悔 AI 模子所需的大都数据。要害数据钞票入库、进行清单化管制是企业开展 AI 实践的要害准备。

在大模子教悔要津，高质地的 QA 问答对，不错显贵改善 AI 大模子的模子精调效果。依赖东说念主工生成问答对存在遵循低、输出质地不安靖的问题，业界遴选 Self-QA 和 Self-Instruct 时期，通过器用自动生成高质地的 QA 问答对语料。

在大模子推理要津，检索增强生成时期（RAG，Retrieval-Augmented Generation）是提高大模子推理精度的要害措施。企业需要将数据钞票进行向量化后，在向量数据库中进行保存，以便在 RAG 系统中进行高效的信息检索和生成。

3、从教悔走向推理，让 AI 插足千行万业也曾成为业界共鸣

跟着大模子参数限制、凹凸文长度等时期演进，向量检索库容从千万级走向十亿级，检索时延和精度随之恶化，索引重建需要数周时期，影响大模子推理的买卖使用。同期，凹凸文长度决定大模子的操心推理才略，长序列推理简略使语义更丰富，生成内容更连贯、准确，超长序列成为大模子推理的主流时期选拔。但长序列也濒临诸多挑战，举例推理算力成为瓶颈，推理反映平稳等。因此，无损成为东说念主们在终了长序列过程中的焦点。为终了无损长序列，东说念主们一方面谨防到单就业器推理模式也曾很难自尊业务诉求，推理走向集群化成为势必选拔，另一方面模拟东说念主脑的快慢念念考方式，基于强一致性的外置孤立存储，构建多层 KV-Cache 等时期，匡助推理集群具备长操心才略，在推理集群内以查代算、过程结尾分享，减少推理算力压力。大模子推理的遵循和老本，成为买卖正轮回的中枢竞争力。

4、善于应用 AI 的企业将从竞争中胜出

AI 大模子应用从学问问答、文生图、文生视频等通用应用，演变为大模子 + Copilot 辅助 +Agent 自主决策的详细应用。简略闇练评估大模子才略，掌合手大模子使用和优化方法，将极大提高企业的详细竞争力。

比如金融行业，遴选 AI 大模子时期不错匡助银行终了精确客户画像，提供更好的个性化推选和定制化就业；通过东说念主机交互买通智能客服、智能网点等经由，大幅提高末端用户体验。

比如医疗行业，遴选 AI 大模子不错通过预约就诊、智能分诊等改善患者院前就医体验；在就诊过程中影像辅助诊疗、辅助病剖析诊、精确医疗等，减少医师职责量，提高会诊遵循和会诊质；诊后，AI 通过健康管制、学问问答等功能，协助患者进行健康管制，从被迫休养转向主动防护。

4.2建议

1、建立斡旋 AI 数据湖，终了数据钞票可视、可管、可用

更多的行业学问、企业学问的积贮，是 AI 大模子迭代升级的前提。刻下，企业大都的数据钞票分散在分支机构、坐蓐现场，这些数据种类稠密且可能来自不同地域的业务系统、不同合作单元或生态伙伴、致使是不同厂商的公有云或独到云，形成一个个数据烟囱，制约着 AI 大模子应用的健康发展。

企业需要建立斡旋的数据湖底座，终了全域数据钞票的可视、可管、可用。领先是数据钞票一张图，终了跨域、跨站点、跨厂家等复杂数据的全局可视、实时更新；其次是数据目次智能化，自尊数据自动标签、团聚、检索、呈现，鼓励数据按内容、合规、热度等维度的全自动化分类分级；终末再说划算存网协同配合，让归集后的数据不错被高效考查和处理，让数据作念到着实可用。惟有处分跨组织、跨地域、跨应用的数据斡旋调遣问题，为大模子注入连绵陆续的数据“燃料”，才能让企业的大模子更好地就业本身业务。

2、面向教悔，选拔专科 AI 存储，提高算力利用率，最大化 AI 投资遵循

大模子的 Scaling Law 法例持续有用，当时期复杂度正变得越来越高，模子参数目从千亿级到万亿级，集群限制从千卡级到万卡级，教悔数据集从 TB 级到 EB 级。这意味着更多的数据要处理、更大参数的大模子、更频频的再教悔和调优。不恰当条目的 AI 基础设施将会无形中为企业的智能化升级之路带来额外老本。在业界，NVIDIA 与专科存储厂商合作，基于轨范文献系统 +Share Everything 存储架构，共同打造高性能 AI 教悔集群。橡树岭国度实验室也在其下一代智算中心时期建议书中提议，惟有 AI-Optimized Storage 才能自尊大模子在处理 EB 级数据量时对性能、可靠性的条目。

企业需要科学磋议智算底座，选拔面向 AI 负载优化的专用 AI 存储，从粗疏式“堆算力”到“挖后劲”提高集群遵循。合理设立存储集群性能，选拔高性能、高可靠的外置 AI 存储，可提高集群可费用 10% 以上，减少算力等数据酿成投资浪费。

3、面向推理，遴选 RAG、长序列等时期，提高大模子推感性能和准确度

企业学问数据日眉月异，大模子的周期性教悔很难保证时效性、以及在专科学问规模的准确性。从建造老本和应用效果筹商，企业应用 AI 考订决议已渐渐拘谨到增强型检索（RAG 时期），通过大模子在生成结尾时从数据库中检索出磋议学问，生成有参考信息的回应，从而提高推理结尾的着实度。在推理阶段，多轮对话、长序列凹凸文依赖大模子的操心才略，通过智算处理器 xPU、内存 DRAM、外置存储 SSD 的三层缓存机制，不错将大模子的操心周期从小时级延展至数年，提高推理的准确度，同期在肖似问题的推理需求中通过查询历史结尾替代推理来简单算力支拨。

4、利用容灾、备份、防恐吓等技能，加强数据分类分级保护

大模子出身于海量数据，这些数据囊括用户的个东说念主信息、企业的私域坐蓐数据等明锐信息。伴跟着大模子时期的迅猛发展，一系列数据安全风险也启动浮现。样本数据投毒挫折可能使得模子产生误导性结尾，严重影响决策的准确性。模子文献被窃取将导致数亿元投资的后果灰飞烟灭。教悔数据被恐吓病毒加密则可能导致大模子被迫中断教悔，影响企业坐蓐安全。

企业需要醉心数据钞票的分类分级管制，笃定数据的领有者和使用者，确保数据的合规心事，从管制、应用、荟萃到存储，构建全办法的安全处分决议。其中，动作数据的最终载体，存储可提供包括存储软硬件系统安全、数据容灾与备份、防恐吓保护以及安全管制在内的一整套内生安全处分决议，为数据构筑终末一说念安全防地。

5、增多 AI 东说念主才培养机制，积极开展 AI 大模子实践

AI 大模子应用正在从学问问答、文生图、文生视频等应用，走向以大模子 +Copilot 辅助

+Agent 自主决策的复杂应用，从企业辅助坐蓐走向中枢坐蓐，成为企业提高运营遵循的要害抓手。企业应该从顶层想象、组织架构、东说念主才和团队建造等，全面评估生成式 AI 应用的才略筹画水平。举例，在顶层想象上，企业是否建立了评估和追踪开源 AI 大模子、数据和培训模子使用的调换方法，是否研究了业界 AI 基础设施最好实践案例。在组织架构上，是否缔造了磋议的数据安全、心事及伦理的专属团队等。在东说念主才和团队建造上，企业应该培养更多具备对 AI 大模子、尤其是 AI 大模子存储方面领有长远意见、实战警戒的专科东说念主员，构建 AI 大模子的东说念主才培养体系。

5 训/推一体机加速AI大模子落地行业应用

助力 AI 大模子快速落地行业应用，训 / 推一体机使能千行万业数智化AI 发展汹涌澎拜，各行业均在尝试将 AI 落地到行业应用中，却濒临基础设施部署、大模子选拔、二次教悔和监督微调等方面的坚苦。训 / 推一体机通过将基础设施、器用软件等进行预集成，并与 AI 大模子供应商协同，可有用助力 AI 快速落地行业应用，使能千行万业数智化。

5.1趋势

1、数据质地芜乱不王人，数据准备时期长

企业大都的原始数据，清洗成可用的数据集，耗时又复杂。领先，荟萃大都有代表性和高质地的数据并非易事，可能需要从多个源流获取并整合。其次，清洗数据以去除噪声、诞妄和重迭信息需要遽然大都时期和元气心灵。再者，对数据进行准确的标注以自尊模子教悔的需求，平方需要专科东说念主员参与，这一过程既耗时又条目高度的准确性。另外，在数据准备过程中，由于各部门的参与度不一，数据质地难以斡旋，进而影响到大模子的使用效果。

2、硬件选型难、委派周期长，运维老本高

大模子应用需要选拔恰当的筹画、存储、荟萃等硬件设施。但是硬件种类稠密，性能参数复杂，导致硬件选型难；同期硬件组装、调试、测试、上线等要津复杂，部署上线后的监控、帮手和升级等要津繁琐且坚苦。

3、大模子幻觉严重，推理准确度无法自尊业务需求

大模子在面对复杂场景时，输出结尾失真，出现大模子幻觉，不仅评述了模子的准确性，在焦虑的决策场景中，基于诞妄的信息可能导致严重的后果。在学术研究和学问传播规模，不准确的内容可能误导读者和研究者，致使可能激发说念德和法律风险。

4、数据安全无保证，模子等中枢数据钞票易知道

行业高价值数据是企业的中枢钞票，数据安全性条目高；关于模子厂商来说，行业模子是使能企业模子应用的中枢组件，也同样需要保证模子的安全可靠，要幸免模子知道风险。AI 教悔数据和模子的安全挑战包括以下几个方面：

60a) 数据心事：教悔数据可能包含明锐信息，如个东说念主身份信息、财务数据等。

b) 模子安全：挫折者可能和会过批改模子参数、注入坏心代码等方式来挫折模子，从而影响模子的输出结尾。

c) 对抗挫折：挫折者可能和会过对抗样原来拐骗模子，使其产生诞妄的输出结尾。

d) 模子讲授性：AI 模子的黑盒秉性使得其输出结尾难以讲授，这可能会导致模子的不着实度和不可靠性。

e) 模子分享：在模子分享过程中，可能会知道模子的明锐信息，如模子参数、教悔数据等。

f) 模子部署：在模子部署过程中，可能会濒临荟萃挫折、坏心软件注入等安全抑遏，从而影响模子的安全性和可靠性。

5、投资申报挑战大

AI 大模子面前仍处在探索期，意味着在软硬件的投资不一定不错按时得到预期的申报，可能导致运营老本超预算推广。大限制的数据处理、图形渲染、深度学习教悔等任务中，如果 GPU 利用率过低，会显贵评述职责遵循，延伸任务完成时期。关于企业或研究机构而言，会扼制翻新和发展的速率，影响居品的推出或科研后果的产出。

5.2建议

1、通过预集成数据预处理器用链，快速生成高质地教悔数据集

高质地的数据是 AI 终了精确推理的基石。AI 专科存储供应商一般会提供数据准备器用链组件，平方提供数十种高性能 AI 算子，简略对多种形状的数据进行自动化清洗（包括解析、过滤、去重、替换等），从而匡助企业用户快速将原始数据移动成高价值的数据集。

2、部署全栈预集成训 / 推一体机用于大模子行业落地

训 / 推超交融一体机通过将筹画、存储、荟萃等硬件预集成、预调优，开箱即用，省去了企业繁琐的选型、组装和调试过程，大大简单了时期和东说念主力老本（包括华为在内的诸多厂商推出训 / 推一体机，预集成成 GPU/NPU 就业器，荟萃，以及专科存储开发）。同期，通过预置的全栈开发管制软件，对筹画、存储、荟萃、和容器平台等基础硬件和软件平台进行管制运维，大幅评述 IT东说念主员的日常运维职守，使其不错专注于 AI 业务的终了，而无需为基础设施的搭建和运维感到担忧。许多训 / 推一体机不错提供高性能机密推广环境，以及数据和模子的机密防护措施。配合数据保护和防恐吓，不错对企业用户的要害数据进行充分保护，幸免数据钞票知道或者受损。

另外，大多数训 / 推一体机还提拔横向扩展，行将多个训 / 推一体机组合在沿路，形成一个更大的训 / 推一体化平台。这种才略不错匡助开阔企业客户按需部署大模子应用，分散投资周期，减小投资申报风险和压力。

3、利用 RAG 学问库，排斥幻觉终了精确推理

通过将高质地数据集镶嵌到训 / 推一体机提供学问库存储中，每当用户提议问题，内嵌的RAG 工程将快速从学问库中检索出预置的学问，匡助推理过程聚焦在正确的凹凸文环境中，有用处分幻觉问题。另外，通过实时更新学问库，大模子的回应也将具备时效性。内置的模子评估组件可对模子推理的准确度进行评估和追思，最终终了精确推理。