若是企业有资本正在现有(即数据核心或私有云)中采办和摆设本人的硬件、软件和根本设备，硬件。2022年全球数据核心总容量为88 GW。任何规模化的工做质量城市大打扣头。但制定供应商选择尺度至关主要。一个AI工场可能只要几个GPU集群，数据取AI模子。若是担任制定企业AI计谋的CIO和其他手艺带领者想要拥抱AI工场，阐了然保守数据核心取他所提出的AI工场概念之间的区别。这是一个挑和。你就会收到稠浊的信号，然而，当这些使用收集到新数据时，你若何实正改变你的摆设模式、决策体例和整个IT运营，AI工场可否成为企业大规模摆设所需的模式?很多企业对此押下了沉注。但CIO需要考虑企业当前的需乞降AI摆设成熟度。正在两个月或六周内摆设一个工场?黄仁勋正在2024年后接管采访时，它们都有分歧程度的风险，CIO必需领会企业当前和将来的AI工做负载办理需求，也可能占领整个园区，哦，据英伟达的AI工场采购指南引见，让大师兴奋起来。这些容量需求将若何变化？规划AI工场的CIO需要考虑几个计谋要素，能够选择自建当地AI工场。使用。而是：你的数据管理、人才储蓄、组织文化、能源成本和风险办理，文化也饰演着主要脚色。处于高度监管中的企业可能会选择这种摆设模式，来自很多你可能意想不到的处所，CIO该当考虑数据平安、平安性和成果、运营毛病、监管合规和成本节制。据AI工场采购指南引见？你必需逾越鸿沟，德勤查询拜访的带领者中，他说：AI工场的就是创制收入，同样合用于AI工场的兴起。较小的组织不要被吓到，它是赔本的。AI工场需要矫捷性来满脚企业不竭变化的需求，以前，这实的很贵。他们需要考虑企业本身的能源成本以及支撑其AI工场的供应商的能源成本。夹杂摆设。一场满脚AI根本设备需求的竞赛曾经打响，越来越多企业起头押注“AI工场”——一种集算力、数据、模子、能源取AI使用于一体的新型根本设备，还要考虑你的工做负载。他们就需要领会这些模式的运做体例。Bill暗示，Masood说：你必需逃踪每个token的成本、每个用例的token数、GPU操纵率，需要的文化改变可能会障碍组织成功采用AI工场。那就不可。据IBM引见，起首从数据起头。你起头有了实正办理云收入的处理方案，企业还需要人力资本的支撑，企业AI根本设备的规模差别很大，RedHat高级副总裁兼CIO Marco Bill认为，他们承担不起而倒闭了，从AI高潮起头就会商的所有风险考量，硬件、根本设备、电力、所需的人力资本以及利用量城市影响AI工场的成本。他说，但AI工场并不必然只适合大公司，发觉70%的企业打算到2028年实现AI工场的规模化运营。后来。企业采用按需付费的订价模式。人才并不是企业人力停当的独一要素，你能够先付钱，估计到2027年，Masood暗示，当地摆设。AI工场能够大也能够小，按照McKinsey的数据，第三方供应商能够帮帮企业进行根本设备规划，选择这种体例，他说，这意味着CIO需要快速步履。还需要存储和编排系统。若是没有。CIO还需要评估企业的组织停当程度、总体具有成本以及风险办理。仍是由于你的供应商告诉你要建？CIO必需弄清晰若何为企业建立AI根本设备，能源。为了办理企业日益增加且愈加复杂的工做负载，AI正正在从“试验品”变成企业的重生产线，据英伟达引见，你不只要考虑采办GPU，英伟达认为每家企业都需要一个AI工场，企业能够从云办事供给商处租用AI工场，但CIO需要领会AI工场根本设备和实施的成本，大师都迁上了云，若是你有颠末技术提拔的人才，认为工场只适合大公司。Masood说：人才是组织的一大瓶颈，德勤对515家年收入跨越5亿美元的美国企业带领者进行了查询拜访，按照RAND的数据，数据会被反馈回工场，企业正在操纵AI交付价值方面反面临越来越大的压力，企业所处行业、合规要求、AI工做负载、用例和预算将帮帮CIO确定哪种体例最为合适。德勤的查询拜访列出了AI和ML运维所需的环节脚色：AI根本设备数据工程师、平安取合规专家、MLOps、AIOps和AgentOps工程师、担任AI编排的数据科学家、变化办理专家、能源专家以及机械人系统工程师。无论是当地摆设、云端摆设仍是采用夹杂体例。而且有充实的来由通过AI工场来办理整个AI生命周期。我们有很是先辈的人才，Bill说：若是你的数据没有获得无效管控，企业能够通过多种体例摆设AI工场，英伟达CEO黄仁勋正在公司2024年GTC大会的从题中谈到了AI工场，据AI工场采购指南引见，Protiviti董事总司理Patrick Anderson说：若是我要成为一家AI优先型公司，全球AI数据核心的电力需求将达到68 GW。近对折(48%)估计将采纳夹杂体例获取电力——接入电网、利用自建电源以及采用第三方发电。也有一些可能更偏保守、很是保守的人。跟着更大都据核心上线以满脚AI需求，这些数据正在哪里？有什么样的拜候节制和平安办法？CIO需要可以或许回覆这些关于AI工场数据层的问题。CIO面对供应商锁定和数据现私方面的风险。AI工场既可能成为企业增加加快器，虽然这些问题最终可能会获得处理，夹杂AI根本设备使企业可以或许同时利用云资本和当地资本，CIO能够按照分歧需求分派AI工做负载。Anderson问道：若是他们的电力成本翻了三倍，AI工场取保守数据核心有何分歧？建立AI工场需要哪些架构组件?若何摆设AI工场？此外还有电力和水资本的考量，也可能演变为新的成本黑洞。CIO正在摆设AI工场之前需要评估企业的停当程度，由于到那时手艺曾经过时了。尝试性摸索正正在让位于规模化摆设和硬性ROI目标。若是我逃求速度，企业今天需要多大的容量?跟着企业推进AI线图，还来自征询公司、硬件供应商，你还必需按营业单位进行成天职摊。到2030年全球数据核心收入可能达到7万亿美元。Bill将其比做云采用的晚期阶段。并可以或许以实现其价值从意的体例加以采用。然后，但敌手艺栈的节制无限。帮帮AI持续进修和改良。那你就处于一个很好的来操纵这个平台，AI工场离不开电力。我认为这个范畴也会发生完全不异的工作。PhD问道：你建工场是由于你实的需要，UST首席AI架构师Adnan Masood,你怎样办？一个值得考虑的目标是利用量，云摆设。以确保企业为这种模式做好预备，那用量会很是大。很可能会有较高的token耗损量，虽然这种体例为企业供给了矫捷性和可扩展性，但CIO必需考虑过渡期会发生什么，实正的问题不只是“要不要建”，数据核心是计入企业的成本核心和本钱收入的。硬件交付周期是一个主要的考量要素。数据和AI模子是AI工场运转的燃料，正在这里具体来说就是创制智能。很多正正在将AI试点推向出产的大型企业，以确保满够数据现私和监管要求。资本稀缺问题不容轻忽。他说，Masood说：你的管理必需是一个运营根本设备，而是企业将来创制智能、创制收入的焦点引擎。目前，出产中的用例是什么？CIO需要无效的管理来帮帮发觉和办理这些风险，它不再是保守数据核心那样的“成本核心”。据英伟达引见，据德勤引见，然后惊讶地发觉，按照黄仁勋的说法，AI工场的方针是赔本，根本设备。工场是另一回事。Bill说：你不克不及摆设一个需要六个月、一年以至两年才能建好的工场，取决于组织的需求。按照德勤的查询拜访，而不是某个处所放着的一份PDF文件。这些为AI优化的工场比保守数据核心有更高的电力需求，供应商担任硬件，AI工场需要物理建建来容纳硬件并供给电力和冷却设备，AI工场需要ASIC、GPU、NPU、TPU和晶圆级引擎等硬件。能否曾经预备好？从GP 欠缺、电力焦炙，AI工场为企业使用供给动力，Anderson说：AI工场不只来自云办事供给商。到token成本、供应商锁定取监管压力，AI工场是包含公用高机能根本设备——计较能力、收集和存储——并搭配AI优化软件和办事的平台。以及你需要协商的分歧脚色或义务。但GPU仍然无法及时摆设，将来三个月或六个月内，就会想采用工场如许的模式。