人工智能方案目录

Red Hat AI 3.0 赋能用户打破实验局限，在统一的开源架构下，实现生产级 AI 服务的全面规模化部署。该平台支持完全私有化部署，确保对基础设施、数据及营运拥有绝对掌控权，并构建安全高效的主权 AI（Sovereign AI）环境。凭借开源技术底蕴，Red Hat AI 3.0 能有效消除供货商锁定风险，保障长期战略自主与灵活性，让各部门在享受社群创新成果的同时，获得企业级的稳定支持。

核心功能

加速推理（Accelerated Inference）：透过 vLLM 与 llm-d 进行分布式及 SLA 感知推理，有效节省 GPU 算力成本，并确保高流量公众服务门户与 AI 应用拥有卓越的响应效能。

GPU 即服务（GPU as a Service）：整合 NVIDIA、AMD、Intel 与 MetaX 沐曦等多品牌 GPU，打造异构算力池。透过弹性的跨部门资源调度与共享，降低硬件购置门坎，实现算力价值的最大化利用。

模型即服务 (Model as a Service)：提供集中化管理平台与统一 API 接口，实现 AI 模型的快速部署与重复利用。此举让各部门能更便捷地应用标准化 LLM 执行各项任务，达成算力与模型的资源共享。

模型定制工具（Model Customization）：提供先进的模型微调 (Fine-tuning) 与检索增强生成 (RAG) 工具，赋能各部门依据本地法律及政策文献塑造专属模型，同时确保敏感数据不外泄。

智能体 AI 开发（Agentic AI Development）：利用 Model Context Protocol (MCP) 统一管理 AI 智能体架构，并将其连接至后端传统系统。透过数据整合，实现如准照核发等高度复杂、具备决策逻辑的自动化工作流。

GenAIOps 工具：为生成式 AI 应用提供企业级生命周期管理，涵盖提示词管理 (Prompt Management)、模型监控、LLM 性能评估及 AI 安全护栏 (Guardrails)。

MLOps 功能：提供高效的端到端流程，透过 CI/CD 流水线、模型注册表（Model Registry）、JupyterLab 数据科学环境及特征存储 (Feature Stores)，实现大规模 AI 模型的构建、部署与管理。

降低 GPU 硬件资源需求与投资成本：Red Hat AI 3.0 包含 LLM 模型压缩技术，可降低大型语言模型（LLM）对硬件资源的使用率，减少对额外 GPU 的需求，从而降低硬件投资成本。

提升 LLM 推理与 Token 生成效能：Red Hat AI 3.0 包含 LLM 推理优化引擎（vLLM），整合最先进的 LLM 推论技术，可提升 Token 生成吞吐量并降低 Token 生成延迟，从而最大化 GPU 硬件使用率与整体效能。

以可控且可监控的方式私有共享 LLM 模型：Red Hat AI 3.0 提供 Model-as-a-Service（模型即服务），让部门可作为内部 AI 模型供应者，将 AI 模型共享给大量用户，而无需为每位使用者重复部署 AI。此功能提供治理机制以控管存取对象与模型类型，并能监控各部门与用户对各 AI 模型的使用情况。

将私有知识整合至 AI 模型中：Red Hat AI 3.0 提供模型微调（Fine-tuning）与 RAG 工具，使各部门能将独有的数据整合至 AI 模型中，量身打造能理解特定业务情境与专有术语的 AI，同时避免数据外泄至公有环境。

跨用户共享昂贵的 GPU 资源： Red Hat AI 3.0 提供 GPU-as-a-Service（GPU 即服务），可将异构 GPU（包括 NVIDIA、AMD、Intel、及沐曦 MetaX）统一管理为单一共享的云原生集群。支持具备高安全性的多租户模式，为各局提供隔离环境，同时共享底层实体基础设施，实现硬件投资报酬率（ROI）的最大化。

集中化 MCP 与 Agentic AI 开发：Red Hat AI 3.0 集中管理与布建 MCP 服务器，并提供工具集中管理 AI 应用程序的 API 端点，以提升维运与管理效率。平台亦支持部署与整合第三方 Agentic 解决方案，例如 LangChain、DIFY。

JupyterLab-as-a-Service：Red Hat AI 3.0 允许用户于私有云环境中动态建立 JupyterLab，并让管理员集中管理所有数据科学家的 JupyterLab 资源。透过此方式，部门可集中进行资源分配与管理，而无需为每位数据科学用户个别安装与维护工作环境。

落实机器学习项目营运化（MLOps）： Red Hat AI 3.0 精简了端到端的机器学习软件开发生命周期，涵盖模型开发、训练、微调、评估、版本控制、比对、部署及监控等全方位工具。