人工智能方案目錄

Red Hat AI 3.0 賦能用戶打破實驗局限，在統一的開源架構下，實現生產級 AI 服務的全面規模化部署。該平台支援完全私有化部署，確保對基礎設施、數據及營運擁有絕對掌控權，並構建安全高效的主權 AI（Sovereign AI）環境。憑藉開源技術底蘊，Red Hat AI 3.0 能有效消除供應商鎖定風險，保障長期戰略自主與靈活性，讓各部門在享受社群創新成果的同時，獲得企業級的穩定支援。

核心功能

加速推理（Accelerated Inference）：透過 vLLM 與 llm-d 進行分布式及 SLA 感知推理，有效節省 GPU 算力成本，並確保高流量公眾服務門戶與 AI 應用擁有卓越的響應效能。

GPU 即服務（GPU as a Service）：整合 NVIDIA、AMD、Intel 與 MetaX 沐曦等多品牌 GPU，打造異構算力池。透過彈性的跨部門資源調度與共享，降低硬件購置門檻，實現算力價值的最大化利用。

模型即服務 (Model as a Service)：提供集中化管理平台與統一 API 接口，實現 AI 模型的快速部署與重複利用。此舉讓各部門能更便捷地應用標準化 LLM 執行各項任務，達成算力與模型的資源共享。

模型定制工具（Model Customization）：提供先進的模型微調 (Fine-tuning) 與檢索增強生成 (RAG) 工具，賦能各部門依據本地法律及政策文獻塑造專屬模型，同時確保敏感數據不外洩。

智能體 AI 開發（Agentic AI Development）：利用 Model Context Protocol (MCP) 統一管理 AI 智能體架構，並將其連接至後端傳統系統。透過數據整合，實現如准照核發等高度複雜、具備決策邏輯的自動化工作流。

GenAIOps 工具：為生成式 AI 應用提供企業級生命週期管理，涵蓋提示詞管理 (Prompt Management)、模型監控、LLM 性能評估及 AI 安全護欄 (Guardrails)。

MLOps 功能：提供高效的端到端流程，透過 CI/CD 流水線、模型註冊表（Model Registry）、JupyterLab 數據科學環境及特徵存儲 (Feature Stores)，實現大規模 AI 模型的構建、部署與管理。

降低 GPU 硬體資源需求與投資成本：Red Hat AI 3.0 包含 LLM 模型壓縮技術，可降低大型語言模型（LLM）對硬體資源的使用率，減少對額外 GPU 的需求，從而降低硬體投資成本。

提升 LLM 推理與 Token 生成效能：Red Hat AI 3.0 包含 LLM 推理最佳化引擎（vLLM），整合最先進的 LLM 推論技術，可提升 Token 生成吞吐量並降低 Token 生成延遲，從而最大化 GPU 硬體使用率與整體效能。

以可控且可監控的方式私有共享 LLM 模型：Red Hat AI 3.0 提供 Model-as-a-Service（模型即服務），讓部門可作為內部 AI 模型供應者，將 AI 模型共享給大量使用者，而無需為每位使用者重複部署 AI。此功能提供治理機制以控管存取對象與模型類型，並能監控各部門與使用者對各 AI 模型的使用情況。

將私有知識整合至 AI 模型中：Red Hat AI 3.0 提供模型微調（Fine-tuning）與 RAG 工具，使各部門能將獨有的資料整合至 AI 模型中，量身打造能理解特定業務情境與專有術語的 AI，同時避免資料外洩至公有環境。

跨用戶共享昂貴的 GPU 資源： Red Hat AI 3.0 提供 GPU-as-a-Service（GPU 即服務），可將異構 GPU（包括 NVIDIA、AMD、Intel、及沐曦 MetaX）統一管理為單一共享的雲原生集群。支援具備高安全性的多租戶模式，為各局提供隔離環境，同時共享底層實體基礎設施，實現硬體投資報酬率（ROI）的最大化。

集中化 MCP 與 Agentic AI 開發：Red Hat AI 3.0 集中管理與佈建 MCP 伺服器，並提供工具集中管理 AI 應用程式的 API 端點，以提升維運與管理效率。平台亦支援部署與整合第三方 Agentic 解決方案，例如 LangChain、DIFY。

JupyterLab-as-a-Service：Red Hat AI 3.0 允許使用者於私有雲環境中動態建立 JupyterLab，並讓管理員集中管理所有資料科學家的 JupyterLab 資源。透過此方式，部門可集中進行資源配置與管理，而無需為每位資料科學使用者個別安裝與維護工作環境。

落實機器學習專案營運化（MLOps）： Red Hat AI 3.0 精簡了端到端的機器學習軟體開發生命週期，涵蓋模型開發、訓練、微調、評估、版本控制、比對、部署及監控等全方位工具。