Elastic Inference
AI服務(wù)平臺
AI服務(wù)全生命周期管理，滿足AI應(yīng)用創(chuàng)建、測試、部署、監(jiān)控、優(yōu)化、邊緣計算等各種場景，實現(xiàn)企業(yè)AI生態(tài)快速建設(shè)
核心優(yōu)勢
異構(gòu)資源，負載均衡
支持模型一鍵部署到CPU、GPU、FPGA、邊緣節(jié)點等多種異構(gòu)設(shè)備，并支持根據(jù)業(yè)務(wù)負載及資源的調(diào)用情況，自動調(diào)整彈性資源節(jié)點，實現(xiàn)動態(tài)實時自動負載均衡資源管理
多種方式，快速部署
支持TensorFlow、MXnet、Caffe等多種模型快速部署，支持將鏡像快速部署為穩(wěn)定、高可用的服務(wù)
優(yōu)化加速，急速預(yù)測
針對模型和框架的優(yōu)化加速，包括軟件加速、硬件加速等，提升模型運行效率，提供更優(yōu)推理性能
多層管控，全程追蹤
全生命周期跟蹤管控應(yīng)用效果，及時預(yù)警，可設(shè)置自動更新規(guī)則、自動模型更新。支持模型模型分流、模型熱部署、灰度測試，根據(jù)實際業(yè)務(wù)表現(xiàn)情況，快速更新模型
AI市場，快速變現(xiàn)
AI市場，包含數(shù)據(jù)、模型、解決方案等多種服務(wù)，幫助服務(wù)開發(fā)商及服務(wù)使用者搭建AI生態(tài)圈，助力企業(yè)AI急速起航
產(chǎn)品功能
快速部署
KEI支持多種模型快速部署，包括不同來源、格式、計算框架等模型快速部署，支持KDL、KML、KAL模型一鍵部署
自動擴縮容
支持手動、自動調(diào)整彈性實例擴展策略，根據(jù)業(yè)務(wù)負載情況，動態(tài)實時自動管理計算資源，以最合適的計算資源應(yīng)對業(yè)務(wù)情況
優(yōu)化加速
支持手動、自動調(diào)整彈性實例擴展策略，根據(jù)業(yè)務(wù)負載情況，動態(tài)實時自動管理計算資源，以最合適的計算資源應(yīng)對業(yè)務(wù)情況
版本管理
KEI支持模型多版本管理，使用模型版本管理功能，可對模型服務(wù)的不同版本進行靜態(tài)配置及管理
灰度測試
KEI支持模型流量管理功能，用戶可方便地在模型服務(wù)中進行模型質(zhì)量灰度測試
模型質(zhì)量動態(tài)評估、模型擇優(yōu)
KEI支持模型質(zhì)量監(jiān)控，用戶可針對服務(wù)設(shè)置模型更新機制，通過模型質(zhì)量監(jiān)控，KEI會自動調(diào)用ReTrain程序進行模型更新，并最終通過模型熱部署及模型質(zhì)量匹配機制進行新模型的應(yīng)用
AI市場
KEI內(nèi)置AI服務(wù)市場，用戶可通過AI服務(wù)市場快速接入模型、數(shù)據(jù)、解決方案等，也可將企業(yè)自身模型、數(shù)據(jù)、解決方案上架到模型市場，進行變現(xiàn)