Elastic Inference
AI服務(wù)平臺(tái)
AI服務(wù)全生命周期管理，滿足AI應(yīng)用創(chuàng)建、測試、部署、監(jiān)控、優(yōu)化、邊緣計(jì)算等各種場景，實(shí)現(xiàn)企業(yè)AI生態(tài)快速建設(shè)
核心優(yōu)勢
異構(gòu)資源，負(fù)載均衡
支持模型一鍵部署到CPU、GPU、FPGA、邊緣節(jié)點(diǎn)等多種異構(gòu)設(shè)備，并支持根據(jù)業(yè)務(wù)負(fù)載及資源的調(diào)用情況，自動(dòng)調(diào)整彈性資源節(jié)點(diǎn)，實(shí)現(xiàn)動(dòng)態(tài)實(shí)時(shí)自動(dòng)負(fù)載均衡資源管理
多種方式，快速部署
支持TensorFlow、MXnet、Caffe等多種模型快速部署，支持將鏡像快速部署為穩(wěn)定、高可用的服務(wù)
優(yōu)化加速，急速預(yù)測
針對(duì)模型和框架的優(yōu)化加速，包括軟件加速、硬件加速等，提升模型運(yùn)行效率，提供更優(yōu)推理性能
多層管控，全程追蹤
全生命周期跟蹤管控應(yīng)用效果，及時(shí)預(yù)警，可設(shè)置自動(dòng)更新規(guī)則、自動(dòng)模型更新。支持模型模型分流、模型熱部署、灰度測試，根據(jù)實(shí)際業(yè)務(wù)表現(xiàn)情況，快速更新模型
AI市場，快速變現(xiàn)
AI市場，包含數(shù)據(jù)、模型、解決方案等多種服務(wù)，幫助服務(wù)開發(fā)商及服務(wù)使用者搭建AI生態(tài)圈，助力企業(yè)AI急速起航
產(chǎn)品功能
快速部署
KEI支持多種模型快速部署，包括不同來源、格式、計(jì)算框架等模型快速部署，支持KDL、KML、KAL模型一鍵部署
自動(dòng)擴(kuò)縮容
支持手動(dòng)、自動(dòng)調(diào)整彈性實(shí)例擴(kuò)展策略，根據(jù)業(yè)務(wù)負(fù)載情況，動(dòng)態(tài)實(shí)時(shí)自動(dòng)管理計(jì)算資源，以最合適的計(jì)算資源應(yīng)對(duì)業(yè)務(wù)情況
優(yōu)化加速
支持手動(dòng)、自動(dòng)調(diào)整彈性實(shí)例擴(kuò)展策略，根據(jù)業(yè)務(wù)負(fù)載情況，動(dòng)態(tài)實(shí)時(shí)自動(dòng)管理計(jì)算資源，以最合適的計(jì)算資源應(yīng)對(duì)業(yè)務(wù)情況
版本管理
KEI支持模型多版本管理，使用模型版本管理功能，可對(duì)模型服務(wù)的不同版本進(jìn)行靜態(tài)配置及管理
灰度測試
KEI支持模型流量管理功能，用戶可方便地在模型服務(wù)中進(jìn)行模型質(zhì)量灰度測試
模型質(zhì)量動(dòng)態(tài)評(píng)估、模型擇優(yōu)
KEI支持模型質(zhì)量監(jiān)控，用戶可針對(duì)服務(wù)設(shè)置模型更新機(jī)制，通過模型質(zhì)量監(jiān)控，KEI會(huì)自動(dòng)調(diào)用ReTrain程序進(jìn)行模型更新，并最終通過模型熱部署及模型質(zhì)量匹配機(jī)制進(jìn)行新模型的應(yīng)用
AI市場
KEI內(nèi)置AI服務(wù)市場，用戶可通過AI服務(wù)市場快速接入模型、數(shù)據(jù)、解決方案等，也可將企業(yè)自身模型、數(shù)據(jù)、解決方案上架到模型市場，進(jìn)行變現(xiàn)