《大模型專題：大模型的異構計算和加速》由英特爾院士戴金權在AiCon人工智能開發與應用大會上的演講內容整理而成。報告介紹了大語言模型的異構計算和加速相關技術。先闡述大語言模型基于Transformer解碼器架構的自回歸模型原理。接著分析大模型推理和訓練面臨的瓶頸，包括內存帶寬、計算、顯存大小和分布式計算等方面。
報告重點介紹了大模型的異構計算和加速方法。包括XPU異構計算，涉及CPU、GPU、NPU等硬件加速；低比特計算，如模型量化/壓縮、數據類型選擇、低比特算子應用以及對顯存使用量和訓練微調的影響，并對比了不同量化方式下多個模型的精度；還介紹了推理算法優化，涵蓋Self - speculative decoding、KV Cache compression等多種方式。
此外，報告還介紹了IPEX - LLM開源大模型XPU加速框架及其應用場景，如在Intel Core Ultra AI PC、Intel Arc A770 GPU等不同硬件上的加速體驗，包括Office助手、工業機器人代碼生成、AI座艙 - 汽車助理等多個應用案例展示了英特爾XPU在大模型應用創新方面的成果，并鼓勵關注和試用IPEX - LLM，在Intel XPU平臺開發大模型及其應用。
 |
| 商用機器人 Disinfection Robot 展廳機器人 智能垃圾站 輪式機器人底盤 迎賓機器人 移動機器人底盤 講解機器人 紫外線消毒機器人 大屏機器人 霧化消毒機器人 服務機器人底盤 智能送餐機器人 霧化消毒機 機器人OEM代工廠 消毒機器人排名 智能配送機器人 圖書館機器人 導引機器人 移動消毒機器人 導診機器人 迎賓接待機器人 前臺機器人 導覽機器人 酒店送物機器人 云跡科技潤機器人 云跡酒店機器人 智能導診機器人 |
