照片來源https://connect.advantech.com/videos/details/llm%E5%A4%A7%E5%9E%8B%E8%AA%9E%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%AF%A6%E6%88%B0%E7%87%9F-%E6%B4%BB%E5%8B%95%E8%8A%B1%E7%B5%AE
新竹，8月28日，2024 – 全球工業物聯網領導廠商研華公司 (TWSE：2395）與滿拓科技、群聯電子於7月26日（五）在研華林口智能園區，共同主辦首場「Edge AI 工程師實戰營- LLM大型語言模型班」。本次實戰營旨在幫助企業快速建立「可負擔的」自有生成式AI平台，透過研華AIR-520 LLM邊緣運算伺服器所提供的獨家功能，包括預訓練模型、AI推論、大量部署『Edge AI SDK & DeviceOn』，結合群聯aiDAPTIV+技術與滿拓科技的DeepExpert落地解決方案，讓企業客戶僅需針對內部資料進行設定及微調，即可輕鬆打造專屬的生成式AI環境，擺脫GPU和VRAM的高昂建置成本。
研華台灣營運處副總經理林其鋒表示，隨著台灣生成式AI市場逐步發展，企業自有平台的需求將不斷增加。而嵌入式應用需求多樣且廣泛，企業在導入生成式AI時常面臨技術與資金的挑戰。為此，研華希望通過與合作夥伴在人才培育、技術服務和商務諮詢等方面的合作，幫助客戶降低生成式AI模型落地的困難。「Edge AI 工程師實戰營- LLM大型語言模型班」是研華推動企業自有大型語言模型平台的第一步，竭誠邀請有實作需求的企業用戶參加。
滿拓科技執行長吳昕益指出，研華擁有最完整的邊緣AI運算軟硬體整合方案，並且在嵌入式客戶服務方面有著多年經驗，深知企業在推動大型語言模型落地時所面臨的挑戰。因此，滿拓科技與研華攜手合作，透過人才培育來解決客戶的痛點。本次課程將結合研華AIR-520 LLM邊緣運算伺服器進行實機演示，內容包括大型語言模型的微調平台、文檔管理、客戶服務以及微調概念等，並搭配在醫療照護、半導體、零售行業中的實際應用案例。
工業級LLM邊緣運算解決方案 僅傳統模式1/10的訓練成本
研華「Edge AI 工程師實戰營 – LLM大型語言模型班」於7月26日（星期五）全日在研華林口智能園區舉行，首批招收20位企業學員。課程將以研華AIR-520 LLM邊緣運算伺服器作為實作硬體平台，該伺服器搭載AMD EPYC 7003 Milan系列CPU，支援4個PCIex16擴充插槽，最多可容納4張NVIDIA RTX 4000 Ada GPU卡，最高支援Llama-3 70B LLM模型。AIR-520結合群聯的aiDAPTIV+技術，提供on-premise微調大型語言模型的服務，解決在雲端進行生成式AI模型微調時可能出現的資料外洩問題，確保資料安全性，且模型訓練成本僅為傳統模式的1/10。此外，AIR-520搭配Edge AI SDK開發套件及其它研華邊緣推論運算裝置（如AIR-030、AIR-310等），不僅簡化了LLM微調訓練，還提供了邊緣推論運算裝置上的快速評估工具（Inference Benchmark Tool）、推論運行開發工具（Inference Runtime SDK），以及推論部署平台（Inference Deployment Platform）。透過DeviceOn加值軟體工具，還可以方便地管理大量遠端邊緣系統中的AI模型和程式更新。
此次實戰營將分享在醫療照護、半導體和零售行業中的LLM實作案例，旨在滿足企業在職工程師、產品經理、軍公教人員及科研單位的實作需求。與其他課程不同的是，學員結業後即能打造企業自有的LLM平台，從硬體驗證、大型語言模型訓練、AI推論到大量部署的軟硬體整合，皆可獨立完成。
