Contact_

Request a
Business Customized Quotation

Phone

+886 2 8797 8337

HQ

12F-2, No.408, Ruiguang Rd., Neihu Dist., Taipei City 11492, Taiwan

BR

Center of Innovative Incubator R819, No. 101, Section 2, Kuang-Fu Road, Hsinchu, Taiwan

Submit

從編譯器跨足LLM矽智財 讓市場商機找上Skymizer

李佳玲/台北 2024-04-18 全文轉錄自 Digitimes 科技網

圖左為:Skymizer行銷長暨執行副總經理魏國章;右為Skymizer共同創辦人暨研發經理郭冠宏。

自OPEN AI與生成式AI在2023年開始暴紅後,生成式AI乃至於LLM(大型語言模型)等技術儼然是新一代AI市場的重要代名詞,這也同時讓本就已經在LLM有所鑽研的新創公司,迎來了全新的AI市場商機。Skymizer(臺灣發展軟體科技)是台灣唯一以編譯器起家的軟體業者,在2023年中,決定進軍LLM市場,推出以Transformer模型為基礎的矽智財(IP)方案EdgeThought(邊緣思維)。

Skymizer從編譯器出發 投入LLM矽智財市場

Skymizer共同創辦人暨研發經理郭冠宏表示,Skymizer在早期主要是以編譯器軟體出發,協助處理智慧型手機和伺服器系統優化問題,進入中期則是開始跨足CNN(卷積神經網路),而在ChatGPT2.0問世之初,Skymizer就開始投入LLM的研究,在2023年中則是進一步投入LLM的矽智財方案開發,2024年推出以LLM為基礎的矽智財方案EdgeThought,所以也可說是正式進入晶片設計方案的開發。

之所以會有這樣的轉變,Skymizer行銷長暨執行副總經理魏國章解釋,過去半導體市場的發展主要是藉由摩爾定律的推動,但近年來顯然是改由領域應用導向反過來推動,而Skymizer本身是從編譯器起家,介於硬體與應用軟體層之間,扮演了重要的橋樑角色,再加上軟體層方面,也有相應的軟體堆疊需要支援,所以從系統層級的角度來思考,Skymizer本身很了解系統設計與硬體的需求在哪,所以就能對症下藥,由軟體定義下手,設計出最佳化的LLM晶片IP,確保軟體及硬體結合得以最佳化。

魏國章進一步指出,這並不表示Skymizer就是從軟體往硬體方向發展,而是從系統優化的角度來看,軟體定義的概念已經是全球電子產品設計的顯學,從軟體的角度來思考硬體的規格。在Skymizer過去的經驗裡,很容易遇到硬體設計的瓶頸,造成軟體效能的發揮受到限制,所以Skymizer開始跨足硬體設計,也就順勢推出以LLM為基礎的矽智財方案來因應生成式AI的應用市場。

矽智財聚焦終端推論應用 斷網情境仍能完成工作需求

Skymizer所推出的矽智財,主要是基於LLM的Transformer模型為基礎來加以優化,最主要的原因是在於Transformer模型的發展其實已經定型化,成為各個生成式AI模型的主要基礎,所以才使得近期市場上不斷有新的模型推陳出新,在性能或是效率上不斷超越既有的模型。

魏國章談到,以AI技術類別來區分,除了既有的模型訓練(Training)與推論(Inferencing)市場外,另有一種市場是微調(Fine-Tuning),這類應用是基於已經事先訓練好的模型,企業再基於自身需求,再進一步調整出所需要的AI模型,縱觀這三類市場,推論(Inferencing)將會是未來成長最迅猛的市場,Skymizer現階段將聚焦終端(Edge)以及離線的推論市場(Local or On-device LLM Inferencing),尤其是特別在意機敏資訊的業者,Skymizer所提供的矽智財可以協助客戶在斷網情況下,依然能讓系統完成所需要的推論工作,不需要接到雲端LLM。而這也是Skymizer矽智財名稱EdgeThought(意即邊緣思維)的由來,面對不同的應用場景,以相應的系統效能來因應,無需增加多餘的算力。

因應不同工作負載 提供對應運算性能

郭冠宏也以加密貨幣挖礦應用為例 ,過去市場會以高算力的GPU來挖礦,但現今其實已經可以看到專用的ASIC來因應,同樣的道理,在邊緣運算領域,Skymizer也能提供極具成本與算力效益的方案給客戶,避免不必要的浪費。在過去,企業在導入AI硬體資源時,或許會優先選擇GPU架構的產品,但企業一旦擴大需求的情況下,就會意識到運算資源與成本上的浪費。再者,可能也會面臨GPU無法取得的風險,所以若能有更為合適的方案,客戶也能有更多的選擇。

而身為剛投入矽智財的Skymizer,的確也已經與主要的半導體業者如EDA(電子設計自動化)與晶圓代工業者等有相當深入的合作,呼應郭冠宏所提及的ASIC,魏國章不諱言,因應不同應用場景所需要的算力規模,打造出相應的AI ASIC,已經是龐大的市場商機,所以剛好也符合Skymizer過去所累積的市場基礎與能量,Skymizer無需刻意去尋找市場,市場自然就找上了Skymizer。而呼應前面所提及,Skymizer從編譯軟體起家,所以在軟體堆疊更也有完整的解決方案,所以能以一站式的產品策略,協助客戶開發所需要的晶片。最近美國的Groq Chip就是以編譯器為導向(Compiler-First)推出推論晶片(Inference Chips)的巨大獨角獸。

郭冠宏也說,目前公司資源的調度上其實非常彈性,哪裡有明顯的市場需求,就可以快速地進行挪動。

魏國章透露,針對終端邊緣裝置所需要的算力需求,無需特別先進的製程奧援,EdgeThought其實能激起國內外不同規模的業者的想像空間,因應不同需求,打造出相應的晶片方案,換言之,就算是新創業者利用成熟製程,也能推出符合市場需求的產品。魏國章更提及,Skymizer預計在COMPUTEX 2024期間,進一步發布更多關於EdgeThought的資訊,相信能驚豔市場的目光。

圖左為:Skymizer行銷長暨執行副總經理魏國章;右為Skymizer共同創辦人暨研發經理郭冠宏。Skymizer

自OPEN AI與生成式AI在2023年開始暴紅後,生成式AI乃至於LLM(大型語言模型)等技術儼然是新一代AI市場的重要代名詞,這也同時讓本就已經在LLM有所鑽研的新創公司,迎來了全新的AI市場商機。Skymizer(臺灣發展軟體科技)是台灣唯一以編譯器起家的軟體業者,在2023年中,決定進軍LLM市場,推出以Transformer模型為基礎的矽智財(IP)方案EdgeThought(邊緣思維)。

Skymizer從編譯器出發 投入LLM矽智財市場

Skymizer共同創辦人暨研發經理郭冠宏表示,Skymizer在早期主要是以編譯器軟體出發,協助處理智慧型手機和伺服器系統優化問題,進入中期則是開始跨足CNN(卷積神經網路),而在ChatGPT2.0問世之初,Skymizer就開始投入LLM的研究,在2023年中則是進一步投入LLM的矽智財方案開發,2024年推出以LLM為基礎的矽智財方案EdgeThought,所以也可說是正式進入晶片設計方案的開發。

之所以會有這樣的轉變,Skymizer行銷長暨執行副總經理魏國章解釋,過去半導體市場的發展主要是藉由摩爾定律的推動,但近年來顯然是改由領域應用導向反過來推動,而Skymizer本身是從編譯器起家,介於硬體與應用軟體層之間,扮演了重要的橋樑角色,再加上軟體層方面,也有相應的軟體堆疊需要支援,所以從系統層級的角度來思考,Skymizer本身很了解系統設計與硬體的需求在哪,所以就能對症下藥,由軟體定義下手,設計出最佳化的LLM晶片IP,確保軟體及硬體結合得以最佳化。

魏國章進一步指出,這並不表示Skymizer就是從軟體往硬體方向發展,而是從系統優化的角度來看,軟體定義的概念已經是全球電子產品設計的顯學,從軟體的角度來思考硬體的規格。在Skymizer過去的經驗裡,很容易遇到硬體設計的瓶頸,造成軟體效能的發揮受到限制,所以Skymizer開始跨足硬體設計,也就順勢推出以LLM為基礎的矽智財方案來因應生成式AI的應用市場。

矽智財聚焦終端推論應用 斷網情境仍能完成工作需求

Skymizer所推出的矽智財,主要是基於LLM的Transformer模型為基礎來加以優化,最主要的原因是在於Transformer模型的發展其實已經定型化,成為各個生成式AI模型的主要基礎,所以才使得近期市場上不斷有新的模型推陳出新,在性能或是效率上不斷超越既有的模型。

魏國章談到,以AI技術類別來區分,除了既有的模型訓練(Training)與推論(Inferencing)市場外,另有一種市場是微調(Fine-Tuning),這類應用是基於已經事先訓練好的模型,企業再基於自身需求,再進一步調整出所需要的AI模型,縱觀這三類市場,推論(Inferencing)將會是未來成長最迅猛的市場,Skymizer現階段將聚焦終端(Edge)以及離線的推論市場(Local or On-device LLM Inferencing),尤其是特別在意機敏資訊的業者,Skymizer所提供的矽智財可以協助客戶在斷網情況下,依然能讓系統完成所需要的推論工作,不需要接到雲端LLM。而這也是Skymizer矽智財名稱EdgeThought(意即邊緣思維)的由來,面對不同的應用場景,以相應的系統效能來因應,無需增加多餘的算力。

因應不同工作負載 提供對應運算性能

郭冠宏也以加密貨幣挖礦應用為例 ,過去市場會以高算力的GPU來挖礦,但現今其實已經可以看到專用的ASIC來因應,同樣的道理,在邊緣運算領域,Skymizer也能提供極具成本與算力效益的方案給客戶,避免不必要的浪費。在過去,企業在導入AI硬體資源時,或許會優先選擇GPU架構的產品,但企業一旦擴大需求的情況下,就會意識到運算資源與成本上的浪費。再者,可能也會面臨GPU無法取得的風險,所以若能有更為合適的方案,客戶也能有更多的選擇。

而身為剛投入矽智財的Skymizer,的確也已經與主要的半導體業者如EDA(電子設計自動化)與晶圓代工業者等有相當深入的合作,呼應郭冠宏所提及的ASIC,魏國章不諱言,因應不同應用場景所需要的算力規模,打造出相應的AI ASIC,已經是龐大的市場商機,所以剛好也符合Skymizer過去所累積的市場基礎與能量,Skymizer無需刻意去尋找市場,市場自然就找上了Skymizer。而呼應前面所提及,Skymizer從編譯軟體起家,所以在軟體堆疊更也有完整的解決方案,所以能以一站式的產品策略,協助客戶開發所需要的晶片。最近美國的Groq Chip就是以編譯器為導向(Compiler-First)推出推論晶片(Inference Chips)的巨大獨角獸。

郭冠宏也說,目前公司資源的調度上其實非常彈性,哪裡有明顯的市場需求,就可以快速地進行挪動。

魏國章透露,針對終端邊緣裝置所需要的算力需求,無需特別先進的製程奧援,EdgeThought其實能激起國內外不同規模的業者的想像空間,因應不同需求,打造出相應的晶片方案,換言之,就算是新創業者利用成熟製程,也能推出符合市場需求的產品。魏國章更提及,Skymizer預計在COMPUTEX 2024期間,進一步發布更多關於EdgeThought的資訊,相信能驚豔市場的目光。

Share