李佳玲／台北 2024-04-18 全文轉錄自 Digitimes 科技網
自OPEN AI與生成式AI在2023年開始暴紅後，生成式AI乃至於LLM（大型語言模型）等技術儼然是新一代AI市場的重要代名詞，這也同時讓本就已經在LLM有所鑽研的新創公司，迎來了全新的AI市場商機。Skymizer（臺灣發展軟體科技）是台灣唯一以編譯器起家的軟體業者，在2023年中，決定進軍LLM市場，推出以Transformer模型為基礎的矽智財（IP）方案EdgeThought（邊緣思維）。
Skymizer共同創辦人暨研發經理郭冠宏表示，Skymizer在早期主要是以編譯器軟體出發，協助處理智慧型手機和伺服器系統優化問題，進入中期則是開始跨足CNN（卷積神經網路），而在ChatGPT2.0問世之初，Skymizer就開始投入LLM的研究，在2023年中則是進一步投入LLM的矽智財方案開發，2024年推出以LLM為基礎的矽智財方案EdgeThought，所以也可說是正式進入晶片設計方案的開發。
之所以會有這樣的轉變，Skymizer行銷長暨執行副總經理魏國章解釋，過去半導體市場的發展主要是藉由摩爾定律的推動，但近年來顯然是改由領域應用導向反過來推動，而Skymizer本身是從編譯器起家，介於硬體與應用軟體層之間，扮演了重要的橋樑角色，再加上軟體層方面，也有相應的軟體堆疊需要支援，所以從系統層級的角度來思考，Skymizer本身很了解系統設計與硬體的需求在哪，所以就能對症下藥，由軟體定義下手，設計出最佳化的LLM晶片IP，確保軟體及硬體結合得以最佳化。
魏國章進一步指出，這並不表示Skymizer就是從軟體往硬體方向發展，而是從系統優化的角度來看，軟體定義的概念已經是全球電子產品設計的顯學，從軟體的角度來思考硬體的規格。在Skymizer過去的經驗裡，很容易遇到硬體設計的瓶頸，造成軟體效能的發揮受到限制，所以Skymizer開始跨足硬體設計，也就順勢推出以LLM為基礎的矽智財方案來因應生成式AI的應用市場。
矽智財聚焦終端推論應用 斷網情境仍能完成工作需求
Skymizer所推出的矽智財，主要是基於LLM的Transformer模型為基礎來加以優化，最主要的原因是在於Transformer模型的發展其實已經定型化，成為各個生成式AI模型的主要基礎，所以才使得近期市場上不斷有新的模型推陳出新，在性能或是效率上不斷超越既有的模型。
魏國章談到，以AI技術類別來區分，除了既有的模型訓練（Training）與推論（Inferencing）市場外，另有一種市場是微調（Fine-Tuning），這類應用是基於已經事先訓練好的模型，企業再基於自身需求，再進一步調整出所需要的AI模型，縱觀這三類市場，推論（Inferencing）將會是未來成長最迅猛的市場，Skymizer現階段將聚焦終端（Edge）以及離線的推論市場（Local or On-device LLM Inferencing），尤其是特別在意機敏資訊的業者，Skymizer所提供的矽智財可以協助客戶在斷網情況下，依然能讓系統完成所需要的推論工作，不需要接到雲端LLM。而這也是Skymizer矽智財名稱EdgeThought（意即邊緣思維）的由來，面對不同的應用場景，以相應的系統效能來因應，無需增加多餘的算力。
因應不同工作負載 提供對應運算性能
郭冠宏也以加密貨幣挖礦應用為例 ，過去市場會以高算力的GPU來挖礦，但現今其實已經可以看到專用的ASIC來因應，同樣的道理，在邊緣運算領域，Skymizer也能提供極具成本與算力效益的方案給客戶，避免不必要的浪費。在過去，企業在導入AI硬體資源時，或許會優先選擇GPU架構的產品，但企業一旦擴大需求的情況下，就會意識到運算資源與成本上的浪費。再者，可能也會面臨GPU無法取得的風險，所以若能有更為合適的方案，客戶也能有更多的選擇。
而身為剛投入矽智財的Skymizer，的確也已經與主要的半導體業者如EDA（電子設計自動化）與晶圓代工業者等有相當深入的合作，呼應郭冠宏所提及的ASIC，魏國章不諱言，因應不同應用場景所需要的算力規模，打造出相應的AI ASIC，已經是龐大的市場商機，所以剛好也符合Skymizer過去所累積的市場基礎與能量，Skymizer無需刻意去尋找市場，市場自然就找上了Skymizer。而呼應前面所提及，Skymizer從編譯軟體起家，所以在軟體堆疊更也有完整的解決方案，所以能以一站式的產品策略，協助客戶開發所需要的晶片。最近美國的Groq Chip就是以編譯器為導向（Compiler-First）推出推論晶片（Inference Chips）的巨大獨角獸。
郭冠宏也說，目前公司資源的調度上其實非常彈性，哪裡有明顯的市場需求，就可以快速地進行挪動。
魏國章透露，針對終端邊緣裝置所需要的算力需求，無需特別先進的製程奧援，EdgeThought其實能激起國內外不同規模的業者的想像空間，因應不同需求，打造出相應的晶片方案，換言之，就算是新創業者利用成熟製程，也能推出符合市場需求的產品。魏國章更提及，Skymizer預計在COMPUTEX 2024期間，進一步發布更多關於EdgeThought的資訊，相信能驚豔市場的目光。
圖左為：Skymizer行銷長暨執行副總經理魏國章；右為Skymizer共同創辦人暨研發經理郭冠宏。Skymizer
自OPEN AI與生成式AI在2023年開始暴紅後，生成式AI乃至於LLM（大型語言模型）等技術儼然是新一代AI市場的重要代名詞，這也同時讓本就已經在LLM有所鑽研的新創公司，迎來了全新的AI市場商機。Skymizer（臺灣發展軟體科技）是台灣唯一以編譯器起家的軟體業者，在2023年中，決定進軍LLM市場，推出以Transformer模型為基礎的矽智財（IP）方案EdgeThought（邊緣思維）。
Skymizer共同創辦人暨研發經理郭冠宏表示，Skymizer在早期主要是以編譯器軟體出發，協助處理智慧型手機和伺服器系統優化問題，進入中期則是開始跨足CNN（卷積神經網路），而在ChatGPT2.0問世之初，Skymizer就開始投入LLM的研究，在2023年中則是進一步投入LLM的矽智財方案開發，2024年推出以LLM為基礎的矽智財方案EdgeThought，所以也可說是正式進入晶片設計方案的開發。
之所以會有這樣的轉變，Skymizer行銷長暨執行副總經理魏國章解釋，過去半導體市場的發展主要是藉由摩爾定律的推動，但近年來顯然是改由領域應用導向反過來推動，而Skymizer本身是從編譯器起家，介於硬體與應用軟體層之間，扮演了重要的橋樑角色，再加上軟體層方面，也有相應的軟體堆疊需要支援，所以從系統層級的角度來思考，Skymizer本身很了解系統設計與硬體的需求在哪，所以就能對症下藥，由軟體定義下手，設計出最佳化的LLM晶片IP，確保軟體及硬體結合得以最佳化。
魏國章進一步指出，這並不表示Skymizer就是從軟體往硬體方向發展，而是從系統優化的角度來看，軟體定義的概念已經是全球電子產品設計的顯學，從軟體的角度來思考硬體的規格。在Skymizer過去的經驗裡，很容易遇到硬體設計的瓶頸，造成軟體效能的發揮受到限制，所以Skymizer開始跨足硬體設計，也就順勢推出以LLM為基礎的矽智財方案來因應生成式AI的應用市場。
矽智財聚焦終端推論應用 斷網情境仍能完成工作需求
Skymizer所推出的矽智財，主要是基於LLM的Transformer模型為基礎來加以優化，最主要的原因是在於Transformer模型的發展其實已經定型化，成為各個生成式AI模型的主要基礎，所以才使得近期市場上不斷有新的模型推陳出新，在性能或是效率上不斷超越既有的模型。
魏國章談到，以AI技術類別來區分，除了既有的模型訓練（Training）與推論（Inferencing）市場外，另有一種市場是微調（Fine-Tuning），這類應用是基於已經事先訓練好的模型，企業再基於自身需求，再進一步調整出所需要的AI模型，縱觀這三類市場，推論（Inferencing）將會是未來成長最迅猛的市場，Skymizer現階段將聚焦終端（Edge）以及離線的推論市場（Local or On-device LLM Inferencing），尤其是特別在意機敏資訊的業者，Skymizer所提供的矽智財可以協助客戶在斷網情況下，依然能讓系統完成所需要的推論工作，不需要接到雲端LLM。而這也是Skymizer矽智財名稱EdgeThought（意即邊緣思維）的由來，面對不同的應用場景，以相應的系統效能來因應，無需增加多餘的算力。
因應不同工作負載 提供對應運算性能
郭冠宏也以加密貨幣挖礦應用為例 ，過去市場會以高算力的GPU來挖礦，但現今其實已經可以看到專用的ASIC來因應，同樣的道理，在邊緣運算領域，Skymizer也能提供極具成本與算力效益的方案給客戶，避免不必要的浪費。在過去，企業在導入AI硬體資源時，或許會優先選擇GPU架構的產品，但企業一旦擴大需求的情況下，就會意識到運算資源與成本上的浪費。再者，可能也會面臨GPU無法取得的風險，所以若能有更為合適的方案，客戶也能有更多的選擇。
而身為剛投入矽智財的Skymizer，的確也已經與主要的半導體業者如EDA（電子設計自動化）與晶圓代工業者等有相當深入的合作，呼應郭冠宏所提及的ASIC，魏國章不諱言，因應不同應用場景所需要的算力規模，打造出相應的AI ASIC，已經是龐大的市場商機，所以剛好也符合Skymizer過去所累積的市場基礎與能量，Skymizer無需刻意去尋找市場，市場自然就找上了Skymizer。而呼應前面所提及，Skymizer從編譯軟體起家，所以在軟體堆疊更也有完整的解決方案，所以能以一站式的產品策略，協助客戶開發所需要的晶片。最近美國的Groq Chip就是以編譯器為導向（Compiler-First）推出推論晶片（Inference Chips）的巨大獨角獸。
郭冠宏也說，目前公司資源的調度上其實非常彈性，哪裡有明顯的市場需求，就可以快速地進行挪動。
魏國章透露，針對終端邊緣裝置所需要的算力需求，無需特別先進的製程奧援，EdgeThought其實能激起國內外不同規模的業者的想像空間，因應不同需求，打造出相應的晶片方案，換言之，就算是新創業者利用成熟製程，也能推出符合市場需求的產品。魏國章更提及，Skymizer預計在COMPUTEX 2024期間，進一步發布更多關於EdgeThought的資訊，相信能驚豔市場的目光。