News

Skymizer, renowned globally for its pioneering compiler technology, is steering a significant pivot toward the software and hardware co-designed AI system. The company has innovated a unique approach that integrates software-defined chip IP with a compiler-first philosophy, marking a paradigm shift in designing the future of AI system. This revolutionary approach is poised to be […]

李佳玲／台北 2024-04-18 全文轉錄自 Digitimes 科技網 自OPEN AI與生成式AI在2023年開始暴紅後，生成式AI乃至於LLM（大型語言模型）等技術儼然是新一代AI市場的重要代名詞，這也同時讓本就已經在LLM有所鑽研的新創公司，迎來了全新的AI市場商機。Skymizer（臺灣發展軟體科技）是台灣唯一以編譯器起家的軟體業者，在2023年中，決定進軍LLM市場，推出以Transformer模型為基礎的矽智財（IP）方案EdgeThought（邊緣思維）。 Skymizer從編譯器出發 投入LLM矽智財市場 Skymizer共同創辦人暨研發經理郭冠宏表示，Skymizer在早期主要是以編譯器軟體出發，協助處理智慧型手機和伺服器系統優化問題，進入中期則是開始跨足CNN（卷積神經網路），而在ChatGPT2.0問世之初，Skymizer就開始投入LLM的研究，在2023年中則是進一步投入LLM的矽智財方案開發，2024年推出以LLM為基礎的矽智財方案EdgeThought，所以也可說是正式進入晶片設計方案的開發。 之所以會有這樣的轉變，Skymizer行銷長暨執行副總經理魏國章解釋，過去半導體市場的發展主要是藉由摩爾定律的推動，但近年來顯然是改由領域應用導向反過來推動，而Skymizer本身是從編譯器起家，介於硬體與應用軟體層之間，扮演了重要的橋樑角色，再加上軟體層方面，也有相應的軟體堆疊需要支援，所以從系統層級的角度來思考，Skymizer本身很了解系統設計與硬體的需求在哪，所以就能對症下藥，由軟體定義下手，設計出最佳化的LLM晶片IP，確保軟體及硬體結合得以最佳化。 魏國章進一步指出，這並不表示Skymizer就是從軟體往硬體方向發展，而是從系統優化的角度來看，軟體定義的概念已經是全球電子產品設計的顯學，從軟體的角度來思考硬體的規格。在Skymizer過去的經驗裡，很容易遇到硬體設計的瓶頸，造成軟體效能的發揮受到限制，所以Skymizer開始跨足硬體設計，也就順勢推出以LLM為基礎的矽智財方案來因應生成式AI的應用市場。 矽智財聚焦終端推論應用 斷網情境仍能完成工作需求 Skymizer所推出的矽智財，主要是基於LLM的Transformer模型為基礎來加以優化，最主要的原因是在於Transformer模型的發展其實已經定型化，成為各個生成式AI模型的主要基礎，所以才使得近期市場上不斷有新的模型推陳出新，在性能或是效率上不斷超越既有的模型。 魏國章談到，以AI技術類別來區分，除了既有的模型訓練（Training）與推論（Inferencing）市場外，另有一種市場是微調（Fine-Tuning），這類應用是基於已經事先訓練好的模型，企業再基於自身需求，再進一步調整出所需要的AI模型，縱觀這三類市場，推論（Inferencing）將會是未來成長最迅猛的市場，Skymizer現階段將聚焦終端（Edge）以及離線的推論市場（Local or On-device LLM Inferencing），尤其是特別在意機敏資訊的業者，Skymizer所提供的矽智財可以協助客戶在斷網情況下，依然能讓系統完成所需要的推論工作，不需要接到雲端LLM。而這也是Skymizer矽智財名稱EdgeThought（意即邊緣思維）的由來，面對不同的應用場景，以相應的系統效能來因應，無需增加多餘的算力。 因應不同工作負載 提供對應運算性能 郭冠宏也以加密貨幣挖礦應用為例 ，過去市場會以高算力的GPU來挖礦，但現今其實已經可以看到專用的ASIC來因應，同樣的道理，在邊緣運算領域，Skymizer也能提供極具成本與算力效益的方案給客戶，避免不必要的浪費。在過去，企業在導入AI硬體資源時，或許會優先選擇GPU架構的產品，但企業一旦擴大需求的情況下，就會意識到運算資源與成本上的浪費。再者，可能也會面臨GPU無法取得的風險，所以若能有更為合適的方案，客戶也能有更多的選擇。 而身為剛投入矽智財的Skymizer，的確也已經與主要的半導體業者如EDA（電子設計自動化）與晶圓代工業者等有相當深入的合作，呼應郭冠宏所提及的ASIC，魏國章不諱言，因應不同應用場景所需要的算力規模，打造出相應的AI ASIC，已經是龐大的市場商機，所以剛好也符合Skymizer過去所累積的市場基礎與能量，Skymizer無需刻意去尋找市場，市場自然就找上了Skymizer。而呼應前面所提及，Skymizer從編譯軟體起家，所以在軟體堆疊更也有完整的解決方案，所以能以一站式的產品策略，協助客戶開發所需要的晶片。最近美國的Groq Chip就是以編譯器為導向（Compiler-First）推出推論晶片（Inference Chips）的巨大獨角獸。 郭冠宏也說，目前公司資源的調度上其實非常彈性，哪裡有明顯的市場需求，就可以快速地進行挪動。 魏國章透露，針對終端邊緣裝置所需要的算力需求，無需特別先進的製程奧援，EdgeThought其實能激起國內外不同規模的業者的想像空間，因應不同需求，打造出相應的晶片方案，換言之，就算是新創業者利用成熟製程，也能推出符合市場需求的產品。魏國章更提及，Skymizer預計在COMPUTEX 2024期間，進一步發布更多關於EdgeThought的資訊，相信能驚豔市場的目光。 圖左為：Skymizer行銷長暨執行副總經理魏國章；右為Skymizer共同創辦人暨研發經理郭冠宏。Skymizer 自OPEN AI與生成式AI在2023年開始暴紅後，生成式AI乃至於LLM（大型語言模型）等技術儼然是新一代AI市場的重要代名詞，這也同時讓本就已經在LLM有所鑽研的新創公司，迎來了全新的AI市場商機。Skymizer（臺灣發展軟體科技）是台灣唯一以編譯器起家的軟體業者，在2023年中，決定進軍LLM市場，推出以Transformer模型為基礎的矽智財（IP）方案EdgeThought（邊緣思維）。 Skymizer從編譯器出發 投入LLM矽智財市場 Skymizer共同創辦人暨研發經理郭冠宏表示，Skymizer在早期主要是以編譯器軟體出發，協助處理智慧型手機和伺服器系統優化問題，進入中期則是開始跨足CNN（卷積神經網路），而在ChatGPT2.0問世之初，Skymizer就開始投入LLM的研究，在2023年中則是進一步投入LLM的矽智財方案開發，2024年推出以LLM為基礎的矽智財方案EdgeThought，所以也可說是正式進入晶片設計方案的開發。 之所以會有這樣的轉變，Skymizer行銷長暨執行副總經理魏國章解釋，過去半導體市場的發展主要是藉由摩爾定律的推動，但近年來顯然是改由領域應用導向反過來推動，而Skymizer本身是從編譯器起家，介於硬體與應用軟體層之間，扮演了重要的橋樑角色，再加上軟體層方面，也有相應的軟體堆疊需要支援，所以從系統層級的角度來思考，Skymizer本身很了解系統設計與硬體的需求在哪，所以就能對症下藥，由軟體定義下手，設計出最佳化的LLM晶片IP，確保軟體及硬體結合得以最佳化。 魏國章進一步指出，這並不表示Skymizer就是從軟體往硬體方向發展，而是從系統優化的角度來看，軟體定義的概念已經是全球電子產品設計的顯學，從軟體的角度來思考硬體的規格。在Skymizer過去的經驗裡，很容易遇到硬體設計的瓶頸，造成軟體效能的發揮受到限制，所以Skymizer開始跨足硬體設計，也就順勢推出以LLM為基礎的矽智財方案來因應生成式AI的應用市場。 矽智財聚焦終端推論應用 斷網情境仍能完成工作需求 Skymizer所推出的矽智財，主要是基於LLM的Transformer模型為基礎來加以優化，最主要的原因是在於Transformer模型的發展其實已經定型化，成為各個生成式AI模型的主要基礎，所以才使得近期市場上不斷有新的模型推陳出新，在性能或是效率上不斷超越既有的模型。 魏國章談到，以AI技術類別來區分，除了既有的模型訓練（Training）與推論（Inferencing）市場外，另有一種市場是微調（Fine-Tuning），這類應用是基於已經事先訓練好的模型，企業再基於自身需求，再進一步調整出所需要的AI模型，縱觀這三類市場，推論（Inferencing）將會是未來成長最迅猛的市場，Skymizer現階段將聚焦終端（Edge）以及離線的推論市場（Local or On-device LLM Inferencing），尤其是特別在意機敏資訊的業者，Skymizer所提供的矽智財可以協助客戶在斷網情況下，依然能讓系統完成所需要的推論工作，不需要接到雲端LLM。而這也是Skymizer矽智財名稱EdgeThought（意即邊緣思維）的由來，面對不同的應用場景，以相應的系統效能來因應，無需增加多餘的算力。 因應不同工作負載 提供對應運算性能 郭冠宏也以加密貨幣挖礦應用為例 ，過去市場會以高算力的GPU來挖礦，但現今其實已經可以看到專用的ASIC來因應，同樣的道理，在邊緣運算領域，Skymizer也能提供極具成本與算力效益的方案給客戶，避免不必要的浪費。在過去，企業在導入AI硬體資源時，或許會優先選擇GPU架構的產品，但企業一旦擴大需求的情況下，就會意識到運算資源與成本上的浪費。再者，可能也會面臨GPU無法取得的風險，所以若能有更為合適的方案，客戶也能有更多的選擇。 而身為剛投入矽智財的Skymizer，的確也已經與主要的半導體業者如EDA（電子設計自動化）與晶圓代工業者等有相當深入的合作，呼應郭冠宏所提及的ASIC，魏國章不諱言，因應不同應用場景所需要的算力規模，打造出相應的AI ASIC，已經是龐大的市場商機，所以剛好也符合Skymizer過去所累積的市場基礎與能量，Skymizer無需刻意去尋找市場，市場自然就找上了Skymizer。而呼應前面所提及，Skymizer從編譯軟體起家，所以在軟體堆疊更也有完整的解決方案，所以能以一站式的產品策略，協助客戶開發所需要的晶片。最近美國的Groq Chip就是以編譯器為導向（Compiler-First）推出推論晶片（Inference Chips）的巨大獨角獸。 郭冠宏也說，目前公司資源的調度上其實非常彈性，哪裡有明顯的市場需求，就可以快速地進行挪動。 […]

In the latest MLPerf Tiny Submission, Skymizer showcased impressive AI capabilities, especially in Anomaly Detection, using the Asus Tinker V with Renesas RZ/Five 1GHz based on Andes RISC-V IP. With Skymizer’s ONNC compiler and Andes AIRE NN library, we achieved significant performance in Anomaly Detection and Image Classification, maintaining high accuracy. Notably, counting all submitters […]

In a recent interview with Digitimes Aisa, Skymizer’s CMO & EVP William Wei discussed various aspects of AI development, highlighting Google’s multimodal development strategy and contrasting it with approaches by Microsoft and OpenAI. William touched upon the importance of AI in robotics and the automotive industry, envisioning a future where household devices become platforms for personal AI models. He […]

Skymizer, renowned for its prowess in AI system software, recently marked a significant milestone in the realm of artificial intelligence for compact devices. At the prestigious TinyML Asia event in Seoul, our Business Development Manager, Peter Chang, delivered an enlightening speech titled “Benchmarking AI Compiler for the TinyML Market,” offering insights into the capabilities of […]

In the dynamic landscape of technological evolution, few hubs stand out as vividly as Taiwan Tech Arena (TTA). Dedicated to empowering global tech startups, TTA has served as a nexus for innovation over the past five years, offering a platform for emerging startups to flourish, connect, and make their mark on the global stage. This […]

This article is transcribed from CommonWealth Magazine. By Elaine HuangFrom CommonWealth Magazine (vol. 776)2023-06-28 Having established a new market value record, NVIDIA is faced with the emergence of a young challenger from Taiwan. In early April, MLCommons, a consortium of AI chip industry heavyweights such as Google, Microsoft, Facebook (Meta), and Amazon, announced a set […]

This article is transcribed from Nuvoton official page : https://www.nuvoton.com/news/news/all/TSNuvotonNews-000456/ . Hsinchu, Taiwan, June 27, 2023 – Nuvoton Technology Corporation and Skymizer have achieved MLPerf Tiny Benchmark leadership in the Cortex-M4 MCU category through a combination of the NuMaker-M467HJ evaluation board, and Skymizer’s ONNC ML optimization. The Nuvoton M467-series MCU uses an Arm Cortex-M4F microcontroller operating […]

Skymizer 長期耕耘在 AI system software 領域，是台灣 AI system software 的領頭羊，今天在 MLPerf® Tiny v1.1 Benchmarks 的官方競賽當中取得絕佳成績。這次 Skymizer 分別送了兩次跑分，一個跑分與新唐科技合作，挑戰軟硬體協同優化的極限，取得 ARM Cortex-M4 當中的最好成績。另外一個跑分則基於通用的 MCU 平台，靠純粹的 ONNC 編譯器力壓 MicroTVM。  在與新唐合作的跑分當中，Skymizer 發揮了軟硬體協同優化的能力，在新唐的 M467HJHAN 取得了絕佳的成績。M467HJHAN MCU 工作在 200MHz，有 512KB SRAM。在這樣的環境之下，Skymizer 利用 ONNC 編譯器、作業系統、CMSIS-NN 優化函式庫三管齊下，順利的在 ARM Cortex-M4 領域當中取得頭籌。 在純粹的編譯器優化的跑分當中，相較於 open-source 編譯器，ONNC 取得平均 1.24x 的效能提升。在 IC (Image Classification) benchmark 當中，ONNC 加速了系統 1.31x 倍。這是因為 […]

生成式AI狂潮下，輝達黃仁勳掌握最重要算力軍火GPU，然而王者之位，已經開始有人覬覦，從山腳下積極上攻。「反黃仁勳」的台灣戰隊，它們是誰？有機會分食輝達市場？ 文 黃亦筠 天下雜誌776期 發布時間：2023-06-27 原文轉錄自天下雜誌 站上生成式AI狂潮之巔的輝達（Nvidia）執行長黃仁勳，山腳下出現了年輕挑戰者，來自台灣。 4月5日，成員包括Google、微軟、臉書、亞馬遜等組成AI晶片產業測試基準的工程聯盟（MLCommons），舉辦AI奧林匹克級賽事MLPerf，公布一份數據。 小型晶片廠創鑫首款晶片擊敗輝達最快GPU 來自台灣、成立4年，僅40多名員工的小型晶片廠創鑫智慧，以台積7奈米製程開發的首款晶片RecAccel N3000，在每瓦1060次查詢（queries）上，擊敗輝達最快速的GPU H100，效能為H100的1.67倍，拿下第一，在晶片圈掀起話題。 【小檔案】創鑫智慧•成立／2019年•董事長／林永隆•主要業務／AI運算加速器IC設計•資本額／13.5億 因為這意味著，創鑫的N3000晶片，能讓Meta、Google等雲端服務大咖的伺服器、數據中心，以更省電的方式，達成更好的查詢效率。 確實這波生成式AI，需要大量算力，輝達以CUDA運算平台，加上GPU軟硬體整合的絕佳優勢，以高達78%的寡佔之姿，站穩領導市場的地位。 誘人商機，吸引大型晶片廠超微（AMD）、英特爾及其他新創公司，甚至雲端服務業者，群起分食輝達這一塊肥美業務。 「大家都不想被輝達的CUDA＋GPU綁住，想多個選擇，」一名系統廠高層表示。 這間挑戰黃仁勳的台灣戰隊，藏身在IC設計大廠聚集的新竹科學園區內，是由台灣設計服務大廠、台積持有股份的創意電子創辦人之一，清大資工系教授林永隆在2019年創辦；背後的主要投資者包括緯創旗下的鼎創、凌陽創投、力晶等。 「我們用小小團隊，做了這麼大的project，一次就成功。這證明台灣是做晶片的好地方，」創鑫董事長林永隆笑著說。 一家新創公司第一個產品就採用台積昂貴的7奈米先進製程，在台灣半導體業十分罕見。7奈米製程，是聯發科智慧型手機晶片投片的主要製程。 鎖定特用市場，吸引超微合作 「N公司（指輝達）製程已經走到4奈米，我們用7奈米製程已經落後1.5代，如果比他們製程再落後更多，產品成功機會就不大，」林永隆的學生、創鑫技術長高肇陽直言。以落後的製程，卻超越N公司晶片效能，凸顯這間小型精兵公司的潛力。 短短4年，創鑫就做到這樣的成績，是因為林永隆選擇市場上極少人投入的伺服器用AI晶片，且專注在AI推論佔6成以上的推薦系統（recommendation），針對類似臉書、Google等社群平台推薦模型加速效能。 「我們和輝達走不同的路，」林永隆解釋，輝達是通用型GPU，需要涵蓋的範圍廣闊，從工程、氣象、遊戲都要能一體適用，但對許多特殊領域的企業而言，目前十分單純、昂貴、高規格的GPU不見得適用。 創鑫則鎖定特定用途，加速AI運算的ASIC（特定應用積體電路），一來也避開和輝達、超微、英特爾這些大咖晶片廠直接競爭，才可能有勝算。 林永隆表示，只要一個領域有大量計算和大量應用的需求，就會出現ASIC的需求。「資料中心伺服器的使用量會愈來愈大，算量的需求會大很多，你現在看到的只是冰山一角而已，」他十分看好。 創鑫在MLPerf賽事，將晶片放在超微上一代CPU的伺服器上，超越輝達H100效能的成績，立刻獲得超微的注目，預備一起合作AI解決方案。 編程器公司Skymizer董事長、執行長身懷絕技 生成式AI帶動的加速晶片商機，輝達最強大頭號挑戰者，毫無疑問就是超微。 6月13日超微發布新一代內建8顆處理器的M1 300X，記憶體數量超越輝達，速度和效能直接挑戰輝達最高階H100。然而發布會後超微股價卻下跌3.6%。當時一名美系機構Tirias Research分析師克維爾就指出，是因為沒有大客戶採用。 「大家還是用輝達，因為有可承接高階程式語言的CUDA，」前述系統廠高層坦言，超微、英特爾就是少了CUDA這樣的軟體架構。 創鑫也想擺脫CUDA緊箍咒，關鍵就在晶片上由台灣一間同樣小型的軟體公司Skymizer，打造的編程器（compiler）。 內湖瑞光路上一棟商辦內，「台灣發展軟體科技公司」，簡稱台發科，寫在樓層牌上，和台灣IC設計龍頭聯發科僅一字之差，它就是同業都以英文名稱之的AI編程器公司Skymizer。 【小檔案】Skymizer•成立／2013年•董事長／賴俊豪•執行長／唐文力•主要業務／AI編程器•資本額／2800萬 「每天睡覺起來，就覺得世界又變了，」Skymizer創辦人兼執行長唐文力說。他受訪這天是5月19日，Meta剛公布自家首顆推理晶片MTIA，這是一顆客製化晶片，搭配自己的PyTorch2.0介面。Open AI也推出機器學習模型Triton DSL，目的都是想削弱輝達的統治地位。 「這都是過去一個多月內發生的，」唐文力說，此刻是他當軟體工程師以來非常興奮的時刻。 Skymizer在2013年成立，目前約40人，有前英特爾副總裁王文漢的投資，現任董事長更是台灣IC設計界聞人──前創意電子總經理賴俊豪，創辦人兼執行長唐文力則待過晨星、Marvell，是當年聯發科成立編程器部門前二號員工。 Skymizer專門幫ASIC廠設計編程器，讓ASIC能和AI深度學習、高速運算整合，提升硬體性能。它還是世界第一個開源編程器設計廠，能夠支援AI主流深度學習框架，譬如TensorFlow，扮演的角色非常類似輝達的CUDA。 做非輝達陣營的CUDA架構因此，一有AI新平台出現，Skymizer工程師們就得卯起來幫ASIC客戶「落地」，讓客戶的ASIC晶片和這些AI、機器學習平台的程式語言能溝通。 「我們最近追趕得有點難睡好覺，」唐文力笑著說，「近期來詢問我們的（ASIC）業者變多了，」他直言。 5月中，Google內部流出一份標題為「我們沒有護城河」的備忘錄，裡面提到，開源社群研究員善用免費線上資源開發模型，運算結果已足以媲美最大型的企業專屬語言模型（LLM）。 《經濟學人》認為，這意味現在只要100美元就能完成LLM的微調，取得AI技術，將比過去更加民主，「強大的LLM可在筆電上運行，且任何人都可以微調出自己的AI系統。」 賴俊豪表示，AI戰國時代，模型變化太快，開一顆晶片最快一年半，等開出來，AI已變了好幾代，讓ASIC廠很難落地。 「我們可以成為非N陣營的CUDA，幫在戰國時代的ASIC公司填補不足，合起來拿一點輝達的市場，」賴俊豪說。 面對巨人輝達，台灣戰隊毫無畏懼，已經在摩拳擦掌。 （雜誌原標題：晶片效能超越輝達　黃仁勳反抗軍來了／責任編輯：吳廷勻）