News

After announcing its foray into the LLM (Large Language Model) IP market, Skymizer recently unveiled a series of hardware and software solutions centered around LLM IP. These offerings are designed to bring more imagination to the LLM application service market. Skymizer’s IP solution series is codenamed EdgeThought, with the first market-ready solution named ET2, capable of efficiently handling […]

Skymizer, a prominent Taiwan-based AI system software provider known for its compiler optimization solutions, has announced the release of EdgeThought, its new software-hardware co-design AI ASIC IP. Founded in 2013, Skymizer designed EdgeThought with a compiler-centric approach. This innovative IP enables a variety of edge devices to efficiently run state-of-the-art on-device large language models (LLMs) such as […]

Skymizer自向產業界宣誓進軍LLM（大型語言模型）矽智財市場後，近期宣布一系列以LLM矽智財為核心的軟硬體解決方案，希望能為LLM應用服務市場帶來更多想像空間。Skymizer的矽智財系列方案代號為EdgeThought（邊緣思維），其第一款推向市場的解決方案代號為ET2，它可以有效率地處理目前市面所有邊緣裝置所需要的LLM，也包括了近期所發布的Llama3，其參數規模高達80億。 Skymizer在推出矽智財方案前，主要的解決方案為編譯器業者，扮演晶片與軟體之間的橋樑角色，也因此對於整體系統軟硬體整合優化上擁有相當豐富的經驗，而隨著LLM需求水漲船高，同時也基於Skymizer擁有厚實的市場基礎下，所以也進軍矽智財市場，進一步來因應多元垂直應用的市場需求。 全文請見 https://www.digitimes.com.tw/tech/dt/n/shwnws.asp?CnlID=13&id=693148

EdgeThought IP: Providing comprehensive solutions for on-device LLM with Edge computation cores and full-stack software frameworks, enabling the development of competitive products with super-efficient local LLM inference capabilities. SkyGenie Auto is ET2’s comprehensive software and hardware integration solution in the automotive field, providing drivers and passengers with comprehensive intelligence vehicle experience.It has built-in the most […]

台北市台灣 -Skymizer 作為編譯技術和優化解決方案的先驅，今天宣布推出其革命性的軟硬體協同設計 的AI ASIC IP – EdgeThought（邊緣思維），專為在設備上加速大型語言模型（LLM）而設計。這一尖端創新利用了 Skymizer 的先進編譯器技術，在計算、內存利用率、功率效率和成本效益方面樹立了新的行業標杆。 EdgeThought 旨在提升各種邊緣設備中 LLM 應用程序的性能，從物聯網設備到汽車系統和 AI 個人電腦甚至是強大的Edge Server。通過編譯器為中心的設計優化理念，Skymizer 的解決方案確保這些設備可以運行最先進的在設備上 的各種LLM 模型，包括Meta最新推出的 Llama3 8B。 EdgeThought的主要技術亮點有： • 優化的編譯器技術：加速器核心是 Skymizer 的專有編譯器技術，可最大化硬體利用率和效率，即使在資源受限的邊緣設備上也能實現卓越的性能。 • 增强的計算和內存效率：協同設計方法最小化延遲並最大化吞吐量，同時減少內存佔用，允許在邊緣快速且可靠地進行 LLM 推理。 • 功率和成本效率：Skymizer 的解決方案大大降低了部署高級人工智能模型的功耗和運營成本，使其成為尋求可持續擴展運營的企業理想選擇。 • 可擴展性和靈活性：設計支持多種 LLM 應用，加速器可根據不同尺寸和性能需求進行擴展，包括多用戶和多批次，以提高高效邊緣伺服器的吞吐量，為設備製造商和應用開發者提供前所未有的靈活性。 “今天對於 Skymizer 和整個 AI 和邊緣計算行業來說都是一個重要的里程碑，”Skymizer 的 CEO Jim Lai 說。“我們的創新 LLM 加速器重新定義了邊緣 AI 性能的可能性，使其更加可及且具有成本效益。這次發布反映了我們致力於推動技術邊界，為客戶賦能並豐富用戶體驗。” 憑藉十年的編譯器和虛擬化行業經驗，Skymizer 專注於其擅長的領域來設計 EdgeThought，使其成為專用於 […]

Taipei, Taiwan — Skymizer, a pioneer in compiler technology and optimized solutions, today announced the release of its revolutionary software-hardware co-design AI ASIC IP, EdgeThought, specifically engineered for accelerating Large Language Models (LLMs) at the edge. This cutting-edge innovation leverages Skymizer’s advanced compiler technology to set new industry benchmarks in computation, memory utilization, power efficiency, […]

Skymizer, renowned globally for its pioneering compiler technology, is steering a significant pivot toward the software and hardware co-designed AI system. The company has innovated a unique approach that integrates software-defined chip IP with a compiler-first philosophy, marking a paradigm shift in designing the future of AI system. This revolutionary approach is poised to be […]

李佳玲／台北 2024-04-18 全文轉錄自 Digitimes 科技網 自OPEN AI與生成式AI在2023年開始暴紅後，生成式AI乃至於LLM（大型語言模型）等技術儼然是新一代AI市場的重要代名詞，這也同時讓本就已經在LLM有所鑽研的新創公司，迎來了全新的AI市場商機。Skymizer（臺灣發展軟體科技）是台灣唯一以編譯器起家的軟體業者，在2023年中，決定進軍LLM市場，推出以Transformer模型為基礎的矽智財（IP）方案EdgeThought（邊緣思維）。 Skymizer從編譯器出發 投入LLM矽智財市場 Skymizer共同創辦人暨研發經理郭冠宏表示，Skymizer在早期主要是以編譯器軟體出發，協助處理智慧型手機和伺服器系統優化問題，進入中期則是開始跨足CNN（卷積神經網路），而在ChatGPT2.0問世之初，Skymizer就開始投入LLM的研究，在2023年中則是進一步投入LLM的矽智財方案開發，2024年推出以LLM為基礎的矽智財方案EdgeThought，所以也可說是正式進入晶片設計方案的開發。 之所以會有這樣的轉變，Skymizer行銷長暨執行副總經理魏國章解釋，過去半導體市場的發展主要是藉由摩爾定律的推動，但近年來顯然是改由領域應用導向反過來推動，而Skymizer本身是從編譯器起家，介於硬體與應用軟體層之間，扮演了重要的橋樑角色，再加上軟體層方面，也有相應的軟體堆疊需要支援，所以從系統層級的角度來思考，Skymizer本身很了解系統設計與硬體的需求在哪，所以就能對症下藥，由軟體定義下手，設計出最佳化的LLM晶片IP，確保軟體及硬體結合得以最佳化。 魏國章進一步指出，這並不表示Skymizer就是從軟體往硬體方向發展，而是從系統優化的角度來看，軟體定義的概念已經是全球電子產品設計的顯學，從軟體的角度來思考硬體的規格。在Skymizer過去的經驗裡，很容易遇到硬體設計的瓶頸，造成軟體效能的發揮受到限制，所以Skymizer開始跨足硬體設計，也就順勢推出以LLM為基礎的矽智財方案來因應生成式AI的應用市場。 矽智財聚焦終端推論應用 斷網情境仍能完成工作需求 Skymizer所推出的矽智財，主要是基於LLM的Transformer模型為基礎來加以優化，最主要的原因是在於Transformer模型的發展其實已經定型化，成為各個生成式AI模型的主要基礎，所以才使得近期市場上不斷有新的模型推陳出新，在性能或是效率上不斷超越既有的模型。 魏國章談到，以AI技術類別來區分，除了既有的模型訓練（Training）與推論（Inferencing）市場外，另有一種市場是微調（Fine-Tuning），這類應用是基於已經事先訓練好的模型，企業再基於自身需求，再進一步調整出所需要的AI模型，縱觀這三類市場，推論（Inferencing）將會是未來成長最迅猛的市場，Skymizer現階段將聚焦終端（Edge）以及離線的推論市場（Local or On-device LLM Inferencing），尤其是特別在意機敏資訊的業者，Skymizer所提供的矽智財可以協助客戶在斷網情況下，依然能讓系統完成所需要的推論工作，不需要接到雲端LLM。而這也是Skymizer矽智財名稱EdgeThought（意即邊緣思維）的由來，面對不同的應用場景，以相應的系統效能來因應，無需增加多餘的算力。 因應不同工作負載 提供對應運算性能 郭冠宏也以加密貨幣挖礦應用為例 ，過去市場會以高算力的GPU來挖礦，但現今其實已經可以看到專用的ASIC來因應，同樣的道理，在邊緣運算領域，Skymizer也能提供極具成本與算力效益的方案給客戶，避免不必要的浪費。在過去，企業在導入AI硬體資源時，或許會優先選擇GPU架構的產品，但企業一旦擴大需求的情況下，就會意識到運算資源與成本上的浪費。再者，可能也會面臨GPU無法取得的風險，所以若能有更為合適的方案，客戶也能有更多的選擇。 而身為剛投入矽智財的Skymizer，的確也已經與主要的半導體業者如EDA（電子設計自動化）與晶圓代工業者等有相當深入的合作，呼應郭冠宏所提及的ASIC，魏國章不諱言，因應不同應用場景所需要的算力規模，打造出相應的AI ASIC，已經是龐大的市場商機，所以剛好也符合Skymizer過去所累積的市場基礎與能量，Skymizer無需刻意去尋找市場，市場自然就找上了Skymizer。而呼應前面所提及，Skymizer從編譯軟體起家，所以在軟體堆疊更也有完整的解決方案，所以能以一站式的產品策略，協助客戶開發所需要的晶片。最近美國的Groq Chip就是以編譯器為導向（Compiler-First）推出推論晶片（Inference Chips）的巨大獨角獸。 郭冠宏也說，目前公司資源的調度上其實非常彈性，哪裡有明顯的市場需求，就可以快速地進行挪動。 魏國章透露，針對終端邊緣裝置所需要的算力需求，無需特別先進的製程奧援，EdgeThought其實能激起國內外不同規模的業者的想像空間，因應不同需求，打造出相應的晶片方案，換言之，就算是新創業者利用成熟製程，也能推出符合市場需求的產品。魏國章更提及，Skymizer預計在COMPUTEX 2024期間，進一步發布更多關於EdgeThought的資訊，相信能驚豔市場的目光。 圖左為：Skymizer行銷長暨執行副總經理魏國章；右為Skymizer共同創辦人暨研發經理郭冠宏。Skymizer 自OPEN AI與生成式AI在2023年開始暴紅後，生成式AI乃至於LLM（大型語言模型）等技術儼然是新一代AI市場的重要代名詞，這也同時讓本就已經在LLM有所鑽研的新創公司，迎來了全新的AI市場商機。Skymizer（臺灣發展軟體科技）是台灣唯一以編譯器起家的軟體業者，在2023年中，決定進軍LLM市場，推出以Transformer模型為基礎的矽智財（IP）方案EdgeThought（邊緣思維）。 Skymizer從編譯器出發 投入LLM矽智財市場 Skymizer共同創辦人暨研發經理郭冠宏表示，Skymizer在早期主要是以編譯器軟體出發，協助處理智慧型手機和伺服器系統優化問題，進入中期則是開始跨足CNN（卷積神經網路），而在ChatGPT2.0問世之初，Skymizer就開始投入LLM的研究，在2023年中則是進一步投入LLM的矽智財方案開發，2024年推出以LLM為基礎的矽智財方案EdgeThought，所以也可說是正式進入晶片設計方案的開發。 之所以會有這樣的轉變，Skymizer行銷長暨執行副總經理魏國章解釋，過去半導體市場的發展主要是藉由摩爾定律的推動，但近年來顯然是改由領域應用導向反過來推動，而Skymizer本身是從編譯器起家，介於硬體與應用軟體層之間，扮演了重要的橋樑角色，再加上軟體層方面，也有相應的軟體堆疊需要支援，所以從系統層級的角度來思考，Skymizer本身很了解系統設計與硬體的需求在哪，所以就能對症下藥，由軟體定義下手，設計出最佳化的LLM晶片IP，確保軟體及硬體結合得以最佳化。 魏國章進一步指出，這並不表示Skymizer就是從軟體往硬體方向發展，而是從系統優化的角度來看，軟體定義的概念已經是全球電子產品設計的顯學，從軟體的角度來思考硬體的規格。在Skymizer過去的經驗裡，很容易遇到硬體設計的瓶頸，造成軟體效能的發揮受到限制，所以Skymizer開始跨足硬體設計，也就順勢推出以LLM為基礎的矽智財方案來因應生成式AI的應用市場。 矽智財聚焦終端推論應用 斷網情境仍能完成工作需求 Skymizer所推出的矽智財，主要是基於LLM的Transformer模型為基礎來加以優化，最主要的原因是在於Transformer模型的發展其實已經定型化，成為各個生成式AI模型的主要基礎，所以才使得近期市場上不斷有新的模型推陳出新，在性能或是效率上不斷超越既有的模型。 魏國章談到，以AI技術類別來區分，除了既有的模型訓練（Training）與推論（Inferencing）市場外，另有一種市場是微調（Fine-Tuning），這類應用是基於已經事先訓練好的模型，企業再基於自身需求，再進一步調整出所需要的AI模型，縱觀這三類市場，推論（Inferencing）將會是未來成長最迅猛的市場，Skymizer現階段將聚焦終端（Edge）以及離線的推論市場（Local or On-device LLM Inferencing），尤其是特別在意機敏資訊的業者，Skymizer所提供的矽智財可以協助客戶在斷網情況下，依然能讓系統完成所需要的推論工作，不需要接到雲端LLM。而這也是Skymizer矽智財名稱EdgeThought（意即邊緣思維）的由來，面對不同的應用場景，以相應的系統效能來因應，無需增加多餘的算力。 因應不同工作負載 提供對應運算性能 郭冠宏也以加密貨幣挖礦應用為例 ，過去市場會以高算力的GPU來挖礦，但現今其實已經可以看到專用的ASIC來因應，同樣的道理，在邊緣運算領域，Skymizer也能提供極具成本與算力效益的方案給客戶，避免不必要的浪費。在過去，企業在導入AI硬體資源時，或許會優先選擇GPU架構的產品，但企業一旦擴大需求的情況下，就會意識到運算資源與成本上的浪費。再者，可能也會面臨GPU無法取得的風險，所以若能有更為合適的方案，客戶也能有更多的選擇。 而身為剛投入矽智財的Skymizer，的確也已經與主要的半導體業者如EDA（電子設計自動化）與晶圓代工業者等有相當深入的合作，呼應郭冠宏所提及的ASIC，魏國章不諱言，因應不同應用場景所需要的算力規模，打造出相應的AI ASIC，已經是龐大的市場商機，所以剛好也符合Skymizer過去所累積的市場基礎與能量，Skymizer無需刻意去尋找市場，市場自然就找上了Skymizer。而呼應前面所提及，Skymizer從編譯軟體起家，所以在軟體堆疊更也有完整的解決方案，所以能以一站式的產品策略，協助客戶開發所需要的晶片。最近美國的Groq Chip就是以編譯器為導向（Compiler-First）推出推論晶片（Inference Chips）的巨大獨角獸。 郭冠宏也說，目前公司資源的調度上其實非常彈性，哪裡有明顯的市場需求，就可以快速地進行挪動。 […]

In the latest MLPerf Tiny Submission, Skymizer showcased impressive AI capabilities, especially in Anomaly Detection, using the Asus Tinker V with Renesas RZ/Five 1GHz based on Andes RISC-V IP. With Skymizer’s ONNC compiler and Andes AIRE NN library, we achieved significant performance in Anomaly Detection and Image Classification, maintaining high accuracy. Notably, counting all submitters […]

In a recent interview with Digitimes Aisa, Skymizer’s CMO & EVP William Wei discussed various aspects of AI development, highlighting Google’s multimodal development strategy and contrasting it with approaches by Microsoft and OpenAI. William touched upon the importance of AI in robotics and the automotive industry, envisioning a future where household devices become platforms for personal AI models. He […]