我的一週 AI 回顧 20260525 – CPU 「敗部復活」、 使用開源 AI 大模型將會是企業主流

一、Make CPU great again

AI 年代中,CPU 又再次「復活」
AI 年代中,CPU 又再次「復活」

近期有留意財經新聞的朋友,相信都會注意到 Intel 股價在短短一個月內急升近三倍。這背後隱藏著一個關鍵的技術轉向:儘管圖像處理器(GPU)是 AI 運算的「主力」,但要協調 GPU 生產龐大運算力,強大的中央處理器(CPU)控制能力可謂不可或缺。

隨著數據中心的需求從單純的運算,演變到對儲存及電力控制的極致追求,我們正逐漸觸及地球資源的瓶頸。這亦解釋了為何 Elon Musk 等科技巨頭開始將目光投向太空——利用太陽能驅動太空數據中心,或許是解決電力供應及散熱限制的終極方案。

二、 粵語環境的理想選擇:阿里巴巴「通義千問」的高性價比優勢

最近我都使用不少開源的大模型, 也很建議大家多嘗試,其中我用最多是阿里巴巴通義千問 (Qwen) 模型。

Alibaba Cloud offers free tokens to access Qwen Models
現在使用 Alibaba Cloud 可以免費調用不同的千問大模型,用來測試相當不錯
  • 粵語優化: 其千萬級大模型對粵語的理解相當出色,非常適合本地的文案創作及內容生成。
  • 入門門檻極低: 透過申請阿里巴巴計算戶口,每個模型通常會提供 1,000,000 免費 Token,能夠測試自己部署 AI 工具,節省成本。
  • 模型推介: 我個人尤其偏好 Qwen 3.5 27B 版本,它在效能與反應速度之間取得了極佳的平衡,表現令人滿意。

三、 本地部署與 SLM:企業數據保安的終極方案

預計未來一至兩年,香港企業將會大規模轉向「本地部署(Local Deployment)」。這不僅是為了加強資料保安,更是為了革新知識管理模式。

Dell GB10 本地部署 AI 電腦
Dell GB10 AI 電腦已足夠應付公司小型團隊的 AI 需求

回想十多年前我在報館工作時,管理新聞內容及圖片需要一套極其昂貴的專業系統;時至今日,透過小型語言模型 (SLM),員工只需運用日常語言對話,便能精準搜尋內部資料。

  • 趨勢: SLM(參數約在數十億至百多億之間)並不需要頂級伺服器,現時市面上不少中高端的個人電腦已能輕鬆運行。
  • 價值: 實現「數據不出戶」,讓公司機密文件在安全的環境下,轉化為可隨時調用的知識庫,大大提升效率。

四、 DeepSeek 打價格錢搶市場

日前, DeepSeek 公開宣佈永久性減價,其最新的大模型 V4 將會減價到 25折。 無疑這個是好多喜歡開源和物色價廉物美的人之褔音。

DeepSeek 開放平台的新訂價

Modeldeepseek-v4-flashdeepseek-v4-pro
价格 (人民幣)百万tokens输入(缓存命中)(2)0.02元0.025元(2.5折(3)0.1元
百万tokens输入(缓存未命中)1元3元(2.5折(3)12元
百万tokens输出2元6元(2.5折(3)24元

五、 三款本地部署工具推介

如果你正考慮在自己或公司的電腦上部署 AI 模型,以下是我為你推介的三款實用工具:

  1. Chatbox AI (入門首選)
    • 特點: 在 GitHub 上獲得逾四萬顆星的開源項目,介面簡潔,支援 Windows 及 Mac 作業系統。
    • 優點: 內置多種主流模型(如 OpenAI、Claude 等)的 Token 服務,新手無需接觸複雜的指令碼 (CLI) 即可輕鬆上手。
    • 缺點: 目前對 RAG(檢索增強生成)及知識庫的支援相對較弱,手機應用程式的用戶體驗仍有改善空間。然而,若在桌面電腦上使用,其便利性依然相當高。
  2. AnythingLLM (中小企最佳方案)
    • 特點: 這是一款西方開源工具,完全免費且支援多用戶登入。
    • 優點: 具備強大的 RAG 支援,能輕鬆接駁不同的 MCP 及 Skills 工具。對於希望建立「企業專屬知識庫」的團隊來說,這是目前最簡單直接的選擇。當然,連接不同的語言模型亦相當簡易直接。
  3. Ollama + Docker (進階玩家)
    • 特點: 透過 Docker 容器安裝,不會影響電腦系統的穩定性。若不再需要,只需直接刪除 Docker Container 即可,非常方便。
    • 優點: 只要電腦硬件配置足夠強勁(例如 Mac M3/M4 Max),便能實現「無限 Token」使用 DeepSeek、Qwen 等開源模型。這是我個人最常用的方式,適合追求極致掌控力的用戶。

自主 AI 時代已經來臨

Token 將會是未來「貨幣」,自己建立人工智能系統。既可以保障自己的私隱,又可以處理生活上或者工作上的問題,也不用擔心會需要相當技術性。隨著技術普及,安裝和管理的程序可預見會越來越容易。

人類要考慮就是,如何選擇工作和任務給 AI 去完成, 而且懂得去分別 AI 生成和產生出來的結果是合乎標準和需要。

1. 訂閱網站內容,不會遺漏最快最新的 AI 和營銷小知識:

2. 推薦使用 WordPress 寄存空間: Kinsta

歡迎留言:

This site uses Akismet to reduce spam. Learn how your comment data is processed.