獨享實體節點 vs 虛擬化共享 GPU 雲：同一張卡，效能為什麼差很多？

很多人做 GPU 租用比較時只看兩件事：卡的型號和每小時價格。但實際跑起來才發現，同一張 RTX 4090，在 A 平台訓練一個 epoch 要 40 分鐘，在 B 平台卻要一個小時。差別往往不在 GPU 本身，而在 GPU 以外的一切。

GPU 工作不是只有 GPU 在工作

一個典型的 AI 工作流程裡，資料讀取、解碼、增強、tokenize、模型載入、影片編碼、checkpoint 寫入，全都靠 CPU、系統記憶體與磁碟。當這些資源不夠，GPU 就會閒著等資料，使用率在 30%–60% 之間跳動，你付的卻是整張卡的錢。

虛擬化與共享主機的三種損耗

• 虛擬化層開銷：虛擬機需要額外的 hypervisor 處理記憶體、中斷與 I/O，對高頻寬的資料讀取與 GPU 之間的資料傳輸都會產生額外延遲。
• 鄰居效應：同一台實體主機上的其他用戶共用 CPU 快取、記憶體頻寬、磁碟與網路。別人在跑大量 I/O 時，你的速度就跟著不穩定。
• 資源被切小：一台八卡伺服器切成八份，每份只分到約十個 vCPU 與幾十 GB 記憶體，對大型資料集或大模型載入明顯不夠。

GPU 雲端比較：GPUtw vs Glows.ai 公開規格

做 GPUtw 與 Glows.ai 比較時，以下 Glows.ai 數據取自其官網公開的 GPU 方案目錄（2026 年 11 月查詢），GPUtw 為同型號單卡方案的整台主機規格。

Glows.ai 隨選方案不擅長的地方

以下依據 Glows.ai 官網公開方案目錄（2026 年 11 月）與我們團隊的實際使用經驗整理：

• 系統記憶體比顯存還小：RTX PRO 6000 方案有 96 GB 顯存，卻只配 48 GB 系統記憶體。模型要先載入系統記憶體再送進 GPU，大模型載入慢、甚至放不下，等於浪費了這張卡最大的優勢。
• CPU 偏少：RTX 4090 方案 10 vCPU、RTX PRO 6000 方案 14 vCPU。資料前處理、影片解碼與編碼、tokenize 這些 CPU 工作一多，GPU 就閒著等資料。
• 共享主機、效能不穩定：隨選方案是與其他用戶共享主機資源的虛擬化環境（依我們實際使用經驗），鄰居的 I/O 與 CPU 負載會影響你的速度，同一個工作每次跑的時間不一定相同。
• SSD 完全不夠用：RTX 4090 方案只有 100 GB、PRO 6000 方案 200 GB。以 GPUtw 用戶的實際使用情況，一般 AI 工作的硬碟用量可達 600 GB 以上，100 GB 裝完環境、放兩三個模型就滿了。
• 沒有 RTX 5090：公開方案目錄中沒有列出 RTX 5090，想做 5090 短租的使用者無從選擇。
• 列出不等於租得到：2026 年 11 月 8 日查看其即時方案列表，RTX 6000 Ada 與 H100 的可用數量都是 0，H100 位於日本 JP-01 機房而非台灣；RTX PRO 6000 只出現在方案目錄，即時列表中沒有。
• 以美元計價：方案以 Credit 計價（1 Credit = 1 USD），新台幣實際成本會隨匯率變動。

我們團隊實際使用過 Glows.ai 的隨選方案，體驗到的是與其他用戶共享主機資源的虛擬化環境。如果只是幾分鐘的小實驗，這些限制影響不大；但只要是正式的訓練、大模型推論或影片生成，CPU、記憶體與硬碟往往才是決定總時間與總成本的關鍵，比每小時差幾塊錢更影響總花費。

GPUtw 的「獨立節點」是什麼意思？

• 單卡機型整台獨享：你租一張 RTX 5090、RTX 4090 或 RTX PRO 6000，就拿到那台實體主機的全部 CPU、系統記憶體與 TB 級 NVMe SSD（含在時租內），等同裸機 GPU 的體驗。
• 不經虛擬機層：GPU 直接交給你的工作環境使用，沒有 hypervisor 的額外開銷。
• 多卡主機按比例切分：多卡機器若以單卡出租，CPU、記憶體與硬碟按卡數嚴格等比例分配，不超賣；需要整台的話也能一次租下全部 GPU。

不論你用的詞是獨享 GPU、GPU 租賃還是 GPU 租任，選平台前都值得先確認：這張卡背後的主機，是不是只屬於你。

怎麼自己驗證？

開機後執行 nproc 與 free -h 看實際分到的 CPU 與記憶體，再用 nvidia-smi dmon 觀察訓練時的 GPU 使用率。如果 GPU 使用率長期低於 80%，而 CPU 滿載，代表瓶頸不在 GPU。