半導體分析公司Semi Analysis創辦人Dylan Patel受訪，講NVIDIA的優勢與AI競爭格局與未來發展。首先在軟體方面，Dylan直言：「每個半導體公司的軟體都不怎麼樣，只有NVIDIA例外。」這個優勢體現在其完整的CUDA開發環境和強大的軟體生態系統中。
在硬體研發領域，NVIDIA展現出驚人的執行力，不僅最快採用新技術，從設計到產品部署的速度也遠超競爭對手。第三項優勢來自網路技術，通過收購Mellanox，NVIDIA在網路連接技術上建立了難以撼動的優勢地位。
#市場結構性風險
預訓練市場的發展正面臨瓶頸，一方面是來自資料來源的限制，另一方面是效能提升所需的投入呈指數級增長。同時，Neo-cloud市場正面臨整併壓力，Dylan預測在目前約80家供應商中，最終可能只有5-10家能夠存活，這可能對GPU的需求造成影響。
#成本壓力
記憶體成本的上升正在給NVIDIA帶來壓力。HBM記憶體在總成本中的比重不斷上升，加上記憶體供應商之間的競爭加劇，都對產品的毛利率造成壓力。儘管如此，NVIDIA正通過技術創新和價格策略的調整來應對這些挑戰。
#AI行業未來展望
2025年半導體產業將維持強勁的成長動能。超大規模雲端供應商的投資計畫明確且規模可觀。「超大規模雲端供應商明年的支出計畫相當明確，他們將投入大量資金，」Dylan表示。這波投資熱潮將帶動整個供應鏈的成長，包括網路設備供應商、客製化晶片廠商，以及系統整合商。
#資料中心建設加速
各大科技巨頭正在積極擴建資料中心。以Microsoft為例，正在威斯康辛州、亞特蘭大、德州和亞利桑那州等地建設多個同等規模的資料中心。Meta也正在路易斯安那州建設2GW的大型資料中心。這些投資反映出業界對AI運算需求持續增長的信心。
#推理運算市場擴大
推理時運算（Inference-time Computing）將成為新的增長引擎。Dylan指出：「透過推理運算的新方法，未來六個月到一年內，模型的進步速度可能會超過過去一年。」這種轉變將帶來新的硬體需求，特別是在記憶體和運算效能方面。
2026年：三大決定性因素
2026年將是產業的重要轉折點，其發展主要取決於三個核心因素：
首先是AI模型效能的持續提升。「如果模型效能無法持續提升，可能會出現一個重大的清算時刻，」Dylan警告道。模型效能的突破將直接影響產業投資的持續性。
第二個關鍵因素是超大規模客戶的資本支出意願。Dylan觀察到：「Meta和Microsoft可能會將自由現金流降至接近零，全力投入AI發展。」這種激進的投資策略能否持續，將影響整個產業鏈。
第三是新資金來源的進場。中東主權基金、新加坡、北歐和加拿大的退休基金等機構投資者尚未大規模進場。
#技術發展新方向 合成資料的重要性
產業正在探索預訓練以外的新路徑。合成資料生成將成為重要突破口，特別是在特定領域。「在某些領域，我們可以從無到有創造資料，」Dylan解釋，「目前在合成資料方面的投資可能只有幾千萬美元，但這個領域還有巨大的發展空間。」
#推理運算的演進
推理運算的需求將帶來新的技術挑戰。「當你在做推理時，模型可能需要產生數萬個tokens來進行思考，最終只輸出少量結果，」Dylan說明。這種運算模式將推動記憶體技術和系統架構的創新。
#記憶體技術的轉型
高頻寬記憶體(HBM)的重要性持續提升。「在成本結構中，HBM記憶體的比重正在超過晶圓代工，」Dylan指出。這促使記憶體大廠加速技術創新和產能轉型。
未來的競爭不僅限於單一晶片的性能，系統級的整合能力將變得更加關鍵。包括散熱、網路連接、記憶體管理等全方位的解決方案能力。
https://www.youtube.com/watch?v=QVcSBHhcFbg&t=31s
