BTC $65,027.8 +0.33%
ETH $1,920.43 +0.35%
SOL $76.63 +0.78%
BNB $602.1 +0.05%
XRP $1.03 -0.58%
DOGE $0.0697 -0.51%
ADA $0.1962 -1.16%
AVAX $6.51 +0.39%
DOT $0.8028 -1.17%
LINK $8.2 -1.19%
⛽ ETH Gas 28 Gwei
Sợ&Tham
30

Tham vọng 100 nghìn tỷ tham số của ByteDance: Một canh bạc thanh khoản tri thức hay cú lừa ngoạn mục?

Chính sách | Trương Thảo |

Tôi đã dành 12 năm trong lĩnh vực quản lý quỹ số để học một điều: khi một gã khổng lồ tuyên bố tham vọng lớn nhất lịch sử, thị trường thường chỉ nhìn thấy con số, còn tôi nhìn thấy bảng cân đối kế toán và chi phí cơ hội.

Báo cáo của Financial Times về việc ByteDance đang phát triển một mô hình AI với quy mô lên tới 100 nghìn tỷ tham số là một trong những câu chuyện 'định giá lại' táo bạo nhất mà tôi từng chứng kiến trong chu kỳ này. Một con số khiến bất kỳ ai từng vận hành hạ tầng GPU đều phải dừng lại. Và ngay lập tức, bộ não phân tích vĩ mô của tôi bật ra ba chữ: thanh khoản tri thức.

Không phải thanh khoản tiền tệ, mà là thanh khoản của năng lực tính toán và dữ liệu. Hãy cùng tôi mổ xẻ canh bạc này qua lăng kính của một nhà quản lý quỹ, người đã từng mất 30% danh mục vì hiểu sai về thanh khoản DeFi năm 2020.

Bối cảnh: Khi 'trọng lượng' trở thành vũ khí tối thượng

Câu chuyện bắt đầu từ một sự thật phũ phàng: thị trường AI đang chìm trong cuộc chạy đua vũ trang về quy mô. Nhưng điều khiến tôi quan tâm không phải là con số 100 nghìn tỷ, mà là sự thừa nhận của FT rằng dự án 'vẫn đang trong giai đoạn đầu, quy mô cuối cùng chưa được xác định'. Đây là tín hiệu quan trọng nhất.

Hãy nhìn lại lịch sử: khi một quỹ đầu tư lớn công bố 'quỹ mới giai đoạn đầu, quy mô cuối cùng chưa xác định', điều đó có nghĩa là họ đang thử nghiệm giới hạn của thị trường. Tương tự, ByteDance đang gửi một tín hiệu: chúng tôi sở hữu đủ nguồn lực để mơ về một điều không tưởng. Nhưng sự khác biệt giữa giấc mơ và hiện thực nằm ở hạ tầng.

Từ góc nhìn kỹ thuật, để lưu trữ 100 nghìn tỷ tham số ở định dạng BF16, bạn cần khoảng 200TB bộ nhớ chỉ riêng cho trọng số. Tính cả gradient và trạng thái bộ tối ưu, con số này tăng gấp 3-6 lần. Chúng ta đang nói về một cụm máy tính với ít nhất vài nghìn đến hàng chục nghìn GPU 80GB, kết nối qua mạng tốc độ cực cao. Đây không còn là vấn đề của một công ty công nghệ, mà là vấn đề của một quốc gia nhỏ.

Kiến trúc ẩn: Cuộc chơi của MoE và 'lời nguyền kích hoạt'

Bài phân tích chỉ ra một điểm mù mà 99% người đọc sẽ bỏ qua: sự khác biệt giữa 'tổng tham số' và 'tham số kích hoạt'. Đây là lúc tôi nhớ đến bài học DeFi 2020 của mình.

Tham vọng 100 nghìn tỷ tham số của ByteDance: Một canh bạc thanh khoản tri thức hay cú lừa ngoạn mục?

Năm đó, tôi bỏ 0.5 ETH vào Compound và kiếm được 35% APY. Tôi nghĩ mình hiểu thanh khoản. Cho đến khi giá ETH sụp đổ, tôi mới hiểu ra: tổng thanh khoản trong pool không quan trọng bằng thanh khoản khả dụng trong một cú sốc. Tương tự, một mô hình 100 nghìn tỷ tham số với kiến trúc MoE (Hỗn hợp chuyên gia) chỉ kích hoạt một phần nhỏ tham số cho mỗi token. Nếu chỉ 1 nghìn tỷ tham số được kích hoạt, chi phí suy luận sẽ tương đương với một mô hình ~1 nghìn tỷ tham số truyền thống. Nhưng nếu con số kích hoạt là 10 nghìn tỷ, chi phí vận hành sẽ trở thành thảm họa tài chính.

Điều này giải thích vì sao tôi đánh giá độ tin cậy của khía cạnh kỹ thuật chỉ ở mức C. Không ai bên ngoài biết tỷ lệ kích hoạt là bao nhiêu. Nhưng có một thực tế toán học: nếu ByteDance thực sự nhắm tới 1 nghìn tỷ tham số kích hoạt với 15 nghìn tỷ token huấn luyện, tổng chi phí tính toán sẽ đạt khoảng 9×10^25 FLOPs. Với hiệu suất GPU H100 và mức sử dụng trung bình 50%, bạn cần khoảng 10.000 GPU chạy liên tục 3-6 tháng. Nếu tham số kích hoạt cao hơn, con số này có thể tăng gấp 5-10 lần.

Góc nhìn phản trực giác: Sự thật về 'hạ tầng thanh khoản' của ByteDance

Đây là nơi tôi muốn thách thức câu chuyện chính thống. Mọi người đang tập trung vào cuộc đua giữa ByteDance và Anthropic, nhưng bỏ lỡ điểm mấu chốt: trong bối cảnh lệnh cấm xuất khẩu chip của Mỹ, thách thức lớn nhất của ByteDance không phải là thuật toán, mà là 'thanh khoản GPU'.

Tôi nhớ lại cuộc khủng hoảng thanh khoản DeFi năm 2022: các quỹ như Three Arrows Capital vỡ nợ vì họ cho rằng thanh khoản là vĩnh viễn. Họ đã nhầm. ByteDance có thể đang mắc một sai lầm tương tự khi tin rằng họ có thể huy động đủ sức mạnh tính toán trong một môi trường hạn chế. Ngay cả khi họ đã 'tích trữ' GPU trước lệnh cấm, việc vận hành một cụm 100.000 GPU ổn định trong nhiều tháng là một thách thức kỹ thuật mà chưa công ty nào trên thế giới thực sự chinh phục được, kể cả OpenAI.

Và đây là nghịch lý: FT nhấn mạnh 'tham số nhiều hơn không đồng nghĩa với khả năng mạnh hơn'. Nhưng thị trường vẫn sẽ định giá dựa trên con số 100 nghìn tỷ. Trong 14 năm quan sát thị trường của tôi, tôi chưa bao giờ thấy một tuyên bố về 'quy mô' nào không tạo ra một đợt bơm thanh khoản đầu cơ, bất kể kết quả cuối cùng ra sao.

Hệ quả vĩ mô: Sự dịch chuyển mạch máu nhân lực

Nếu dự án này tiến triển, nó sẽ tạo ra một lực hút hấp dẫn đối với các nhà nghiên cứu AI hàng đầu Trung Quốc. Tôi đã thấy điều này trong thế giới DeFi: khi một giao thức huy động được thanh khoản khổng lồ, các nhà phát triển giỏi nhất sẽ đổ về. ByteDance đang làm điều tương tự với thị trường nhân tài. Câu nói của Trương Nhất Minh về việc 'phản đối việc chưng cất các mô hình đối thủ' là một tín hiệu văn hóa đắt giá: ông ấy muốn xây một đội ngũ tin vào sự tự lực cánh sinh, chấp nhận thất bại ngắn hạn để đạt được sự thống trị dài hạn.

Nhưng đừng quên: kể cả khi huấn luyện thành công, bài toán chưa dừng lại. Suy luận (inference) với một mô hình khổng lồ như vậy là một bài toán chi phí biên không tưởng. Điều này dẫn tới dự đoán mang tính cách mạng của tôi: nếu ByteDance thông minh, họ sẽ không bao giờ vận hành mô hình 100 nghìn tỷ tham số phục vụ người dùng trực tiếp. Họ sẽ sử dụng nó như một 'giáo viên' để chưng cất ra hàng loạt mô hình nhỏ hơn, tinh gọn hơn cho các sản phẩm thương mại. Con ngựa thồ sẽ là mô hình triệu tỷ tham số để tạo ra các con chiến mã phục vụ TikTok.

Nếu vậy, con số 100 nghìn tỷ chỉ là một chiến lược PR và tuyển dụng, còn giá trị kinh doanh thực sự nằm ở các mô hình chưng cất. Nhưng nếu tôi sai, nếu họ thực sự cố gắng vận hành mô hình khổng lồ này cho người dùng cuối, chi phí điện năng có thể nuốt chửng toàn bộ lợi nhuận của mảng quảng cáo.

Điều tôi muốn theo dõi trong 6 tháng tới không phải là thông cáo báo chí, mà là các đơn hàng GPU tại các trung tâm dữ liệu ở Đông Nam Á, nơi các công ty Trung Quốc có thể lách qua các hạn chế. Và khi bạn thấy một chuỗi cung ứng ồ ạt chuyển dịch, hãy nhớ: thanh khoản không bao giờ nói dối, nhưng các thông cáo báo chí luôn biết nói những gì bạn muốn nghe.

Tham vọng 100 nghìn tỷ tham số của ByteDance: Một canh bạc thanh khoản tri thức hay cú lừa ngoạn mục?