100 nghìn tỷ tham số: Cuộc đặt cược không có bản thiết kế

FT vừa đưa tin ByteDance đang đào tạo một mô hình với mục tiêu 100 nghìn tỷ tham số. Một con số đẹp. Đẹp đến mức nhà đầu tư và báo chí có thể quên mất một câu hỏi cơ bản mà bất kỳ ai từng audit hợp đồng thông minh đều phải đặt ra: con số đó đến từ đâu? Trong 24 năm theo dõi ngành, tôi chưa thấy dự án nào thành công khi phát hành token mà không có kiến trúc kỹ thuật rõ ràng. Và tôi cũng chưa thấy mô hình AI nào thành công chỉ vì nó to. ByteDance vừa tuyên bố tham gia cuộc chơi lớn nhất lịch sử AI, nhưng không công bố số tham số kích hoạt, không công bố kiến trúc, không công bố dữ liệu. Đó không phải là một bài báo cáo tiến độ. Đó là một tờ séc trắng. Câu chuyện bắt đầu từ một nguồn tin nội bộ của Financial Times. Theo đó, ByteDance đặt mục tiêu xây dựng mô hình ngôn ngữ lớn vượt qua mọi thứ từng thấy ở Trung Quốc. Ba lần so với KimiK3 nếu đạt trần. Và gần bằng Anthropic Mythos5 - một con số cũng chỉ là ước đoán của giới phân tích. Tất cả những con số này đều không được xác minh. Chúng giống như một vòng gọi vốn ICO năm 2017: whitepaper đẹp, token đẹp, nhưng mã nguồn thì không tồn tại. Trong bối cảnh đó, người ta thường nói về tham số như một đơn vị sức mạnh. Sai. Tham số là một đơn vị chi phí. 100 nghìn tỷ tham số trong BF16 cần 200 terabyte chỉ để lưu trọng số. Cộng thêm gradient và trạng thái bộ tối ưu, nếu không có MoE và phân mảnh chuyên gia, con số này vượt xa năng lực của bất kỳ trung tâm dữ liệu thương mại nào hiện nay. Ngay cả với kiến trúc thưa, số tham số kích hoạt mới là thứ quyết định chi phí suy luận. FT không hỏi. ByteDance không nói. Và báo chí thì nhảy vào con số tổng, bởi con số tổng đẹp hơn. Hãy làm một phép toán nhanh theo kinh nghiệm audit của tôi. Nếu mô hình này có khoảng một nghìn tỷ tham số kích hoạt và được đào tạo trên 15 nghìn tỷ token, tổng chi phí tính toán vào khoảng chín nhân mười mũ hai mươi lăm FLOPs. Với hiệu suất H100 và mức sử dụng trung bình 50%, cần khoảng mười nghìn thẻ H100 chạy liên tục trong ba đến sáu tháng. Nhưng đó là kịch bản lạc quan. Nếu tham số kích hoạt cao hơn, con số có thể lên tới năm mươi hoặc một trăm nghìn thẻ. Và đây là điểm yếu không thể che giấu: ByteDance, một công ty Trung Quốc, không thể mua H100 một cách hợp pháp với số lượng lớn. H20 thì bị cắt giảm hiệu năng. Chip nội địa thì chưa chứng minh được khả năng chạy ổn định ở quy mô hàng nghìn thẻ. Bài toán của ByteDance không phải là "có nên xây không". Bài toán là "xây bằng cái gì". Mã nguồn sạch, logic bẩn. Đây chính là lúc câu ký hiệu đó trở nên đúng đắn. Trên giấy tờ, một mô hình 100 nghìn tỷ tham số nghe như bước tiến vĩ đại. Nhưng logic bên trong không hề sạch: chi phí hội tụ, kiểm soát độ trôi dạt, sao chép checkpoint sau mỗi lần sự cố mất điện hay mất kết nối. Những vấn đề này không xuất hiện trong bài báo. Chúng chỉ xuất hiện khi người ta ngồi xuống và viết code thật. Và tôi từng thấy nhiều dự án "đẹp trên giấy" sụp đổ chỉ vì một dòng code sai trong hàm rút tiền. VeriBlock năm 2017 là một ví dụ. Họ huy động bốn nghìn ETH. Ba lỗ hổng nghiêm trọng. Khi tôi công bố bằng chứng, họ kêu gọi cộng đồng quay sang tấn công cá nhân tôi. Giá token giảm 70% trong hai ngày. Bây giờ thì không ai nhớ họ nữa. ByteDance có thể sẽ không sụp đổ như vậy, bởi họ có doanh thu quảng cáo, có TikTok, có đội ngũ kỹ sư giỏi. Nhưng quy mô của tham số tạo ra một loại rủi ro khác: rủi ro về niềm tin. Nếu dự án thất bại, thị trường sẽ nói rằng Trung Quốc không thể đào tạo mô hình tiên tiến vì thiếu chip. Nếu dự án thành công, câu chuyện về một gã khổng lồ tập trung nắm giữ mô hình AI mạnh nhất sẽ ám ảnh những người theo chủ nghĩa phi tập trung. Trong cả hai kịch bản, blockchain không có chỗ đứng. Bởi vì dự án này không cần phân quyền. Nó cần một tập đoàn duy nhất kiểm soát toàn bộ hạ tầng. Vậy phe bò đúng ở điểm nào? Có một khả năng thú vị: Zhang Yiming, người sáng lập ByteDance, được cho là phản đối việc chưng cất mô hình từ đối thủ. Ông muốn tự đào tạo. Ông chấp nhận rủi ro. Điều này nghe có vẻ giống một nhà sáng lập blockchain kiên định không chịu fork mã nguồn của người khác. Nhưng fork không phải là innovation. Và tự đào tạo từ đầu cũng chưa chắc là innovation. Nó có thể là sự bảo thủ đắt giá. Hoặc là quyết định đúng đắn nhất trong lịch sử AI Trung Quốc. Vấn đề là chúng ta không có đủ dữ liệu để phán xét. Nếu tôi được mời làm cố vấn kỹ thuật cho dự án này, tôi sẽ yêu cầu ba thứ: số tham số kích hoạt, kế hoạch dự phòng khi mất điện, và một cơ chế hạ cấp. Không có cơ chế hạ cấp, một mô hình 100 nghìn tỷ tham số trở thành một quả bom nổ chậm. Nếu việc đào tạo không hội tụ hoặc chi phí vượt ngân sách, họ sẽ phải công bố điều gì? "Chúng tôi chỉ đạt 70 nghìn tỷ tham số" trông giống một lời thừa nhận thất bại, nhưng về mặt kỹ thuật, nó có thể là một mô hình hoàn toàn tốt. Câu chuyện về tham số đã gài bẫy chính họ. Càng công khai con số lớn, họ càng khó nhận mức nhỏ hơn. Nhà đầu cơ tiền mã hóa từng trải qua điều này. Năm 2017, ai cũng nói về TPS và khả năng mở rộng. Đến năm 2020, những dự án đó âm thầm chuyển sang nói về thanh khoản và hệ sinh thái. Con số lớn đẹp trong slide deck, nhưng không có chỗ trong thực tế. Điều quan trọng nhất trong câu chuyện này không phải là 100 nghìn tỷ. Điều quan trọng nhất là việc một trong những công ty internet lớn nhất thế giới quyết định dùng toàn bộ tài nguyên để đặt cược vào một con số. Điều này sẽ định hình lại ngành AI trong năm tới. Các đối thủ Trung Quốc sẽ phải trả lời: chúng ta có nên chạy đua không? Các nhà cung cấp chip sẽ phải tính toán: lượng cầu này có thật không? Các cơ quan quản lý sẽ phải hỏi: một thực thể duy nhất nắm giữ một mô hình mạnh hơn mọi thứ từng có, liệu có chấp nhận được không? Và đối với những người đã dành nhiều năm xây dựng hạ tầng phi tập trung, đây là một lời cảnh tỉnh: trong khi bạn tranh luận về cơ chế đồng thuận, những gã khổng lồ tập trung đang xây dựng những cỗ máy tập trung hơn nữa. Họ không cần blockchain. Họ cần điện, chip và một đội ngũ kỹ sư sẵn sàng làm việc 16 giờ mỗi ngày. Tôi đã nhiều lần ngồi trước một hợp đồng thông minh với hàng triệu USD thanh khoản. Tôi luôn đặt câu hỏi đầu tiên: điều gì xảy ra nếu điều tồi tệ nhất xảy ra? Với ByteDance cũng vậy. Điều gì xảy ra nếu mô hình 100 nghìn tỷ tham số không hội tụ? Điều gì xảy ra nếu nó hội tụ nhưng tạo ra những phản hồi nguy hiểm? Điều gì xảy ra nếu nó bị rò rỉ? Không một báo cáo nào trả lời những câu hỏi đó. Bởi vì không báo cáo nào có code để kiểm tra. Nhưng có một thứ mà chúng ta có thể kiểm tra ngay bây giờ: cách ByteDance phản hồi trước làn sóng hoài nghi. Trước khi có code, hãy đọc kỹ tuyên bố. Và hãy nhớ nguyên tắc của tôi: đọc code trước khi ký.