Chúng ta biết rằng điều này không khả thi trong dài hạn từ phía năng lượng và cũng như từ phía cung cấp tính toán. Phép toán hỏng của tôi về yêu cầu 20k GPU H100 trên @grok. ➤ Năng lượng GPU H100 ⟶ 20k x 0.7 kW/GPU x 24 giờ ⟶ 336 MWh/ngày ⟶ 122,640 MWh/năm ➤ Tổng chi phí năng lượng ⟶ 26,880 USD/ngày và 9.81 triệu USD/năm ➤ Tổng đầu tư (GPU) ⟶ 600 triệu USD ➤ Dấu chân carbon ⟶ 47,216 tấn CO2/năm hoặc 236,082 tấn CO2/năm Việc sử dụng các GPU phi tập trung tận dụng phần cứng nhàn rỗi trên toàn cầu có thể giảm đáng kể chi phí, đặc biệt là về đầu tư ban đầu và chi phí chung. Chiến lược này cũng có thể dẫn đến việc giảm tiêu thụ năng lượng, tăng cường hiệu quả chi phí và giảm dấu chân carbon, có thể được hỗ trợ bởi các sáng kiến xanh từ các nhà cung cấp hoặc chính cơ sở hạ tầng phi tập trung. Tuy nhiên, cơ sở hạ tầng phi tập trung vẫn đang ở giai đoạn đầu và phải giải quyết các khoảng cách về hiệu suất và hiệu quả. Như @mtorygreen đã lưu ý, một khi những thách thức này được giải quyết, việc quay trở lại cơ sở hạ tầng tập trung truyền thống có thể không còn hợp lý nữa. Nó ở khắp mọi nơi hoặc không có ở đâu cả.
Elon Musk
Elon Musk12:55 16 thg 8
Tôi đang thử nghiệm thuật toán mới 𝕏 được hỗ trợ bởi Grok 4 Mini. Nó chắc chắn tốt hơn. Sẽ cần khoảng 20k GPU để triển khai cho tất cả người dùng và có độ trễ cao hơn, nhưng công sức bỏ ra là xứng đáng.
3,85K