Kita tahu bahwa ini tidak layak dalam jangka panjang dari sisi energi dan juga sisi penawaran komputasi. Matematika saya yang rusak pada persyaratan GPU 20k H100 @grok. ➤ Energi GPU H100 ⟶ 20k x 0,7 kW/GPU x 24 jam ⟶ 336 MWh/d ⟶ 122.640 MWh/tahun ➤ Total biaya energi ⟶ $26,880/d dan $9.81M/tahun ➤ Total Investasi (GPU) ⟶ $600 juta ➤ Jejak Karbon ⟶ 47.216 ton CO2/tahun atau 236.082 ton CO2/tahun Memanfaatkan GPU terdesentralisasi yang memanfaatkan perangkat keras yang menganggur di seluruh dunia dapat secara signifikan memangkas biaya, terutama dalam hal investasi awal dan overhead. Strategi ini juga dapat menghasilkan pengurangan konsumsi energi, peningkatan efisiensi biaya, dan jejak karbon yang lebih rendah, yang berpotensi didukung oleh inisiatif hijau dari pemasok atau infrastruktur terdesentralisasi itu sendiri. Namun, infrastruktur terdesentralisasi masih dalam tahap awal dan harus mengatasi kesenjangan efisiensi dan kinerja. Seperti yang @mtorygreen catat, setelah tantangan ini diselesaikan, kembali ke warisan, infrastruktur terpusat mungkin tidak lagi masuk akal. Itu ada di mana-mana atau tidak di mana-mana.
Elon Musk
Elon Musk16 Agu, 12.55
Saya mencoba algoritma X baru yang didukung oleh Grok 4 Mini. Ini pasti lebih baik. Akan membutuhkan ~20k GPU untuk diluncurkan ke semua pengguna dan ada latensi yang lebih tinggi, tetapi jusnya sepadan dengan perasannya.
3,68K