Vi vet at dette ikke er gjennomførbart i det lange løp fra energisiden og også beregningsforsyningssiden. Min ødelagte matematikk på @grok 20k H100 GPUer-krav. ➤ H100 GPU-energi ⟶ 20k x 0,7 kW/GPU x 24 timer ⟶ 336 MWh/d ⟶ 122 640 MWh/år ➤ Totale energikostnader ⟶ $26,880/d og $9.81M/år ➤ Totale investeringer (GPUer) ⟶ 600 millioner dollar ➤ Karbonavtrykk ⟶ 47 216 tonn CO2/år eller 236 082 tonn CO2/år Bruk av desentraliserte GPUer som utnytter inaktiv maskinvare over hele verden kan redusere kostnadene betydelig, spesielt når det gjelder innledende investeringer og faste kostnader. Denne strategien kan også resultere i redusert energiforbruk, forbedret kostnadseffektivitet og et lavere karbonavtrykk, potensielt støttet av grønne initiativer fra leverandører eller selve den desentraliserte infrastrukturen. Desentralisert infrastruktur er imidlertid fortsatt i en tidlig fase og må adressere effektivitets- og ytelsesgap. Som @mtorygreen bemerket, når disse utfordringene er løst, kan det hende at det ikke lenger er fornuftig å gå tilbake til eldre, sentralisert infrastruktur. Det er overalt eller ingen steder.
Elon Musk
Elon Musk16. aug., 12:55
Prøver ut den nye X-algoritmen drevet av Grok 4 Mini. Det er definitivt bedre. Vil kreve ~20k GPUer for å rulle ut til alle brukere, og det er høyere ventetid, men juicen er verdt pressen.
3,53K