Wiemy, że z perspektywy energetycznej i dostaw obliczeniowych nie jest to wykonalne w dłuższej perspektywie. Moje błędne obliczenia dotyczące wymagań @grok na 20k GPU H100. ➤ Energia GPU H100 ⟶ 20k x 0,7 kW/GPU x 24 godziny ⟶ 336 MWh/d ⟶ 122,640 MWh/rok ➤ Całkowite koszty energii ⟶ 26,880 USD/d i 9,81 mln USD/rok ➤ Całkowite inwestycje (GPU) ⟶ 600 mln USD ➤ Ślad węglowy ⟶ 47,216 ton CO2/rok lub 236,082 ton CO2/rok Wykorzystanie zdecentralizowanych GPU, które wykorzystują nieużywany sprzęt na całym świecie, może znacznie obniżyć koszty, szczególnie w zakresie początkowych inwestycji i kosztów ogólnych. Ta strategia może również prowadzić do zmniejszenia zużycia energii, zwiększenia efektywności kosztowej i mniejszego śladu węglowego, potencjalnie wspieranego przez zielone inicjatywy dostawców lub samą zdecentralizowaną infrastrukturę. Jednak zdecentralizowana infrastruktura jest wciąż na wczesnym etapie i musi zająć się lukami w efektywności i wydajności. Jak zauważył @mtorygreen, gdy te wyzwania zostaną rozwiązane, powrót do tradycyjnej, scentralizowanej infrastruktury może już nie być sensowny. Jest wszędzie lub nigdzie.
Elon Musk
Elon Musk16 sie, 12:55
Próbuję nowego algorytmu 𝕏 zasilanego przez Grok 4 Mini. Zdecydowanie jest lepszy. Będzie wymagał około 20 tys. GPU, aby wdrożyć go dla wszystkich użytkowników, a latencja jest wyższa, ale wysiłek jest tego wart.
3,84K