Sabemos que esto no es factible a largo plazo desde el lado de la energía y también desde el lado de la oferta de cálculo. Mis matemáticas rotas sobre @grok requisito de GPU H100 de 20k. ➤ Energía de GPU H100 ⟶ 20k x 0.7 kW / GPU x 24 hrs ⟶ 336 MWh / d ⟶ 122,640 MWh / año ➤ Costos totales de energía ⟶ $ 26,880 / d y $ 9.81 millones / año ➤ Inversiones totales (GPU) ⟶ $ 600 millones ➤ Huella de carbono ⟶ 47.216 toneladas de CO2/año o 236.082 toneladas de CO2/año El uso de GPU descentralizadas que aprovechan el hardware inactivo en todo el mundo puede reducir significativamente los costos, especialmente en términos de inversiones iniciales y gastos generales. Esta estrategia también puede resultar en un menor consumo de energía, una mayor eficiencia de costos y una menor huella de carbono, potencialmente respaldada por iniciativas ecológicas de los proveedores o la propia infraestructura descentralizada. Sin embargo, la infraestructura descentralizada aún se encuentra en sus primeras etapas y debe abordar las brechas de eficiencia y rendimiento. Como @mtorygreen señaló, una vez que se resuelvan estos desafíos, es posible que ya no sea sensato volver a la infraestructura centralizada heredada. Está en todas partes o en ninguna.
Elon Musk
Elon Musk16 ago, 12:55
Estoy probando el nuevo algoritmo X impulsado por Grok 4 Mini. Definitivamente es mejor. Requerirá ~ 20k GPU para implementarse en todos los usuarios y hay una latencia más alta, pero vale la pena exprimir el jugo.
3.69K