Delar med mig av ett intressant samtal nyligen om AI:s inverkan på ekonomin. AI har jämförts med olika historiska prejudikat: elektricitet, industriell revolution, etc., jag tror att den starkaste analogin är den om AI som ett nytt datorparadigm (Software 2.0) eftersom båda i grunden handlar om automatisering av digital informationsbehandling. Om du skulle förutspå datorernas inverkan på arbetsmarknaden på ~1980-talet, är den mest förutsägbara egenskapen hos en uppgift/ett jobb du skulle titta på i vilken utsträckning algoritmen för den är fast, dvs. omvandlar du bara mekaniskt information enligt utantill, lätta att specificera regler (t.ex. skrivning, bokföring, mänskliga miniräknare, etc.)? På den tiden var detta den klass av program som den tidens datorkapacitet tillät oss att skriva (för hand, manuellt). Med AI kan vi nu skriva nya program som vi aldrig kunde hoppas på att skriva för hand tidigare. Vi gör det genom att specificera mål (t.ex. klassificeringsnoggrannhet, belöningsfunktioner), och vi söker i programutrymmet via gradient descent för att hitta neurala nätverk som fungerar bra mot det målet. Detta är min Software 2.0 blogginlägg från ett tag sedan. I detta nya programmeringsparadigm är verifierbarhet den nya, mest förutsägbara funktionen att titta på. Om en uppgift/ett jobb är verifierbart är det optimalt direkt eller via förstärkningsinlärning, och ett neuralt nät kan tränas att fungera extremt bra. Det handlar om i vilken utsträckning en AI kan "öva" på något. Miljön måste vara återställningsbar (du kan starta ett nytt försök), effektiv (många försök kan göras) och givande (det finns en automatiserad process för att belöna alla specifika försök som har gjorts). Ju mer en uppgift/ett jobb är verifierbart, desto mer mottagligt är det för automatisering i det nya programmeringsparadigmet. Om det inte är verifierbart måste det falla ut från neural nätmagi av generalisering håller tummarna, eller via svagare medel som imitation. Detta är vad som driver den "taggiga" gränsen för framsteg i LLM. Uppgifter som är verifierbara utvecklas snabbt, inklusive möjligen bortom förmågan hos toppexperter (t.ex. matematik, kod, hur mycket tid som spenderas på att titta på videor, allt som ser ut som pussel med korrekta svar), medan många andra släpar efter i jämförelse (kreativ, strategisk, uppgifter som kombinerar verklig kunskap, tillstånd, sammanhang och sunt förnuft). Programvara 1.0 automatiserar enkelt det du kan ange. Programvara 2.0 automatiserar enkelt det du kan verifiera.