A nagy nyelvi modellekről kicsire váltás történetének eredeti (teljes) változata a Quanta Magazinban jelent meg (link .)

A nagy nyelvi modellek (LLM-ek) azért hatékonyak, mert számos paramétert használnak, amelyek pontosabb és erősebb mintafelismerést tesznek lehetővé. Ennek azonban ára van: hatalmas számítási erőforrásokat és energiát igényelnek, pl. a Gemini 1.0 Ultra modell kiképzése 191 millió dollárba került, továbbá egyetlen ChatGPT lekérdezés tízszer annyi energiát fogyaszt, mint egy Google-keresés.

Ezért egyes kutatók a kisebb nyelvi modellek (SLM-ek) felé fordulnak. Ezek néhány milliárd paramétert (max. 10 milliárdot) használnak. Az SLM-ek előnyei a nagyokhoz képest:
- Szűk feladatokban, pl. beszélgetések összegzésében vagy egészségügyi chatbotként kimagaslóan teljesítenek.
- Energiahatékonyabbak: éppen azért, mert kicsik, ezek a modellek laptopokon vagy mobiltelefonokon is futtathatók.
- Kiváló minőségű adatokból tanulnak, amelyeket az LLM-ek generálnak, pl. a "tudásdesztilláció" módszerével. A nagy nyelvi modellek (LLM-ek) az internetről rendezetlen és nyers adatokat gyűjtenek. Ezeket rendezett adathalmazzá alakítják át. Ezeket a halmazokat az SLM-ek képzésére lehet használni. Ez olyasmi, mintha egy tanár átadná a tudását a tanítványainak. A másik módszer az adatok pontosítására a "metszés". Ezt a módszert egy valós neurális hálózat, az emberi agy ihlette (az agyban a szinapszisok közötti kapcsolatok megrövidítése növeli az idősödő agy hatékonyságát). Ugyanígy az LLM-ekből a hálózat optimalizálása céljából eltávolíthatóak a kevésbé hatékony vagy felesleges neurális hálózati részek. Ezen alapszik a Yann LeCun által megalkotott "optimális agykárosodás" nevű módszer: eszerint a paraméterek akár 90%-át is eltávolíthatják anélkül, hogy veszélyeztetnék a hatékonyságot.
- Időt, pénzt és erőforrásokat takaríthatnak meg a kutatók számára, mert pl. olcsón lehet tesztelni velük az új ötleteket. Mivel kevesebb paraméterük van, mint a nagy modelleknek, érvelésük átláthatóbb lehet.

Amíg az LLM-ek továbbra is nélkülözhetetlenek maradnak az általános chatbotok, képgenerátorok és a gyógyszerkutatás területén, addig az SLM-ek ugyanolyan jól működhetnek a célzott, specifikus feladatokra. Az SLM-ek előnye tehát a hatékonyság és alkalmazkodóképesség. (Ref.: Szabó Eszter)