Szerdán a Google bemutatta a PaLM 2-t, az OpenAI GPT-4-hez hasonló alapnyelvi modellek családját. A kaliforniai Mountain View-ban tartott Google I/O rendezvényen a Google elárulta, hogy a PaLM 2-t már 25 termék, köztük a Bard társalgási AI-asszisztens működtetéséhez használja.
A Google válasza a ChatGPT-re már mindenki számára elérhető az Egyesült Államokban, új funkciókkal bővülve. A PaLM 2 a nagy nyelvi modellek (LLM) családjaként hatalmas mennyiségű adaton lett betanítva, és a következő szó előrejelzését végzi, amely az ember által adott prompt bevitel után a legvalószínűbb szöveget adja ki. A PaLM a “Pathways Language Model” rövidítése, a “Pathways” pedig a Google-nál létrehozott gépi tanulási technika. A PaLM 2 az eredeti PaLM folytatása, amelyet a Google 2022 áprilisában jelentett be.
A Google szerint a PaLM 2 több mint 100 nyelvet támogat, és képes “érvelésre”, kódgenerálásra és többnyelvű fordításra. Sundar Pichai, a Google vezérigazgatója elmondta, hogy a PaLM 2 négyféle méretben készül: Gecko, Otter, Bison, Unicorn. A Gecko a legkisebb, és a hírek szerint mobileszközön is futtatható. A Bard mellett a PaLM 2 áll a Docs, Sheets és Slides AI-funkciók mögött.
Mindez szép és jó, de hogyan viszonyul a PaLM 2 a GPT-4-hez? A PaLM 2 technikai jelentésében úgy tűnik, hogy a GPT-4-et néhány matematikai, fordítási és következtetési feladatban is legyőzi. A valóság azonban nem biztos, hogy megfelel a Google összehasonlító tesztjeinek. Ethan Mollick, a Wharton professzora, aki gyakran ír a mesterséges intelligenciáról, a Bard PaLM 2 változatának felületes értékelése során úgy találta, hogy a PaLM 2 teljesítménye rosszabbnak tűnik, mint a GPT-4 és a Bing teljesítménye különböző informális nyelvi teszteken, amit egy Twitter-fonalban részletezett.
A közelmúltig a PaLM nyelvi modellcsalád a Google Research belső terméke volt, amely nem volt elérhető a fogyasztók számára, de a Google márciusban korlátozott API-hozzáférést kezdett biztosítani. Az első PaLM mégis a hatalmas mérete miatt volt figyelemre méltó: 540 milliárd paramétert tartalmazott. A paraméterek olyan numerikus változók, amelyek a modell megtanult “tudásaként” szolgálnak, és lehetővé teszik, hogy a modell a kapott input alapján előrejelzéseket készítsen és szöveget generáljon.
A több paraméter nagyobb komplexitást jelent, de nincs garancia arra, hogy hatékonyan használják őket. Összehasonlításképpen, az OpenAI GPT-3 (2020-tól) 175 milliárd paramétert tartalmaz. Az OpenAI soha nem hozta nyilvánosságra a GPT-4 paramétereinek számát.
Ez tehát elvezet a nagy kérdéshez: Mennyire “nagy” a PaLM 2 a paraméterek számát tekintve? A Google nem árulja el, ami frusztrált néhány iparági szakértőt, akik gyakran küzdenek azért, hogy átláthatóbbá váljon, hogy mitől működnek az AI-modellek.
Nem ez a PaLM 2 egyetlen tulajdonsága, amelyről a Google hallgat. A vállalat azt mondja, hogy a PaLM 2-t változatos forrásokon: webes dokumentumokon, könyveken, kódokon, matematikai és beszélgetési adatokon” képezték ki, de nem részletezi, hogy pontosan milyen adatokról van szó.
Más nagy nyelvi modelladathalmazokhoz hasonlóan a PaLM 2 adathalmaz is valószínűleg sokféle, engedély nélkül felhasznált, szerzői jogvédelem alatt álló anyagot és az internetről lekapart, potenciálisan káros anyagot tartalmaz. A képzési adatok döntően befolyásolják bármely mesterséges intelligenciamodell kimenetét, ezért egyes szakértők olyan nyílt adathalmazok használatát szorgalmazzák, amelyek lehetőséget biztosítanak a tudományos reprodukálhatóságra és az etikai ellenőrzésre.
“Most, hogy az LLM-ek termékek (nem csak kutatások), fordulóponthoz érkeztek a for-profit cégek egyre kevésbé lesznek átláthatóak specifikusan a legfontosabb összetevőkről” – tweetelte Jesse Dodge, az Allen Institute of AI kutatója. “Csak akkor tudunk lépést tartani, ha a nyílt forráskódú közösség összefog, ha egybe tudunk szerveződni!”
Eddig a titkai elrejtésével kapcsolatos kritikák nem akadályozták meg a Google-t abban, hogy az AI-modellek széles körű terjesztését folytassa, annak ellenére, hogy minden LLM-ben hajlamos csak úgy a levegőből kitalálni dolgokat. A Google I/O során a vállalat képviselői számos fontos termékében demózták az AI funkciókat, ami azt jelenti, hogy a nyilvánosság széles rétegei hamarosan az AI konfabulációkkal küzdhetnek.
Ami pedig az LLM-eket illeti, a PaLM 2 messze nem a történet vége: Az I/O keynote-on Pichai megemlítette, hogy egy újabb multimodális AI-modell, a “Gemini” jelenleg képzés alatt áll. A mesterséges intelligencia dominanciájáért folytatott versenyben a Google felhasználói az Egyesült Államokban és 180 másik országban (Kanada és a kontinentális Európa kivételével) a Google Bard, a kísérleti AI-asszisztens részeként maguk is kipróbálhatják a PaLM 2-t.
BENJ EDWARDS – 5/11/2023