Modele językowe (LLM) przeszły długą drogę od czasu pojawienia się pierwszej wersji Chata GPT i dziś nawet bardzo zaawansowane mechanizmy AI można łatwo instalować lokalnie na komputerach dzięki takim aplikacjom jak LM Studio. Nie potrzeba też do tego żadnej technicznej ani programistycznej wiedzy. Sam LM Studio nie ma żadnych zależności i może działać zarówno na samym CPU, jak i wykorzystywać akceleratory. Z kolei uruchamianie AI lokalnie pozwala na zachowanie prywatności wprowadzanych i przetwarzanych danych.
Firma AMD opublikowała właśnie blog, na którym przedstawia najnowsze wyniki pomiarów wydajności AI przy wykorzystaniu tej popularnej aplikacji i w porównaniu z konkurencyjnym sprzętem. Co ważne, LLM są bardzo wrażliwe na szybkość działania pamięci, a testowany procesor AMD Ryzen AI 9 HX 375 korzystał z RAM 7500 MT/s, podczas gdy konkurencyjny korzystał z RAM 8533 MT/s.
Mimo to laptop z procesorem AMD był nawet o 27% wydajniejszy, a pierwszy "token" dostarczał nawet 3,5-krotnie szybciej. Token to jednostka, której używa się do określenia szybkości generowania poszczególnych słów. Ponadto po włączeniu funkcji Variable Graphics Memory (VGM) wydajność wzrosła o dalsze 22% średnio.
Pozostałe testy i dalsze wynikami znajdują się na blogu AMD.
K O M E N T A R Z E
Jeszcze nikt nie napisał komentarza.
D O D A J K O M E N T A R Z
Aby dodawać komentarze, należy się wpierw zarejestrować, ewentualnie jeśli posiadasz już swoje konto, należy się zalogować.
