Aby trenować modele sztucznej inteligencji, potrzebne są wiarygodne dane. Gdy natomiast modele AI uczą się na podstawie danych generowanych przez samo AI, to czeka je "załamanie" - napisano na łamach "Nature". To nie do uniknięcia - dodają naukowcy.
Używanie zestawów danych generowanych przez AI do trenowania przyszłych generacji modeli uczenia maszynowego może zanieczyścić ich wyniki, co jest koncepcją znaną jako „upadek modelu” (model collapse). Badania pokazują, że w ciągu "życia" kilku generacji modeli sztucznej inteligencji oryginalna treść zostaje zastąpiona niepowiązanymi ze sobą nonsensami – stwierdzono w informacji serwisu Forsal.pl
Narzędzia generatywnej sztucznej inteligencji, takie jak duże modele językowe (LLM), zyskały na popularności i były głównie trenowane za pomocą danych generowanych przez ludzi. Jednakże – jak dowodzą naukowcy – w miarę, jak te modele AI będą się rozprzestrzeniać w internecie, treści generowane komputerowo mogą być używane do trenowania innych modeli AI — lub siebie samych — co określa się za pomocą pojęcia pętla rekurencyjna – wskazano dalej.
Ilia Shumailov z Uniwersytetu Oksfordzkiego w Wielkiej Brytanii i jego współpracownicy, korzystając z modeli matematycznych, przedstawili, jak modele AI mogą doświadczać upadku. Autorzy pokazali, że AI może pomijać pewne wyniki (na przykład mniej powszechne fragmenty tekstu) w danych treningowych, co powoduje, że trening odbywa się tylko na części zestawu danych – zauważono.
Naukowcy zbadali również, jak modele AI reagują na zestaw danych treningowych, który w większości został stworzony przez sztuczną inteligencję. Odkryli, że karmienie modelu danymi generowanymi przez AI powoduje, że kolejne generacje degradują, jeśli chodzi o zdolność do uczenia się, co ostatecznie prowadzi do upadku modelu. Niemal wszystkie testowane przez naukowców modele językowe trenowane rekurencyjnie wykazywały tendencję do powtarzania fraz. Badacze podali za przykład test, w którym wykorzystano do treningu tekst o średniowiecznej architekturze. Okazało się, że w dziewiątej generacji sztuczna inteligencja zamiast o architekturze, podawała informacje o zającach – napisano dalej.
Autorzy badania wskazują, że upadek modelu jest nie do uniknięcia, jeśli do treningu AI będą używane zestawy danych tworzonych przez poprzednie generacje. Ich zdaniem skuteczne trenowanie sztucznej inteligencji na jej własnych wynikach nie jest niemożliwe, ale filtrowanie wygenerowanych danych należy traktować poważnie. Jednocześnie – zdaniem naukowców – firmy technologiczne, które będą wykorzystywały do trenowania AI tylko treści generowane przez ludzi, zyskają przewagę w porównaniu do konkurencji, która przyjmie inną strategię – czytamy w podsumowaniu. (jmk)
Foto: Holistic News // chatGPT / Midjourney
Źródło: Forsal.pl