TEHNOLOGIE
Publicat acuma 1 ziRaspberry Pi 5 a reușit să accelereze LLM-urile folosind un eGPU AMD Radeon.
Jeff Geerling a demonstrat cum suportul pentru Vulkan API permite rularea eficientă a modelului de limbaj pe acest dispozitiv compact. După ce anterior nu a reușit să accelereze GPU LLM-urile, Geerling a găsit o soluție printr-un patch experimental, care oferă performanțe comparabile cu sistemele mai scumpe. Configurația hardware include un adaptor pentru conectarea GPU-ului la Pi, iar software-ul necesită compilarea unui kernel Linux personalizat. Costul total al configurației este de aproximativ 700 dolari, dar poate fi mai mic pentru cei care au deja componentele necesare. De asemenea, consumul de energie este remarcabil, cu un sistem care consumă doar ~12W în repaus, făcându-l o alegere atractivă pentru utilizarea AI-ului acasă.TEHNOLOGIE
Publicat acuma 28 zile