TEHNOLOGIETEHNOLOGIECerebras Inference a demonstrat o viteză de procesare excepțională, rulând modelul Llama 3.1 405B la 969 tokeni pe secundă. Aceasta este cu 75 de ori mai rapid decât cel mai performant serviciu AI de la Amazon Web Services, care utilizează GPU-uri. Cerebras folosește Wafer Scale Engines de generație a treia, având o capacitate de a genera răspunsuri instantanee, cu un timp de așteptare de doar 0.24 secunde pentru primul token. Comparativ cu soluțiile Nvidia, Cerebras a depășit performanțele acestora cu 12 ori, iar în testele de generare a codului, a realizat sarcini complexe în doar câteva secunde. Această tehnologie inovatoare subliniază avansul semnificativ în procesarea AI, stabilind noi standarde în industrie.Publicat acuma 5 zile1
TEHNOLOGIETEHNOLOGIECerebras Inference a demonstrat o viteză de procesare excepțională, rulând modelul Llama 3.1 405B la 969 tokeni pe secundă. Aceasta este cu 75 de ori mai rapid decât cel mai performant serviciu AI de la Amazon Web Services, care utilizează GPU-uri. Cerebras folosește Wafer Scale Engines de generație a treia, având o capacitate de a genera răspunsuri instantanee, cu un timp de așteptare de doar 0.24 secunde pentru primul token. Comparativ cu soluțiile Nvidia, Cerebras a depășit performanțele acestora cu 12 ori, iar în testele de generare a codului, a realizat sarcini complexe în doar câteva secunde. Această tehnologie inovatoare subliniază avansul semnificativ în procesarea AI, stabilind noi standarde în industrie.Publicat acuma 5 zile
