Spoločnosť Meta zverejnila tretiu verziu svojho Llama modelu. Ten vychádza vo verzii s 8 a 70 miliardami parametrov. Okrem toho ich GPU cluster akurát ráta verziu so 405 miliardami parametrami. Mark Zuckerberg v rozhovore uviedol, že by mala byť hotová neskôr tohto rok a mal by to byť ten najlepší AI model ever. Zatiaľ tvrdia, že Llama 3 8B je lepšia ako Llama 2 70B, čo je dosť silné tvrdenie, ale asi vedia, čo hovoria. Ako vstup môžete použiť až 8K kontextové okno, čo je dvojnásobok oproti Llama 2. Pre niekoho môže byť 8K možno malé číslo, ale vraj vylepšili tokenizer vstupu, a tak budú vedieť aj s menším počtom tokenov spracovať viac vstupných dát.
Toto je sprievodná diskusia k pôvodnej téme na https://blog.vyvojari.dev/vlko-week-2024-16