Branża AI rzuciła się na Maci i komputery z układami N1x

1. Firmy jak najtaniej próbują "wejść" w AI. (autor: Kenjiro | data: 1/09/26 | godz.: 11:21)
   Z tym, że wydajność tych rozwiązań jest zbyt niska do nauki sieci neuronowej, a nadają się co najwyżej do inferencji z gotowych modeli, a i w tym wydajność jest tragiczna.
   
   Ale kto bogatemu zabroni, mogą nawet palić dolarami w piecach...
   
   
2. Jezus maria ja pierdole co to ja przeczytałem (autor: etranger | data: 1/09/26 | godz.: 19:04)
   Tu problem jest podwójny, bo komentarz upraszcza temat, ale sam artykuł też jest napisany trochę na zasadzie „znam kilka modnych haseł, to je połączę”.
   
   Po pierwsze, „AI” to nie jest wyłącznie pretraining gigantycznego modelu od zera. Jest fine-tuning, LoRA, RL, trenowanie agentów, odpalanie tysięcy równoległych środowisk itd. Więc stwierdzenie, że te maszyny „nie nadają się do nauki sieci” jest po prostu z dupy wzięte, ale zawsze możesz twitnac do nich ze robią głupoty.
   Po drugie, artykuł miesza pamięć zunifikowaną z komunikacją między komputerami. Unified memory nie „omija TCP/IP”. To zupełnie inna rzecz. Komunikację pomiędzy Macami można robić przez Thunderbolt/RDMA, ale pamięć zunifikowana dotyczy współdzielenia pamięci CPU/GPU wewnątrz jednego systemu.
   
   Podobnie z N1x: napisanie, że ma „GPU Blackwell RTX 5070” sugeruje, jakby po prostu wsadzono tam desktopową 5070. To nie jest to samo, tylko zintegrowany układ Blackwell o podobnej liczbie rdzeni CUDA.
   
   „1 PFLOP” też wygląda pięknie w nagłówku, dopóki nie doda się, że chodzi o FP4/Tensor i określone warunki. To nie jest 1 PFLOP normalnej wydajności obliczeniowej, którą można sobie porównywać 1:1 z dowolnym GPU.
   
   Jeszcze lepsze jest te 600 GB/s NVLink-C2C. To jest komunikacja CPU–GPU wewnątrz układu, a nie 600 GB/s pomiędzy tymi komputerami. Z tekstu można odnieść zupełnie inne wrażenie.
   
   No i „pełny stos instrukcji CUDA” brzmi jak wygenerowane przez AI po polsku. CUDA nie jest „stosem instrukcji”.
   
   Tak że sama informacja, że firmy kupują jabłka i maszyny ze zunifikowaną pamięcią do konkretnych zastosowań AI, jak najbardziej sensowna. Tylko autor artykułu trochę za bardzo chciał wytłumaczyć dlaczego i przy okazji pomieszał kilka osobnych technologii.
   
   A komentarz, że nadaje się to „co najwyżej do tragicznej inferencji”, też jest mocny. Przy dużym modelu pierwsze pytanie brzmi czasem nie „ile TFLOPS?”, tylko „czy ja go w ogóle zmieszczę w pamięci?”. 128 GB szybkiej pamięci dostępnej dla CPU/GPU jest w praktyce znacznie bardziej użyteczne niż wyczesana karta z 32 GB VRAM.
   
   Czyli nie, to nie zastąpi klastra B200 przy trenowaniu ogromnego modelu od zera. Tyle że nikt rozsądny nie twierdzi, że ma zastąpić.
   
   
3. Niech wykupią wszystkie komputery Apple (autor: rookie | data: 2/09/26 | godz.: 09:12)
   A zostawią karty graficzne że średniej półki dla graczy.
   Wiem, marzenie o karcie pokroju 5070 czy 9070 za 1500zl czy 9060 za 700zl wydaje sie nierealne, ale to w końcu tylko karta graficzna... Skoro da się przyzwoity smartfon że średniej półki sprzedawać za 1000zl jak np Moto g86 power z 12gb ram, OLED, 256gb ROM, akumulatorem prawie 7000mah, i CPU w nowoczesnych 4nm, dlaczego karta graficzna stała się często niedostępnym marzeniem dla większości społeczeństwa, bo ilu stać na 3-4 tys by trochę pograć...