7 days ago
150
7
Posted On: October 30th 2026, 07:51 am
De câteva săptămâni mă joc cu LLM-urile locale și le-am încercat pe (aproape) toate cele mainstream, dar sunt ele mai bune decât cele din cloud? 🤔
Merită să îți anulezi abonamentul la ChatGPT pentru ele? 👀
Asta urmează să aflăm împreună! 🔥
#localllm #qwen #claude #softwareengineer #hevicodes
Merită să îți anulezi abonamentul la ChatGPT pentru ele? 👀
Asta urmează să aflăm împreună! 🔥
#localllm #qwen #claude #softwareengineer #hevicodes
Comments (7)
2 days agomihai_.wq
Se merită să lucrezi cu LLM-uri doar dacă ai un RTX 5090, pe care să rulezi Qwen 3.8 27B prin nInfer, cu cuantizare NVFP4, un MacBook M5 Max, pe care să rulezi Qwen 3.8 Flash Next, sau un Mac Studio, pe care să rulezi DeepSeek într-o configurație optimizată. În rest, nu prea se merită, deoarece vitezele sunt mult prea mici pentru un workflow eficient. Pe RTX 5090 ating aproximativ 180 tokens/s la un context de 262K, iar pe MacBook M5 Max ating aproximativ 50 tokens/s la același context, folosind Qwen 3.8 Flash Next. Este utilizabil și pe MacBook, dar diferența de viteză este suficient de mare încât, în opinia mea, nu prea se justifică dacă vrei să lucrezi serios cu LLM-uri.
More posts
