Chúng tôi đã vận chuyển Gemma 3 27B vào tháng Ba, và nó vẫn là một lựa chọn hàng đầu cho GPU tiêu dùng. Nó có khả năng đa phương thức vững chắc, QAT để mở khóa định lượng mạnh mẽ, và kích thước thân thiện với nhà phát triển. Và chúng tôi còn nhiều điều thú vị khác đang được chuẩn bị 🧑‍🍳
Kim BENNI
Kim BENNI01:55 14 thg 8
Điều quan trọng là trong số 10 mô hình hàng đầu đó, Gemma và Mistral Small của Google là hai mô hình duy nhất có thể chạy trên phần cứng tiêu dùng. Một chiếc RTX 4090 là đủ. Tất cả các mô hình khác đều có hơn 100 tỷ tham số và yêu cầu phần cứng chuyên nghiệp rất đắt đỏ. Theo tôi, điều này thay đổi rất nhiều quan điểm ngoài điểm số thô.
87,05K