66b là một khái niệm dùng để chỉ kích thước của một mô hình ngôn ngữ với khoảng 66 tỷ tham số. Các mô hình thuộc nhóm này nằm ở mức giữa so với các mô hình lớn như 100B hay 1T tham số, nhưng vẫn cho hiệu suất rất cao trong nhiều tác vụ NLP.
Thuật ngữ 66b xuất hiện khi các nhà nghiên cứu và cộng đồng AI bắt đầu quy ước đánh số kích thước tham số bằng miliars. Việc chọn 66 tỷ tham số giúp so sánh với các mô hình khác và nhấn mạnh một điểm cân bằng giữa hiệu suất và chi phí tính toán.
Kiến trúc phổ biến cho 66b là biến thể của transformer, với nhiều tầng attention và feed forward. Do số lượng tham số lớn, tối ưu hoá cache, parallelization và kỹ thuật tối giản tham số (pruning, quantization) được áp dụng để tăng hiệu suất và giảm chi phí huấn luyện.
66b có thể được dùng cho tổng hợp văn bản, dịch máy, trả lời hỏi đáp, phân tích ý định người dùng và hỗ trợ viết mã nguồn. Với sức mạnh ngôn ngữ, nó hỗ trợ tạo nội dung, phân tích cảm xúc, và tuỳ biến theo ngữ cảnh người dùng.
Khi kích thước tăng lên, các thách thức về tiêu thụ điện năng, môi trường và an toàn tăng lên. Các kỹ thuật như distillation, quantization và kiến trúc tinh giản sẽ giúp triển khai 66b rộng rãi trên phần cứng tiêu chuẩn. Nghiên cứu áp dụng RLHF và fine tuning trên dữ liệu chất lượng cao sẽ nâng cao hiệu suất và độ tin cậy.
