66b, hay 66B, là cách gọi để chỉ một mô hình ngôn ngữ có khoảng 66 tỷ tham số. Thuật ngữ này thường được dùng khi so sánh quy mô mô hình và hiệu suất trên các tác vụ ngôn ngữ tự nhiên. Trong thực tế, kích thước tham số ảnh hưởng đến khả năng suy luận, tổng hợp văn bản và hiểu ngữ cảnh.
Khái niệm về các mô hình với hàng chục tỷ tham số xuất hiện khi các nhóm nghiên cứu thử nghiệm với các cấu hình khác nhau. 66b trở thành một mốc tham chiếu giữa các mô hình vừa đủ mạnh mà vẫn có khả năng triển khai trên phần cứng phổ thông hơn so với các mô hình lớn nhất.
Phần lớn 66b dựa trên kiến trúc transformer, với nhiều lớp tự attention và feed-forward. Sự cân bằng giữa kích thước tham số, tối ưu hóa bộ nhớ và tốc độ inference định hình khả năng áp dụng thực tế của nó. Mô hình ở mức 66 tỷ tham số có thể thực hiện nhiều tác vụ tổng hợp, dịch ngôn ngữ và hỏi đáp ở mức chất lượng tốt.
66b có thể được ứng dụng trong trợ giúp viết, phân tích văn bản, tổng hợp nội dung và hỗ trợ ra quyết định dựa trên dữ liệu văn bản. Tuy nhiên, chi phí đào tạo và vận hành, rủi ro sai lệch và vấn đề đạo đức đặt ra các thách thức cần giám sát nghiêm ngặt. Quản trị dữ liệu, kiểm tra đầu ra và thiết kế hệ thống an toàn là những yếu tố then chốt.
