66B là một mô hình ngôn ngữ lớn có khoảng 66 tỷ tham số, được thiết kế để xử lý ngôn ngữ tự nhiên, sinh văn bản và trả lời câu hỏi. Nó nằm ở giữa các mô hình nhỏ và siêu lớn, cung cấp hiệu suất tốt với chi phí tính toán vừa phải.
Hệ thống dựa trên kiến trúc Transformer với nhiều lớp tự attention và mạng feed-forward. Số tham số lớn cho phép mô hình nắm bắt đặc trưng ngôn ngữ phức tạp, tuy nhiên đòi hỏi hạ tầng phần cứng mạnh và dữ liệu huấn luyện đa dạng.
66B được huấn luyện trên tập dữ liệu hỗn hợp gồm văn bản từ web, sách và nguồn mở khác. Quá trình huấn luyện áp dụng tối ưu hóa phân tán và kỹ thuật làm mượt để tăng khả năng tổng quát và độ tin cậy trên nhiều ngôn ngữ.
Mô hình có thể hỗ trợ sáng tác nội dung, tóm tắt văn bản, trả lời câu hỏi và trợ giúp lập trình. Tuy nhiên, cần quản trị rủi ro như sai lệch thông tin, mô phỏng phong cách và chi phí vận hành cao. Đánh giá liên tục và an toàn dữ liệu là bắt buộc.
