66B là một mô hình ngôn ngữ lớn có khoảng 66 tỷ tham số, được thiết kế dựa trên kiến trúc transformer. Nó có khả năng sinh văn bản, tóm tắt nội dung, trả lời câu hỏi và hỗ trợ dịch ngôn ngữ ở nhiều ngữ cảnh khác nhau. Mức độ phức tạp của 66B cho phép nắm bắt ngữ nghĩa, cú pháp và ngữ cảnh dài mà các mô hình nhỏ hơn thường khó đạt được.
66B dùng nhiều lớp transformer với cơ chế attention để học ngữ nghĩa và ngữ cảnh một cách hiệu quả. Để huấn luyện, người ta sử dụng tập dữ liệu đa dạng từ web, sách và văn bản chuyên ngành, kết hợp các kỹ thuật tối ưu hóa như chuẩn hóa lớp, regularization và một số chiến lược giảm chi phí tính toán. Kích thước tham số lớn đi kèm với nhu cầu phần cứng mạnh và tối ưu phần mềm để suy luận nhanh.
Trong nhiều tác vụ xử lý ngôn ngữ tự nhiên, 66B cho kết quả cạnh tranh trên các bài kiểm tra phổ biến như perplexity, tóm tắt và trả lời câu hỏi. Tuy nhiên, chi phí tính toán và tiêu thụ năng lượng tăng lên chóng mặt so với các mô hình nhỏ hơn, đòi hỏi cân nhắc kỹ lưỡng giữa hiệu suất và nguồn lực triển khai.
Với dữ liệu huấn luyện đa ngôn ngữ, 66B có khả năng hoạt động tốt với tiếng Việt và nhiều ngôn ngữ khác. Để tối ưu cho tiếng Việt, cần fine-tuning trên dữ liệu tiếng Việt đặc thù, đặc biệt là văn bản có dấu ngôn ngữ và các thể loại như tin tức, blog, và tài liệu kỹ thuật.
66B có thể được ứng dụng trong trợ lý ảo, viết nội dung tự động, kỹ thuật trả lời câu hỏi, tóm tắt văn bản, và hỗ trợ dịch ngôn ngữ. Ví dụ, nó có thể hỗ trợ doanh nghiệp viết báo cáo, soạn email, phân tích ý kiến khách hàng hay phục vụ khách hàng bằng nhiều ngôn ngữ khác nhau.
