66b là một mô hình ngôn ngữ với 66 tỷ tham số, thuộc gia đình mô hình lớn được thiết kế để xử lý ngôn ngữ tự nhiên ở quy mô rộng.
Kiến trúc dựa trên transformer, có hàng tỷ tham số, phân phối huấn luyện trên tập dữ liệu đa ngôn ngữ và đa miền để tăng tính tổng quát.
66b được ứng dụng cho dịch máy, sinh văn bản, tóm tắt nội dung, trả lời câu hỏi và hỗ trợ sáng tạo nội dung. Nó cũng đặt ra thách thức về an toàn, thiên lệch và chi phí.
Hiệu suất trên các nhiệm vụ xử lý ngôn ngữ tự nhiên cho thấy khả năng tạo ngữ cảnh phong phú và hiểu biết rộng, nhưng cần quản lý nguồn lực, dữ liệu huấn luyện và rủi ro về đạo đức.
