66B là một mô hình ngôn ngữ có quy mô 66 tỷ tham số, được thiết kế để xử lý ngôn ngữ tự nhiên, sinh văn bản và hỗ trợ các tác vụ NLP khác.
66B dựa trên kiến trúc transformer, với quy mô tham số lớn và khả năng đa nhiệm. Mô hình được tối ưu để cân bằng giữa hiệu suất và chi phí tính toán.
Quá trình huấn luyện sử dụng dữ liệu đa dạng từ văn bản công khai và nguồn dữ liệu do đối tác cấp phép, với mục tiêu nắm bắt cú pháp, ngữ nghĩa và tri thức thế hệ. Các kỹ thuật như tiền huấn luyện và fine-tuning được áp dụng tùy theo tác vụ.
66B có thể hỗ trợ dịch thuật, tóm tắt văn bản, trả lời câu hỏi, viết mã, và tư vấn sáng tạo. Tuy nhiên, người dùng cần nhận thức về rủi ro sai lệch, thiên vị và các vấn đề đạo đức khi triển khai trong thực tế.
66B đại diện cho xu hướng mô hình ngôn ngữ quy mô lớn, mở ra nhiều ứng dụng mới nhưng kèm theo thách thức về tối ưu nguồn lực và đảm bảo an toàn thông tin.