66B là một mô hình ngôn ngữ lớn (LLM) được thiết kế để hiểu và sinh văn bản ở nhiều ngữ cảnh khác nhau. Với quy mô tham số lên tới 66 tỷ, nó có khả năng nắm bắt các mẫu ngôn ngữ phức tạp và cung cấp các phản hồi có sắc thái và phong cách đa dạng.
Mô hình này được huấn luyện trên một tập dữ liệu rộng lớn từ nhiều nguồn, bao gồm văn bản sách, bài viết và tài liệu công khai, giúp nó có kiến thức tổng quát và khả năng thích nghi với nhiều chủ đề.
Kiến trúc dựa trên các mạng transformer với cơ chế chú ý tự trọng đa lớp. Với khoảng 66 tỷ tham số, mô hình có thể lưu trữ và tái hiện các mối quan hệ phức tạp trong ngữ cảnh dài. Các phiên bản tối ưu có vùng chú ý dài, định hình đầu ra theo chất giọng và thể loại văn bản mong muốn.
Quá trình huấn luyện kết hợp nhiều ngôn ngữ và nhiều thể loại dữ liệu. Việc cân đối dữ liệu, xử lý chất lượng và khóa kiểm soát rủi ro là yếu tố đóng vai trò quan trọng để giảm thiên vị và tăng khả năng tổng quát. Các kỹ thuật fine-tuning và instruction-tuning được áp dụng để cải thiện tính an toàn và tuân thủ hướng dẫn của người dùng.
66B có thể hỗ trợ trả lời câu hỏi, viết sáng tạo, gợi ý mã và hỗ trợ dịch thuật. Tuy nhiên, người dùng cần nhận thức rõ giới hạn: mô hình có thể tạo ra thông tin sai, thiếu độ tin cậy trong các ngữ cảnh chuyên môn, và tiêu thụ nguồn lực tính toán lớn. Việc giám sát, kiểm tra đầu ra và tích hợp kiểm soát an toàn là cần thiết để triển khai thực tiễn.