66B là một mô hình ngôn ngữ có quy mô xấp xỉ 66 tỷ tham số, được thiết kế dựa trên kiến trúc transformer. Mục tiêu của nó là sinh văn bản tự nhiên, hiểu ngữ cảnh và hỗ trợ các tác vụ ngôn ngữ ở nhiều ngôn ngữ. Với khả năng xử lý ngôn ngữ đa dạng, 66B có thể được dùng cho trả lời câu hỏi, tóm tắt, dịch và sáng tác nội dung, từ đó hỗ trợ nhiều ngành nghề và lĩnh vực.
Kiến trúc dựa trên mạng transformer với nhiều lớp tự chú ý và đầu ra dựa trên xác suất. Số lượng tham số lớn đòi hỏi các kỹ thuật tối ưu hoá và phân bổ bộ nhớ hợp lý để đảm bảo tính hiệu quả khi huấn luyện và suy diễn. 66B tận dụng cơ chế attention để nắm bắt mối quan hệ từ ngữ ở nhiều mức độ, từ từ ngữ đến câu và đoạn văn.
66B được huấn luyện trên một tập dữ liệu đa ngôn ngữ và đa thể loại, bao gồm văn bản từ nhiều nguồn hợp pháp. Quá trình này nhấn mạnh sự đa dạng ngôn ngữ, cân bằng dữ liệu và kiểm soát chất lượng nội dung nhằm giảm thiên lệch và nâng cao khả năng tổng quát cho các tác vụ khác nhau.
66B có thể hỗ trợ trả lời câu hỏi, viết văn bản, tóm tắt, và hỗ trợ lập trình. Tuy nhiên, người dùng cần nhận thức về giới hạn như thông tin có thể sai lệch, thiên lệch dữ liệu và cần có giám sát để đảm bảo an toàn và tuân thủ quy định.
