Trung tâm Nghiên cứu AI - Trường Đại học VinUni vừa giới thiệu V-Bench, bộ công cụ phi lợi nhuận được phát triển nhằm phục vụ cộng đồng và thúc đẩy sự phát triển AI có trách nhiệm tại Việt Nam.
Được khởi xướng bởi Trung tâm Nghiên cứu AI - Trường Đại học VinUni, với sự tham gia cộng tác hoàn toàn phi lợi nhuận của hội đồng khoa học gồm 18 chuyên gia người Việt đầu ngành AI trong và ngoài nước, V-Bench là một trong những công cụ đo lường khả năng xử lý tiếng Việt của các mô hình ngôn ngữ lớn (LLM - Large Language Model) toàn diện nhất hiện nay. Không chỉ dựa trên những kiến thức học thuật, bộ dữ liệu hơn 40.000 câu hỏi và tác vụ của V-Bench được xây dựng theo cả chiều rộng lẫn chiều sâu, bao phủ nhiều lĩnh vực và phản ánh đầy đủ các yếu tố về văn hóa, ngôn ngữ, chủ quyền, an toàn thông tin và đặc thù địa phương.
V-Bench chia bộ công cụ theo 2 hạng mục lớn với 5 nhóm đánh giá chuyên biệt, bao gồm: Văn hóa ngầm định - đánh giá khả năng thấu hiểu các tầng nghĩa văn hóa ẩn sâu trong ngôn ngữ Việt như phong tục, tín ngưỡng, lịch sử; Đa dạng vùng miền - kiểm tra hiểu biết về phương ngữ Bắc - Trung - Nam, cách xưng hô và văn phong đặc trưng từng vùng; An toàn và chủ quyền số - đảm bảo tuân thủ các nguyên tắc an toàn thông tin quốc gia, chống thông tin sai lệch và bảo vệ chủ quyền số Việt Nam; Ứng dụng thực tiễn - đánh giá hiệu quả trong giáo dục, y tế cộng đồng và các lĩnh vực ứng dụng cụ thể của Việt Nam; Năng lực agentic AI - đánh giá khả năng lập kế hoạch, sử dụng công cụ, RAG và hành động tự chủ trong môi trường Việt Nam.
Nhờ đó, V-Bench không chỉ đo lường khả năng trả lời câu hỏi mang tính học thuật, mà còn đánh giá sự thấu hiểu văn hóa, ngôn ngữ vùng miền và khả năng hành động của AI trong bối cảnh Việt Nam, từ đó cho ra kết quả khách quan, toàn diện, sát với thực tế, có tính tham chiếu và giá trị định hướng cao cho cộng đồng. Đặc biệt, kết quả đánh giá bởi V-Bench được bảo chứng bởi hội đồng chuyên gia uy tín cùng phương pháp luận nghiêm ngặt và bộ dữ liệu có quy mô đồ sộ, khoa học, công phu nhất hiện nay.
V-Bench được xây dựng theo các kỹ thuật tương đồng và phổ biến trong nghiên cứu LLM quốc tế, có khả năng tương thích cao về thuật ngữ và quy trình với hệ sinh thái benchmark quốc tế, giúp các nhà phát triển LLM toàn cầu có thể tham gia đánh giá mà không gặp rào cản về quy ước kỹ thuật.
Được cung cấp miễn phí tại địa chỉ https://vbench.ai, V-Bench hiện đã tiến hành đánh giá và công bố kết quả tham chiếu của 15 mô hình LLM tiêu biểu hiện nay. Trong thời gian tới, V-Bench sẽ tiếp tục được phát triển để bổ sung các tiêu chí đánh giá mới dựa trên hình ảnh và âm thanh như: chữ Nôm, biển hiệu vùng miền, biểu đồ, di sản văn hóa, nhận diện và hiểu giọng nói ba miền, hiểu ngữ cảnh văn hóa qua video ngắn, hiểu tài liệu dài tiếng Việt trên 100.000 token như luật, hợp đồng, sách giáo khoa và trích dẫn chính xác từ văn bản pháp quy, công báo…
Là một trong những dự án nghiên cứu AI tiêu biểu của Trung tâm Nghiên cứu AI - Trường Đại học VinUni, V-Bench là minh chứng cho khát vọng bứt phá, nâng tầm vị thế trí tuệ Việt trên bản đồ học thuật toàn cầu của VinUni, đồng thời khẳng định sứ mệnh tiên phong, tinh thần cống hiến vì cộng đồng và phụng sự khoa học của Vingroup.
: