Các mô hình trí tuệ nhân tạo gọi là đã trở nên dễ phát triển hơn - và rẻ hơn.
Vào ngày thứ Sáu, NovaSky, một nhóm nghiên cứu có trụ sở tại Sky Computing Lab của Đại học UC Berkeley, đã phát hành Sky-T1-32B-Preview, một mô hình trí tuệ mà cạnh tranh với phiên bản trước đó của OpenAI o1 trên một số tiêu chí chính. Sky-T1 dường như là mô hình trí tuệ nhân tạo mở nguồn đầu tiên trong nghĩa là có thể sao chép từ đầu; nhóm đã phát hành tập dữ liệu họ đã sử dụng để đào tạo nó cũng như mã đào tạo cần thiết.
“Đáng kinh ngạc, Sky-T1-32B-Preview đã được đào tạo với chi phí dưới 450 đô la,” nhóm viết trong một bài đăng trên blog, “chứng minh rằng việc tái tạo khả năng suy luận cấp cao có thể được thực hiện với giá cả phải chăng và hiệu quả.”
450 đô la có vẻ không phải là giá phải chăng. Nhưng không lâu trước đây mà thẻ giá để đào tạo một mô hình với hiệu suất tương đương thường dao động trong hàng triệu đô la. Dữ liệu đào tạo được tạo tổng hợp, hoặc dữ liệu đào tạo được tạo ra bởi các mô hình khác, đã giúp giảm chi phí. Palmyra X 004, một mô hình mới được phát hành gần đây bởi công ty AI Writer, đào tạo gần như hoàn toàn trên dữ liệu tổng hợp, được cho là đã tốn khoảng 700,000 đô la để phát triển.
Khác với hầu hết các trí tuệ nhân tạo, các mô hình suy luận hiệu quả tự kiểm tra sự tác động của họ, giúp họ tránh một số hậu quả mà thường làm bị vấp phải các mô hình. Các mô hình suy luận mất vài giây đến vài phút hơn để tới các cách giải đối với so với một mô hình không suy luận đơn giản. Mặt tích cực là, chúng có xu hướng đáng tin cậy hơn trong các lĩnh vực như vật lý, khoa học và toán học.
Nhóm NovaSky nói rằng họ đã sử dụng mô hình suy luận khác, QwQ-32B-Preview của Alibaba, để tạo ra dữ liệu đào tạo ban đầu cho Sky-T1, sau đó “làm sạch” bộ dữ liệu và tận dụng GPT-4o-mini của OpenAI để tinh chỉnh dữ liệu thành một định dạng có thể làm việc được hơn. Việc đào tạo Sky-T1 32 tỷ tham số đã mất khoảng 19 giờ sử dụng một rack 8 Nvidia H100 GPUs. (Tham số tương ứng độ khả năng giải quyết vấn đề của một mô hình.)
Theo nhóm NovaSky, Sky-T1 hoạt động tốt hơn so với phiên bản xem trước sớm của o1 trên MATH500, một bộ sưu tập các thách thức toán học “cấp độ cạnh tranh”. Mô hình cũng vượt qua xem trước của o1 trên một loạt các vấn đề khó từ LiveCodeBench, một đánh giá mã hóa.
Tuy nhiên, Sky-T1 vẫn thua phiên bản xem trước của o1 trên GPQA-Diamond, chứa các câu hỏi liên quan đến vật lý, sinh học và hóa học mà một người tốt nghiệp tiến sĩ được kỳ vọng biết.
Cũng quan trọng lưu ý là phiên bản GA của o1 của OpenAI là một mô hình mạnh hơn so với phiên bản xem trước của o1, và dự kiến rằng OpenAI sẽ phát hành một mô hình suy luận hoạt động tốt hơn, o3, trong những tuần tới.
Nhưng nhóm NovaSky nói rằng Sky-T1 chỉ là bước khởi đầu của hành trình của họ để phát triển các mô hình mở nguồn với khả năng suy luận tiên tiến.
“Phía trước, chúng tôi sẽ tập trung vào việc phát triển các mô hình hiệu quả hơn duy trì hiệu suất suy luận mạnh mẽ và khám phá các kỹ thuật tiên tiến khác giúp tăng cường hiệu suất và chính xác của các mô hình tại thời điểm kiểm tra,” nhóm viết trong bài viết. “Hãy chờ đón khi chúng tôi tiến triển trên những dự án hứa hẹn này.”
