Chuyến du đấu châu Âu của SamAltman vẫn đang được tiến hành. Cách đây không lâu, tại London, anh ấy đã có một cuộc thảo luận kín với Giám đốc điều hành của công ty AI HumanLooop. HumanLoop là một công ty giúp các nhà phát triển xây dựng các ứng dụng trên các mô hình ngôn ngữ lớn.
Giám đốc điều hành HumanLoop Raza Habib đã ghi lại những điểm nổi bật của cuộc trò chuyện và công khai trên trang web của công ty. Nhưng sau đó theo yêu cầu của OpenAI, biên bản đã được rút lại. Điều này lại làm tăng sự tò mò của thế giới bên ngoài về cuộc trò chuyện. Một số người đã suy đoán rằng một số suy nghĩ của OpenAI có liên quan đến sự thay đổi này.
Geek Park sau khi xem qua những phút trò chuyện đã bị xóa, phát hiện ra rằng nó không chỉ liên quan đến kế hoạch ngắn hạn của OpenAI trong mắt Sam mà còn che giấu áp lực đối với OpenAI sau khi nhận được sự hỗ trợ mạnh mẽ từ tài nguyên điện toán đám mây của Microsoft. Xét cho cùng, việc tinh chỉnh và lý luận mô hình vẫn tiêu tốn rất nhiều tài nguyên máy tính. Theo The Information, mô hình của Open AI đã tiêu tốn của Microsoft Azure 1,2 tỷ đô la, tập trung tài nguyên máy tính vào việc hỗ trợ OpenAI và hạn chế các máy chủ có sẵn cho các bộ phận khác của Microsoft.
Về vấn đề này, Sam cho biết giảm chi phí là mục tiêu hàng đầu hiện nay.
Ngoài ra, Sam cũng tiết lộ rằng hiện tại, các dịch vụ như mở cửa sổ ngữ cảnh dài hơn và cung cấp API tinh chỉnh đều bị giới hạn bởi tài nguyên GPU;
Trong cuộc trò chuyện này, Sam Altman đã trả lời nhiều mối quan tâm bên ngoài, chẳng hạn như cạnh tranh và thương mại hóa:
Mặc dù chỉ thuê một giám đốc sản phẩm đẳng cấp thế giới, Peter Deng, OpenAI sẽ không xem xét phát hành thêm sản phẩm;
Xu hướng ứng dụng trong tương lai là nhúng các chức năng của mô hình lớn vào nhiều APP hơn thay vì phát triển thêm các plug-in trên ChatGPT, vì thực tế hầu hết các plug-in đều không hiển thị PMF (Product / Market Fit, tức là phù hợp với thị trường sản phẩm). );
Trong vài năm qua, OpenAI đã mở rộng quy mô mô hình lên hàng triệu lần, nhưng tốc độ này không bền vững. Tiếp theo, OpenAI sẽ tiếp tục tăng kích thước mô hình với tốc độ từ 1 đến 3 lần để cải thiện hiệu suất mô hình.
Biên bản cuộc nói chuyện được công khai vào ngày 29/5 và bị xóa vào khoảng ngày 3/6 theo ghi nhận của cư dân mạng. Đây là những gì bạn nhận được với bản sao lưu:
01, OpenAI hiện đang bị hạn chế nghiêm trọng bởi GPU
Khi các cuộc hội thoại mở rộng quy mô, các tài nguyên máy tính cần thiết sẽ tăng theo cấp số nhân
OpenAI hiện có số lượng GPU rất hạn chế, điều này đã làm trì hoãn nhiều kế hoạch ngắn hạn của họ. Phàn nàn lớn nhất từ khách hàng là độ tin cậy và tốc độ của API. Sam thừa nhận mối quan tâm của họ, giải thích rằng hầu hết các vấn đề là do thiếu GPU.
Bối cảnh 32k dài hơn vẫn chưa thể được triển khai cho nhiều người hơn. OpenAI vẫn chưa vượt qua được tỷ lệ chú ý O(n^2) và vì vậy mặc dù có vẻ hợp lý nhưng họ sẽ sớm có 100 nghìn - 1 triệu cửa sổ bối cảnh mã thông báo (năm nay), bất kỳ thứ gì lớn hơn sẽ cần một bước đột phá trong nghiên cứu.
Các bối cảnh 32K dài hơn không có sẵn cho nhiều người hơn. OpenAI đã không khắc phục được vấn đề mở rộng quy mô O(n^2) của cơ chế chú ý, mặc dù có vẻ như họ sẽ sớm (năm nay) có một cửa sổ ngữ cảnh là 100k-1M Token. Bất kỳ cửa sổ lớn hơn nào cũng sẽ yêu cầu những đột phá trong nghiên cứu.
*Lưu ý: O (n^2) có nghĩa là khi độ dài của chuỗi tăng lên, tài nguyên máy tính cần thiết để thực hiện phép tính Chú ý tăng theo cấp số nhân. O được sử dụng để mô tả giới hạn trên hoặc trường hợp xấu nhất của tốc độ tăng độ phức tạp theo thời gian hoặc không gian của thuật toán; (n^2) có nghĩa là độ phức tạp tỷ lệ thuận với bình phương kích thước đầu vào. *
API tinh chỉnh hiện cũng bị giới hạn bởi tính khả dụng của GPU. Họ chưa sử dụng các phương pháp tinh chỉnh hiệu quả như Bộ điều hợp hoặc LoRa, vì vậy việc chạy và quản lý (mô hình) thông qua tinh chỉnh rất tốn công tính toán. Hỗ trợ tốt hơn để tinh chỉnh sẽ được cung cấp trong tương lai. Họ thậm chí có thể tổ chức một thị trường dựa trên cộng đồng để đóng góp mô hình.
Việc cung cấp dung lượng chuyên dụng bị giới hạn bởi tính khả dụng của GPU. OpenAI cung cấp năng lực chuyên dụng, cung cấp cho khách hàng một bản sao riêng của mô hình. Để có được dịch vụ, khách hàng phải sẵn sàng cam kết trả trước 100.000 USD.
02, Lộ trình gần đây của OpenAI
2023, giảm chi phí thông minh; 2024, hạn chế trình diễn đa phương thức
Sam cũng chia sẻ những gì anh ấy coi là lộ trình ngắn hạn tạm thời cho API OpenAI.
2023:
GPT-4 rẻ hơn và nhanh hơn — đó là ưu tiên hàng đầu của họ. Nhìn chung, mục tiêu của OpenAI là giảm "chi phí trí tuệ" càng nhiều càng tốt, vì vậy họ sẽ nỗ lực để tiếp tục giảm chi phí API theo thời gian.
Cửa sổ ngữ cảnh dài hơn — trong tương lai gần, cửa sổ ngữ cảnh có thể lên tới 1 triệu mã thông báo.
API tinh chỉnh — API tinh chỉnh sẽ được mở rộng cho các kiểu máy mới nhất, nhưng hình thức chính xác sẽ phụ thuộc vào những gì nhà phát triển nói rằng họ thực sự muốn.
API trạng thái - Khi gọi API trò chuyện ngày hôm nay, bạn phải xem đi xem lại cùng một lịch sử phiên, trả đi trả lại cùng một mã thông báo. Sẽ có một phiên bản API trong tương lai ghi nhớ lịch sử phiên.
2024：
Đa phương thức - Điều này đang được thể hiện như một phần của bản phát hành GPT-4, nhưng sẽ không áp dụng cho tất cả mọi người cho đến khi có nhiều GPU hơn xuất hiện trực tuyến.
03. Dự đoán và suy nghĩ về thương mại: các plug-in "không có PMF" có thể không sớm xuất hiện trong API
Nhiều nhà phát triển quan tâm đến việc làm cho các plugin ChatGPT có thể truy cập được thông qua API, nhưng Sam cho biết anh không nghĩ rằng chúng sẽ sớm được phát hành. Ngoài plug-in Brosing, việc sử dụng các plug-in khác cho thấy không có PMF (Sản phẩm/Thị trường phù hợp). Ông chỉ ra rằng nhiều người nghĩ rằng họ muốn ứng dụng của họ nằm trong ChatGPT, nhưng điều họ thực sự muốn là ChatGPT bên trong ứng dụng.
04. Ngoại trừ ChatGPT, OpenAI sẽ tránh cạnh tranh với khách hàng của mình
Các công ty lớn có một ứng dụng sát thủ
Nhiều nhà phát triển cho biết họ lo lắng về việc phát triển với API OpenAI, vì OpenAI cuối cùng có thể phát hành các sản phẩm cạnh tranh với họ. Sam nói rằng OpenAI sẽ không phát hành thêm sản phẩm nào ngoài ChatGPT. Ông nói, trong lịch sử, các công ty nền tảng tuyệt vời đã có một ứng dụng sát thủ. ChatGPT sẽ cho phép các nhà phát triển trở thành khách hàng của sản phẩm của chính họ để cải thiện API. Tầm nhìn của ChatGPT là trở thành một trợ lý công việc siêu thông minh, nhưng có nhiều trường hợp sử dụng GPT khác mà OpenAI sẽ không tham gia.
05. Quy định là cần thiết, nhưng không phải bây giờ
"Tôi hoài nghi về việc có bao nhiêu người và công ty có khả năng nắm giữ các mô hình lớn"
Mặc dù Sam kêu gọi các mô hình trong tương lai phải được điều chỉnh, nhưng anh ấy không nghĩ rằng các mô hình hiện tại là nguy hiểm và việc điều chỉnh hoặc cấm chúng sẽ là một sai lầm lớn. Ông nhắc lại tầm quan trọng của nguồn mở và nói rằng OpenAI đang xem xét việc biến GPT-3 thành nguồn mở. Chúng vẫn chưa được mã nguồn mở, một phần vì anh ấy hoài nghi về việc có bao nhiêu cá nhân và công ty có khả năng nắm giữ và phục vụ các mô hình ngôn ngữ lớn (LLM).
06. Quy luật về quy mô vẫn được áp dụng
Tốc độ mở rộng hàng triệu lần trong một vài năm không thể tiếp tục mãi mãi.
Gần đây có rất nhiều bài báo khẳng định rằng "thời đại của những mô hình AI khổng lồ đã qua". Điều này là không chính xác. (Lưu ý: Tại một sự kiện ở MIT vào tháng 4, Sam Altman đã nói: Chúng ta đang ở gần cuối kỷ nguyên của những mô hình khổng lồ.)
Dữ liệu nội bộ của OpenAI cho thấy quy luật mở rộng hiệu suất mô hình vẫn được áp dụng và việc tăng kích thước mô hình sẽ tiếp tục cải thiện hiệu suất.
Vì OpenAI đã mở rộng các mô hình lên hàng triệu lần chỉ trong vài năm nên tốc độ mở rộng này không thể duy trì được. Điều đó không có nghĩa là OpenAI sẽ không tiếp tục cố gắng làm cho các mô hình lớn hơn, nhưng điều đó có nghĩa là chúng có khả năng tăng gấp đôi hoặc gấp ba kích thước mỗi năm, thay vì theo nhiều bậc độ lớn.
Thực tế là các quy luật về quy mô đang có hiệu lực có ý nghĩa quan trọng đối với dòng thời gian phát triển AGI. Giả định của quy luật về tỷ lệ là chúng ta có thể đã có hầu hết các thành phần cần thiết để xây dựng AGI và phần còn lại của công việc chủ yếu là mở rộng quy mô các phương pháp hiện có thành các mô hình lớn hơn và bộ dữ liệu lớn hơn. Nếu thời đại của quy mô kết thúc, chúng ta có thể còn xa AGI hơn nữa. Thực tế là các quy luật về kích thước tiếp tục được áp dụng mạnh mẽ hàm ý một dòng thời gian ngắn hơn.
Xem bản gốc
Nội dung chỉ mang tính chất tham khảo, không phải là lời chào mời hay đề nghị. Không cung cấp tư vấn về đầu tư, thuế hoặc pháp lý. Xem Tuyên bố miễn trừ trách nhiệm để biết thêm thông tin về rủi ro.
Đã xóa biên bản nói chuyện của Sam Altman: Open AI cũng thiếu GPU, giảm chi phí là mục tiêu hàng đầu
Tác giả | Hạt Lingzi
Biên tập viên | Ngụy Thế Kiệt
** Nguồn丨Geek Park**
Chuyến du đấu châu Âu của SamAltman vẫn đang được tiến hành. Cách đây không lâu, tại London, anh ấy đã có một cuộc thảo luận kín với Giám đốc điều hành của công ty AI HumanLooop. HumanLoop là một công ty giúp các nhà phát triển xây dựng các ứng dụng trên các mô hình ngôn ngữ lớn.
Giám đốc điều hành HumanLoop Raza Habib đã ghi lại những điểm nổi bật của cuộc trò chuyện và công khai trên trang web của công ty. Nhưng sau đó theo yêu cầu của OpenAI, biên bản đã được rút lại. Điều này lại làm tăng sự tò mò của thế giới bên ngoài về cuộc trò chuyện. Một số người đã suy đoán rằng một số suy nghĩ của OpenAI có liên quan đến sự thay đổi này.
Geek Park sau khi xem qua những phút trò chuyện đã bị xóa, phát hiện ra rằng nó không chỉ liên quan đến kế hoạch ngắn hạn của OpenAI trong mắt Sam mà còn che giấu áp lực đối với OpenAI sau khi nhận được sự hỗ trợ mạnh mẽ từ tài nguyên điện toán đám mây của Microsoft. Xét cho cùng, việc tinh chỉnh và lý luận mô hình vẫn tiêu tốn rất nhiều tài nguyên máy tính. Theo The Information, mô hình của Open AI đã tiêu tốn của Microsoft Azure 1,2 tỷ đô la, tập trung tài nguyên máy tính vào việc hỗ trợ OpenAI và hạn chế các máy chủ có sẵn cho các bộ phận khác của Microsoft.
Về vấn đề này, Sam cho biết giảm chi phí là mục tiêu hàng đầu hiện nay.
Ngoài ra, Sam cũng tiết lộ rằng hiện tại, các dịch vụ như mở cửa sổ ngữ cảnh dài hơn và cung cấp API tinh chỉnh đều bị giới hạn bởi tài nguyên GPU;
Trong cuộc trò chuyện này, Sam Altman đã trả lời nhiều mối quan tâm bên ngoài, chẳng hạn như cạnh tranh và thương mại hóa:
Mặc dù chỉ thuê một giám đốc sản phẩm đẳng cấp thế giới, Peter Deng, OpenAI sẽ không xem xét phát hành thêm sản phẩm;
Xu hướng ứng dụng trong tương lai là nhúng các chức năng của mô hình lớn vào nhiều APP hơn thay vì phát triển thêm các plug-in trên ChatGPT, vì thực tế hầu hết các plug-in đều không hiển thị PMF (Product / Market Fit, tức là phù hợp với thị trường sản phẩm). );
Trong vài năm qua, OpenAI đã mở rộng quy mô mô hình lên hàng triệu lần, nhưng tốc độ này không bền vững. Tiếp theo, OpenAI sẽ tiếp tục tăng kích thước mô hình với tốc độ từ 1 đến 3 lần để cải thiện hiệu suất mô hình.
Biên bản cuộc nói chuyện được công khai vào ngày 29/5 và bị xóa vào khoảng ngày 3/6 theo ghi nhận của cư dân mạng. Đây là những gì bạn nhận được với bản sao lưu:
01, OpenAI hiện đang bị hạn chế nghiêm trọng bởi GPU
Khi các cuộc hội thoại mở rộng quy mô, các tài nguyên máy tính cần thiết sẽ tăng theo cấp số nhân
OpenAI hiện có số lượng GPU rất hạn chế, điều này đã làm trì hoãn nhiều kế hoạch ngắn hạn của họ. Phàn nàn lớn nhất từ khách hàng là độ tin cậy và tốc độ của API. Sam thừa nhận mối quan tâm của họ, giải thích rằng hầu hết các vấn đề là do thiếu GPU.
Bối cảnh 32k dài hơn vẫn chưa thể được triển khai cho nhiều người hơn. OpenAI vẫn chưa vượt qua được tỷ lệ chú ý O(n^2) và vì vậy mặc dù có vẻ hợp lý nhưng họ sẽ sớm có 100 nghìn - 1 triệu cửa sổ bối cảnh mã thông báo (năm nay), bất kỳ thứ gì lớn hơn sẽ cần một bước đột phá trong nghiên cứu.
Các bối cảnh 32K dài hơn không có sẵn cho nhiều người hơn. OpenAI đã không khắc phục được vấn đề mở rộng quy mô O(n^2) của cơ chế chú ý, mặc dù có vẻ như họ sẽ sớm (năm nay) có một cửa sổ ngữ cảnh là 100k-1M Token. Bất kỳ cửa sổ lớn hơn nào cũng sẽ yêu cầu những đột phá trong nghiên cứu.
*Lưu ý: O (n^2) có nghĩa là khi độ dài của chuỗi tăng lên, tài nguyên máy tính cần thiết để thực hiện phép tính Chú ý tăng theo cấp số nhân. O được sử dụng để mô tả giới hạn trên hoặc trường hợp xấu nhất của tốc độ tăng độ phức tạp theo thời gian hoặc không gian của thuật toán; (n^2) có nghĩa là độ phức tạp tỷ lệ thuận với bình phương kích thước đầu vào. *
API tinh chỉnh hiện cũng bị giới hạn bởi tính khả dụng của GPU. Họ chưa sử dụng các phương pháp tinh chỉnh hiệu quả như Bộ điều hợp hoặc LoRa, vì vậy việc chạy và quản lý (mô hình) thông qua tinh chỉnh rất tốn công tính toán. Hỗ trợ tốt hơn để tinh chỉnh sẽ được cung cấp trong tương lai. Họ thậm chí có thể tổ chức một thị trường dựa trên cộng đồng để đóng góp mô hình.
Việc cung cấp dung lượng chuyên dụng bị giới hạn bởi tính khả dụng của GPU. OpenAI cung cấp năng lực chuyên dụng, cung cấp cho khách hàng một bản sao riêng của mô hình. Để có được dịch vụ, khách hàng phải sẵn sàng cam kết trả trước 100.000 USD.
02, Lộ trình gần đây của OpenAI
2023, giảm chi phí thông minh; 2024, hạn chế trình diễn đa phương thức
Sam cũng chia sẻ những gì anh ấy coi là lộ trình ngắn hạn tạm thời cho API OpenAI.
2023:
GPT-4 rẻ hơn và nhanh hơn — đó là ưu tiên hàng đầu của họ. Nhìn chung, mục tiêu của OpenAI là giảm "chi phí trí tuệ" càng nhiều càng tốt, vì vậy họ sẽ nỗ lực để tiếp tục giảm chi phí API theo thời gian.
Cửa sổ ngữ cảnh dài hơn — trong tương lai gần, cửa sổ ngữ cảnh có thể lên tới 1 triệu mã thông báo.
API tinh chỉnh — API tinh chỉnh sẽ được mở rộng cho các kiểu máy mới nhất, nhưng hình thức chính xác sẽ phụ thuộc vào những gì nhà phát triển nói rằng họ thực sự muốn.
API trạng thái - Khi gọi API trò chuyện ngày hôm nay, bạn phải xem đi xem lại cùng một lịch sử phiên, trả đi trả lại cùng một mã thông báo. Sẽ có một phiên bản API trong tương lai ghi nhớ lịch sử phiên.
2024：
Đa phương thức - Điều này đang được thể hiện như một phần của bản phát hành GPT-4, nhưng sẽ không áp dụng cho tất cả mọi người cho đến khi có nhiều GPU hơn xuất hiện trực tuyến.
03. Dự đoán và suy nghĩ về thương mại: các plug-in "không có PMF" có thể không sớm xuất hiện trong API
Nhiều nhà phát triển quan tâm đến việc làm cho các plugin ChatGPT có thể truy cập được thông qua API, nhưng Sam cho biết anh không nghĩ rằng chúng sẽ sớm được phát hành. Ngoài plug-in Brosing, việc sử dụng các plug-in khác cho thấy không có PMF (Sản phẩm/Thị trường phù hợp). Ông chỉ ra rằng nhiều người nghĩ rằng họ muốn ứng dụng của họ nằm trong ChatGPT, nhưng điều họ thực sự muốn là ChatGPT bên trong ứng dụng.
04. Ngoại trừ ChatGPT, OpenAI sẽ tránh cạnh tranh với khách hàng của mình
Các công ty lớn có một ứng dụng sát thủ
Nhiều nhà phát triển cho biết họ lo lắng về việc phát triển với API OpenAI, vì OpenAI cuối cùng có thể phát hành các sản phẩm cạnh tranh với họ. Sam nói rằng OpenAI sẽ không phát hành thêm sản phẩm nào ngoài ChatGPT. Ông nói, trong lịch sử, các công ty nền tảng tuyệt vời đã có một ứng dụng sát thủ. ChatGPT sẽ cho phép các nhà phát triển trở thành khách hàng của sản phẩm của chính họ để cải thiện API. Tầm nhìn của ChatGPT là trở thành một trợ lý công việc siêu thông minh, nhưng có nhiều trường hợp sử dụng GPT khác mà OpenAI sẽ không tham gia.
05. Quy định là cần thiết, nhưng không phải bây giờ
"Tôi hoài nghi về việc có bao nhiêu người và công ty có khả năng nắm giữ các mô hình lớn"
Mặc dù Sam kêu gọi các mô hình trong tương lai phải được điều chỉnh, nhưng anh ấy không nghĩ rằng các mô hình hiện tại là nguy hiểm và việc điều chỉnh hoặc cấm chúng sẽ là một sai lầm lớn. Ông nhắc lại tầm quan trọng của nguồn mở và nói rằng OpenAI đang xem xét việc biến GPT-3 thành nguồn mở. Chúng vẫn chưa được mã nguồn mở, một phần vì anh ấy hoài nghi về việc có bao nhiêu cá nhân và công ty có khả năng nắm giữ và phục vụ các mô hình ngôn ngữ lớn (LLM).
06. Quy luật về quy mô vẫn được áp dụng
Tốc độ mở rộng hàng triệu lần trong một vài năm không thể tiếp tục mãi mãi.
Gần đây có rất nhiều bài báo khẳng định rằng "thời đại của những mô hình AI khổng lồ đã qua". Điều này là không chính xác. (Lưu ý: Tại một sự kiện ở MIT vào tháng 4, Sam Altman đã nói: Chúng ta đang ở gần cuối kỷ nguyên của những mô hình khổng lồ.)
Dữ liệu nội bộ của OpenAI cho thấy quy luật mở rộng hiệu suất mô hình vẫn được áp dụng và việc tăng kích thước mô hình sẽ tiếp tục cải thiện hiệu suất.
Vì OpenAI đã mở rộng các mô hình lên hàng triệu lần chỉ trong vài năm nên tốc độ mở rộng này không thể duy trì được. Điều đó không có nghĩa là OpenAI sẽ không tiếp tục cố gắng làm cho các mô hình lớn hơn, nhưng điều đó có nghĩa là chúng có khả năng tăng gấp đôi hoặc gấp ba kích thước mỗi năm, thay vì theo nhiều bậc độ lớn.
Thực tế là các quy luật về quy mô đang có hiệu lực có ý nghĩa quan trọng đối với dòng thời gian phát triển AGI. Giả định của quy luật về tỷ lệ là chúng ta có thể đã có hầu hết các thành phần cần thiết để xây dựng AGI và phần còn lại của công việc chủ yếu là mở rộng quy mô các phương pháp hiện có thành các mô hình lớn hơn và bộ dữ liệu lớn hơn. Nếu thời đại của quy mô kết thúc, chúng ta có thể còn xa AGI hơn nữa. Thực tế là các quy luật về kích thước tiếp tục được áp dụng mạnh mẽ hàm ý một dòng thời gian ngắn hơn.