Hiểu về máy tính cá nhân AI

Trong vài tháng qua, thế giới đã tràn ngập tin tức và tiếp thị với sự ra mắt của “Máy tính cá nhân AI”. Không thể phủ nhận sự ồn ào và phấn khích xung quanh những chiếc máy tính cá nhân AI mới này . Tuy nhiên, việc tìm kiếm hướng dẫn rõ ràng và có thể thực hiện được về cách thực sự khai thác lợi ích của chúng với tư cách là khách hàng có thể giống như việc mò kim đáy bể. Đã đến lúc chúng ta giải quyết khoảng cách thông tin này và trao quyền cho người dùng để tận dụng tối đa công nghệ đột phá này.

Hướng dẫn toàn diện

Tại Dell Technologies, chúng tôi muốn cung cấp một hướng dẫn toàn diện, được thiết kế để thu hẹp khoảng cách hiểu biết trong lĩnh vực PC AI, hiệu suất của phần cứng tăng tốc AI như bộ xử lý thần kinh (NPU) và bộ xử lý đồ họa GPU, cũng như hệ sinh thái phần mềm mới nổi đang tận dụng chúng.

Sự thật đơn giản là tất cả PC đều có thể xử lý các tính năng AI, nhưng việc giới thiệu các mạch xử lý AI chuyên dụng mang lại hiệu suất và hiệu quả gia tăng vượt xa những gì CPU cũ có thể cung cấp. Điều này có nghĩa là chúng có thể thực hiện các tác vụ AI phức tạp nhanh hơn và sử dụng ít năng lượng hơn khi thực hiện. Đây là một bước tiến lớn trong công nghệ PC, đẩy mạnh giới hạn những gì PC có thể làm và thiết lập nền tảng cho các ứng dụng AI thậm chí còn tốt hơn trong tương lai.

Thêm vào đó, các nhà cung cấp phần mềm độc lập (ISV) đang nhanh chóng giới thiệu các tính năng và chức năng dựa trên AI vào phần mềm hiện có, đồng thời tạo ra phần mềm sáng tạo tận dụng các khả năng độc đáo của AI tạo sinh (GenAI). Để khách hàng có thể tận dụng tối đa lợi ích của phần mềm và phần cứng mới này, điều quan trọng là phải hiểu liệu các tính năng phần mềm mới này được xử lý cục bộ trên PC của bạn hay trên đám mây. Sự hiểu biết này sẽ đảm bảo họ khai thác hết tiềm năng của các khoản đầu tư công nghệ của mình.

Tính năng AI tăng tốc

Một ví dụ minh họa cho điều này là Microsoft Copilot. Microsoft Copilot và các khả năng AI của nó hiện đang được xử lý trên đám mây của Microsoft, do đó bất kỳ PC nào cũng có thể tận dụng các tính năng tiết kiệm thời gian và năng suất của nó. Hãy đối chiếu điều này với Copilot+, nơi Microsoft cung cấp các tính năng AI gia tăng độc đáo sẽ xử lý cục bộ trên PC AI Copilot+ , trong số những thứ khác, được xác định bởi một NPU mạnh mẽ hơn. Chúng ta sẽ nói thêm về điều đó sau.

Hãy nhớ rằng các ISV đã theo đuổi các tính năng AI được tăng tốc cục bộ nhiều năm trước khi giới thiệu PC AI có NPU. Khi NVIDIA giới thiệu GPU RTX vào năm 2018 , công ty đã đưa vào mạch tăng tốc AI chuyên dụng có tên là Tensor Cores. Các ứng dụng ISV dành riêng cho đồ họa từ trò chơi đến video chuyên nghiệp, hoạt hình 3D, CAD và phần mềm thiết kế đều bắt đầu thử nghiệm thêm các tính năng AI được xử lý bằng GPU khi GPU RTX của NVIDIA trở nên phổ biến trên các thị trường này.

Đối với các nhà khoa học dữ liệu muốn bắt đầu với ứng dụng máy học và GenAI, các máy trạm AI với GPU RTX nhanh chóng trở thành môi trường thử nghiệm lý tưởng, cho phép thử nghiệm dữ liệu riêng tư sau tường lửa của công ty và có khả năng dự đoán chi phí tốt hơn so với môi trường điện toán ảo trên đám mây, nơi đồng hồ đo luôn chạy.

Tất cả các trường hợp sử dụng AI do GPU điều khiển này, chủ yếu là với người dùng máy trạm tận dụng đồ họa NVIDIA RTX chuyên nghiệp, có xu hướng ưu tiên hiệu suất trước tiên mà ít quan tâm đến hiệu quả năng lượng. Với khả năng xử lý AI tiết kiệm năng lượng, NPU mang đến một thuộc tính mới cho thị trường để làm việc với các tính năng AI.

Bất kể miền xử lý nào—NPU, GPU hay đám mây—ISV phải thực hiện công việc khó khăn là mã hóa để hỗ trợ bất kỳ hoặc tất cả các miền này để khách hàng nhận ra lợi ích. Một số tính năng chỉ có thể hỗ trợ NPU, một số có thể chỉ hỗ trợ GPU và một số chỉ khả dụng trên đám mây. Hiểu các ứng dụng ISV mà bạn sử dụng hàng ngày và cách chúng sẽ tận dụng phần cứng xử lý AI của bạn là điều quan trọng để có được trải nghiệm tốt nhất.

Phần cứng tăng tốc AI được xác định bởi một số thuộc tính quan trọng quyết định hiệu suất xử lý, tính phù hợp với quy trình công việc nhất định và hiệu quả năng lượng.

Đơn vị xử lý thần kinh

Hãy bắt đầu với NPU. NPU là sản phẩm mới được giới thiệu tương đối gần đây trên thị trường xử lý AI và thường có dạng một phần mạch CPU của PC. Các CPU mới nhất của Intel và Qualcomm có NPU tích hợp— vì vậy chúng là một phần của bộ xử lý. Mạch này ưu tiên sử dụng các tính năng AI, thường được gọi là suy luận AI. Công nghệ đằng sau suy luận AI chủ yếu dựa trên toán học số nguyên. NPU rất giỏi về toán học số nguyên cần thiết cho suy luận AI. Chúng cũng có thêm lợi ích là thực hiện suy luận với mức tiêu thụ năng lượng rất thấp, điều này khiến chúng trở nên lý tưởng để thực hiện AI trên máy tính xách tay, nơi thời lượng pin rất quan trọng đối với tính di động. Trong khi NPU thường được tìm thấy dưới dạng mạch trong CPU thế hệ mới nhất, thì cũng có những NPU rời rạc xuất hiện trên thị trường có dạng thẻ bổ sung M.2 hoặc PCIe và thường có chức năng tương tự để tăng tốc suy luận AI.

Với sự ra mắt gần đây của NPU trên thị trường, các ISV mới bắt đầu phát hành các bản cập nhật phần mềm hoặc phiên bản có các tính năng AI hỗ trợ chúng. Đã có những khả năng mới thú vị mà NPU cho phép và số lượng ứng dụng và tính năng của ISV dự kiến ​​sẽ tăng nhanh chóng.

Card đồ họa rời và tích hợp NVIDIA

GPU NVIDIA RTX có sẵn dưới dạng chip rời trong máy tính xách tay và card bổ sung PCIe cho PC và máy trạm. Chúng cung cấp phạm vi hiệu suất AI lớn hơn và chức năng trường hợp sử dụng bổ sung, mặc dù chúng không mang lại hiệu quả năng lượng của NPU. Các số liệu về hiệu suất AI của NPU và GPU sẽ được cung cấp sau trong bài đăng này, nhưng với phạm vi cung cấp và khả năng thêm nhiều card vào máy trạm để bàn, máy trạm dạng tháp và máy trạm dạng giá đỡ, GPU cung cấp mức hiệu suất xử lý AI có khả năng mở rộng cao hơn cho quy trình làm việc nâng cao so với NPU.

GPU NVIDIA RTX có thêm một lợi ích là chúng không chỉ có thể được sử dụng để suy luận (với hiệu suất toán học số nguyên đặc biệt) mà còn phù hợp để đào tạo và phát triển các mô hình ngôn ngữ lớn GenAI (LLM). Điều này là kết quả của việc tăng tốc các phép tính dấu phẩy động và hỗ trợ rộng rãi trong các chuỗi công cụ và thư viện thường được các nhà khoa học dữ liệu và nhà phát triển phần mềm AI sử dụng.

Biến nó thành hiện thực cho doanh nghiệp của bạn

Hiệu suất AI thường được đo bằng TOPS hoặc hàng nghìn tỷ phép tính mỗi giây . TOPS là phép đo hiệu suất suy luận AI đỉnh cao tiềm năng dựa trên kiến ​​trúc và tần số của bộ xử lý. Không nên nhầm lẫn phép đo này với TFLOP, biểu thị khả năng của hệ thống máy tính thực hiện một nghìn tỷ phép tính dấu phẩy động mỗi giây.

Sau đây là biểu đồ minh họa TOPS tương đối trên nhiều thiết bị điện toán tập trung vào AI:

Biểu đồ này cho thấy phạm vi rộng về khả năng mở rộng suy luận AI trên các PC AI và máy trạm AI của Dell. Biểu đồ cũng minh họa rằng các máy trạm AI để bàn và dạng tháp có thể mở rộng sức mạnh suy luận hơn nữa bằng cách thêm nhiều GPU RTX. Một lớp phủ màu xanh nhạt đã được thêm vào để chỉ ra mô hình máy trạm AI nào được cấu hình lý tưởng cho quy trình phát triển và đào tạo AI. Hãy nhớ rằng trong khi TOPS đóng vai trò là thước đo hiệu suất tương đối, hiệu suất thực tế sẽ được xác định bởi ứng dụng cụ thể đang hoạt động trong môi trường đó. Tương tự như vậy, ứng dụng hoặc tính năng AI cụ thể phải hỗ trợ miền xử lý cụ thể để tận dụng khả năng của phần cứng. Khi các ISV tiếp tục phát triển các ứng dụng của mình, một ứng dụng duy nhất có thể định tuyến xử lý AI trên tất cả phần cứng AI khả dụng trong các hệ thống có CPU, NPU và GPU RTX để có hiệu suất tối đa.

TOPS không phải là thuộc tính quan trọng duy nhất trong việc xử lý AI. Bộ nhớ cũng quan trọng, đặc biệt là GenAI LLM. Tùy thuộc vào cách xử lý LLM, chúng có thể yêu cầu lượng bộ nhớ khả dụng lớn. Với NPU tích hợp, như trong bộ xử lý Intel Core Ultra và Qualcomm Snapdragon, chúng sử dụng một phần bộ nhớ RAM của hệ thống. Với sự hiểu biết này, bạn nên mua cấu hình RAM có bộ nhớ tối đa mà bạn có thể mua được trong PC AI, vì nó sẽ phục vụ không chỉ cho quá trình xử lý AI được thảo luận ở đây mà còn cho cả tính toán chung, tác vụ đồ họa và đa nhiệm trên các ứng dụng, mà nó là chìa khóa.

GPU NVIDIA RTX rời rạc chứa bộ nhớ chuyên dụng cho từng mẫu máy cụ thể với một số thay đổi về cả hiệu suất TOPS và dung lượng bộ nhớ giữa các GPU cho máy trạm AI di động và cố định. Với dung lượng bộ nhớ VRAM lên đến 48GB, chẳng hạn như với RTX 6000 Ada và khả năng hỗ trợ tới 4 GPU trong Precision 7960 Tower, tạo ra VRAM 192GB, máy trạm AI có thể mở rộng quy mô cho các quy trình suy luận tiên tiến nhất và cung cấp môi trường thử nghiệm đào tạo và phát triển mô hình AI hiệu suất cao cho những khách hàng có thể chưa sẵn sàng cho khả năng mở rộng quy mô lớn hơn nữa trong phạm vi máy chủ AI GPU Dell PowerEdge. VRAM GPU RTX hoạt động theo cách tương tự như RAM hệ thống với NPU—nó được chia sẻ trên toàn bộ quá trình tính toán, đồ họa và xử lý AI được tăng tốc bằng GPU, và đa nhiệm ứng dụng sẽ đặt ra nhiều yêu cầu hơn nữa đối với nó. Nếu bạn là người thường xuyên thực hiện đa nhiệm ứng dụng, sử dụng các ứng dụng có nhiều khả năng tăng tốc GPU, bạn nên đặt mục tiêu mua máy trạm AI có GPU lớn nhất (và VRAM) trong phạm vi ngân sách của mình.

Một chút thông tin có thể giúp hiểu và khám phá khả năng của máy tính cá nhân AI và máy trạm AI. Trong thời đại này, khi các tính năng AI đang phát triển nhanh chóng trên mọi ứng dụng phần mềm—cho dù là phần mềm đóng gói thương mại hay các công cụ tùy chỉnh nội bộ—bạn có thể làm nhiều hơn là tham gia vào hiệu quả tiết kiệm thời gian và khả năng tạo ra mọi loại nội dung sáng tạo. Bạn có thể tối đa hóa những trải nghiệm này bằng cách tối ưu hóa cấu hình máy tính cá nhân AI và máy trạm AI của mình để có lợi ích tối đa.