Điểm chuẩn TPCx-AI

Tổng quan

Điểm chuẩn TPCx-AI tóm tắt sự đa dạng của hoạt động trong kịch bản trung tâm dữ liệu bán lẻ. Việc lựa chọn mô hình kinh doanh bán lẻ sẽ giúp người đọc liên hệ một cách trực quan với các thành phần của tiêu chuẩn mà không cần theo dõi chặt chẽ phân khúc ngành đó. Việc theo dõi như vậy sẽ giảm thiểu mức độ liên quan của điểm chuẩn. Điểm chuẩn TPCx-AI có thể được sử dụng để mô tả bất kỳ ngành nào phải chuyển đổi dữ liệu hoạt động và dữ liệu bên ngoài thành thông tin kinh doanh.

Bài viết này giới thiệu điểm chuẩn TPCx-AI và sử dụng kết quả TPCx-AI đã công bố để mô tả cách xác định các số liệu chính và cách đọc chúng.

Mô hình chuẩn

Quy trình khoa học dữ liệu TPCx-AI

Điểm chuẩn TPCx-AI mô phỏng hoạt động của các doanh nghiệp bán lẻ và trung tâm dữ liệu với:

Thông tin khách hàng
Cửa hàng bách hóa
Việc bán hàng
Dữ liệu tài chính
Danh mục sản phẩm và đánh giá
Email
Nhật ký trung tâm dữ liệu
Hình ảnh khuôn mặt
Cuộc trò chuyện âm thanh

Nó mô hình hóa những thách thức của các hệ thống và quy trình trí tuệ nhân tạo toàn diện, nơi sức mạnh của học máy và học sâu được sử dụng để:

Phát hiện sự bất thường (gian lận và thất bại)
Thúc đẩy tối ưu hóa hậu cần dựa trên AI để giảm chi phí thông qua dự báo theo thời gian thực (phân loại, phân cụm, dự báo và dự đoán)
Sử dụng các kỹ thuật AI học sâu để quản lý dịch vụ khách hàng và tiếp thị cá nhân hóa (nhận dạng khuôn mặt và nhận dạng giọng nói)

Nó bao gồm mười trường hợp sử dụng khác nhau giúp giải quyết bất kỳ trung tâm dữ liệu doanh nghiệp bán lẻ nào và quản lý mọi môi trường phân tích kinh doanh.

Bộ TPCx-AI sử dụng Khung tạo dữ liệu song song (PDGF) để tạo tập dữ liệu thử nghiệm. Để bắt chước các bộ dữ liệu có quy mô công ty khác nhau, người dùng có thể chỉ định hệ số tỷ lệ (SF), một tham số cấu hình. Nó đặt kích thước tập dữ liệu đầu vào mục tiêu tính bằng GB. Ví dụ: SF=100 bằng 100 GB. Sau khi được tạo, tất cả dữ liệu sẽ được xử lý cho các giai đoạn xử lý hậu kỳ tiếp theo trong quy trình khoa học dữ liệu.

Trường hợp sử dụng

Điểm chuẩn TPCx-AI mô hình hóa các trường hợp sử dụng sau:

Hình 1: Luồng quy trình của trường hợp sử dụng điểm chuẩn TPCx-AI

Bảng 1: Các trường hợp sử dụng điểm chuẩn TPCx-AI

NHẬN DẠNG	Trường hợp sử dụng	M/DL	Khu vực	Thuật toán
UC01	Phân khúc khách hàng	ML	phân tích	K-nghĩa
UC02	Phiên âm cuộc hội thoại	DL	NLP	Mạng thần kinh tái phát
UC03	Dự báo bán hàng	ML	phân tích	ARIMA
UC04	Phát hiện thư rác	ML	phân tích	Bayes ngây thơ
UC05	Dự đoán giá	DL	NLP	RNN
UC06	Phát hiện lỗi phần cứng	ML	phân tích	Máy Vector hỗ trợ
UC07	Đánh giá sản phẩm	ML	Sự giới thiệu	Bình phương tối thiểu xen kẽ
UC08	Phân loại loại chuyến đi	ML	phân tích	XGBoost
UC09	Nhận dạng khuôn mặt	DL	phân tích	Hồi quy logistic
UC10	Phát hiện gian lận	ML	phân tích	Hồi quy logistic

Chạy chuẩn

Quá trình chạy Điểm chuẩn TPCx-AI bao gồm bảy bài kiểm tra riêng biệt được chạy tuần tự. Các bài kiểm tra được liệt kê dưới đây:

Tạo dữ liệu bằng PDGF
Kiểm tra tải – Tải dữ liệu vào bộ lưu trữ liên tục (HDFS hoặc các hệ thống tệp khác)
Power Training Test – Tạo và đào tạo các mô hình
Kiểm thử phục vụ điện năng I – Sử dụng mô hình được đào tạo trong Giai đoạn đào tạo để tiến hành giai đoạn phục vụ (Suy luận) cho từng trường hợp sử dụng
Thử nghiệm cung cấp năng lượng II – Có hai thử nghiệm cung cấp điện chạy tuần tự. Bài kiểm tra có giá trị trung bình hình học (geomean) lớn hơn của thời gian cung cấp được sử dụng trong điểm tổng thể.
Kiểm tra tính điểm – Giai đoạn xác nhận mô hình. Độ chính xác của mô hình được xác định bằng cách sử dụng các số liệu và tiêu chí về độ chính xác đã xác định
Kiểm tra thông lượng – Chạy hai hoặc nhiều luồng phân phát đồng thời

Thời gian trôi qua cho mỗi bài kiểm tra được báo cáo.

Lưu ý : Có bảy giai đoạn điểm chuẩn trải rộng trên quy trình khoa học dữ liệu từ đầu đến cuối như trong Hình 1. Để chạy hiệu suất tuân thủ, giai đoạn tạo dữ liệu sẽ được chạy nhưng không được tính điểm và bao gồm sáu bài kiểm tra riêng biệt tiếp theo, kiểm tra tải thông qua kiểm tra thông lượng, chạy tuần tự.

Số liệu chính

Đối với mọi kết quả, TPC yêu cầu công bố ba số liệu chính:

Hiệu suất
Giá-Hiệu suất
Ngày có hàng

Chỉ số hiệu suất

Có thể không phải tất cả các kịch bản trong TPCx-AI đều có thể áp dụng được cho tất cả người dùng. Để giải quyết tình huống này, trong khi xác định chỉ số hiệu suất cho TPCx-AI, không có kịch bản nào chi phối chỉ số hiệu suất. Chỉ số hiệu suất chính là thông lượng được biểu thị theo số trường hợp sử dụng AI mỗi phút (AIUCpm) @ SF được xác định trong hình bên dưới.

Hình 2: Định nghĩa chỉ số benchmark TPCx-AI

Ở đâu:

T _LD = Thời gian tải

T _PTT = Geomean của thời gian đào tạo

T _PST1 = Geomean của thời gian phục vụ

T _PST2 = Geomean của thời gian phục vụ

T _PST = Tối đa (TPST1, TPST2)

T _TT = Tổng thời gian đã trôi qua/ (#luồng * số trường hợp sử dụng)

N = Số ca sử dụng

Lưu ý : Thời gian đã trôi qua cho bài kiểm tra tính điểm không được xem xét để tính chỉ số hiệu suất. Thay vào đó, kết quả của bài kiểm tra tính điểm được sử dụng để xác định xem bài kiểm tra Hiệu suất có thành công hay không.

Kết quả kiểm tra tính điểm cho từng trường hợp người dùng phải đáp ứng hoặc cao hơn bộ kết quả tham chiếu được cung cấp trong bộ công cụ như trong hình bên dưới.

Hình 3: Số liệu về độ chính xác khi chạy điểm chuẩn

Tính toán chỉ số Hiệu suất

Để minh họa cách tính chỉ số hiệu suất, chúng ta hãy xem xét kết quả được công bố cho SF=10 tại:

https://www.tpc.org/tpcx-ai/results/tpcxai_result_detail5.asp?id=122110802

Một phần nổi bật của kết quả TPCx-AI, hiển thị thời gian đã trôi qua của sáu lần kiểm tra liên tiếp tạo thành lần chạy điểm chuẩn được hiển thị trong hình bên dưới.

Hình 4: Thời gian đã trôi qua của các giai đoạn kiểm tra benchmark

Điểm nổi bật về kết quả chỉ cung cấp thời gian huấn luyện và thời gian giao bóng. Để tính chỉ số hiệu suất cuối cùng, chúng ta cần sử dụng giá trị trung bình hình học của thời gian đào tạo và thời gian phục vụ. Để đạt được giá trị trung bình của thời gian đào tạo và thời gian kiểm tra, cần có thời gian dành cho từng trường hợp sử dụng. Thời gian đó được cung cấp trong Báo cáo công bố đầy đủ (FDR), một phần của kết quả điểm chuẩn. Liên kết đến FDR của kết quả SF=10 mà chúng tôi đang xem xét có tại:

https://www.tpc.org/results/fdr/tpcxai/dell~tpcxai~10~dell_powerge_r7615~fdr~2022-11-09~v01.pdf

Thời gian sử dụng và bảng độ chính xác từ FDR được hiển thị trong hình bên dưới.

Hình 5: Thời gian sử dụng và độ chính xác

Lưu ý : Các số liệu về độ chính xác được xác định trong Bảng 7a của Hướng dẫn sử dụng TPCx-AI.

Sử dụng dữ liệu trong Hình 4 và Hình 5:

T _LD = Thời gian tải = 2,306 giây

T _PTT = Geomean của thời gian đào tạo =316,799337

(119,995*2104,383*113,122*89,595*974,454*424,76*26,14*4928,427*29,112*253,63) ^1/10

T _PST1 = Geomean của thời gian phục vụ = 19,751 giây

(10.025*8.949*4.405*12.05*4.489*144.016*4.254*396.486*75.706*22.987) ^1/10

T _PST2 = Geomean của thời gian phục vụ = 19,893 giây

(10.043*8.92*4.39*12.288*4.622*148.551*4.275*396.099*75.508*22.881) ^1/0

T _PST = Tối đa (TPST1, TPST2)= 19,893 giây

T _TT = Tổng thời gian đã trôi qua/ (#luồng * # trường hợp sử dụng) =2748,071/ (100*10)= 2,748 giây

N = Số ca sử dụng =10

Lưu ý : Giá trị trung bình hình học đạt được bằng cách nhân thời gian thực hiện cho từng trường hợp sử dụng và tìm nghiệm thứ 10 của tích.

Thay các giá trị vào công thức tính AIUCpm@SF cho trong Hình 2, ta có:

AIUCpm@SF= 10*10*60/ (2.306*316.799*19.893*2.748)1/4

= 6000/ (39935.591)1/4

= 6000/14.1365=424.433

AIUCpm@SF10=425,31 thực tế

Tính chỉ số Giá-Hiệu suất

Chỉ số Giá-Hiệu suất được xác định trong hình bên dưới.

Hình 6: Định nghĩa chỉ số Giá-Hiệu suất

Ở đâu:

P = là giá của các thành phần phần cứng và phần mềm trong System Under Test (SUT)
AIUCpm@SF là chỉ số hiệu suất chính được báo cáo

Lưu ý : Phải sử dụng mô hình định giá một năm để tính giá và kết quả hiệu suất giá của Điểm chuẩn TPCx-AI.

AIUCpm@SF10 = 425.31

Giá cấu hình=$48412

$/AIUCpm@SF10 = 113,83 USD mỗi AIUCpm@SF10

Ngày có hàng

Tất cả các thành phần được sử dụng trong kết quả này sẽ có thể đặt hàng và sẵn sàng giao hàng trước ngày 22 tháng 2 năm 2023.

Kết quả thực hiện

Dell vừa công bố 6 kết quả lập kỷ lục thế giới dựa trên tiêu chuẩn TPCx-AI Benchmark của TPC. Các liên kết đến các ấn phẩm được cung cấp dưới đây.

SF1000

Dell PowerEdge R650/Intel Xeon Gold (Ice Lake) 6348/CDP 7.1.7—11 nút

https://www.tpc.org/tpcx-ai/results/tpcxai_result_detail5.asp?id=122120101

SF300

Dell PowerEdge R6625/AMD EPYC Genoa 9354/CDP 7.1.7—bốn nút

https://www.tpc.org/tpcx-ai/results/tpcxai_result_detail5.asp?id=122110805

SF100

Dell PowerEdge R6625/AMD EPYC Genoa 9354/CDP 7.1.7—bốn nút

https://www.tpc.org/tpcx-ai/results/tpcxai_result_detail5.asp?id=122110804

SF30

Dell PowerEdge R6625/AMD EPYC Genoa 9174F/Anaconda3—một nút

https://www.tpc.org/tpcx-ai/results/tpcxai_result_detail5.asp?id=122110803

SF10

Dell PowerEdge R7615/AMD EPYC Genoa 9374F/Anaconda3—một nút

https://www.tpc.org/tpcx-ai/results/tpcxai_result_detail5.asp?id=122110802

SF3

Dell PowerEdge R7615/AMD EPYC Genoa 9374F/Anaconda3—một nút

https://www.tpc.org/tpcx-ai/results/tpcxai_result_detail5.asp?id=122110801

Với những kết quả này, Dell Technologies nắm giữ các kỷ lục thế giới sau đây về Tiêu chuẩn điểm chuẩn TPCx-AI:

#1 Hiệu suất và Hiệu suất giá trên SF1000
#1 Hiệu suất và Hiệu suất giá trên SF300
#1 Hiệu suất và Hiệu suất giá trên SF100
#1 Hiệu suất và Hiệu suất giá trên SF30
Hiệu suất số 1 trên SF10
Hiệu suất số 1 Hiệu suất giá trên SF3

Phần kết luận

Bản tóm tắt

Blog này mô tả điểm chuẩn TPCx-AI và cách diễn giải kết quả hiệu suất của Điểm chuẩn TPCx-AI. Nó cũng mô tả cách Dell Technologies duy trì vị trí dẫn đầu trong bối cảnh TPCx-AI.