Dữ liệu thử nghiệm được chọn từ một trong các Gen bạch kim của Illumina. ERR194161 đã được xử lý với Illumina HiSeq 2000 do Illumina gửi và có thể được lấy từ EMBL-EBI. Định danh DNA của cá nhân này là NA12878. Mô tả dữ liệu từ trang web được liên kết cho thấy rằng mẫu này có phạm vi phủ sóng >30 lần.

Đánh giá hiệu suất

Hiệu suất một mẫu/Nhiều nút

Trong Hình 1, thời gian chạy với số lượng mẫu khác nhau và các nút điện toán với dữ liệu Trình tự toàn bộ bộ gen (WGS) gấp 50 lần được tóm tắt. Các thử nghiệm được thực hiện ở đây được thiết kế để chứng minh hiệu suất ở cấp độ máy chủ, không phải để so sánh trên các thành phần riêng lẻ. Các điểm dữ liệu trong Hình 1 được tính toán dựa trên tổng số mẫu, một mẫu trên mỗi nút tính toán (trục X trong hình) được xử lý đồng thời. Chi tiết về thông tin đường ống BWA-GATK có thể được lấy từ trang web của Viện Broad (3). Số nút điện toán tối đa được sử dụng cho các thử nghiệm là 64x C6420. C6420 với Lustre/ME4 thể hiện hành vi mở rộng quy mô tốt hơn so với Lustre/MD3 .

Hình 1 So sánh hiệu suất giữa Lustre/MD3 và Lustre/ME4

Hiệu suất nhiều mẫu/nhiều nút

Một cách thông thường để chạy đường dẫn NGS là chạy nhiều mẫu trên một nút điện toán và sử dụng nhiều nút điện toán để tối đa hóa thông lượng của quy trình dữ liệu NGS. Số nút điện toán được sử dụng cho các thử nghiệm là 64 trong số các nút điện toán C6420 và số lượng mẫu trên mỗi nút là năm mẫu. Lên đến 320 mẫu được xử lý đồng thời để ước tính số lượng bộ gen tối đa mỗi ngày mà không bị lỗi công việc.
Như được hiển thị trong Hình 2, nút điện toán C6420 đơn lẻ có thể xử lý 3,24 trong tổng số 50 lần bộ gen của con người mỗi ngày khi 5 mẫu được xử lý đồng thời. Đối với mỗi mẫu, 7 lõi ​​và bộ nhớ 30 GB được phân bổ. 

Hình 2 Kiểm tra thông lượng với tối đa 64 chiếc C6420 và Lustre/ME4

320 trong tổng số 50x bộ gen người có thể được xử lý với 64 trong số các nút điện toán C6420 trong 40 giờ. Nói cách khác, hiệu suất của cấu hình thử nghiệm tóm tắt là 194 bộ gen mỗi ngày cho toàn bộ bộ gen người với độ bao phủ sâu 50 lần.

Phần kết luận

Khi kích thước dữ liệu của WGS không ngừng tăng lên. Kích thước trung bình hiện tại của WGS là 50x. Con số này lớn hơn gấp 5 lần so với một WGS thông thường cách đây 4 năm khi chúng tôi bắt đầu định chuẩn đường dẫn BWA-GATK. Dữ liệu ngày càng tăng không làm quá tải dung lượng lưu trữ vì hầu hết các ứng dụng trong đường ống cũng bị giới hạn bởi tốc độ xung nhịp của CPU. Do đó, với kích thước dữ liệu ngày càng tăng, quy trình sẽ chạy lâu hơn thay vì tạo ra nhiều thao tác ghi hơn.
Tuy nhiên, có nhiều tệp tạm thời hơn được tạo trong quá trình này do cần phải song song hóa nhiều dữ liệu hơn và số lượng tệp tạm thời được mở đồng thời tăng lên này sẽ làm cạn kiệt giới hạn tệp mở trong hệ điều hành Linux. Một trong những ứng dụng không thể hoàn thành âm thầm bằng cách đạt đến giới hạn số lượng tệp đang mở. Một giải pháp đơn giản là tăng giới hạn lên >150K. 
Tuy nhiên, Giải pháp sẵn sàng với Lustre/ME4 làm không gian đầu có khả năng thông lượng tốt hơn so với phiên bản trước. Giờ đây, Giải pháp Sẵn sàng cho 64 nút đánh dấu 194 bộ gen mỗi ngày với sức mạnh xử lý cho 50x WGS.