Tổng quan
gọi biến thểlà một quá trình mà chúng tôi xác định các biến thể từ dữ liệu trình tự. Quá trình này giúp xác định xem có đa hình nucleotide đơn (SNP) , chèn và xóa (indel) và/hoặc biến thể cấu trúc (SV) tại một vị trí nhất định trong bộ gen hoặc bản phiên mã riêng lẻ hay không. Mục tiêu chính của việc xác định các biến thể gen liên quan đến các bệnh ở người. Mặc dù không phải tất cả các bệnh ở người đều liên quan đến các biến thể di truyền, nhưng cách gọi biến thể có thể cung cấp một hướng dẫn có giá trị cho các nhà di truyền học nghiên cứu về một căn bệnh cụ thể do các biến thể di truyền gây ra. BWA-GATK là một trong những công cụ tính toán Giải trình tự thế hệ tiếp theo (NGS) được thiết kế để xác định các đột biến dòng mầm và soma từ dữ liệu NGS của con người. Có một số công cụ nhận dạng biến thể và chúng tôi hiểu rằng không có một công cụ nào hoạt động hoàn hảo (1). Tuy nhiên,
Mục đích của blog này là cung cấp thông tin hiệu suất có giá trị trên bộ xử lý Intel® Xeon® Gold 6248 cho điểm chuẩn đường ống BWA-GATK với Giải pháp sẵn sàng của Dell EMC cho Bộ lưu trữ HPC Lustre (làm mới dòng ME4) (2). CPU Xeon® Gold 6248 có 20 lõi vật lý hoặc 40 lõi logic khi sử dụng siêu phân luồng. Các cấu hình cụm thử nghiệm được tóm tắt trong Bảng 1.
Bảng 1 Cấu hình nút điện toán đã thử nghiệm
Dell EMC PowerEdge C6420 | |
---|---|
CPU | 2x Xeon® Gold 6248 20 lõi 2,5 GHz (Cascade Lake) |
ĐẬP | 12x 16GB ở tốc độ 2933 MTps |
hệ điều hành | RHEEL 7.6 |
kết nối | Intel® Omni-Path |
Hồ sơ hệ thống BIOS | Hiệu suất được tối ưu hóa |
Bộ xử lý logic | Tàn tật |
Công nghệ ảo hóa | Tàn tật |
BWA | 0.7.15-r1140 |
Samtools | 1.6 |
GATK | 3.6-0-g89b7209 |
Các nút điện toán đã thử nghiệm được kết nối với Giải pháp sẵn sàng của Dell EMC cho Bộ lưu trữ HPC Lustre qua Intel® Omni-Path. Cấu hình tóm tắt của bộ lưu trữ được liệt kê trong Bảng 2.
Bảng 2 Thông số kỹ thuật phần cứng và phần mềm của giải pháp
Giải pháp Dell EMC Sẵn sàng cho Lưu trữ Lustre | |
---|---|
Số nút | 1x Dell EMC PowerEdge R640 làm Trình quản lý tích hợp cho Lustre (IML) 2x Dell EMC PowerEdge R740 làm Máy chủ siêu dữ liệu (MDS) 2x Dell EMC PowerEdge R740 làm Máy chủ lưu trữ đối tượng (OSS) |
bộ vi xử lý | Máy chủ IML: Intel Xeon Gold 5118 kép @ 2,3 GHz Máy chủ MDS và OSS: Intel Xeon Gold 6136 kép @ 3,00 GHz |
Trí nhớ | Máy chủ IML: 12 x 8 GB 2.666 MT/s DDR4 RDIMM Máy chủ MDS và OSS: 24 x 16 GiB 2.666 MT/s DDR4 RDIMM |
Bộ điều khiển lưu trữ bên ngoài | 2 x HBA SAS 12 Gb/s của Dell (trên mỗi MDS) 4 x HBA SAS 12 Gb/s của Dell (trên mỗi OSS) |
Thùng lưu trữ đối tượng |
4x ME4084 với tổng số 336 x 8TB NL 7.2K rpm SAS HDDs |
Bao vây lưu trữ siêu dữ liệu | 1x ME4024 với 24x SSD 960GB SAS. Hỗ trợ tối đa 4,68 nút B |
bộ điều khiển RAID | Bộ điều khiển RAID SAS song công trong vỏ ME4084 và ME4024 |
Hệ điều hành | CentOS 7.5 x86_64 Red Hat Enterprise Linux (RHEL) 7.5 x86_64 |
phiên bản sinh học | 1.4.5 |
Phiên bản Intel Omni-Path IFS |
10.8.0.0 |
Lustre phiên bản hệ thống tập tin |
2.10.4 |
phiên bản IML | 4.0.7.0 |
Dữ liệu thử nghiệm được chọn từ một trong các Gen bạch kim của Illumina. ERR194161 đã được xử lý với Illumina HiSeq 2000 do Illumina gửi và có thể được lấy từ EMBL-EBI. Định danh DNA của cá nhân này là NA12878. Mô tả dữ liệu từ trang web được liên kết cho thấy rằng mẫu này có phạm vi phủ sóng >30 lần.
Đánh giá hiệu suất
Hiệu suất một mẫu/Nhiều nút
Trong Hình 1, thời gian chạy với số lượng mẫu khác nhau và các nút điện toán với dữ liệu Trình tự toàn bộ bộ gen (WGS) gấp 50 lần được tóm tắt. Các thử nghiệm được thực hiện ở đây được thiết kế để chứng minh hiệu suất ở cấp độ máy chủ, không phải để so sánh trên các thành phần riêng lẻ. Các điểm dữ liệu trong Hình 1 được tính toán dựa trên tổng số mẫu, một mẫu trên mỗi nút tính toán (trục X trong hình) được xử lý đồng thời. Chi tiết về thông tin đường ống BWA-GATK có thể được lấy từ trang web của Viện Broad (3). Số nút điện toán tối đa được sử dụng cho các thử nghiệm là 64x C6420. C6420 với Lustre/ME4 thể hiện hành vi mở rộng quy mô tốt hơn so với Lustre/MD3 .
Hình 1 So sánh hiệu suất giữa Lustre/MD3 và Lustre/ME4
Hiệu suất nhiều mẫu/nhiều nút
Một cách thông thường để chạy đường dẫn NGS là chạy nhiều mẫu trên một nút điện toán và sử dụng nhiều nút điện toán để tối đa hóa thông lượng của quy trình dữ liệu NGS. Số nút điện toán được sử dụng cho các thử nghiệm là 64 trong số các nút điện toán C6420 và số lượng mẫu trên mỗi nút là năm mẫu. Lên đến 320 mẫu được xử lý đồng thời để ước tính số lượng bộ gen tối đa mỗi ngày mà không bị lỗi công việc.
Như được hiển thị trong Hình 2, nút điện toán C6420 đơn lẻ có thể xử lý 3,24 trong tổng số 50 lần bộ gen của con người mỗi ngày khi 5 mẫu được xử lý đồng thời. Đối với mỗi mẫu, 7 lõi và bộ nhớ 30 GB được phân bổ.
Hình 2 Kiểm tra thông lượng với tối đa 64 chiếc C6420 và Lustre/ME4
320 trong tổng số 50x bộ gen người có thể được xử lý với 64 trong số các nút điện toán C6420 trong 40 giờ. Nói cách khác, hiệu suất của cấu hình thử nghiệm tóm tắt là 194 bộ gen mỗi ngày cho toàn bộ bộ gen người với độ bao phủ sâu 50 lần.
Phần kết luận
Khi kích thước dữ liệu của WGS không ngừng tăng lên. Kích thước trung bình hiện tại của WGS là 50x. Con số này lớn hơn gấp 5 lần so với một WGS thông thường cách đây 4 năm khi chúng tôi bắt đầu định chuẩn đường dẫn BWA-GATK. Dữ liệu ngày càng tăng không làm quá tải dung lượng lưu trữ vì hầu hết các ứng dụng trong đường ống cũng bị giới hạn bởi tốc độ xung nhịp của CPU. Do đó, với kích thước dữ liệu ngày càng tăng, quy trình sẽ chạy lâu hơn thay vì tạo ra nhiều thao tác ghi hơn.
Tuy nhiên, có nhiều tệp tạm thời hơn được tạo trong quá trình này do cần phải song song hóa nhiều dữ liệu hơn và số lượng tệp tạm thời được mở đồng thời tăng lên này sẽ làm cạn kiệt giới hạn tệp mở trong hệ điều hành Linux. Một trong những ứng dụng không thể hoàn thành âm thầm bằng cách đạt đến giới hạn số lượng tệp đang mở. Một giải pháp đơn giản là tăng giới hạn lên >150K.
Tuy nhiên, Giải pháp sẵn sàng với Lustre/ME4 làm không gian đầu có khả năng thông lượng tốt hơn so với phiên bản trước. Giờ đây, Giải pháp Sẵn sàng cho 64 nút đánh dấu 194 bộ gen mỗi ngày với sức mạnh xử lý cho 50x WGS.
Bài viết mới cập nhật
PowerStore—Sức mạnh của cụm
Tổng quan PowerStore được thiết kế để trở thành nền tảng ...
Triển khai VMware Cloud Foundation Workload Domains với PowerStore Systems
Tổng quan VMware Cloud Foundation là giải pháp đám mây lai ...
Có gì mới trong PowerStore OS 3.5?
Dell PowerStoreOS 3.5 là bản phát hành phần mềm mới nhất ...
Dell PowerStore – Dễ dàng tạo Metro Volume chỉ với sáu cú nhấp chuột
Trong bài viết ngắn này, tôi sẽ hướng dẫn bạn cách ...