Về nhiệm vụ này

Về nhiệm vụ này

bước

Về nhiệm vụ này

bước

yarn jar /opt/cloudera/parcels/CDH-7.1.7-1.cdh7.1.7.p2000.37147774/jars/\
hadoop-streaming-3.1.1.7.1.7.2000-305.jar -file /root/final_test/mapper.py -mapper \
/root/final_test/mapper.py -file /root/final_test/reducer.py -reducer \
/root/final_test/reducer.py -input /user/root/words.txt -output /user/root/mp_reduce

Về nhiệm vụ này

spark-submit --class org.apache.spark.examples.SparkPi --master yarn \
--deploy-mode cluster /opt/cloudera/parcels/CDH/jars/\
spark-examples_2.11-2.4.7.7.1.7.2000-305.jar

Về nhiệm vụ này

spark3-shell --master yarn --conf spark.task.resource.gpu.amount=1 --conf \
spark.rapids.sql.concurrentGpuTasks=1 --conf spark.sql.files.maxPartitionBytes=256m \
--conf spark.locality.wait=0s --conf spark.sql.adaptive.enabled=true \
--conf spark.rapids.memory.pinnedPool.size=2G --conf "spark.rapids.sql.enabled=true" \
--conf "spark.executor.memoryOverhead=5g" \
--conf spark.sql.adaptive.advisoryPartitionSizeInBytes=1

Về nhiệm vụ này

Hive là một hệ thống kho dữ liệu cho phép truy vấn giống SQL trên các tập dữ liệu lớn được lưu trữ trên  cụm Hadoop  . Nó tận dụng Apache Tez hoặc MapReduce làm công cụ thực thi.

Việc tạo bảng đơn giản và các truy vấn chọn đã được thực hiện để xác thực dịch vụ Hive. Những ví dụ này kiểm tra xác thực chức năng của dịch vụ Hive.

bước

1. Kết nối với Hive với ứng dụng khách bạn chọn. Ví dụ này sử dụng máy khách mỏng Beeline, là máy khách CLI mặc định trong bản cài đặt CDP : 

   hive

2. Tạo cơ sở dữ liệu có tên TEST: 

   CREATE DATABASE TEST;

3. Tạo một bảng: 

   CREATE TABLE TEST.Sales_Data(StoreLocation VARCHAR(30),Product VARCHAR(30),\
   OrderDate DATE,Revenue DECIMAL(10,2))

4. Chèn dữ liệu vào bảng: 

   Insert into Sales_Data Values('Bangalore','Nutella','2023-05-16',7455.67),\
   ('Bangalore','Peanut Butter','2023-05-16',5316.89),('Bangalore','Milk','2023-05-16',\
   2433.76),('Hyderabad','Bananas','2023-05-16',9456.01),('Hyderabad','Nutella',\
   '2023-05-16',3644.33),('Hyderabad','Peanut Butter', '2023-05-16', 8988.64),\
   ('Hyderabad','Milk','2023-05-16', 1621.58)

Kết quả

Về nhiệm vụ này

HBase là một hệ thống quản lý cơ sở dữ liệu phi quan hệ, hướng theo cột. Nó tận dụng HDFS làm lớp lưu trữ phân tán và cung cấp cơ chế chịu lỗi để lưu trữ các tập dữ liệu thưa thớt.

Các truy vấn HBase ghi và đọc các bảng được sử dụng để kiểm tra tính xác thực chức năng của dịch vụ HBase.

bước

1.  Khởi động shell tương tác HBase: 

   hbase shell

   Hệ thống hiển thị dấu nhắc shell tương tác HBase:

   Vỏ HBase; nhập 'help<RETURN>' để biết danh sách các lệnh được hỗ trợ. Nhập "exit<RETURN>" để rời khỏi HBase ShellVersion 0.94.23, rf42302b28aceaab773b15f234aa8718fff7eea3c, Thứ Ba ngày 16 tháng 5: 55:22 UTC 2023hbase(main):001:0>

2. Tạo một bảng có tên historybằng hai cột; homevà away: 

   create 'history', 'home', 'away'

   Hệ thống hiển thị thông báo tương tự như sau:

   0 hàng trong 1,1300 giây=> Hbase::Table - emp

3. Chèn một hàng vào bảng: 

   put 'history','1','home data:name','jim'
   put 'history','row1','home:city','Boston'

   Hệ thống hiển thị thông báo tương tự như sau:

   1 cột=dữ liệu cá nhân:tên, dấu thời gian=1417524185058, giá trị=jim1 cột=dữ liệu cá nhân:thành phố, dấu thời gian=1417524216501, giá trị=Boston

4. Xóa bảng: 

   drop 'history'

   Hệ thống hiển thị thông báo tương tự như sau:

   0 hàng trong 0,3060 giây

5. Xác minh rằng bảng không còn tồn tại: 

   exists 'history'

   Hệ thống hiển thị thông báo tương tự như sau:

   Lịch sử bảng không tồn tại0 hàng trong 0,0730 giây

6. Chỉnh sửa các dòng sau trong tệp cấu hình HBase, /conf/hbase-site.xml , với các giá trị bên dưới để chứa một tỷ hàng: 

   Maximum Number of HStoreFiles Compaction: 20
   HStore Blocking Store Files: 200
   HBase Memstore Block Multiplier: 4
   HBase Memstore Flush Size: 256

7. Tạo một bảng staffcó tên sáu cột; id, name, age, city, departmentvà salary: 

   create 'staff', 'id', 'name', 'age', 'city', 'department', 'salary'

   Hệ thống hiển thị thông báo tương tự như sau:

   0 hàng trong 1,1400 giây=> Hbase::Table - emp

8. Tạo lượng dữ liệu cần thiết trong tệp CSV bằng cách sử dụng tập lệnh python tùy chỉnh . 
9. Tải dữ liệu từ tệp CSV bằng lệnh HBase ImportTsv : 

   /bin/hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator=',' \
   -Dimporttsv.columns=HBASE_ROW_KEY,<column names> i989<tablename> \
   <location of file from HDFS>

10. Xác minh rằng bảng chứa một tỷ hàng: 

    count 'staff', INTERVAL => 1000000

    Hệ thống hiển thị thông báo tương tự như sau:

    Số lượng hiện tại: 1000000, hàng: 100899997Số lượng hiện tại: 2000000, hàng: 101799997...Số lượng hiện tại: 999000000, hàng: 999099999Số lượng hiện tại: 1000000000, hàng: id1000000000 hàng

Về nhiệm vụ này

Về nhiệm vụ này

Về nhiệm vụ này

Về nhiệm vụ này

Về nhiệm vụ này