Hỏi đáp về IT
Mã xác nhận Thay đổi một
Ngô Quang Hải quanghaisoft@yahoo.com Bigdata engineering - Backend-IT - MWG

Apache NiFi Hướng dẫn: Kiến trúc & Cài đặt là gì

Duyệt qua: 282
Apache NiFi là gì?

Apache NiFi là một phần mềm mã nguồn mở để tự động hóa và quản lý luồng dữ liệu giữa các hệ thống. Nó là một hệ thống mạnh mẽ và đáng tin cậy để xử lý và phân phối dữ liệu. Nó cung cấp Giao diện người dùng dựa trên web để tạo, giám sát và kiểm soát các luồng dữ liệu. Nó có một quy trình luồng dữ liệu có thể cấu hình cao và có thể sửa đổi, có thể sửa đổi dữ liệu trong thời gian chạy. Nó có thể dễ dàng mở rộng thông qua sự phát triển của các thành phần tùy chỉnh.

Trong hướng dẫn này, bạn sẽ học-

  •  
Tại sao sử dụng Apache NIfi?

Đây là lý do sử dụng Apache Nifi:

 
  • Cho phép bạn nhập dữ liệu để kéo dữ liệu vào NiFi, từ nhiều nguồn dữ liệu và tạo các tệp luồng
  • Nó cung cấp khả năng kiểm soát thời gian thực giúp bạn quản lý sự di chuyển của dữ liệu giữa bất kỳ nguồn và đích nào
  • Trực quan hóa DataFlow ở cấp độ doanh nghiệp
  • Cung cấp công cụ và tiện ích mở rộng phổ biến
  • Cho phép bạn tận dụng các thư viện hiện có và chức năng của hệ sinh thái Java
  • Giúp các tổ chức tích hợp Nifi với cơ sở hạ tầng hiện có của họ
  • NiFi được thiết kế để mở rộng quy mô thành các cụm cung cấp việc phân phối dữ liệu được đảm bảo
  • Trực quan hóa và Giám sát hiệu suất, hành vi trong bản tin luồng cung cấp thông tin chi tiết và tài liệu nội tuyến
  • Giúp bạn khởi động và dừng các thành phần riêng biệt hoặc ở cấp độ nhóm
  • Nó giúp bạn nghe, tìm nạp, tách, tổng hợp, định tuyến, chuyển đổi và kéo & thả Luồng dữ liệu
Lịch sử của Apache NiFi
  • Được phát triển tại NSA trong hơn tám năm
  • 2014- Nó được tặng cho Apache Software Foundation
  • 2015- NiFi trở thành một phần chính thức của Apache Project Suite
  • Kể từ đó sau mỗi 6-8 tuần, Apache NiFi phát hành một bản cập nhật mới
Kiến trúc NiFi

Apache NiFi có một kiến ​​trúc được cân nhắc kỹ lưỡng. Khi dữ liệu được tìm nạp từ các nguồn bên ngoài, nó được biểu diễn dưới dạng FlowFile bên trong kiến ​​trúc Apache NiFi.

Đây là các thành phần chính của kiến ​​trúc NiFi

Thành phần Nifi Sự miêu tả
FlowFile FlowFile là dữ liệu gốc với siêu thông tin gắn liền với nó. Nó cho phép bạn xử lý không chỉ CSV hoặc dữ liệu dựa trên bản ghi khác, mà còn cả hình ảnh, video, âm thanh hoặc bất kỳ dữ liệu nhị phân nào khác.
Bộ xử lý lưu lượng Thực hiện công việc hoạt động như một khối xây dựng luồng dữ liệu trong NiFi.
Bộ điều khiển dòng chảy Lưu hồ sơ về cách các quá trình được kết nối. Nó quản lý các luồng và phân bổ mà tất cả các quy trình sử dụng.
Máy chủ web Máy chủ web lưu trữ các lệnh và API dựa trên HTTP của NiFi.
Sự mở rộng Có nhiều loại phần mở rộng NiFi hoạt động và thực thi trong JVM.
Kết nối Hoạt động như một liên kết giữa các bộ xử lý có chứa hàng đợi và (các) mối quan hệ ảnh hưởng đến nơi dữ liệu được định tuyến.
Áp lực trở lại Ngăn chặn hệ thống trở nên chạy quá tải bằng cách kiểm soát số lượng hoặc kích thước dữ liệu của các tệp luồng có thể được lưu trữ trong hàng đợi.
Nhóm quy trình Nhóm quy trình là một tập hợp các quy trình và các kết nối của chúng, nhận và gửi dữ liệu với sự trợ giúp của các cổng.
Kho lưu trữ Flowfile Trong Kho lưu trữ FlowFile, NiFi theo dõi trạng thái của những thông tin chi tiết nào về một FlowFile nhất định đang hoạt động trong luồng.
Kho nội dung Kho lưu trữ nội dung là một khu vực tồn tại các byte nội dung thực tế của một FlowFile nhất định.
Kho lưu trữ Provenance Kho lưu trữ Provenance là một khu vực mà tất cả dữ liệu sự kiện xuất xứ được thu thập.
Các tính năng của Apache NiFi
  • NiFi hỗ trợ lưu vào bộ đệm của tất cả dữ liệu được xếp hàng đợi và cung cấp khả năng áp suất ngược vì những hàng đợi đó có thể đạt đến giới hạn quy định
  • NiFi cho phép thiết lập một hoặc nhiều sơ đồ ưu tiên
  • Cung cấp bộ xử lý kết nối cho nhiều nguồn dữ liệu
  • Hỗ trợ bất kỳ thiết bị nào chạy Java
  • Lý tưởng cho những nơi kết nối hạn chế
  • Hỗ trợ khắc phục sự cố và tối ưu hóa luồng
  • Cung cấp xác thực / ủy quyền dựa trên vai trò
  • Cho phép tải xuống, khôi phục và phát lại các tệp riêng lẻ
  • Xây dựng bộ xử lý của bạn, dịch vụ bộ điều khiển, v.v.
  • Cung cấp mã hóa nội dung, giao tiếp qua các giao thức an toàn
  • Cho phép phát triển nhanh chóng và kiểm tra hiệu quả
  • Cho phép phát triển các thành phần đơn chức năng đơn giản có thể được tái sử dụng và kết hợp để tạo ra các luồng phức tạp hơn
  • Cho phép cách ly trình tải lớp để quản lý các phần phụ thuộc dễ dàng hơn
Cách cài đặt Apache NiFi

Bước 1) Truy cập liên kết và nhấp vào "Tiếp tục Đăng ký"

Bước 2) Trên trang tiếp theo, nhấp vào "Chấp nhận Điều khoản"

Bước 3) Bạn sẽ thấy trang này

Bước 4) Làm mới trang sau 5 phút. Nhấp vào "Tiếp tục đến Cấu hình"

Bước 5) Trên trang tiếp theo, giữ cài đặt mặc định và nhấp vào "Tiếp tục để khởi chạy"

Bước 6) Trên trang tiếp theo, nhấp vào Khởi chạy. Bạn có thể cần tạo một khóa

Bước 7) Bạn sẽ thấy thông báo thành công này.

Bước 8) Lưu ý, id phiên bản và DNS công khai của phiên bản EC2

Bước 9) Trong nhóm bảo mật, Thêm tất cả quy tắc giao thông vào và đi

Bước 10) Để truy cập Nifi, chỉ cần sử dụng URL

 

http: // publicdns: 808 / nifi

Trong trường hợp của chúng tôi, nó trở thành

http://ec2-100-26-156-57.compute-1.amazonaws.com:8080/nifi/

Người dùng : admin

Mật khẩu : Id phiên bản

Bước 11) Bạn sẽ thấy màn hình chính NiFi

Các trường hợp sử dụng Nifi
Ngành công nghiệp Sử dụng
Bảo hiểm
  • Phân tích rủi ro & bảo lãnh phát hành
  • Phân tích xác nhận quyền sở hữu
  • Bảo hiểm dựa trên mức sử dụng
  • Phát triển sản phẩm mới
Chăm sóc sức khỏe
  • Một lần xem bệnh nhân
  • Theo dõi dấu hiệu quan trọng trong thời gian thực
  • Tối ưu hóa EMR
  • Tối ưu hóa chuỗi cung ứng
Viễn thông
  • Một cái nhìn của khách hàng
  • Phân tích CDR
  • Phân bổ băng thông động
Chế tạo
  • Bảo trì Phòng ngừa
  • Tối ưu hóa chuỗi cung ứng
  • Kiểm soát chất lượng
Dầu khí- Công nghiệp
  • Giám sát thời gian thực
  • Xem một lần về hoạt động
  • Bảo trì dự đoán
  • Lưu trữ & Phân tích
  • Phân loại dữ liệu phi cấu trúc
Các dịch vụ tài chính
  • Chống rửa tiền
  • Phát hiện gian lận
  • Quản lý dữ liệu rủi ro
Các phương pháp hay nhất Chạy Apache NiFi
  • Lý tưởng để tách môi trường thử nghiệm / nhà phát triển / sản xuất trong NiFi
  • Bạn nên chia quy trình của mình thành các nhóm quy trình
  • Sử dụng quy ước đặt tên, sử dụng nhận xét và nhãn
  • Tổ chức các dự án của bạn thành ba phần nhập, kiểm tra và giám sát
  • Sử dụng tên duy nhất cho biến
Bất lợi của Nifi
  • Cần kiểm soát an ninh và tuân thủ chính xác
  • Bạn cần biết rất rõ hệ thống cơ bản khi làm việc với Apache NiFi
  • Phải duy trì chuỗi hành trình cho dữ liệu
  • Giao thông vận tải / Tin nhắn có thể không đủ chứng minh
  • Nhu cầu truy cập dữ liệu vượt quá tài nguyên có sẵn để vận chuyển
  • Không phải tất cả dữ liệu đều được tạo như nhau
  • SSL và ủy quyền cấp chủ đề có thể không đủ
Tóm lược
  • Apache NiFi là một phần mềm mã nguồn mở để tự động hóa và quản lý luồng dữ liệu giữa các hệ thống
  • NiFi được thiết kế để mở rộng quy mô thành các cụm cung cấp việc phân phối dữ liệu được đảm bảo
  • Nifi được phát triển tại NSA trong hơn tám năm
  • Khi dữ liệu được tìm nạp từ các nguồn bên ngoài, nó được biểu diễn dưới dạng FlowFile bên trong kiến ​​trúc Apache NiFi.
  • FlowFile, bộ xử lý, bộ điều khiển, máy chủ web, kết nối, áp suất ngược, kho lưu trữ là các thành phần quan trọng của kiến ​​trúc NiFi
  • Nifi Hỗ trợ mọi thiết bị chạy Java
  • Bạn có thể dễ dàng cài đặt NiFi trên AWS
  • NiFi được sử dụng trong các ngành công nghiệp khác nhau như chăm sóc sức khỏe, bảo hiểm, viễn thông, sản xuất, tài chính, dầu khí và các ngành khác
  • Như một phương pháp hay nhất, hãy tổ chức các dự án của bạn thành ba phần nhập, kiểm tra và giám sát
bigdata 2020/11/11 22:02

Để lại dấu chân

Bước trên một chân

Bình luận

copyright © bigdata 2010-2020
Processed in 0 seconds, 0 queries