Big Data Analytics là gì và phân tích dữ liệu lớn như thế nào?

Vì vậy, yếu tố làm nên Big Data Analytics không chỉ nằm ở kích thước dữ liệu. Một tập dữ liệu trở thành vấn đề “big data” khi đặc tính của nó khiến kiến trúc xử lý thông thường không còn đáp ứng tốt yêu cầu về tốc độ, khả năng mở rộng hoặc độ phức tạp. Đây cũng là lý do không tồn tại một ngưỡng cố định như bao nhiêu GB, TB hay PB thì dữ liệu tự động được xem là big data.

Big Data Analytics là gì?

Big Data Analytics có thể hiểu là quá trình sử dụng kiến trúc dữ liệu, kỹ thuật xử lý và phương pháp phân tích có khả năng mở rộng để khám phá mẫu, mối quan hệ, xu hướng và tín hiệu có giá trị trong những tập dữ liệu lớn hoặc phức tạp.

Điểm quan trọng nằm ở cụm từ có khả năng mở rộng. Khi lượng dữ liệu tăng nhanh, đến từ nhiều nguồn hoặc phải được xử lý liên tục, việc đưa toàn bộ dữ liệu vào một máy tính rồi phân tích tuần tự có thể trở nên quá chậm, quá tốn tài nguyên hoặc không còn khả thi. Hệ thống Big Data giải quyết vấn đề bằng cách phân phối dữ liệu và khối lượng tính toán trên nhiều tài nguyên.

Cách tiếp cận này phù hợp với tư duy được sử dụng trong các khung kỹ thuật về big data của NIST: dữ liệu lớn không chỉ được xác định bởi kích thước, mà còn bởi việc đặc tính của dữ liệu đòi hỏi một kiến trúc có khả năng mở rộng để lưu trữ, thao tác và phân tích hiệu quả.

Cần phân biệt Big Data với Big Data Analytics. Big Data nói về dữ liệu và những đặc tính khiến dữ liệu khó xử lý bằng cách thông thường. Big Data Analytics nói về quá trình biến nguồn dữ liệu đó thành tri thức có thể sử dụng.

Một doanh nghiệp có hàng tỷ bản ghi nhưng chỉ lưu trữ chúng chưa phải là đang thực hiện Big Data Analytics. Quá trình phân tích thực sự bắt đầu khi dữ liệu được xử lý để trả lời câu hỏi, phát hiện tín hiệu hoặc hỗ trợ một quyết định cụ thể.

Điều gì khiến dữ liệu trở thành “big data”?

Big data thường được giải thích thông qua mô hình 3V gồm Volume, Velocity và Variety. Trong nhiều cách tiếp cận, hai yếu tố Veracity và Value được bổ sung để tạo thành mô hình 5V. Đây là một khung nhận thức hữu ích chứ không phải tiêu chuẩn định lượng bắt buộc.

Volume là khối lượng dữ liệu. Khi dữ liệu quá lớn để một máy chủ hoặc một hệ quản trị đơn lẻ xử lý hiệu quả trong thời gian yêu cầu, hệ thống thường phải phân vùng dữ liệu và mở rộng sang nhiều nút xử lý.

Velocity phản ánh tốc độ dữ liệu được tạo ra và tốc độ mà hệ thống cần tiếp nhận, xử lý hoặc phản hồi. Dữ liệu giao dịch, nhật ký hệ thống, dữ liệu cảm biến hoặc sự kiện từ ứng dụng có thể liên tục đi vào hệ thống. Trong trường hợp quyết định phải được đưa ra ngay hoặc gần thời gian thực, chỉ xử lý dữ liệu theo từng đợt lớn có thể không đủ.

Variety đề cập đến sự đa dạng về cấu trúc. Ngoài bảng dữ liệu có hàng và cột, hệ thống có thể phải xử lý JSON, log, văn bản, hình ảnh, dữ liệu cảm biến, sự kiện hoặc dữ liệu đồ thị. Sự đa dạng này khiến việc chuẩn hóa và kết hợp dữ liệu khó hơn đáng kể.

Veracity liên quan đến độ tin cậy của dữ liệu. Dữ liệu lớn không mặc nhiên là dữ liệu tốt. Trùng lặp, thiếu giá trị, sai định dạng, sai nhãn hoặc thiên lệch có thể làm kết quả phân tích kém đáng tin cậy dù lượng dữ liệu rất lớn.

Value là giá trị có thể thu được sau phân tích. Việc thu thập thêm dữ liệu chỉ có ý nghĩa khi dữ liệu giúp trả lời một câu hỏi hoặc cải thiện một quá trình ra quyết định.

Do đó, không nên hiểu rằng “big data” đồng nghĩa với “rất nhiều byte”. Một tập dữ liệu tương đối nhỏ nhưng đến liên tục với tốc độ cao và cấu trúc phức tạp vẫn có thể đòi hỏi kiến trúc tương tự một hệ thống big data. Ngược lại, một tập dữ liệu rất lớn nhưng hiếm khi thay đổi và chỉ cần truy vấn đơn giản có thể dễ quản lý hơn.

Big Data Analytics hoạt động như thế nào?

Big Data Analytics vận hành theo một pipeline. Mỗi giai đoạn giải quyết một vấn đề khác nhau, nhưng chất lượng của giai đoạn trước sẽ ảnh hưởng trực tiếp đến những bước sau.

Thu thập và tiếp nhận dữ liệu

Dữ liệu trước tiên được đưa vào hệ thống từ các nguồn như cơ sở dữ liệu giao dịch, ứng dụng, website, thiết bị IoT, hệ thống CRM, máy chủ hoặc dịch vụ bên ngoài.

Có hai kiểu tiếp nhận phổ biến. Batch ingestion thu thập dữ liệu thành từng đợt và xử lý theo lịch. Streaming ingestion tiếp nhận một dòng sự kiện liên tục khi dữ liệu được sinh ra.

Việc lựa chọn giữa hai cách này phụ thuộc vào yêu cầu về độ mới của thông tin. Báo cáo doanh thu cuối ngày có thể phù hợp với batch, trong khi phát hiện giao dịch bất thường tức thời cần một luồng xử lý có độ trễ thấp hơn.

Lưu trữ dữ liệu theo kiến trúc có khả năng mở rộng

Sau khi được tiếp nhận, dữ liệu phải được lưu ở nơi có thể mở rộng khi quy mô tăng.

Thay vì phụ thuộc hoàn toàn vào một máy chủ lớn, kiến trúc big data thường phân phối dữ liệu giữa nhiều tài nguyên. HDFS trong hệ sinh thái Apache Hadoop là một ví dụ điển hình về cách một tập dữ liệu được chia thành các phần và lưu trên một cụm máy.

Các kiến trúc hiện đại cũng thường sử dụng object storage, data lake hoặc các nền tảng dữ liệu phân tán. Mục tiêu chung không phải là sử dụng một sản phẩm cụ thể mà là tách khả năng lưu trữ khỏi giới hạn của một máy đơn lẻ.

Xử lý và chuẩn hóa dữ liệu

Dữ liệu thô hiếm khi có thể được phân tích trực tiếp. Các bản ghi có thể bị trùng, thiếu trường, sai kiểu dữ liệu hoặc sử dụng những quy ước khác nhau giữa các hệ thống.

Pipeline vì vậy phải thực hiện các thao tác như kiểm tra dữ liệu, loại bỏ bản ghi không hợp lệ, chuẩn hóa đơn vị, ghép dữ liệu từ nhiều nguồn và tạo các trường cần thiết cho phân tích.

Với dữ liệu lớn, những phép biến đổi này cũng được phân chia thành nhiều tác vụ chạy song song. Các framework như Apache Spark được xây dựng cho mô hình tính toán phân tán này: một công việc lớn được chia thành các phần nhỏ hơn, thực hiện trên nhiều tài nguyên rồi tổng hợp kết quả.

Đây là một khác biệt cốt lõi so với cách phân tích dữ liệu trên một máy đơn lẻ.

Thực hiện phân tích

Khi dữ liệu đã có chất lượng và cấu trúc phù hợp, hệ thống mới chuyển sang giai đoạn phân tích.

Tùy câu hỏi, công việc có thể chỉ là tính toán thống kê, tổng hợp dữ liệu và phát hiện xu hướng. Những bài toán khác có thể sử dụng machine learning để phân loại, dự báo hoặc tìm những quan hệ khó nhận thấy bằng truy vấn thông thường.

AI hoặc machine learning vì thế không phải điều kiện bắt buộc để một hệ thống được gọi là Big Data Analytics. Một hệ thống xử lý hàng loạt dữ liệu phân tán để tính KPI, phát hiện xu hướng và phân tích hành vi vẫn là Big Data Analytics dù không sử dụng mô hình AI.

Kiểm tra và diễn giải kết quả

Kết quả của thuật toán chưa đồng nghĩa với thông tin đáng tin cậy.

Một tương quan có thể xuất hiện trong dữ liệu nhưng không chứng minh quan hệ nhân quả. Mô hình dự báo có thể hoạt động tốt trên dữ liệu lịch sử nhưng suy giảm khi hành vi thực tế thay đổi. Chỉ số tổng hợp cũng có thể che giấu những khác biệt quan trọng giữa các nhóm dữ liệu.

Vì vậy, kết quả phải được đặt trong bối cảnh của câu hỏi phân tích, nguồn dữ liệu và các giả định đã sử dụng.

Phân phối thông tin cho quá trình ra quyết định

Giai đoạn cuối cùng là biến kết quả phân tích thành đầu ra có thể sử dụng.

Đầu ra có thể là dashboard, báo cáo, cảnh báo, API, điểm số dự báo hoặc tín hiệu được gửi trực tiếp cho một hệ thống nghiệp vụ.

Chuỗi giá trị lúc này có thể mô tả ngắn gọn như sau:

Dữ liệu thô → dữ liệu đã xử lý → kết quả phân tích → thông tin có ngữ cảnh → hành động

Big Data Analytics chỉ thực sự tạo giá trị khi chuỗi này đi đến bước cuối cùng thay vì dừng lại ở việc lưu trữ hoặc chạy thuật toán.

Phân tích dữ liệu lớn được thực hiện theo những cách nào?

Không phải mọi bài toán Big Data Analytics đều nhằm dự đoán tương lai. Phương pháp phân tích phải xuất phát từ câu hỏi cần trả lời.

Descriptive analytics giải thích điều gì đã xảy ra. Ví dụ, hệ thống có thể tổng hợp hàng triệu giao dịch để xác định doanh thu, lưu lượng sử dụng hoặc hành vi khách hàng theo thời gian.

Diagnostic analytics đi sâu vào câu hỏi tại sao một hiện tượng xảy ra. Dữ liệu được phân đoạn, so sánh hoặc liên kết để tìm những yếu tố có liên quan đến biến động quan sát được.

Predictive analytics sử dụng dữ liệu lịch sử để ước lượng khả năng xảy ra trong tương lai. Đây là nơi các mô hình thống kê và machine learning thường được sử dụng.

Prescriptive analytics tiến thêm một bước bằng cách đánh giá các phương án và hỗ trợ xác định hành động phù hợp với mục tiêu hoặc ràng buộc đã cho.

Các lớp này không nhất thiết phải xuất hiện cùng lúc. Nếu câu hỏi chỉ là “doanh số hôm qua thay đổi như thế nào?”, một pipeline tổng hợp và mô tả có thể đã đủ. Việc thêm mô hình machine learning không tự động làm phân tích tốt hơn.

Trong thực tế, dữ liệu cũng quyết định kỹ thuật phân tích. Dữ liệu văn bản có thể cần xử lý ngôn ngữ tự nhiên, dữ liệu quan hệ có thể cần phân tích đồ thị, còn chuỗi sự kiện liên tục có thể cần các phép tính theo cửa sổ thời gian.

Nguyên tắc quan trọng là lựa chọn phương pháp dựa trên câu hỏi, cấu trúc dữ liệu và yêu cầu ra quyết định, thay vì bắt đầu bằng một công nghệ rồi tìm vấn đề để áp dụng.

Kiến trúc nào giúp xử lý dữ liệu lớn?

Cơ chế nền tảng của nhiều hệ thống Big Data Analytics là scale-out, tức tăng năng lực bằng cách bổ sung nhiều tài nguyên và phân phối công việc, thay vì chỉ tiếp tục nâng cấp một máy đơn lẻ.

Để làm được điều này, dữ liệu thường được partition thành nhiều phần. Những tác vụ có thể chạy độc lập được đưa đến các worker khác nhau. Kết quả cục bộ sau đó được kết hợp để tạo kết quả cuối cùng.

Apache Hadoop đã phổ biến mô hình lưu trữ và xử lý dữ liệu theo cụm với HDFS và MapReduce. Các hệ thống như Apache Spark phát triển cách thực thi linh hoạt hơn cho nhiều workload phân tích phân tán. Với dữ liệu sự kiện liên tục, các nền tảng streaming và messaging như Apache Kafka thường đóng vai trò tiếp nhận và truyền dữ liệu giữa các thành phần.

Tuy nhiên, không có một “Big Data stack” duy nhất phù hợp với mọi trường hợp. Kiến trúc thường được lựa chọn theo hai kiểu xử lý chính.

Batch processing phù hợp khi hệ thống có thể gom dữ liệu rồi xử lý theo từng chu kỳ. Ưu điểm là quy trình thường dễ kiểm soát hơn và hiệu quả cho những phép tính lớn không cần phản hồi tức thời.

Stream processing được sử dụng khi dữ liệu cần được xử lý liên tục. Giá trị của nó nằm ở khả năng rút ngắn khoảng thời gian giữa lúc sự kiện xảy ra và lúc thông tin được tạo ra, nhưng đổi lại hệ thống phải xử lý phức tạp hơn các vấn đề như thứ tự sự kiện, dữ liệu đến muộn và trạng thái của luồng.

Nhiều hệ thống thực tế kết hợp cả hai. Dữ liệu thời gian thực phục vụ cảnh báo hoặc quyết định nhanh, còn pipeline batch thực hiện tổng hợp sâu, tái xử lý lịch sử hoặc xây dựng tập dữ liệu phân tích dài hạn.

Điều cần quan tâm vì vậy không phải “công nghệ nào mạnh nhất”, mà là workload cần bao nhiêu thông lượng, độ trễ chấp nhận được là bao nhiêu, dữ liệu phải được lưu trong thời gian nào và chi phí vận hành có phù hợp hay không.

Khi nào kết quả Big Data Analytics đáng tin cậy?

Quy mô dữ liệu không đảm bảo chất lượng của kết luận. Một hệ thống có thể xử lý hàng tỷ bản ghi nhưng vẫn tạo ra kết quả sai nếu dữ liệu hoặc phương pháp phân tích có vấn đề.

Yếu tố đầu tiên là chất lượng dữ liệu. Nếu một nhóm người dùng liên tục bị thiếu trong dữ liệu, thu thập thêm hàng triệu bản ghi từ những nhóm còn lại không thể tự động khắc phục sự thiếu đại diện đó. Đây là lý do Veracity quan trọng không kém Volume.

Yếu tố thứ hai là lineage và governance. Người sử dụng kết quả cần biết dữ liệu xuất phát từ đâu, đã trải qua những phép biến đổi nào và ai chịu trách nhiệm cho từng tập dữ liệu. Nếu một KPI thay đổi nhưng không thể truy ngược công thức hoặc nguồn dữ liệu, khả năng kiểm chứng kết quả sẽ rất thấp.

Yếu tố thứ ba là phân biệt tương quan với quan hệ nhân quả. Big Data Analytics có khả năng phát hiện nhiều mối liên hệ vì số lượng biến và quan sát rất lớn. Tuy nhiên, một mối tương quan vẫn có thể xuất phát từ biến ẩn hoặc sự trùng hợp. Quy mô dữ liệu không biến một phân tích quan sát thành bằng chứng nhân quả.

Nếu sử dụng machine learning, còn phải xét đến data drift và model drift. Mô hình được học từ hành vi trong quá khứ có thể mất độ chính xác khi thị trường, người dùng hoặc môi trường vận hành thay đổi. Do đó, hiệu năng phải được đo lại trên dữ liệu mới thay vì giả định mô hình sẽ giữ nguyên chất lượng mãi mãi.

Cuối cùng là trade-off giữa độ trễ, chi phí và độ phức tạp. Không phải dữ liệu nào cũng cần được phân tích trong vài giây. Kiến trúc thời gian thực có thể tăng chi phí và độ khó vận hành nhưng không tạo thêm giá trị nếu người dùng chỉ ra quyết định mỗi ngày.

Một hệ thống Big Data Analytics tốt vì thế không được đánh giá bằng số lượng máy chủ hay số terabyte dữ liệu. Các chỉ số phù hợp phải gắn với workload thực tế, chẳng hạn thông lượng xử lý, độ trễ, độ mới của dữ liệu, tỷ lệ lỗi, chất lượng mô hình, chi phí và mức độ đáp ứng câu hỏi nghiệp vụ. Không có một ngưỡng dung lượng phổ quát có thể thay thế các tiêu chí này.

Từ dữ liệu thô đến thông tin hữu ích

Có thể hình dung một nền tảng thương mại điện tử nhận liên tục dữ liệu về lượt xem sản phẩm, tìm kiếm, thêm vào giỏ hàng và giao dịch.

Nếu chỉ lưu các sự kiện này, doanh nghiệp mới có dữ liệu.

Khi pipeline chuẩn hóa định danh sản phẩm, loại bỏ sự kiện lỗi và liên kết hành vi với giao dịch, doanh nghiệp có một tập dữ liệu có thể phân tích.

Khi hệ thống tổng hợp dữ liệu và phát hiện một nhóm sản phẩm có lượng xem tăng nhưng tỷ lệ mua giảm, doanh nghiệp có thông tin.

Nếu phân tích tiếp cho thấy sự thay đổi tập trung ở một số khu vực có thời gian giao hàng dài hơn, thông tin bắt đầu có ngữ cảnh.

Cuối cùng, đội vận hành có thể dùng kết quả để kiểm tra tồn kho, chính sách giao hàng hoặc trải nghiệm thanh toán. Lúc đó, dữ liệu đã đi hết chu trình tạo giá trị.

Ví dụ này cũng cho thấy Big Data Analytics không phải một phép tính duy nhất. Giá trị được hình thành nhờ sự kết hợp giữa kiến trúc dữ liệu, quá trình xử lý, phương pháp phân tích và khả năng diễn giải kết quả đúng bối cảnh.

Big Data Analytics là quá trình biến những tập dữ liệu có quy mô, tốc độ hoặc độ phức tạp cao thành thông tin có thể sử dụng thông qua kiến trúc lưu trữ và tính toán có khả năng mở rộng. Quy trình thường đi từ thu thập, lưu trữ, làm sạch và xử lý phân tán đến phân tích, diễn giải và phân phối kết quả.

Điểm cốt lõi không nằm ở việc dữ liệu phải đạt một kích thước cố định hay bắt buộc phải sử dụng AI. Một hệ thống chỉ tạo ra giá trị khi dữ liệu phù hợp được xử lý bằng phương pháp phù hợp, kết quả được kiểm chứng trong đúng điều kiện và thông tin cuối cùng thực sự hỗ trợ một quyết định hoặc hành động.