Machine Learning sử dụng Big Data để học như thế nào?

Big Data không trực tiếp làm cho máy “thông minh”. Vai trò của Big Data là cung cấp nhiều quan sát hơn về đối tượng cần học, bao phủ nhiều tình huống hơn và tạo điều kiện để mô hình phát hiện những quy luật khó nhận thấy trong tập dữ liệu nhỏ. Machine Learning mới là cơ chế biến các quan sát đó thành mô hình dự báo, phân loại, xếp hạng hoặc tối ưu.

Mối quan hệ giữa hai công nghệ có thể khái quát như sau:

Big Data cung cấp nguyên liệu dữ liệu → hệ thống xử lý biến dữ liệu thành dạng có thể học → thuật toán Machine Learning tìm quy luật → mô hình tạo dự báo hoặc quyết định → dữ liệu mới tiếp tục được dùng để đánh giá và cập nhật mô hình

Quy trình này chỉ hiệu quả khi dữ liệu phù hợp với bài toán. Một tập dữ liệu rất lớn nhưng sai, thiên lệch, lỗi thời hoặc không liên quan có thể tạo ra mô hình kém hơn một tập dữ liệu nhỏ nhưng được kiểm soát tốt.

Big Data cung cấp điều gì cho Machine Learning?

Big Data thường được mô tả qua các đặc tính như dung lượng lớn, tốc độ phát sinh nhanh, nhiều định dạng và chất lượng không đồng đều. Đối với Machine Learning, giá trị quan trọng nhất của các đặc tính này là khả năng mở rộng phạm vi quan sát của mô hình.

Nhiều mẫu dữ liệu hơn

Mỗi bản ghi là một quan sát về hiện tượng mà mô hình cần học. Khi số lượng quan sát tăng, mô hình có thêm cơ hội nhận biết những mẫu lặp lại và phân biệt quy luật thực với biến động ngẫu nhiên.

Ví dụ, một hệ thống phát hiện gian lận thanh toán có thể cần phân tích hàng triệu giao dịch để học được sự khác biệt giữa:

·         Giao dịch bình thường

·         Giao dịch hiếm nhưng hợp lệ

·         Giao dịch có dấu hiệu bất thường

·         Chuỗi giao dịch thể hiện hành vi gian lận

Gian lận thường chỉ chiếm một tỷ lệ nhỏ trong tổng số giao dịch. Vì vậy, quy mô dữ liệu lớn giúp hệ thống thu thập đủ trường hợp hiếm để mô hình học được đặc điểm của chúng.

Nhiều biến mô tả hơn

Big Data không chỉ làm tăng số dòng dữ liệu mà còn có thể bổ sung nhiều loại tín hiệu. Trong thương mại điện tử, một mô hình dự báo khả năng mua hàng có thể sử dụng:

·         Lịch sử xem sản phẩm

·         Tần suất truy cập

·         Thời gian ở lại trang

·         Mức giá từng quan tâm

·         Thiết bị sử dụng

·         Nguồn truy cập

·         Lịch sử đặt hàng

·         Phản ứng với khuyến mãi

Nhiều tín hiệu có thể giúp mô hình mô tả hành vi chính xác hơn. Tuy nhiên, thêm biến không đồng nghĩa với tự động tăng độ chính xác. Những biến không liên quan, trùng lặp hoặc chứa thông tin về kết quả tương lai có thể gây nhiễu và làm sai lệch quá trình đánh giá.

Bao phủ nhiều tình huống hơn

Dữ liệu lớn có thể chứa nhiều nhóm người dùng, khu vực, thời điểm, thiết bị và điều kiện vận hành. Độ bao phủ này giúp mô hình giảm nguy cơ chỉ hoạt động tốt trong một phạm vi quá hẹp.

Chẳng hạn, mô hình nhận dạng giọng nói được huấn luyện trên một nhóm người có cách phát âm tương tự có thể đạt kết quả tốt trong phòng thử nghiệm nhưng thất bại khi gặp giọng địa phương, tiếng ồn hoặc thiết bị thu âm khác. Tập dữ liệu đa dạng hơn giúp mô hình tiếp xúc với nhiều biến thể trước khi được triển khai thực tế.

Dữ liệu liên tục để cập nhật mô hình

Trong nhiều hệ thống, dữ liệu mới xuất hiện từng phút hoặc từng giây. Dòng dữ liệu này cho phép doanh nghiệp:

·         Theo dõi hiệu suất mô hình

·         Phát hiện thay đổi hành vi

·         Cập nhật tập huấn luyện

·         Huấn luyện lại mô hình

·         Điều chỉnh quyết định gần thời gian thực

Khả năng cập nhật đặc biệt quan trọng với các bài toán có quy luật thay đổi như gian lận, quảng cáo, nhu cầu thị trường, giá cả hoặc hành vi người dùng.

Machine Learning biến Big Data thành kiến thức như thế nào?

Machine Learning không học trực tiếp từ dữ liệu thô theo nghĩa đơn giản. Dữ liệu phải đi qua một chuỗi xử lý trước khi trở thành tín hiệu có ích cho mô hình.

Xác định mục tiêu cần học

Trước tiên, hệ thống phải xác định kết quả cần dự đoán hoặc hành động cần tối ưu. Mục tiêu có thể là:

·         Dự báo khách hàng có rời bỏ dịch vụ hay không

·         Ước tính nhu cầu sản phẩm trong tuần tới

·         Phân loại email là thư hợp lệ hay thư rác

·         Xếp hạng nội dung phù hợp với từng người dùng

·         Phát hiện giao dịch bất thường

·         Tối ưu lượng hàng tồn kho

Mục tiêu quyết định loại dữ liệu cần thu thập, cách gắn nhãn, thuật toán phù hợp và thước đo đánh giá. Không có mục tiêu rõ ràng, dữ liệu lớn chỉ là một kho thông tin chưa được chuyển thành bài toán học máy.

Thu thập và hợp nhất dữ liệu

Dữ liệu có thể đến từ cơ sở dữ liệu giao dịch, ứng dụng, cảm biến, nhật ký hệ thống, website, thiết bị di động hoặc nền tảng bên ngoài. Các nguồn này thường không đồng nhất về cấu trúc, thời gian và định dạng.

Hệ thống dữ liệu phải liên kết các nguồn theo đúng thực thể. Ví dụ, thông tin về một khách hàng có thể nằm trong hệ thống bán hàng, chăm sóc khách hàng và ứng dụng di động. Nếu định danh không được ghép chính xác, mô hình sẽ học từ một hồ sơ sai lệch.

Làm sạch và kiểm soát chất lượng

Dữ liệu thực tế thường chứa giá trị thiếu, bản ghi trùng, lỗi nhập liệu, đơn vị đo không thống nhất và giá trị bất thường. Làm sạch dữ liệu nhằm giảm các sai lệch không phản ánh hiện tượng thật.

Các bước thường gặp gồm:

·         Loại bỏ hoặc hợp nhất bản ghi trùng

·         Chuẩn hóa định dạng thời gian

·         Xử lý giá trị thiếu

·         Kiểm tra phạm vi hợp lệ

·         Đồng nhất đơn vị đo

·         Phát hiện giá trị ngoại lệ

·         Kiểm tra độ chính xác của nhãn

Đây là bước quan trọng vì thuật toán có thể tối ưu rất tốt trên dữ liệu sai. Khi đó, mô hình học chính xác những sai lệch tồn tại trong tập dữ liệu thay vì học quy luật cần thiết.

Chuyển dữ liệu thành đặc trưng

Đặc trưng là biểu diễn số mà mô hình sử dụng để học. Một bản ghi giao dịch thô có thể được chuyển thành các đặc trưng như:

·         Giá trị giao dịch

·         Số giao dịch trong 24 giờ

·         Khoảng cách so với vị trí thường dùng

·         Số thiết bị đăng nhập gần đây

·         Mức chênh lệch so với hành vi trung bình

·         Thời gian kể từ giao dịch trước

Quá trình tạo đặc trưng giúp biến dữ liệu nghiệp vụ thành tín hiệu có quan hệ với mục tiêu. Với một số mô hình học sâu, hệ thống có thể tự học biểu diễn từ hình ảnh, âm thanh hoặc văn bản. Dù vậy, dữ liệu đầu vào vẫn phải được chuẩn hóa và gắn với mục tiêu phù hợp.

Chia dữ liệu để huấn luyện và kiểm tra

Dữ liệu thường được chia thành ba phần:

1.    Tập huấn luyện dùng để điều chỉnh tham số mô hình

2.    Tập xác thực dùng để lựa chọn cấu hình và kiểm soát quá trình huấn luyện

3.    Tập kiểm tra dùng để ước lượng hiệu suất trên dữ liệu chưa từng được sử dụng

Việc tách dữ liệu phải phản ánh cách mô hình sẽ hoạt động trong thực tế. Với dữ liệu theo thời gian, nên dùng dữ liệu quá khứ để huấn luyện và dữ liệu về sau để kiểm tra. Chia ngẫu nhiên không đúng cách có thể làm thông tin tương lai lọt vào tập huấn luyện, khiến kết quả đánh giá cao hơn năng lực thật.

Tối ưu tham số qua nhiều vòng học

Trong huấn luyện có giám sát, mô hình tạo dự đoán từ dữ liệu đầu vào, so sánh dự đoán với nhãn thật và tính hàm mất mát. Thuật toán tối ưu sau đó điều chỉnh tham số để giảm hàm mất mát.

Chu trình cơ bản gồm:

1.    Nhận một nhóm mẫu dữ liệu

2.    Tạo kết quả dự đoán

3.    Tính mức sai lệch

4.    Xác định hướng điều chỉnh tham số

5.    Cập nhật mô hình

6.    Lặp lại trên các nhóm dữ liệu khác

Với mô hình học sâu, quá trình này có thể liên quan đến hàng triệu hoặc hàng tỷ tham số. Hạ tầng tính toán phân tán được sử dụng để chia dữ liệu hoặc phép tính cho nhiều bộ xử lý, từ đó rút ngắn thời gian huấn luyện.

Dữ liệu lớn cải thiện khả năng dự báo trong điều kiện nào?

Nhiều dữ liệu hơn có thể giúp cải thiện mô hình, nhưng lợi ích không tăng vô hạn và không xuất hiện trong mọi trường hợp.

Dữ liệu phải liên quan đến mục tiêu

Một biến chỉ có ích khi nó cung cấp tín hiệu về kết quả cần dự báo. Số lượng lớn các trường dữ liệu không liên quan có thể làm tăng chi phí, kéo dài thời gian huấn luyện và tạo cơ hội để mô hình học các tương quan ngẫu nhiên.

Ví dụ, để dự báo nhu cầu sản phẩm, lịch sử bán hàng, mùa vụ, khuyến mãi và mức giá có thể hữu ích. Ngược lại, một thuộc tính không có quan hệ ổn định với nhu cầu chỉ làm tăng độ phức tạp mà không tạo giá trị dự báo.

Dữ liệu phải đại diện cho môi trường triển khai

Mô hình học từ phân phối dữ liệu trong quá khứ. Nếu tập huấn luyện không phản ánh đối tượng hoặc điều kiện vận hành thực tế, kết quả có thể sai dù mô hình đạt điểm cao khi kiểm tra nội bộ.

Một mô hình tín dụng được huấn luyện chủ yếu trên một nhóm khách hàng có thể không hoạt động tương đương với nhóm khách hàng khác. Tương tự, mô hình dự báo nhu cầu trong giai đoạn ổn định có thể không xử lý tốt khi thị trường xuất hiện biến động bất thường.

Nhãn phải đủ chính xác

Trong học có giám sát, nhãn là đáp án mà mô hình cố gắng học. Nhãn sai tạo ra tín hiệu huấn luyện sai.

Nếu lịch sử khiếu nại được dùng để xác định giao dịch gian lận, dữ liệu có thể bỏ sót những trường hợp gian lận chưa bị phát hiện. Khi đó, một số giao dịch gian lận bị gắn nhãn là bình thường và làm suy giảm khả năng học của mô hình.

Mô hình phải có năng lực phù hợp

Mô hình quá đơn giản có thể không biểu diễn được quan hệ phức tạp dù có nhiều dữ liệu. Ngược lại, mô hình quá phức tạp có thể học cả nhiễu nếu dữ liệu không đủ chất lượng hoặc quá trình điều chuẩn không phù hợp.

Do đó, quy mô dữ liệu phải đi cùng:

·         Lựa chọn thuật toán

·         Năng lực tính toán

·         Cơ chế điều chuẩn

·         Phương pháp đánh giá

·         Kiểm soát quá khớp

·         Kiểm soát rò rỉ dữ liệu

Dữ liệu mới phải bổ sung thông tin

Khi các mẫu mới gần như lặp lại những gì mô hình đã thấy, lợi ích biên của việc tăng dữ liệu sẽ giảm. Một triệu bản ghi giống nhau không nhất thiết cung cấp nhiều kiến thức hơn một tập nhỏ nhưng đa dạng.

Giá trị của dữ liệu phụ thuộc vào thông tin mới mà nó bổ sung, đặc biệt là:

·         Trường hợp hiếm

·         Nhóm ít được đại diện

·         Điều kiện vận hành mới

·         Mẫu gần ranh giới phân loại

·         Tình huống từng gây sai dự báo

Vì vậy, chiến lược dữ liệu hiệu quả không chỉ thu thập nhiều hơn mà còn tìm đúng phần dữ liệu mà mô hình đang thiếu.

Big Data hỗ trợ huấn luyện, dự báo và tối ưu ra sao?

Sự kết hợp giữa Machine Learning và Big Data tạo giá trị ở ba giai đoạn liên tiếp: xây dựng mô hình, sử dụng mô hình và cải thiện quyết định.

Trong huấn luyện mô hình

Big Data cung cấp số lượng quan sát và mức độ đa dạng cần thiết để mô hình ước lượng quan hệ giữa đầu vào và đầu ra. Tùy bài toán, hệ thống có thể sử dụng:

·         Học có giám sát với dữ liệu đã gắn nhãn

·         Học không giám sát để tìm cấu trúc hoặc nhóm ẩn

·         Học bán giám sát khi chỉ một phần dữ liệu có nhãn

·         Học tự giám sát để tạo tín hiệu học từ chính dữ liệu

·         Học tăng cường để tối ưu hành động qua phản hồi

Với dữ liệu văn bản, hình ảnh và âm thanh quy mô lớn, học tự giám sát cho phép mô hình học biểu diễn mà không cần con người gắn nhãn cho từng mẫu. Tuy nhiên, chất lượng và phạm vi của dữ liệu ban đầu vẫn ảnh hưởng trực tiếp đến những gì mô hình có thể học.

Trong dự báo

Sau huấn luyện, mô hình nhận dữ liệu mới và tạo ra kết quả như xác suất, điểm số, lớp phân loại hoặc giá trị dự báo.

Ví dụ:

·         Dự báo lượng hàng bán theo ngày

·         Ước tính xác suất khách hàng rời bỏ dịch vụ

·         Tính điểm rủi ro của giao dịch

·         Dự báo thời gian thiết bị có thể gặp lỗi

·         Ước tính nhu cầu vận tải

·         Xếp hạng khả năng người dùng tương tác với nội dung

Big Data giúp dự báo ở quy mô lớn vì cùng một mô hình có thể xử lý hàng triệu đối tượng. Tuy nhiên, đầu ra của mô hình thường là xác suất hoặc ước lượng, không phải sự chắc chắn tuyệt đối.

Trong tối ưu quyết định

Dự báo chỉ cho biết điều gì có khả năng xảy ra. Tối ưu quyết định sử dụng dự báo cùng các ràng buộc để chọn hành động phù hợp.

Một hệ thống quản lý tồn kho có thể kết hợp:

·         Dự báo nhu cầu

·         Chi phí lưu kho

·         Thời gian nhập hàng

·         Khả năng cung ứng

·         Mức độ phục vụ mong muốn

·         Rủi ro thiếu hàng

Từ đó, hệ thống xác định số lượng và thời điểm đặt hàng. Machine Learning chịu trách nhiệm ước lượng các đại lượng khó biết trước, còn thuật toán tối ưu chọn phương án theo mục tiêu kinh doanh.

Cần phân biệt rõ: mô hình dự đoán tốt chưa chắc tạo ra quyết định tốt. Quyết định còn phụ thuộc vào chi phí của từng loại sai lầm, giới hạn vận hành và mục tiêu thực tế.

Hạ tầng nào giúp Machine Learning xử lý Big Data?

Dữ liệu lớn có thể vượt quá bộ nhớ hoặc năng lực xử lý của một máy đơn. Vì vậy, hệ thống thường phân tán lưu trữ và tính toán trên nhiều máy.

Lưu trữ phân tán

Dữ liệu được chia thành nhiều phần và lưu trên nhiều nút. Cách tổ chức này cho phép hệ thống:

·         Lưu khối lượng dữ liệu lớn

·         Đọc dữ liệu song song

·         Mở rộng dung lượng bằng cách thêm máy

·         Giảm rủi ro mất dữ liệu khi một nút gặp lỗi

Kho dữ liệu, hồ dữ liệu và hệ thống tệp phân tán thường được dùng để quản lý dữ liệu có cấu trúc, bán cấu trúc và phi cấu trúc.

Xử lý theo lô

Xử lý theo lô phù hợp khi hệ thống có thể gom dữ liệu trong một khoảng thời gian rồi xử lý cùng lúc. Các bài toán thường gặp gồm:

·         Tổng hợp giao dịch cuối ngày

·         Tạo đặc trưng lịch sử

·         Huấn luyện lại mô hình định kỳ

·         Tính chỉ số cho toàn bộ khách hàng

·         Phân tích dữ liệu lưu trữ dài hạn

Ưu điểm của xử lý theo lô là khả năng xử lý khối lượng lớn với chi phí hợp lý. Hạn chế là kết quả không xuất hiện ngay khi dữ liệu phát sinh.

Xử lý dòng dữ liệu

Xử lý dòng phù hợp khi dữ liệu cần được phân tích gần thời gian thực. Hệ thống có thể đọc sự kiện liên tục, cập nhật đặc trưng và gọi mô hình để tạo dự báo.

Ứng dụng điển hình gồm:

·         Phát hiện gian lận thanh toán

·         Giám sát thiết bị

·         Cá nhân hóa nội dung

·         Phân tích nhật ký hệ thống

·         Cảnh báo bất thường

Độ trễ thấp tạo giá trị khi quyết định phải được đưa ra nhanh. Đổi lại, hệ thống dòng phức tạp hơn về đồng bộ thời gian, xử lý sự kiện đến muộn và bảo đảm tính nhất quán.

Huấn luyện phân tán

Khi mô hình hoặc tập dữ liệu quá lớn, quá trình huấn luyện có thể được chia theo hai hướng:

·         Chia dữ liệu cho nhiều thiết bị cùng xử lý

·         Chia các phần của mô hình cho nhiều thiết bị

Các thiết bị tính toán phải trao đổi kết quả cập nhật tham số. Khi số thiết bị tăng, thời gian tính toán có thể giảm nhưng chi phí truyền dữ liệu và đồng bộ lại tăng. Vì vậy, mở rộng phần cứng không tạo ra mức tăng tốc tuyến tính trong mọi trường hợp.

Quy trình vận hành mô hình

Ngoài huấn luyện, hệ thống cần quản lý toàn bộ vòng đời mô hình:

1.    Theo dõi phiên bản dữ liệu

2.    Theo dõi phiên bản đặc trưng

3.    Ghi nhận cấu hình huấn luyện

4.    Đánh giá mô hình

5.    Triển khai mô hình

6.    Giám sát đầu ra

7.    Phát hiện suy giảm

8.    Huấn luyện lại khi cần

Nếu thiếu quy trình này, tổ chức có thể tạo được mô hình thử nghiệm nhưng khó duy trì hiệu quả ổn định trong môi trường thực tế.

Những giới hạn nào xuất hiện khi kết hợp Machine Learning và Big Data?

Quan niệm “càng nhiều dữ liệu càng chính xác” bỏ qua nhiều điều kiện quan trọng. Dữ liệu lớn có thể khuếch đại cả tín hiệu tốt lẫn sai lệch.

Dữ liệu lớn không đồng nghĩa với dữ liệu tốt

Một tập dữ liệu có thể rất lớn nhưng chứa:

·         Nhãn sai

·         Bản ghi trùng

·         Dữ liệu thiếu

·         Sai lệch thu thập

·         Nhóm người dùng bị thiếu đại diện

·         Thông tin lỗi thời

·         Dữ liệu không liên quan

Khi các lỗi này lặp lại trên quy mô lớn, mô hình có thể học chúng như những quy luật ổn định.

Tương quan không chứng minh quan hệ nhân quả

Machine Learning thường tìm các quan hệ có giá trị dự báo. Mô hình có thể phát hiện hai biến xuất hiện cùng nhau nhưng không chứng minh biến này gây ra biến kia.

Điều này đặc biệt quan trọng khi mô hình được dùng để đề xuất hành động. Một thuộc tính có khả năng dự báo cao chưa chắc là yếu tố nên can thiệp. Muốn đánh giá tác động của một hành động, tổ chức có thể cần thử nghiệm có đối chứng hoặc phương pháp suy luận nhân quả thay vì chỉ dựa vào mô hình dự báo.

Mô hình có thể học thiên lệch lịch sử

Nếu dữ liệu phản ánh quyết định thiên lệch trong quá khứ, mô hình có thể tái tạo hoặc khuếch đại thiên lệch đó. Quy mô dữ liệu lớn không tự loại bỏ vấn đề này.

Cần đánh giá hiệu suất theo từng nhóm thay vì chỉ dùng một chỉ số trung bình. Một mô hình có độ chính xác tổng thể cao vẫn có thể tạo tỷ lệ sai khác biệt đáng kể giữa các nhóm đối tượng.

Quy luật dữ liệu có thể thay đổi

Mối quan hệ học được từ quá khứ có thể suy yếu khi hành vi người dùng, thị trường, sản phẩm hoặc quy trình thay đổi. Hiện tượng này thường được gọi là trôi dữ liệu hoặc trôi khái niệm.

Dấu hiệu có thể bao gồm:

·         Phân phối đặc trưng thay đổi

·         Tỷ lệ dự đoán thay đổi bất thường

·         Sai số tăng theo thời gian

·         Nhóm dữ liệu mới xuất hiện

·         Mối quan hệ giữa đầu vào và kết quả thay đổi

Do đó, mô hình phải được giám sát sau triển khai, không chỉ đánh giá một lần trước khi đưa vào sử dụng.

Chi phí không chỉ nằm ở lưu trữ

Big Data làm tăng chi phí ở nhiều lớp:

·         Thu thập dữ liệu

·         Truyền dữ liệu

·         Làm sạch dữ liệu

·         Gắn nhãn

·         Lưu trữ

·         Huấn luyện

·         Triển khai

·         Giám sát

·         Bảo mật

·         Quản trị

Một dự án chỉ có ý nghĩa khi giá trị tăng thêm từ mô hình lớn hơn tổng chi phí dữ liệu và vận hành. Thu thập mọi dữ liệu có thể thu thập không phải lúc nào cũng là chiến lược tối ưu.

Quyền riêng tư và bảo mật tạo ra giới hạn bắt buộc

Dữ liệu dùng cho Machine Learning có thể chứa thông tin cá nhân, tài chính, sức khỏe hoặc hành vi. Tổ chức phải kiểm soát:

·         Mục đích thu thập

·         Quyền truy cập

·         Thời hạn lưu trữ

·         Khả năng nhận diện cá nhân

·         Phạm vi sử dụng

·         Rủi ro rò rỉ

·         Khả năng giải trình

Không phải dữ liệu nào có giá trị dự báo cũng nên được sử dụng. Tính hợp pháp, công bằng và phù hợp với mục đích là các ràng buộc độc lập với độ chính xác của mô hình.

Đánh giá hiệu quả kết hợp Machine Learning và Big Data như thế nào?

Hiệu quả không nên được đánh giá bằng kích thước tập dữ liệu hay độ phức tạp của mô hình. Cần đo cả chất lượng dự báo, khả năng vận hành và giá trị quyết định.

Chọn chỉ số theo bản chất bài toán

Với bài toán phân loại, accuracy có thể gây hiểu lầm khi các lớp mất cân bằng. Nếu gian lận chỉ chiếm một phần rất nhỏ, mô hình luôn dự đoán “không gian lận” vẫn có accuracy cao nhưng không có giá trị phát hiện.

Các chỉ số phù hợp có thể gồm:

·         Precision để đo tỷ lệ cảnh báo đúng trong số các cảnh báo

·         Recall để đo tỷ lệ trường hợp cần phát hiện đã được tìm thấy

·         F1-score để cân bằng precision và recall

·         ROC-AUC để đánh giá khả năng xếp hạng giữa hai lớp

·         PR-AUC khi lớp cần phát hiện rất hiếm

·         MAE hoặc RMSE cho bài toán dự báo giá trị liên tục

Chỉ số kỹ thuật phải gắn với hậu quả thực tế. Bỏ sót gian lận và chặn nhầm giao dịch hợp lệ có chi phí khác nhau, nên ngưỡng quyết định phải phản ánh sự khác biệt này.

So sánh với đường cơ sở

Mô hình cần được so sánh với một phương án đơn giản hơn, chẳng hạn:

·         Dự đoán theo giá trị trung bình

·         Sử dụng quy tắc nghiệp vụ

·         Dùng kết quả của kỳ trước

·         Áp dụng mô hình đơn giản

·         Giữ nguyên quy trình hiện tại

Nếu mô hình phức tạp không cải thiện đáng kể so với đường cơ sở, chi phí dữ liệu và vận hành có thể không được biện minh.

Đánh giá trên dữ liệu chưa từng thấy

Hiệu suất trên tập huấn luyện không phản ánh khả năng tổng quát hóa. Mô hình phải được kiểm tra trên dữ liệu độc lập và, khi có yếu tố thời gian, trên giai đoạn xảy ra sau dữ liệu huấn luyện.

Ngoài chỉ số trung bình, nên đánh giá theo:

·         Nhóm khách hàng

·         Khu vực

·         Thời gian

·         Loại thiết bị

·         Mức độ hiếm của sự kiện

·         Điều kiện vận hành

Cách đánh giá này giúp phát hiện nơi mô hình hoạt động kém dù kết quả tổng thể có vẻ tốt.

Đo giá trị sau triển khai

Một mô hình chính xác hơn không nhất thiết tạo ra kết quả kinh doanh tốt hơn. Sau triển khai, cần theo dõi các chỉ số như:

·         Doanh thu tăng thêm

·         Chi phí giảm

·         Tỷ lệ gian lận được ngăn chặn

·         Tỷ lệ khách hàng được giữ lại

·         Mức giảm hàng tồn

·         Thời gian xử lý

·         Tỷ lệ cảnh báo được nhân viên chấp nhận

Cách đáng tin cậy để đo tác động là so sánh nhóm sử dụng mô hình với nhóm đối chứng trong cùng điều kiện. Điều này giúp tách ảnh hưởng của mô hình khỏi các thay đổi khác diễn ra đồng thời.

Machine Learning sử dụng Big Data để học bằng cách biến số lượng lớn quan sát thành tín hiệu huấn luyện, tối ưu tham số mô hình dựa trên sai số và áp dụng quy luật đã học cho dữ liệu mới. Big Data giúp tăng độ bao phủ, cung cấp nhiều trường hợp hiếm và hỗ trợ cập nhật mô hình liên tục; còn Machine Learning đảm nhiệm việc nhận diện mẫu, dự báo kết quả và cung cấp đầu vào cho quá trình tối ưu.

Tuy nhiên, quy mô dữ liệu không phải điều kiện đủ. Hiệu quả thực tế phụ thuộc vào mức độ liên quan, chất lượng nhãn, tính đại diện, cách chia dữ liệu, năng lực mô hình, hạ tầng tính toán và cơ chế giám sát sau triển khai. Giá trị lớn nhất không đến từ việc lưu trữ thật nhiều dữ liệu, mà từ khả năng chọn đúng dữ liệu, học đúng quy luật và chuyển kết quả dự báo thành quyết định có thể đo lường.