Cho đến nay, một số lượng lớn các thuật toán ML đã được phát triển và nhiều thuật toán khác đang được nghiên cứu và phát minh với tốc độ nhanh chóng bởi giới học thuật cũng như ngành công nghiệp. Phần này sẽ xem xét một số thuật toán học sâu và truyền thống phổ biến cũng như cách áp dụng các thuật toán này cho các loại vấn đề học máy khác nhau. Trước tiên, chúng ta sẽ thảo luận về những cách chọn thuật toán ML cho nhiệm vụ phù hợp.

Lựa chọn thuật toán ML

Có một số điều cần cân nhắc khi chọn thuật toán ML cho các nhiệm vụ khác nhau:

• Kích thước dữ liệu đào tạo (Training Data Set): Một số thuật toán ML, chẳng hạn như thuật toán học sâu (Deep learning), có thể hoạt động rất tốt và tạo ra các mô hình có độ chính xác cao, nhưng chúng yêu cầu số lượng lớn dữ liệu đào tạo. Các thuật toán ML truyền thống, chẳng hạn như mô hình tuyến tính, có thể hoạt động hiệu quả khi tập dữ liệu nhỏ nhưng không thể tận dụng các tập dữ liệu lớn một cách hiệu quả như thuật toán mạng thần kinh học sâu. Các thuật toán ML truyền thống yêu cầu con người trích xuất và thiết kế các features đầu vào hữu ích từ dữ liệu huấn luyện để huấn luyện mô hình. Khi kích thước của dữ liệu đào tạo trở nên lớn, việc trích xuất và thiết kế các features hữu ích để cải thiện hiệu suất mô hình trở nên khó khăn hơn. Đây là một trong những lý do khiến các thuật toán ML truyền thống không thể tận dụng các tập dữ liệu lớn. Mặt khác, các thuật toán học sâu có thể tự động trích xuất các features từ dữ liệu đào tạo.
• Độ chính xác và khả năng diễn giải: Một số thuật toán ML, chẳng hạn như thuật toán học sâu, có thể tạo ra các mô hình có độ chính xác cao, chẳng hạn như mô hình xử lý ngôn ngữ tự nhiên (Natural language processing - NLP) hoặc thị giác máy tính (Computer Vision). Tuy nhiên, những thuật toán này có thể rất phức tạp và khó giải thích hơn. Một số thuật toán đơn giản hơn, chẳng hạn như hồi quy tuyến tính (sẽ được đề cập sau), có thể dễ dàng diễn giải mặc dù độ chính xác có thể không cao như các mô hình học sâu.
• Thời gian đào tạo: Các thuật toán khác nhau có tốc độ đào tạo khác nhau trên cùng một tập dữ liệu. Các mô hình đơn giản, chẳng hạn như mô hình tuyến tính, sẽ đào tạo nhanh hơn, trong khi các mô hình học sâu sẽ mất nhiều thời gian hơn để đào tạo.

Có một vài phương pháp định lượng cho độ phức tạp của thuật toán. Độ phức tạp về thời gian mô tả thời gian tính toán/các thao tác cần thiết để chạy thuật toán ML và độ phức tạp về không gian là dung lượng bộ nhớ điện toán cần thiết để chạy thuật toán. Big O là một ký hiệu để mô tả độ phức tạp của thời gian và không gian, xác định giới hạn ước tính của một thuật toán. Ví dụ: độ phức tạp về thời gian cho tìm kiếm tuyến tính là 0(N) và độ phức tạp về thời gian cho tìm kiếm nhị phân sẽ được biểu thị bằng 0(log (N)), trong đó N là số lượng mẫu dữ liệu trong danh sách mục tiêu.

• Tính tuyến tính của dữ liệu: Đối với dữ liệu có mối quan hệ tuyến tính giữa dữ liệu đầu vào và dữ liệu đầu ra, các mô hình tuyến tính có thể hoạt động khá tốt. Tuy nhiên, đối với tập dữ liệu có mối quan hệ phi tuyến tính (nghĩa là biến đầu vào và biến đầu ra không thay đổi theo tỷ lệ), các mô hình tuyến tính không phải lúc nào cũng có thể nắm bắt được các mối quan hệ nội tại sâu sắc hơn và chúng ta thường cần các thuật toán như mạng lưới thần kinh học sâu và cây quyết định để xử lý các bộ dữ liệu phức tạp.
• Số lượng features: Tập dữ liệu huấn luyện có thể chứa một số lượng lớn các features và không phải tất cả chúng đều phù hợp với việc huấn luyện mô hình. Một số thuật toán ML có thể xử lý tốt các features không liên quan hoặc nhiễu và một số thuật toán khác có thể bị ảnh hưởng tiêu cực đến tốc độ đào tạo hoặc hiệu suất mô hình với nhiều features không liên quan hoặc nhiễu trong quá trình đào tạo. Các thuật toán khác nhau có các cách tiếp cận khác nhau để giảm ảnh hưởng của các features nhiễu hoặc không có thông tin thông qua một kỹ thuật gọi là chuẩn hóa. Một số kỹ thuật chuẩn hóa hoạt động bằng cách thêm các thuật ngữ lỗi bổ sung vào hàm mất mát trong quá trình đào tạo để giảm ảnh hưởng của dữ liệu nhiễu. Các phương pháp khác, chẳng hạn như loại bỏ, loại bỏ ngẫu nhiên các nút trong mạng thần kinh để đạt được sự chuẩn hóa.

Các thuật toán cho các bài toán phân loại và hồi quy

Có một số lợi thế khi sử dụng rừng ngẫu nhiên so với cây quyết định thông thường, chẳng hạn như xử lý song song trên nhiều máy và khả năng xử lý các ngoại lệ và bộ dữ liệu mất cân bằng. Nó cũng có thể xử lý tập dữ liệu kích thước cao hơn nhiều vì mỗi cây sử dụng một tập hợp con các features. Một khu rừng ngẫu nhiên hoạt động tốt với các bộ dữ liệu ồn ào (bộ dữ liệu chứa các features vô nghĩa hoặc giá trị bị hỏng). Nó ít có khả năng làm overfitting do nhiều cây đưa ra quyết định một cách độc lập. Tuy nhiên, vì nó sử dụng nhiều cây để đưa ra quyết định nên khả năng diễn giải của mô hình bị ảnh hưởng một chút so với cây quyết định thông thường mà chúng ta có thể dễ dàng hình dung. Nó cũng chiếm nhiều bộ nhớ hơn vì nó tạo ra nhiều cây hơn, điều này sẽ ảnh hưởng đến thời gian huấn luyện mô hình.

Máy tăng cường Gradient và thuật toán XGBoost

Tăng cường gradient (Gradient boosting) và XGBoost cũng là các thuật toán ML dựa trên nhiều cây. Chúng đã được sử dụng rộng rãi cho nhiều trường hợp sử dụng như chấm điểm tín dụng, phát hiện gian lận và dự đoán yêu cầu bảo hiểm. Trong khi một khu rừng ngẫu nhiên tổng hợp kết quả ở cuối bằng cách kết hợp các kết quả từ các cây học yếu hơn, tăng cường gradient tổng hợp các kết quả từ các cây khác nhau một cách tuần tự.

Một khu rừng ngẫu nhiên được xây dựng dựa trên ý tưởng về những người học yếu hơn độc lập song song. Cơ sở để tăng cường gradient dựa trên khái niệm về cây học yếu hơn tuần tự sửa chữa thiếu sót (lỗi) của cây yếu hơn trước đó. Tăng cường gradient có nhiều siêu tham số để điều chỉnh hơn một khu rừng ngẫu nhiên và có thể đạt được hiệu suất cao hơn khi được điều chỉnh chính xác. Tăng cường gradient cũng hỗ trợ các hàm mất mát tùy chỉnh để giúp bạn linh hoạt trong việc lập mô hình cho các ứng dụng trong thế giới thực. Hình dưới đây cho thấy cây tăng cường gradient hoạt động như thế nào:

Tăng cường gradient hoạt động tốt với các bộ dữ liệu mất cân bằng và nó phù hợp với các trường hợp thực tế như quản lý rủi ro và phát hiện gian lận trong đó tập dữ liệu có xu hướng mất cân bằng. Một thiếu sót lớn của việc tăng cường gradient là nó không song song hóa khi nó tạo ra các cây một cách tuần tự. Nó cũng dễ bị nhiễu, chẳng hạn như các ngoại lệ trong dữ liệu và có thể dễ dàng overfitting do điều này. Tăng cường gradient khó diễn giải hơn so với cây quyết định, nhưng điều này có thể dễ dàng khắc phục bằng các công cụ như tầm quan trọng của biến (feature importance).

XGBoost là một triển khai của phương pháp tăng cường gradient. Nó đã trở nên rất nổi tiếng nhờ chiến thắng trong nhiều cuộc thi Kaggle. Nó sử dụng cùng một khái niệm cơ bản để xây dựng và điều chỉnh các cây, nhưng cải thiện khi tăng cường gradient bằng cách cung cấp hỗ trợ đào tạo một cây trên nhiều lõi và nhiều CPU để có thời gian đào tạo nhanh hơn, các kỹ thuật chuẩn hóa đào tạo mạnh mẽ hơn để giảm độ phức tạp của mô hình, và chống lại việc trang bị overfitting. XGBoost cũng tốt hơn trong việc xử lý các bộ dữ liệu thưa thớt. Ngoài XGBoost, còn có các biến thể phổ biến khác của cây tăng cường gradient, chẳng hạn như LightGBM và CatBoost.

Thuật toán K-nearest neighbor

K-nearest neighbor (K-NN) là một thuật toán phân loại và hồi quy đơn giản. Nó cũng là một thuật toán phổ biến để triển khai các hệ thống tìm kiếm và hệ thống đề xuất (Recommendation system).

Cơ sở cơ bản mà K-NN hoạt động theo là những thứ tương tự có khoảng cách gần nhau. Cách để xác định khoảng cách là đo khoảng cách giữa các điểm dữ liệu khác nhau. Đối với các tác vụ phân loại, trước tiên K-NN nhận dữ liệu và nhãn lớp tương ứng của chúng. Khi chúng ta cần phân loại một điểm dữ liệu mới, trước tiên chúng ta tính toán khoảng cách của nó, ví dụ: khoảng cách Euclide đến các điểm dữ liệu khác. Sau đó, chúng ta truy xuất nhãn lớp cho K điểm dữ liệu gần nhất (K trong K-NN) và sử dụng biểu quyết đa số (nhãn thường xuyên nhất trong số K điểm dữ liệu hàng đầu) để xác định nhãn lớp cho điểm dữ liệu mới. Giá trị vô hướng được dự đoán sẽ là giá trị trung bình của K điểm dữ liệu gần nhất hàng đầu cho các tác vụ hồi quy.

K-NN sử dụng đơn giản và không cần huấn luyện hoặc điều chỉnh mô hình bằng siêu tham số ngoài việc chọn số lân cận (K). Các điểm dữ liệu được nhận vào đơn giản trong thuật toán K-NN. Kết quả của nó có thể dễ dàng giải thích được, vì mỗi dự đoán có thể được giải thích bằng các thuộc tính của các lân cận gần nhất. Ngoài phân loại và hồi quy, nó cũng có thể được sử dụng để tìm kiếm. Tuy nhiên, mô hình ngày càng phức tạp khi số lượng điểm dữ liệu tăng lên và mô hình có thể trở nên chậm hơn đáng kể với một tập dữ liệu lớn để dự đoán. Nó cũng không hoạt động tốt khi kích thước tập dữ liệu cao và nó nhạy cảm với dữ liệu nhiễu và dữ liệu bị thiếu. Các ngoại lệ sẽ cần phải được loại bỏ và dữ liệu bị thiếu sẽ cần phải được quy nạp.