Inferential Statistics

Phần 1

Phân tích dữ liệu khám phá (Exploratory Data Analysis - EDA) giúp bạn tìm ra các mô hình, bằng cách sử dụng nhiều kỹ thuật và phương pháp tiếp cận khác nhau. Bạn đã thấy rằng EDA là một trong những bước quan trọng nhất trong quy trình phân tích dữ liệu, và cũng là nơi các nhà khoa học dữ liệu dành phần lớn thời gian của họ.

Tuy nhiên, đôi khi, bạn cần thu thập một lượng dữ liệu rất lớn, điều này có thể đòi hỏi nhiều thời gian và tài nguyên. Trong những trường hợp này, bạn có thể phải lấy một mẫu nhỏ hơn (hay còn gọi là “sample”) từ tập dữ liệu, thay vì làm việc với toàn bộ dữ liệu.

Đây là tình huống thường thấy trong các công ty lớn như Amazon. Chẳng hạn, đội kiểm soát chất lượng (QC) tại Amazon muốn biết tỷ lệ sản phẩm bị lỗi trong kho. Thay vì kiểm tra mọi sản phẩm (vô cùng nhiều), họ có thể chọn ngẫu nhiên 1.000 sản phẩm, xác định tỷ lệ lỗi ở nhóm này, rồi sử dụng kết quả đó để “suy luận” (infer) tỷ lệ lỗi cho toàn bộ kho.

“Quá trình suy luận” này chính là trọng tâm của Thống kê Suy luận (Inferential Statistics): sử dụng dữ liệu thu được từ một mẫu để ước lượng (estimate) và suy ra đặc điểm của quần thể (population).

Phần 2

Trước khi thực hiện bất kỳ phân tích thống kê nào, bạn phải có khả năng diễn tả kết quả đầu ra của một thí nghiệm bằng các biến ngẫu nhiên (random variables). Nói cách khác, một biến ngẫu nhiên X là cách để “lượng hóa” (gán các giá trị số) cho kết quả có thể xảy ra của một phép thử hoặc sự kiện ngẫu nhiên.

Ví dụ, nếu bạn thực hiện một thí nghiệm rút quả bóng và muốn xác định màu của quả bóng mỗi lần rút, bạn có thể gán một giá trị số cho mỗi kết quả. Giả sử X là “số quả bóng đỏ được rút” trong một lượt rút, khi đó X = 0, 1, 2, ... tùy thuộc vào kết quả bạn quan sát được.

Một phân phối xác suất (probability distribution) của một biến ngẫu nhiên X là bất kỳ bảng, biểu đồ hoặc phương trình nào biểu diễn xác suất tương ứng với mỗi giá trị có thể của X.

Điều này tương đối giống với phân phối tần số (frequency distribution), ngoại trừ việc thay vì đưa ra tần số (số lần xuất hiện), chúng ta cung cấp xác suất (độ khả dĩ xảy ra) của mỗi giá trị.

Phần 3

Trong thực tế, khi dữ liệu quá lớn hoặc bạn không thể nào quan sát hết toàn bộ quần thể, bạn sẽ cần rút ra một mẫu. Dựa trên những thông tin thu được từ mẫu này, bạn sẽ suy luận về quần thể.

Quy trình suy luận thống kê (inferential statistics) bao gồm:

• Xác định quần thể mà bạn quan tâm.
• Thu thập một mẫu đại diện cho quần thể đó.
• Tính toán các đại lượng thống kê mẫu (ví dụ: trung bình mẫu, tỷ lệ mẫu).
• Suy luận (ước lượng, kiểm định giả thuyết) về đặc điểm của toàn bộ quần thể.

Như đã đề cập, quá trình chọn mẫu và cách bạn chọn mẫu (random sampling, stratified sampling, v.v.) có ảnh hưởng lớn đến kết quả và tính đại diện.

Phần 4

Trong thống kê suy luận, hai hoạt động chính thường là ước lượng (estimation) và kiểm định giả thuyết (hypothesis testing).

- Ước lượng tham số (parameter estimation) tập trung vào việc sử dụng dữ liệu mẫu để ước tính một tham số nào đó của quần thể, ví dụ như trung bình (mean), tỷ lệ (proportion) hoặc phương sai (variance). Ngoài ra, người ta thường đưa ra cả khoảng tin cậy (confidence interval) để mô tả độ không chắc chắn của ước lượng.

- Kiểm định giả thuyết (hypothesis testing) là quá trình đưa ra một giả thuyết ban đầu (giả thuyết gốc, H₀) về tham số của quần thể và tìm bằng chứng từ mẫu để chấp nhận hoặc bác bỏ giả thuyết đó, thường với một mức ý nghĩa (significance level) cho trước (ví dụ α = 0,05).

Phần 5

Mỗi biến ngẫu nhiên đều có một (hoặc nhiều) phân phối xác suất liên quan. Ví dụ điển hình trong thống kê là phân phối chuẩn (normal distribution), phân phối nhị thức (binomial distribution), và các phân phối khác như chi-bình phương (chi-square), t-student, F, v.v.

Khi bạn làm việc với các biến ngẫu nhiên, việc hiểu rõ phân phối nào mô tả dữ liệu của bạn là rất quan trọng. Từ phân phối đó, bạn có thể tính toán các xác suất, kỳ vọng (expected value) và độ lệch chuẩn (standard deviation), cũng như thực hiện nhiều bài toán khác.

Trong phân phối chuẩn, hầu hết dữ liệu tập trung quanh giá trị trung bình, với xác suất giảm dần khi chúng ta đi xa khỏi trung bình. Nếu bạn biết dữ liệu của bạn có phân phối gần với chuẩn, bạn có thể áp dụng nhiều công cụ thống kê mạnh mẽ, chẳng hạn như kiểm định z, kiểm định t, và xây dựng khoảng tin cậy dựa trên phân phối chuẩn.

Phần 6

Cần lưu ý rằng trong thực tế, việc xác định “phân phối đúng” cho dữ liệu hoặc kết quả thí nghiệm không phải lúc nào cũng dễ dàng. Đôi khi, bạn phải dựa trên các giả định (assumptions) hoặc thông tin sẵn có để lựa chọn mô hình phù hợp nhất.

Dù bằng cách nào, mục tiêu cuối cùng của thống kê suy luận là sử dụng thông tin từ mẫu để đưa ra kết luận tổng quát về quần thể, kèm theo mức độ tin cậy hoặc “sai số” nào đó. Việc hiểu và vận dụng đúng các phương pháp suy luận thống kê giúp tránh những kết luận sai lệch hoặc thiếu chính xác, đặc biệt khi áp dụng vào các quyết định thực tiễn.

Như vậy, thống kê suy luận là mấu chốt để biến kết quả quan sát mẫu thành tri thức về quần thể. Từ góc độ này, nó thực sự là “cầu nối” giữa dữ liệu bạn có (mẫu) và tập dữ liệu lý tưởng mà bạn muốn nghiên cứu (quần thể).