Tưởng tượng ae có một mô hình AI được huấn luyện trên hàng triệu dòng dữ liệu lịch sử, các cuộc trò chuyện, thu nhập, thời tiết, cảm xúc, hành vi....
Nó có thể dự đoán chính xác (đến 99,99%) liệu một người có đi xem phim vào buổi tối hay không.
Nhưng bất ngờ, hôm nay người đó bị gãy chân.
Và AI chưa từng được huấn luyện bởi dữ liệu cho việc đó.
Trong khi đó, một con người (kể cả đứa trẻ 6 tuổi),
vẫn có thể biết gần như chắc chắn, rằng người được dự báo sẽ không đi đâu vào tối nay cả.
Đây được gọi là ngoại lệ gãy chân (broken leg exception), hay out of distribution (OOD).
Một trong những giới hạn của các mô hình máy tính.
Hiểu nôm na vấn đề này là khi mô hình nhận được một dữ liệu mới nằm ngoài phân phối mà nó đã học.
Kiểu như khi ae ôn thi đại học, nhưng chỉ học tủ phần hình học/giải tích. Đến hôm đi thi, phát đề ra thì lại toàn xác suất thống kê.
Vấn đề này chính là thứ làm các mô hình hoạt động rất tốt trong điều kiện "bình thường", nhưng sẽ thất bại hoàn toàn nếu gặp phải "những trường hợp ngoại lệ quan trọng nằm ngoài phân phối mà chưa từng được quan sát".
Ví dụ, nếu được cung cấp đủ data, nó sẽ nhận ra rằng nếu một người đi bệnh viện bó bột vào buổi sáng, thì xác suất họ đi xem phim buổi tối gần như bằng 0.
Tuy nhiên, mô hình chỉ biết xác suất đó (tức thấy có partern/tương quan giữa 2 sự kiện),
nhưng không thể biết vì sao lại như thế.
Nó không hiểu ý nghĩa của quá trình, tức hiểu việc “đến bệnh viện bó bột” đồng nghĩa với sự đau đớn, và gãy chân thì không đi được.
Con người thì khác.
Chúng ta không chỉ bắt chước các mẫu hình/tương quan.
Chúng ta có thể hiểu bối cảnh, ý nghĩa thực sự đằng sau những sự kiện.
Quan trọng hơn là, chúng ta còn biết khi nào thì cần nghi ngờ những hiểu biết cũ.
Khi gặp một tình huống lạ,
một cú “gãy chân” trong đời thực (nếu chưa từng nhìn thấy),
chúng ta sẽ có phản xạ chùn lại để nghi ngờ kinh nghiệm cũ,
rồi suy luận nguyên nhân/bối cảnh mới để đưa ra hành động ứng phó phù hợp.
Đó là "phản tư", "biết mình không biết" và "sáng tạo trong bất định", thứ mà AI chưa thể mô phỏng.
AI chỉ luôn cố đưa ra đáp án, dù đó là đáp án sai.
Nó không có bản năng sinh tồn hay da thịt trong cuộc chơi.
Cũng không có cảm giác “nguy hiểm”, không có "nỗi sợ" khi bước vào" vùng chưa biết."
Trong kiến trúc của nó, "không biết" chính là thất bại, bị trừ điểm.
Và thuật toán của nó được tối ưu để luôn đạt điểm cao.
Vì vậy, khi gặp một câu hỏi hoặc một tình huống vượt ra ngoài miền dữ liệu từng được học, AI sẽ không nói:
“Tôi không biết.”
Thay vào đó, nó sẽ nội suy từ dữ liệu cũ, bịa ra sự tự tin, và đưa ra một câu trả lời trông có vẻ hợp lý.
ChatGPT và mấy cái mô hình LLM hiện nay đang vận hành kiểu như vậy.
Bọn nó có thể viết một đoạn phân tích mạch lạc, lập luận trông rất trơn tru.
Nhưng bản chất những đoạn văn đó chỉ dựa trên những mẫu câu “đã thấy” (từng được viết bởi con người), rồi đưa ra đáp án có xác suất cao nhất giống một câu trả lời đúng.
Kiểu thuật toán này hoạt động tốt trong môi trường có dữ liệu ổn định, phân phối xác suất ít chuyển dịch/rõ ràng,
nhưng không thể giúp ứng phó được với dữ liệu có phân phối luôn biến đổi mạnh, chứa các "ngoại lệ nhưng cực quan trọng" có tần suất thấp hoặc chưa từng được quan sát.
Chắc nhiều ae ở đây đã biết rằng :
Chính các ngoại lệ (outlier), mới là những thứ chi phối phần lớn thực tại.
Trong trading, những "cú gãy chân ngoại lệ" là sát thủ của các hệ thống tự động,
là lý do vì sao những hệ thống càng phức tạp, càng nhiều lớp tối ưu và càng “thông minh”,… thì càng dễ sụp đổ.
Đơn giản là do outlier hiếm khi (hoặc chưa từng) xuất hiện nên mô hình ko đủ dữ liệu để ước lượng xác suất chuẩn xác.
Khi gặp outlier, chúng không thể biết được rằng:
“Điều mới này có mạnh đến mức khiến dữ liệu cũ trở nên vô nghĩa không?”
Vì chúng không hiểu ý nghĩa/bối cảnh hay nguyên nhân thực sự tạo ra sự kiện.
Ae càng cố làm mô hình thông minh, nó càng tự tin.
Nhưng là sự tự tin ngu dốt.
Đó là lý do chính vì sao con người luôn cần có mặt trong các hệ thống.
Chúng ta không thể phó mặc số phận cho những thứ tưởng như thông minh,
nhưng lại "không biết rằng mình đang không biết."
Comments
Post a Comment