IT3160 - Chương 2: Tác tử (Agent)

• IT3160 là môn Nhập môn Trí tuệ nhân tạo.
• Khóa học do PGS.TS Phạm Văn Hải và PGS.TS Lê Thanh Hương giảng dạy.

Nội dung môn học

• Chương 1: Giới thiệu về Trí tuệ nhân tạo
• Chương 2: Tác tử (Agent)
  • Khái niệm
  • Môi trường công việc
  • Các kiểu môi trường
  • Các kiểu tác tử
• Chương 3: Giải quyết vấn đề
• Chương 4: Logic và suy diễn
• Chương 5: Học máy

Tác tử - Khái niệm

• Tác tử có khả năng cảm nhận môi trường xung quanh và thực hiện các hành động thông qua các bộ phận hoạt động.
• Tác tử có thể là bất cứ cái gì như con người, người máy, software robot, bộ ổn nhiệt.
• Tác tử có khả năng cảm nhận (nhận biết) môi trường xung quanh thông qua các bộ phận cảm biến (sensors).
• Tác tử hành động phù hợp theo môi trường đó thông qua các bộ phận hành động (actuators).

Tác tử - Giải thích

• Tác tử con người có các bộ phận cảm biến: mắt, tai và một số bộ phận cơ thể khác.
  • Các bộ phận hoạt động là tay, chân, miệng và các bộ phận cơ thể khác.
• Tác tử người máy có các bộ phận cảm biến là máy quay (cameras) và các bộ truy tìm tín hiệu hồng ngoại.
  • Các bộ phận hoạt động là các loại động cơ (motors).

Tác tử và Môi trường

• Hàm tác tử là ánh xạ từ lịch sử nhận thức đến các hành động (f: P* → A).
• Chương trình tác tử hoạt động dựa trên kiến trúc thực tế của hàm f.

Ví dụ: Thế giới của máy hút bụi

• Máy hút bụi nhận thức được vị trí và mức độ sạch sẽ.
  • Ví dụ về nhận thức: [A, Bẩn], [B, Bẩn].
• Các hành động mà máy hút bụi có thể thực hiện là di chuyển sang trái, sang phải, hút bụi hoặc không làm gì.

Tác tử máy hút bụi

• Ví dụ về bảng hành động của tác tử máy hút bụi:
  • Nếu ở [A, Sạch], di chuyển sang phải.
  • Nếu ở [A, Bẩn], hút bụi.
  • Nếu ở [B, Sạch], di chuyển sang trái.
  • Nếu ở [B, Bẩn], hút bụi.
  • Nếu ở [A, Sạch], [A, Sạch], di chuyển sang phải.
  • Nếu ở [A, Sạch], [A, Bẩn], hút bụi.
• Trong đó,
  • Nếu trạng thái là Dirty, trả về Suck.
  • Nếu vị trí là A, trả về Right.
  • Nếu vị trí là B, trả về Left.

Tác tử hợp lý

• Tác tử cần phấn đấu để “làm đúng việc cần làm”, dựa trên những gì nó nhận thức (nhận biết) được và các hành động nó có thể thực hiện.
• Hành động đúng (hợp lý) là hành động giúp tác tử đạt được thành công cao nhất đối với mục tiêu đặt ra.
• Đánh giá hiệu quả hoạt động dùng để đánh giá mức độ thành công trong hoạt động của một tác tử.
  • Tiêu chí đánh giá hiệu quả hoạt động của máy hút bụi có thể là mức độ làm sạch, thời gian hút bụi, mức độ điện năng tiêu tốn, mức độ tiếng ồn gây ra.
• Với mỗi chuỗi nhận thức có được, tác tử hợp lý cần lựa chọn một hành động giúp cực đại hóa tiêu chí đánh giá hiệu quả hoạt động của nó dựa trên thông tin và tri thức có được.
• Sự hợp lý không phải là sự thông suốt mọi thứ (biết tất cả với tri thức vô hạn) vì nhận thức có thể không cung cấp đủ thông tin.
• Tác tử có thể thực hiện các hành động nhằm thay đổi các nhận thức trong tương lai để thu thập thông tin hữu ích.
• Tác tử tự trị (autonomous agent) quyết định hành động dựa trên kinh nghiệm và khả năng học hỏi, thích nghi.

Môi trường công việc – PEAS

• PEAS là viết tắt của:
  • Performance measure: Tiêu chí đánh giá hiệu quả hoạt động.
  • Environment: Môi trường xung quanh.
  • Actuators: Các bộ phận hành động.
  • Sensors: Các bộ phận cảm biến.
• Để thiết kế một tác tử thông minh hợp lý, cần xác định các giá trị của các thành phần PEAS.

Môi trường công việc – PEAS (Ví dụ)

• Ví dụ: Tác Tử Lái Xe Taxi Tự Động
  • (P): Tiêu chí đánh giá hiệu quả hoạt động bao gồm an toàn, tốc độ, tuân thủ luật giao thông, sự hài lòng của khách hàng và tối ưu hóa lợi nhuận.
  • (E): Môi trường taxi hoạt động bao gồm đường phố, các phương tiện giao thông khác, người đi bộ và cả khách hàng.
  • (A): Các Actuators xe taxi sử dụng gồm bánh lái, chân ga, phanh, đèn tín hiệu và còi xe.
  • (S): Các Sensors gồm máy quay, đồng hồ đo tốc độ, GPS, đồng hồ đo quãng đường và các cảm biến động cơ.
• Ví dụ: Tác Tử Chuẩn Đoán Y Tế
  • (P): Mức độ sức khỏe của bệnh nhân, cực tiểu hóa chi phí và các vụ kiện cáo cũng là tiêu chí quan trọng.
  • (E): Tác tử làm việc trong môi trường gồm bệnh nhân, bệnh viện và nhân viên y tế.
  • (A): Tác tử hành động thông qua việc hiển thị câu hỏi trên màn hình, các xét nghiệm, chuẩn đoán, các điều trị và các chỉ dẫn.
  • (S): Thông tin được thu thập qua bàn phím nhập vào các thông tin về triệu chứng và các trả lời của bệnh nhân đối với câu hỏi.
• Ví dụ: Tác Tử Nhặt Đồ Vật
  • (P): Đo lường trên tỉ lệ phần trăm đồ vật được đặt đúng vào các thùng chứa.
  • (E): Dây chuyền chuyển động nơi có các đồ vật cùng với ác thùng đựng.
  • (A): Tác tử hành động thông qua cánh tay và bàn tay được kết nối.
  • (S): Tác tử dựa vào máy quay (camera) và các bộ cảm biến các góc độ (các hướng).
• Ví dụ: Tác Tử Dạy Tiếng Anh
  • (P): Cực đại hóa điểm thi tiếng Anh của học viên.
  • (E): Một nhóm học viên là môi trường làm việc.
  • (A): Hiển thị bài tập và các gợi ý sửa bài tập.
  • (S): Thu thập thông tin thông qua bàn phím.
• Ví dụ: Tác Tử Lọc Thư Rác
  • (P): Đo lỗi thông qua tỉ lệ thư sai hoặc thư sót.
  • (E): email server and clients.
  • (A): Gửi thông báo và đánh dấu thư rác.
  • (S): Phân tích nội dung các emails.

Các kiểu môi trường

• Có thể quan sát được hoàn toàn (hay có thể quan sát được một phần)?
  • Các bộ cảm biến của một tác tử cho phép nó truy cập tới trạng thái đầy đủ của môi trường tại mỗi thời điểm
• Xác định (hay ngẫu nhiên)?
  • Trạng thái tiếp theo của môi trường được xác định hoàn toàn dựa trên trạng thái hiện tại và hành động của tác tử (tại trạng thái hiện tại này)
  • Nếu một môi trường là xác định, ngoại trừ đối với các hành động của các tác tử khác, thì gọi là môi trường chiến lược
• Phân đoạn (hay liên tiếp)?
  • Lịch sử kinh nghiệm của tác tử được chia thành các giai đoạn (chương/hồi)
  • Mỗi giai đoạn bao gồm việc nhận thức của tác tử và hành động mà nó thực hiện
  • Ở mỗi giai đoạn, việc lựa chọn hành động để thực hiện chỉ phụ thuộc vào giai đoạn đó (không phụ thuộc vào các giai đoạn khác)
• Tĩnh (hay động)?
  • Môi trường không thay đổi trong khi tác tử cân nhắc (xem nên đưa ra hành động nào)
  • Môi trường bán động (semi-dynamic) là môi trường mà khi thời gian trôi qua thì nó (môi trường) không thay đổi, nhưng hiệu quả hoạt động của tác tử thì thay đổi
  • Ví dụ: Các chương trình trò chơi có tính giờ
• Rời rạc (hay liên tục)?
  • Tập các nhận thức và các hành động là hữu hạn, được định nghĩa phân biệt rõ ràng
• Tác tử đơn lẻ (hay đa tác tử)?
  • Một tác tử hoạt động độc lập (không phụ thuộc / liên hệ với các tác tử khác) trong một môi trường

Các kiểu tác tử

• 4 kiểu tác tử cơ bản:
  • Tác tử phản xạ đơn giản (simple reflex agents)
  • Tác tử phản xạ dựa trên mô hình (model-based reflex agents)
  • Tác tử dựa trên mục tiêu (goal-based agents)
  • Tác tử dựa trên lợi ích (utility-based agents)
• Tác tử phản xạ đơn giản:
  • Hành động theo một quy tắc (luật) có điều kiện phù hợp với trạng thái hiện thời (của môi trường)
• Tác tử phản xạ dựa trên mô hình:
  • Sử dụng một mô hình nội bộ để giám sát trạng thái hiện tại của môi trường
  • Lựa chọn hành động: giống như đối với tác tử phản xạ đơn giản
• Tác tử dựa trên mục tiêu:
  • Biết về trạng thái hiện tại của môi trường: chưa đủ → Cần biết thêm thông tin về mục tiêu
  • Trạng thái hiện tại của môi trường: Ở một ngã tư, xe taxi có thể rẽ trái, rẽ phải, hoặc đi thẳng
  • Thông tin về mục tiêu: xe taxi cần đi tới đích đến của hành khách
  • Tác tử cần theo dõi trạng thái môi trường cùng tập các mục tiêu và chọn các hành động cho phép nó thực hiện chúng.
• Tác tử dựa trên lợi ích:
  • Biết về Trạng thái hiện tại của môi trường: chưa đủ → Cần biết thêm thông tin về mục tiêu và mức độ ưu tiên của chúng
  • Trong nhiều môi trường, thông tin về các mục tiêu không đủ để đánh giá hiệu quả của các hành động
  • Cần sự đánh giá lợi ích đối với tác tử, thể hiện bằng hàm lợi ích (utility function) ánh xạ từ môi trường tới một giá trị.
• Tác tử có khả năng học
  • 4 thành phần chính: Hành động, đánh giá (bình luận), học và sản sinh kinh nghiệm.
  • Khả năng học cho phép cải thiện hiệu quả hoạt động của tác tử.

Cơ sở tri thức của tác tử

• Cơ sở tri thức là một tập các mệnh đề được biểu diễn trong một ngôn ngữ hình thức, cung cấp tri thức, hiểu biết cho một tác tử.
• Tác tử khai thác cơ sở tri thức mà nó sở hữu trong quá trình đưa ra các hành động.
• Tác tử cần có khả năng thu thập, cập nhật, suy diễn và suy luận một cách hợp lý.

Đa tác tử

• Môi trường hoạt động có thể là cộng tác (hợp tác) hoặc cạnh tranh (đối kháng).
• Trong nhiều bài toán thực tế, môi trường hoạt động luôn thay đổi, tác tử cần cập nhật.
• Cần một mô hình biểu diễn kế hoạch của các tác tử khác.
• Các tác tử cộng tác cùng chia sẻ các mục tiêu hoặc các kế hoạch.
  • Có các cơ chế phân tách và phân phối các nhiệm vụ cho mỗi tác tử.
• Các tác tử cạnh tranh cần nhận biết, tính toán và quyết định hành động để đối phó với hành động của các tác tử khác.

Tổng kết

• Tác tử tương tác với môi trường thông qua bộ phận cảm biến và bộ phận hành động.
• Tác tử hợp lý cực đại hóa hiệu quả hoạt động.
• Hàm tác tử mô tả hành động mà tác tử thực hiện.
• Các loại PEAS xác định môi trường công việc.
• Các tiêu chí để phân loại môi trường: quan sát được, xác định, phân đoạn, tĩnh, rời rạc, tác tử đơn lẻ.
• Các kiến trúc tác tử cơ bản: phản xạ đơn giản, dựa trên mô hình, dựa trên mục tiêu, dựa trên lợi ích.