Theo dõi quỹ đạo tăng trưởng của cá bằng Q-Learning

Đây là nghiên cứu theo dõi quỹ đạo tăng trưởng của cá rô phi sông Nin (rô phi vằn) nuôi trong lồng nổi và bể trên cạn bằng cách sử dụng Q-learning, nhằm xác định sự hiệu quả tăng trưởng với tỷ lệ cho ăn thấp hơn nhằm đáp ứng mục tiêu nuôi trồng thủy sản chính xác.

Q -learning
Q -learning là một thuật toán học tăng cường không mô hình.

Trong thực tế, tốc độ tăng trưởng của cá khác nhau và không dễ dàng tính được do điều kiện nuôi phức tạp và các yếu tố môi trường thay đổi. Ngoài ra, vấn đề theo dõi quỹ đạo tăng trưởng là thách thức do hầu hết các phương pháp điều khiển dựa trên mô hình phi tuyến tính và tương tác giữa các yếu tố đầu vào như nhiệt độ, oxy hòa tan, amoniac và sự không đảm bảo từ các mô hình nuôi tăng trưởng của cá. 

Để giải quyết khó khăn này, một kỹ thuật học tăng cường (RL) trong khuôn khổ lập trình động để giải quyết quá trình ra quyết định Markov (MDP). Nó cho phép học một chính sách kiểm soát tối ưu mà không cần kiến thức đầy đủ về mô hình động thông qua sử dụng dữ liệu mẫu. Q-learning là một trong những giải pháp chính sách và giá trị gần đúng được sử dụng rộng rãi nhất của RL. Bộ điều khiển dựa trên thuật toán Q-learning được đề xuất đối phó với sự không chắc chắn của các tham số mô hình nuôi cá (thay đổi của các biến điều khiển và biến trung gian), các tác động nhiễu loạn thời tiết bên ngoài và sự biến động của các yếu tố môi trường (nhiệt độ nước, oxy hòa tan, v.v.) để theo dõi quỹ đạo tốc độ tăng trưởng của cá. 

Cụ thể, thực hiện hai thuật toán Q-learning tìm hiểu chính sách kiểm soát tối ưu từ dữ liệu mô phỏng về quỹ đạo tăng trưởng của cá bắt đầu từ giai đoạn cá con cho đến khi đạt trọng lượng thương phẩm theo mong muốn của thị trường. Sơ đồ Q-learning đầu tiên tìm hiểu chính sách kiểm soát cho ăn tối ưu đối với tốc độ tăng trưởng của cá nuôi trong lồng, chương trình thứ hai sẽ trực tuyến cập nhật chính sách kiểm soát cho ăn tối ưu trong một cấu hình nhiệt độ tối ưu cho tốc độ tăng trưởng của cá nuôi trong bể. 

sơ đồChú thích: (a) sự phát triển của cá trong lồng nổi; (b) sự phát triển của cá trong bể trên cạn.

Kết quả mô phỏng chứng minh rằng cả hai mô hình, chiến lược điều khiển Q-learning đều đạt được hiệu suất theo dõi quỹ đạo tốt với tỷ lệ cho ăn thấp hơn và giúp bù đắp cho những thay đổi môi trường của các biến được thao tác và sự không chắc chắn của mô hình năng lượng sinh học về sự tăng trưởng của cá trong môi trường nuôi trồng thủy sản. Các chính sách kiểm soát Q-learning được đề xuất đạt lần lượt là 1,7% và 6,6% sai số theo dõi quỹ đạo tương đối của tổng trọng lượng cá từ cả bể trên cạn và lồng nổi. Hơn nữa, các chính sách cho ăn và kiểm soát nhiệt độ làm giảm 11% lượng thức ăn cho vào tương đối của chất thải thực phẩm trong các bể chứa trên cạn so với lồng nổi mà nhiệt độ nước được duy trì ở nhiệt độ môi trường là 29,7oC.

Các kết quả trên chứng minh rằng Q-learning có tiềm năng lớn để học các môi trường chưa biết nhờ khả năng học hỏi từ việc quan sát các cặp (hành động, phản ứng). Với việc điều tra và khám phá thêm về loại mẫu này, nó có thể giúp giảm thời gian cần thiết để hiểu các hệ thống phức tạp bằng cách cung cấp và hỗ trợ cho đối tượng mục tiêu trong việc thu hẹp các thông số tối ưu (chẳng hạn như nhiệt độ, độ pH thích hợp cho một loài cụ thể) điều đó có thể rút ngắn thời gian xác thực thử nghiệm. Mô hình Q-learning đã được huấn luyện tương tự cũng có thể được huấn luyện nhanh chóng để phù hợp với một loài tương tự mới. Trong tương lai, các chính sách Q-learning được đề xuất sẽ được kết hợp với một khuôn khổ học tập an toàn để đào tạo nó thành một môi trường xa hơn. Đây sẽ là bước đầu tiên hướng tới việc triển khai thuật toán học này trong môi trường nuôi trồng thủy sản thực tế.

Nguồn: Chahid, A., I. N’Doye, J.E. Majoris, M.L. Berumen, T. Laleg-Kirati (2022). Fish growth trajectory tracking using Q-learning in precision aquaculture. Aquaculture 550: 737838.

Đăng ngày 15/04/2022
Hồng Huyền @hong-huyen
Khoa học

Vaccine cho tôm: Tảo lục Chlorella vulgaris

Bệnh đốm trắng (white spot disease - WSD) là một trong những loại bệnh truyền nhiễm phổ biến nhất trên tôm nuôi và đồng thời cũng là nguyên nhân chính gây thiệt hại kinh tế cho nghề nuôi tôm toàn cầu.

Tảo lục
• 09:00 14/03/2024

Các yếu tố virus nội sinh gây hội chứng đốm trắng (EVE)

Nơi khu trú của virus đề cập đến các phản ứng miễn dịch cụ thể, thích nghi của tôm đối với nhiễm virus xảy ra trong từng tế bào và có thể dẫn đến nhiễm vô hại kéo dài đến suốt đời của vật chủ.

Virus
• 14:33 07/03/2024

Sinh sản nhân tạo một số loài cá hiếm gặp

Đề tài do Trường Thủy sản làm Chủ nhiệm với sự hỗ trợ kinh phí từ Sở Khoa học Công nghệ TP. Cần Thơ. Kết quả nghiên cứu cho thấy cá chạch lửa thành thục tốt trong điều kiện nuôi vỗ trong vòng 4-6 tháng.

Cá chạch lửa
• 10:01 07/03/2024

Phát hiện nhanh và chính xác Tilv trên mẫu cá rô phi

Năm 2009, sản lượng cá rô phi đánh bắt tự nhiên tại hồ Kinneret giảm mạnh, có mức độ trung bình giảm từ 257 tấn mỗi năm đến 8 tấn mỗi năm và không rõ nguyên nhân.

Cá rô phi
• 10:10 06/03/2024

Bạc Liêu: Tiến độ xây dựng Khu nông nghiệp ứng dụng công nghệ cao phát triển tôm

Tép Bạc đã phản ánh, năm 2023, tỉnh Bạc Liêu đứng đầu cả nước về sản lượng tôm nước lợ và kim ngạch xuất khẩu nhờ phát triển nuôi siêu thâm canh ứng dụng công nghệ cao. Bạn đọc muốn biết thêm tiến độ đầu tư xây dựng Khu nông nghiệp ứng dụng công nghệ cao phát triển tôm nổi tiếng ở Bạc Liêu nên xin cung cấp thêm thông tin.

Khu nuôi tôm công nghệ cao
• 07:08 29/03/2024

Tập huấn ứng dụng công nghệ trong bảo quản cá ngừ đại dương

Chiều ngày 27.3, Hiệp hội Thủy sản Bình Định phối hợp với Liên hiệp các hội KHKT Bình Định và Chi cục Thủy sản ( Sở NN&PTNT) tổ chức tập huấn quy trình công nghệ khí nitơ nano trong bảo quản cá ngừ đại dương cho 50 ngư dân làm nghề câu cá ngừ trên địa bàn phường Tam Quan Bắc, TX Hoài Nhơn.

Cá ngừ
• 07:08 29/03/2024

Như thế nào để tôm được vận chuyển đúng cách?

Tôm cũng giống như các hàng hóa khác, phân loại theo nhu cầu của khách hàng mà được vận chuyển đến các nơi khác nhau, với hai giai đoạn cơ bản như tôm giống được vận chuyển từ các trại giống đến ao nuôi và tôm thương phẩm được vận chuyển đến các chợ đầu mối, nhà máy chế biến. Vậy cách nào để có thể vận chuyển chúng một cách an toàn, tiết kiệm mà vẫn hiệu quả nhất? Hãy cùng tìm hiểu dưới đây nhé!

Tôm đông lạnh
• 07:08 29/03/2024

Biện pháp hạ phèn hiệu quả nhanh chóng

Chắc chắn rằng việc ao nuôi bị nhiễm phèn không còn là điều quá xa lạ đối với những người nuôi trồng thủy sản. Phèn xuất hiện trong ao nuôi tôm sẽ gây ảnh hưởng nghiêm trọng đến hiệu suất và sản lượng của vụ nuôi.

Ao nuôi tôm bị nhiễm phèn
• 07:08 29/03/2024

Tôm đang trong ao bị thối đuôi: Nguyên nhân và cách điều trị

Tôm bị thối đuôi là một trong những bệnh nguy hiểm thường gặp ở tôm, đặc biệt là tôm sú và tôm thẻ chân trắng. Bệnh có thể gây ra tỷ lệ tử vong cao, ảnh hưởng đến năng suất và lợi nhuận của người nuôi.

Tôm thẻ thương phẩm
• 07:08 29/03/2024