Kỷ nguyên (Epoch)
Tóm lại: Trong học máy, một epoch (kỷ nguyên) là một lượt chạy trọn vẹn toàn bộ tập dữ liệu huấn luyện qua thuật toán, từ đầu đến cuối.
Trong học máy, một epoch (kỷ nguyên) là một lượt chạy trọn vẹn toàn bộ tập dữ liệu huấn luyện qua thuật toán, từ đầu đến cuối. Việc huấn luyện một mô hình thường cần nhiều epoch, trong đó mô hình điều chỉnh nhẹ các tham số nội bộ sau mỗi lô (batch) ví dụ.
Vì sao điều này quan trọng
Số lượng epoch là một trong những thiết lập chính khi huấn luyện. Nếu quá ít, mô hình chưa học được các quy luật trong dữ liệu (underfitting, học chưa đủ); nếu quá nhiều, mô hình bắt đầu ghi nhớ các ví dụ huấn luyện và hoạt động kém hơn trên dữ liệu mới (overfitting, quá khớp). Vì vậy, nhà phát triển đo sai số của mô hình trên một tập kiểm định (validation set) riêng sau mỗi epoch và thường dừng huấn luyện khi sai số đó không còn cải thiện, một kỹ thuật gọi là dừng sớm (early stopping). Người đọc trong lĩnh vực tiền mã hóa còn gặp từ này theo một nghĩa khác: các blockchain bằng chứng cổ phần (proof-of-stake) dùng epoch để chỉ một khoảng cố định gồm các khối hoặc slot, dùng để tổ chức nhiệm vụ và phần thưởng của trình xác thực.
Ví dụ
Một mô hình được huấn luyện trên 1,000 hình ảnh đã gắn nhãn, được xử lý theo từng lô 100 ảnh. Do đó, một epoch gồm 10 bước huấn luyện, và sau năm epoch, mô hình đã thấy mỗi hình ảnh năm lần. Nếu độ chính xác trên tập kiểm định cải thiện đến epoch thứ ba rồi sau đó giảm, nhà phát triển sẽ giữ lại phiên bản được lưu sau epoch thứ ba.