Son herramientas fundamentales en el desarrollo de modelos de aprendizaje automático, ayudando a garantizar que los modelos sean entrenados de manera efectiva, ajustados de manera óptima y evaluados de manera imparcial en datos no vistos. Esto es crucial para desarrollar modelos que puedan generalizar bien y realizar predicciones precisas en nuevas situaciones.
Para entrenar y evaluar modelos de aprendizaje automático, es común dividir el conjunto de datos en tres partes: conjunto de entrenamiento, conjunto de validación y conjunto de prueba. El conjunto de entrenamiento se utiliza para entrenar el modelo, el conjunto de validación se utiliza para ajustar los hiperparámetros del modelo y el conjunto de prueba se utiliza para evaluar el rendimiento final del modelo en datos no vistos.
Conozcamos más detalles de los tres conjuntos a continuación.
Presione cada una de las tres opciones para revisar el detalle.
Conjunto de Entrenamiento
Este conjunto de datos se utiliza para entrenar el modelo de aprendizaje automático. Consiste en una colección de ejemplos, donde cada ejemplo consta de características (variables independientes) y la variable objetivo (o salida deseada) que el modelo intentará predecir. Durante el entrenamiento, el modelo ajusta sus parámetros basándose en estos ejemplos para minimizar el error en las predicciones.
Conjunto de Validación
El conjunto de validación se utiliza para ajustar los hiperparámetros del modelo y evaluar su rendimiento durante el proceso de entrenamiento. Después de cada iteración de entrenamiento, el modelo se evalúa en el conjunto de validación para medir su rendimiento en datos no vistos. Esto ayuda a ajustar los hiperparámetros del modelo, como la tasa de aprendizaje o el número de capas en una red neuronal, con el fin de mejorar su rendimiento general.
Conjunto de Prueba
Una vez que el modelo ha sido entrenado y ajustado utilizando el conjunto de entrenamiento y el conjunto de validación, se evalúa finalmente en el conjunto de prueba. Este conjunto de datos se mantiene completamente separado del proceso de entrenamiento y validación, y se utiliza para evaluar el rendimiento final y la generalización del modelo en datos completamente nuevos y no vistos. La evaluación en el conjunto de prueba proporciona una estimación más realista de cómo se desempeñará el modelo en el mundo real.