En este curso, los profesionales del aprendizaje automático aprenderán a utilizar las herramientas, las técnicas y las prácticas recomendadas indispensables para evaluar los modelos de IA generativa y predictiva. La evaluación de modelos es una disciplina esencial para garantizar que los sistemas de AA arrojen resultados confiables, exactos y de alto rendimiento en la producción. Los participantes obtendrán información exhaustiva sobre diversas métricas y metodologías de evaluación, además de su aplicación adecuada en diferentes tipos de modelos y tareas. En este curso, se hará énfasis en los desafíos únicos que presentan los modelos de IA generativa y se ofrecerán estrategias para abordarlos de manera eficaz. Con la plataforma de Vertex AI de Google Cloud, los participantes aprenderán a implementar los procesos sólidos de evaluación para la selección, optimización y supervisión continua de modelos.
This course delves into the complexities of assessing the quality of large language model outputs. It examines the challenges enterprises face due to the subjective and sometimes incorrect nature of LLM responses, including hallucinations and inconsistent results. The course introduces various evaluation metrics for different tasks like classification, text generation, and question answering, such as Accuracy, Precision, Recall, F1 score, ROUGE, BLEU, and Exact Match. It also explores evaluation methods offered by Vertex AI LLM Evaluation Services, including computation-based, autorater, and human evaluation, providing insights into their application and benefits. Finally, the module covers how to unit test LLM applications within Vertex AI.
Model Garden is a model library that helps you discover, test, and deploy models from Google and Google partners. Learn how to explore the available models and select the right ones for your use case. And how to deploy and interact with Model Garden models through the Google Cloud console and APIs.