Knowledge Distillation
IA & ML · Abismo
Una técnica para transferir capacidades de un modelo 'maestro' grande a un modelo 'estudiante' más pequeno, tipicamente haciendo que el maestro genere un conjunto de datos sintetico sobre el cual se ajusta finamente el estudiante. Los modelos destilados pueden igualar o superar el rendimiento del maestro en tareas especificas mientras son mucho más baratos de desplegar. Comun en 2024-2025 para crear modelos especializados eficientes.