Knowledge Distillation
IA & ML · Abismo
Uma técnica para transferir capacidades de um modelo grande 'professor' para um modelo menor 'aluno', tipicamente fazendo o professor gerar um conjunto de dados sintetico no qual o aluno e ajustado (fine-tuning). Modelos destilados podem igualar ou superar o desempenho do professor em tarefas especificas sendo muito mais baratos para implantacao. Comum em 2024-2025 para criar modelos especializados eficientes.