Constitutional AI
IA & ML · Abismo
Una técnica de alineacion desarrollada por Anthropic donde un modelo de IA es guiado por una 'constitucion' (un conjunto de principios explicitos que definen el comportamiento permitido y no permitido) en lugar de depender unicamente de retroalimentacion humana. El modelo critica y revisa sus propias salidas contra estos principios. Los Constitutional Classifiers extienden esto entrenando clasificadores de entrada/salida que detectan violaciones de politicas a bajo costo computacional.