Constitutional AI
IA & ML · Abismo
Uma técnica de alinhamento desenvolvida pela Anthropic onde um modelo de IA e guiado por uma 'constituicao' — um conjunto de principios explicitos definindo comportamentos permitidos e não permitidos — em vez de depender exclusivamente de feedback humano. O modelo critica e revisa suas proprias saidas contra esses principios. Constitutional Classifiers estendem isso treinando classificadores de entrada/saida que detectam violacoes de politica com baixo custo computacional.