Regularização de uma Máquina de Aprendizado Extremo Usando a Norma ℓr,p
Resumo
O processo de aprendizado das redes neurais pode ser altamente custoso computacionalmente em certas situações, já que todos os parâmetros dessas redes são ajustados iterativamente. Uma solução proposta para resolver esta questão são as máquinas de aprendizado extremo (sigla ELM, do inglês). Estas são redes neurais do tipo feedforward de uma única camada escondida, em que os pesos entre a entrada e a camada escondida são aleatórios, enquanto os pesos entre a camada escondida e a saída são determinados analiticamente usando mínimos quadrados. Em teoria, esse algoritmo tende a fornecer um bom desempenho de generalização em uma velocidade de aprendizado extremamente rápida. [...]
Downloads
Referências
Guang-Bin Huang, Qin-Yu Zhu e Chee-Kheong Siew. “Extreme learning machine: theory and applications”. Em: Neurocomputing 70.1-3 (2006), pp. 489–501.
Rui Li et al. “l2,1 Norm Based Loss Function and Regularization Extreme Learning Machine”. Em: IEEE Access 7 (2018), pp. 6575–6586.
José Mario Martınez e Sandra Augusta Santos. “Métodos computacionais de otimização”. Em: Colóquio Brasileiro de Matemática, Apostilas 20 (1995).
Feiping Nie et al. “Efficient and robust feature selection via joint l2,1 norms minimization”. Em: Advances in neural information processing systems 23 (2010).
