Experimentos de aprendizado por reforço para micro nadadores articulados virtuais

Autores

  • Luciano D. A. de Souza
  • Gustavo C. Buscaglia
  • Roberto F. Ausas
  • Stevens Paz

DOI:

https://doi.org/10.5540/03.2023.010.01.0052

Palavras-chave:

Micro nadador, Elementos Finitos, Navier-Stokes, Aprendizado por Reforço, Q-Learning

Resumo

Nos últimos anos, os micros nadadores (biológicos ou sintéticos) têm atraído a atenção de muitos pesquisadores em todo o mundo devido às suas aplicações na medicina e na indústria. O desenvolvimento de robôs nadadores em micro ou nanoescala traz os benefícios de acessar locais pequenos e interagir com os elementos neste ambiente particular. Para poder nadar em micro escala, é necessário aprender estratégias de propulsão eficientes. Neste trabalho, discutiremos um modelo de elementos finitos de micro nadadores que serão treinados por um algoritmo de aprendizado por reforço para executar algumas tarefas simples. O modelo de elementos finitos resolve o problema de interação do fluido com a estrutura sólida e o algoritmo de aprendizado por reforço é o Q-Learning. Os resultados irão ilustrar estatisticamente o comportamento do micro nadador em cada uma das tarefas aprendidas.

Downloads

Não há dados estatísticos.

Biografia do Autor

Luciano D. A. de Souza

ICMC/USP, São Carlos, SP

Gustavo C. Buscaglia

ICMC/USP, São Carlos, SP

Roberto F. Ausas

ICMC/USP, São Carlos, SP

Stevens Paz

Departamento de Matemáticas/Universidad del Valle, Calle, Cali, Colombia

Referências

T. J. Pedley e J. O. Kessler. “Hydrodynamic Phenomena in Suspensions of Swimming Microorganisms”. Em: Annual Review of Fluid Mechanics 24.1 (1992), pp. 313–358. doi: 10.1146/annurev.fl.24.010192.001525.

JingRan Qiu et al. “Swimming strategy of settling elongated micro-swimmers by reinforcement learning”. Em: Science China Physics, Mechanics & Astronomy 63.8 (2020). doi: 10.1007/s11433-019-1502-2.

Stevens Sánchez e Gustavo Buscaglia. “Simulating squirmers with volumetric solvers”. Em: Journal of the Brazilian Society of Mechanical Science and Engineering (2020).

Paula Jaíne Alves da Silva et al. Aprendizado de estratégias de propulsão de micro-nadadores a baixo número de Reynolds. 2022. doi: 10.5540/03.2022.009.01.0238.

Richard S. Sutton e Andrew G. Barto. Reinforcement Learning: An Introduction. A Bradford Book, 2018. isbn: 0262039249.

C. Taylor e P. Hood. “A numerical solution of the Navier-Stokes equations using the finite element technique”. Em: Computers & Fluids 1.1 (1973), pp. 73–100. doi: https://doi.org/10.1016/0045-7930(73)90027-3.

Joseph Wang e Wei Gao. “Nano/Microscale Motors: Biomedical Opportunities and Challenges”. Em: ACS nano 6 (2012), pp. 5745–51. doi: 10.1021/nn3028997.

Downloads

Publicado

2023-12-18

Edição

Seção

Trabalhos Completos