O projeto Biomotion tem como objetivo principal a integração de conhecimento das áreas teóricas da psicofísica, neurofisiologia e computação no tema científico multidisciplinar da Visão. No âmbito da perceção de movimento biológico, propomos estudar o sistema de perceção visual humano, recolher dados psicofísicos e neurofisiológicos, investigar modelos de visão computacional e conceber circuitos eletrónicos integrados inspirados na biologia.

Um dos sentidos mais importantes, encontrados na maioria dos animais e ainda no ser humano, é a visão. É essencialmente através deste sentido que o indivíduo percebe o ambiente que o rodeia, assim como o seu movimento e o de outros indivíduos. A deteção de movimento é uma das faculdades mais evidentes nos sistemas biológicos de visão e a sua importância é vital para a locomoção no meio envolvente, deteção de movimentos de outros seres ou objetos, assim como para todos os aspetos relacionados com mobilidade e ação. Os padrões de movimento biológico são um tipo de estímulo ao qual o sistema visual humano responde de forma rápida e sem qualquer esforço. No entanto, é necessário integrar a perceção de forma e o movimento no córtex visual, com interligações que ainda têm de ser estudadas e identificadas.

As fundamentações para este projeto são as seguintes:

1.Em primeiro lugar, vamos usar paradigmas conhecidos e estabelecidos de perceção visual de movimento para realizar experiências psicofísicas;

2.As experiências ao nível da perceção serão levadas a cabo em ambientes imersivos de realidade virtual com seres humanos e as suas respostas ao nível de perceção, tais como atrasos ao nível da reação, serão anotados em conjunto com outras variáveis neurofisiológicas (ex: potenciais evocados), permitindo uma melhor compreensão da cronometria cortical de processamento de movimento;

3.Em algumas experiências será usada ressonância magnética em indivíduos normais por forma a mapear os circuitos corticais visuais humanos envolvidos na perceção de movimento;

4.Os estímulos sertão usados como inputs para algoritmos de aprendizagem não supervisionados, formulados de acordo com métodos algébricos de alta ordem capazes de caracterizar a sua natureza multidimensional;

5.A partir dos resultados destes métodos, esperamos conseguir obter códigos percetivos esparsos ou “átomos” de codificações neuronais que correspondem, ou pelo menos estão correlacionados com respostas percetivas específicas dos humanos, e dessa forma criar e propor novos modelos computacionais que abrangem a complexidade da perceção biológica de movimento;

6.Inspirado nestes modelos, serão criados algoritmos dinâmicos de processamento e análise de imagem e os mais adequados serão depois implementados em circuitos eletrónicos integrados de sinal misto, por forma a conseguir obter a eficiência energética e computacional necessária;

7.Finalmente, este sistema de visão artificial será avaliado de acordo com as suas respostas e desempenho relativamente ao reconhecimento de padrões de movimento biológico. Se adequadamente formulados e biologicamente plausíveis, os modelos computacionais propostos podem ainda ser usados para levar a cabo novas experiências psicofísicas por forma a confirmar a hipótese sobre mecanismos na perceção de movimento biológico, e assim fechar o ciclo.

Duas tarefas são necessárias por forma a assegurar uma calibração correta do ambiente virtual imersivo, assim como conceber e caracterizar estímulos visuais por forma a prevenir anomalias e interpretações erróneas dos dados experimentais recolhidos.

Os estudos psicofísicos têm como objetivo perceber a estrutura usada para a perceção de movimento biológico. Serão estudados os seguintes aspetos: o papel dos fluxos do córtex visual na deteção e reconhecimento de movimento biológico, a natureza do nível de representação do agente de movimento, a natureza do observador de interações – outros agentes – a influência do ambiente, a integração de sinais auditivos modais transversais e fenómenos de atenção seletiva categórica.

Começando com o tradicional estímulo simplificado de movimento humano (point light walker stimulus), iremos manipular a complexidade estrutural do agente de movimento, mantendo as componentes translacionais. Depois, usando diferentes metodologias (da psicofísica a tarefas de realidade imersiva), iremos focar o papel do ambiente e esquemas motores. As tarefas de modelação de visão computacional e design eletrónico inspirado na biologia sobrepõem-se no tempo com os estudos psicofísicos já que é essencial que as equipas de investigação interajam para atingir os objetivos do projeto.

Para além disso, este projeto irá beneficiar de e contribuir para a criação de instalações apoiadas pelo ultimo programa nacional de reequipamento científico da FCT: a) reequipamento para Sistemas de Visualização na Universidade do Minho (REEQ/821/PSI/2005); b) reequipamento para Servidores Locais e Remotos para Análise de Imagem e Visão Computacional no Instituto de Engenharia Biomédica (REEQ/738/EEI/2005), e c) Rede Nacional de Imagem Médica Funcional envolvendo as Universidades de Aveiro, Coimbra, Minho e Porto.

Pessoas / Instituições

Miguel Velhote Correia, Jorge Almeida Santos, Miguel Castelo-Branco, Vítor Grade Tavares, Aurélio Campilho, Sérgio Nascimento, André Teixeira Puga, Adérito Fernandes Marcos, Aldina Aragonês da Conceição, Pedro Guedes de Oliveira, Sandra Mouta, Ana Catarina Mendonça, Paulo Noriega Machado, Bruno Aragão Henriques, Hugo Gonçalves.

Participating Institutions: Instituto de Engenharia de Sistemas e Computadores do Porto, Faculdade de Engenharia da Universidade do Porto, Universidade do Minho, Instituto Biomédico de Investigação de Luz e Imagem da Universidade de Coimbra, Instituto de Engenharia Biomédica.

Financiamento

Fundação para a Ciência e a Tecnologia (FCT) – PTDC/SAU-BEB/68455/2006

Publicações

2012

• Graewe B, Lemos R, Ferreira C, Santana I, Farivar R, Weerd P, Castelo-Branco M Impaired processing of 3D motion-defined faces in MCI and healthy ageing: an fMRI study, Cerebral Cortex [Epub August 9, 2012] doi:10.1093/cercor/bhs246
• Graewe B, de Weerd P, Farivar R, Castelo-Branco M. Stimulus Dependency of Object-evoked Responses in Human Visual Cortex: An Inverse Problem for Category Specificity PLoS ONE 2012 7(2): e30727
• Mouta S, Santos JA, López-Moliner J. Time-to-passage of biological and complex motion. Journal of Vision, 12(2):21, 1-14 (2012 Feb 27). doi: 10.1167/12.2.21.
• Hugo Gonçalves, Vitor Tavares, Miguel V. Correia, Contrast sensitive photosensor with compressed adaptation current, accepted for presentation at 42nd European Solid-State Device Research Conference & 38th European Solid-State Circuits Conference, Bordeaux, France, September 17-21.
• Ana Catarina Mendonça. Audiovisual Perception of Biological Motion (PhD thesis), Universidade do Minho, Braga, Portugal.

2011

• Mouta S, Santos J. Percepção de velocidade do movimento: mais resistente ao fenómeno de interferência? Estudos de Psicologia (Campinas), 28(4), pp. 475-488.
• Mendonça C, Santos JA, López-Moliner J. The benefit of multisensory integration with biological motion signals. Experimental Brain Research, 213(2-3):185-192. Springer-Verlag (Epub 2011 Mar 19). doi: 10.1007/s00221-011-2620-4.
• Magalhães F, Araújo FM, Correia MV, Abolbashari M, Farahi F. Active illumination single-pixel camera based on compressive sensing. Applied Optics, 50(4):405-414, Optical Society of America (2011 Feb 1). doi: 10.1364/AO.50.000405.
• Mouta S, López-Moliner J, Santos JA. Uncertainty in estimating time-to-passage revealed by reaction times. 34th European Conference on Visual Perception, 28 August - 1 September, Toulouse, France. Perception 40 ECVP Abstract Supplement, page 226.
• Oliveira M, Mendonça C, Santos JA. The effect of rhythmic auditory cues over stepping frequency on a treadmill. 4th Iberian Conference in Perception, 6-8 July, Palma de Mallorca. Spanish Journal of Psychology CIP Abstract Supplement, p.35.
• Mendonça C, Santos JA, Campos G, P. Dias P, Vieira P. On the human adaptation to non-individualized HRTF-based sounds: A longitudinal study. 4th Iberian Conference in Perception, 6-8 July, Palma de Mallorca. Spanish Journal of Psychology CIP Abstract Supplement, p.30.
• Mouta S, Aragão B, Fontes L, Santos JA, Soares E, Correia MV. From human motion capture to biological motion visualization: a new methodology. 4th Iberian Conference on Perception, 6-8 July, Palma de Mallorca, Spain. Spanish Journal of Psychology CIP Abstract Supplement, p.29.
• Santos JA, Silva C, Mendonça C. Motion in depth: audiovisual synchrony perception of walkers as a function of distance and depth cues. 4th Iberian Conference in Perception, 6-8 July, Palma de Mallorca. Spanish Journal of Psychology CIP Abstract Supplement, p.10.
• Castelhano J, Direito B, Graewe B, Rebola J, Farivar R, Rodriguez E, Castelo-Branco M. Support vector machine classification of perceptual states as indexed by Gamma-band activity. 17th Annual Meeting of the Organization for Human Brain Mapping - HBM 2011, Quebec, Canada, June 2011.
• Bernardino I, Castelhano J, Farivar R, Castelo-Branco M. Abnormal visual dorsal stream processing and 3D face perception in a neurodevelopmental disorder. 17th Annual Meeting of the Organization for Human Brain Mapping - HBM 2011, Quebec, Canada, June 2011.
• Yuxi Chen, Quelhas P, Campilho A. Low frame rate cell tracking: A Delaunay graph matching approach. Biomedical Imaging: From Nano to Macro, 2011 IEEE International Symposium on, vol., no., pp.1015-1018, March 30 2011-April 2. doi: 10.1109/ISBI.2011.5872573

2010

• Noriega P, Santos JA. Optical flow and road environments: Implications for ergonomic road design. In D. B. Kaber & G. Boy (Eds.), Advances in Cognitive Ergonomics. Advances in Human Factors and Ergonomics Series (pp. 440-449). Boca Raton, Florida: CRC Press/Taylor & Francis, Ltd.
• Mendonça C, Santos JA. A bi-estabilidade nas representações de movimento humano a partir de estímulos visuais e auditivos. Análise Psicológica, 2, 321-331 (ISSN: 0870-8231).
• Mouta S, Santos JA, López-Moliner J. Combination of image expansion and known size explains time-to- passage of biological motion. 33rd European Conference on Visual Perception, 22-26 August 2010, Lausanne, Switzerland. Perception 39 ECVP Abstract Supplement, p 20.
• Graewe B, Farivar R, de Weerd P, Castelo-Branco M. The MT complex is modulated by temporal and depth saliency of Structure-From-Motion objects. 16th Annual Meeting of the Organization for Human Brain Mapping, Barcelona, Spain, June 2010.
• Castelo-Branco M, Kozak LR, Formisano E, Goebel R. Attention dependent default mode hippocampal deactivation and dissociation from striatal networks. 16th Annual Meeting of the Organization for Human Brain Mapping, Barcelona, Spain, June 2010.
• Rebola J, Castelhano J, Ferreira C, Castelo-Branco M. Separating the sensory, perceptual and motor components of visual decision making. 16th Annual Meeting of the Organization for Human Brain Mapping, Barcelona, Spain, June 2010.
• Castelhano J, Rebola, Rodriguez E, Castelo-Branco M. Gamma-band activity is related to perceptual Eureka effect when observing ambiguous dynamic figures. 16th Annual Meeting of the Organization for Human Brain Mapping, Barcelona, Spain, June 2010.
• Mendonça C, Santos JA, Lopez-Moliner J. Audiovisual walkers are perceived optimally. 11th International Multisensory Research Forum, 16-19 June 2010, Liverpool, UK.
• Gonçalves H, Correia MV. A model of primate photoreceptors. Biosignals 2010, International Conference on Bio-inspired Systems and Signal Processing, Valencia, Spain, 20-23 January 2010, pp. 277-283.
• Mendonça C, Santos JA, Castelo-Branco M, Lopez-Moliner J. Maximum Likelihood predicts velocity integration of audiovisual walkers. 5o Encontro Nacional da Associação Portuguesa de Psicologia Experimental, 26-27 Março 2010, Braga, Portugal.
• Aragão B, Santos JA. Especificidades do movimento biológico: análise dos padrões de aceleração. 5o Encontro Nacional da Associação Portuguesa de Psicologia Experimental, 26-27 Março 2010. Braga, Portugal.
• Mendonça AC, Santos JA, Castelo-Branco M. Maximum likelihood predicts optimal integration of audiovisual walkers. 5o Encontro da Associação Portuguesa de Psicologia Experimental, 26-27 Março 2010, Braga, Portugal.
• Aquisição e Construção de Estímulos de Movimento Biológico. Technical Research Report. Laboratory of Visualization and Perception, Universidade do Minho.
• Vicon2Biomose guide. Technical Research Report. Faculdade de Engenharia da Universidade do Porto.
• WinBiomose guide. Technical Research Report. Faculdade de Engenharia da Universidade do Porto.
• Protocol to Calibrate in Colour and Luminance the CAVE Projection System. Technical Research Report. Centro de Física, Universidade do Minho.
• Paulo Noriega, Efeitos da complexidade ambiental sobre a discriminação de veículos, Dissertação de Doutoramento em Motricidade Humana-Ergonomia, Universidade Técnica de Lisboa, Faculdade de Motricidade Humana, Lisboa, Portugal.

2009

• Castelo-Branco M, Kozak LR, Formisano E, Teixeira J, Xavier J, Goebel R. The type of featural attention differentially modulates hMT responses to illusory motion aftereffects. J Neurophysiology 2009.
• Kozak LR, Castelo-Branco M. Peripheral influences on motion integration in foveal vision are modulated by central local ambiguity and center-surround congruence. Invest Ophthalmol Vis Sci. 2009, 50(2):980-8.
• Aragão B, Mendonça C, Fontes L, Santos JA. Temporal sampling in the perception of biological motion. 32nd European Conference on Visual Perception, 24-28 August 2009, Regensburg, Germany. Perception 38 ECVP Abstract Supplement, p. 84.
• Aragão B, Fontes L, Pereira E, Santos JA, Soares E, Correia MV. Translational biological motion stimuli for perceptual research. 3rd Iberian Conference on Perception, 8-10 July 2009, Guimarães, Portugal. Spanish Journal of Psychology CIP Abstract Supplement, p. 2.
• Santos JA, Mendonça C, Murteira C, Ferreira JP, Dias P, Campos G. Learning to listen through another person ́s ears: a study of learning curves using non-individualized hear-related transfer functions. 3rd Iberian Conference on Perception, pp. 73, 8-10 July 2009, Guimarães, Portugal. Spanish Journal of Psychology CIP Abstract Supplement, p. 7.
• Santos JA, Mouta S, Mendonça C, Ferreira J. Multimodal perception and action in biological motion. 3rd Iberian Conference on Perception, 8-10 July 2009, Guimarães, Portugal. Spanish Journal of Psychology CIP Abstract Supplement, p. 2.
• Mendonça C, Santos AS, Castelo-Branco M. Does maximum likelihood integration predict how we perceive walking humans? A study on the audiovisual integration of biological motion. 10th International Multisensory Research Forum, 28 June - 2 July 2009, New York City, USA.
• Hugo Gonçalves. Biologically Inspired Motion Chips. Technical Research Report. Faculdade de Engenharia da Universidade do Porto.
• Sandra Mouta, Translational biological motion: speed perception, time-to-contact and time-to-passage estimations (PhD thesis), Universidade do Minho, Braga, Portugal.

2008

• Mendonça C, Santos JA. Auditory footsteps affect visual biological motion orientation detection. 31st European Conference of Visual Perception, 24-28 August 2008, Utrecht, The Netherlands. Perception 37 ECVP Abstract Supplement, p. 109.
• Mouta S, Santos JA. The role of (other or self-) reference in the perception of expanding biological motion. 31st European Conference of Visual Perception, 24-28 August 2008. Utrecht, The Netherlands. Perception 37 ECVP Abstract Supplement, p. 156.
• Mendonça AC, Santos JA. Auditory footsteps affect visual biological motion orientation detection. 9th International Multisensory Research Forum, 16-19 July 2008, Hamburg, Germany.
• Santos JA, Mendonça C. Integração de som auralizado num sistema de realidade virtual. 10o Encontro da Associação Portuguesa de Engenharia do Ambiente. Lisboa, Portugal.