Projet porté par Catherine Pelachaud, professeur, Université Paris 8.

 

L’attention portée aux gestes dans la communication multimodale : visibilité, déchiffrage et utilités pragmatiques

 
APOGESTE, 2007

Accueil > Soutien à la recherche > Pilotage d’appels à projets CNRS > Projets retenus > 2007

 

Projet

Évaluer la pertinence des signaux non verbaux dans les processus d’argumentation, de compréhension, d’apprentissage chez l’adulte, l’enfant, l’interlocuteur des agents conversationnels animés. Identifier les propriétés physiques et indicielles des gestes entraînant ou non une modification de l’attention visuelle : morphologie, mouvement, localisation, traits différentiels.

Disciplines

Psychologie des interactions et développementale, Sciences du langage, Modélisation d’agent conversationnel animé, ergonomie des interfaces.

Partenaires

  • Jean Caelen, Guy Barrier, Laboratoire Informatique de Grenoble
  • Michèle Guidetti, Université Toulouse Mirail
  • Jean-Marc Colletta, Université Grenoble Mendès-France
  • Dominique Boutet, Université Paris 8
  • Claire Maury-Rouan, Marion Tellier , Université de Provence
  • Jacques Cosnier, Université Lyon 2
  • Fabienne Martin-Juchat , Université Stendhal - Grenoble3

Réalisations

Organisation de manifestations scientifiques

Congrès international Multimodalité de la communication chez l’enfant : gestes, émotions, langage et cognition Multimod 2009, Université Toulouse 2, 9-11 juillet 2009.

Séminaire « Méthodes d’annotation gestuelle dans l’analyse des données multimodales », Paris, 22-23 mai 2008

Séminaire « Attention allouée aux gestes », Grenoble, 22-23 janvier 2009

Publications

Coordination de revues

Boutet, D., Cuxac, C. (coord.), « Le signifiant gestuel : langue des signes et gestualité co-verbale », Cahiers de Linguistique Analogique, no 5, décembre 2008.

Guidetti M., Nicoladis E. (coord.), « Gestures and communicative development », First Language, vol. 28(2), mai 2008.

Articles de revues à comité de lecture

Colletta, J.M., Pellenq, C., Guidetti, M., « Age related changes in co-speech gestures and narratives : evidence from French children and adults », Speech Communication, vol. 52, no 6, 2010, p. 565-576.

Boutet D., Fusellier-Souza I., Sallandre M-A., « Gestualité humaine et langues des signes : entre continuum et variations », Langage et Société, no 131, 2010, p. 55-74.

Colletta J.-M., « Comparative analysis of children’s narratives at different ages : A multimodal approach », Gesture, vol. 9, no 1, 2009, p. 61-96.

Tellier M., « The effect of gestures on second language memorisation by young children », Gesture, vol. 8, no 2, John Benjamins Publishing Company, Amsterdam, 2008, p. 219-235.

Boutet D., Cuxac C., « Introduction », Cahiers de linguistique analogique, no 5, décembre 2008.

Boutet D., « Une morphologie de la gestualité : structuration articulaire », Cahiers de linguistique analogique, no 5, décembre 2008.

Tellier M., « Dire avec des gestes », Le Français dans le monde. Recherches et applications, no 4, juillet 2008, p. 40-50.

Guidetti M., Nicoladis E., « Introduction to special issue : gestures and communicative development », First Language, vol. 28(2), mai 2008, p. 107-115.

Boutet D., Garcia B., « Compositionnalité morpho-phonétique de la langue des signes française (LSF) et exploration des relations structurales entre paramètres », TAL, vol. 48, 2007

Ech Chafai N., Pelachaud C., Pelé D., « A case study of gesture expressivity breaks » , Language Resources and Evaluation, vol. 41, numbers 3-4, 2007, p. 341-365.

Contributions à ouvrages collectifs

Tellier M., « Usage pédagogique et perception de la multimodalité pour l’accès au sens en langue étrangère », in Bergeron R., Plessis-Belaire G., Lafontaine L. (eds), La place des savoirs oraux dans le contexte scolaire d’aujourd’hui, Montréal, Presses Universitaires du Québec, 2009, p. 223-245.

Tellier M., « The development of gesture », in De Bot K. and Schrauf R. (eds.), Language development over the life-span, Routledge Taylor and Francis, 2009, p. 191-216.

Colletta J.-M., Pellenq C., « The development of multimodal explanations in French children », in Nippold M., Scott C., Expository Discourse in Children, Adolescents, and Adults : Development and Disorders, Routledge Taylor and Francis, 2009.

Guidetti M., « Children gesture before they begin to talk : questions raised from an evolutionary perspective », in S. Kern, F. Gayraud and E. Marsico (eds), Emergence of Linguistic Abilities, Newcastle, Cambridge Scholars Publishing, 2008, p. 30-42.

Tellier M., « L’usage des gestes en langue étrangère : quel effet sur la compréhension auprès de jeunes enfants ? » in Feuillet J., Les enjeux d’une sensibilisation très précoce aux langues étrangères en milieu institutionnel, Crini, Université de Nantes, 2008.

Guidetti M.,« L’émergence des compétences pragmatiques chez le jeune enfant : aspects gestuels et linguistiques », in G. Chasseigne (ed), Cognition, santé et vie quotidienne, Paris, Publibook, 2007, p. 149-168.

Conférences sur invitation

Guidetti M., « Comment l’émergence d’un système de communication donne forme à la pensée du jeune enfant », congrès international Psychologie du développement, culture et sémiotique, Lausanne, 9-12 décembre 2009.

Guidetti, M., « Formes et fonctions du pointage chez l’enfant », colloque international Du geste au signe : le pointage dans les langues orales et signées, Lille, 4-5 juin 2009.

Barrier G., « La place du corps virtuel et des avatars conversationnels en eLearning », conférence internationale eLearning Africa 2009, Dakar, 27-29 mai 2009.

Guidetti M., « Early pragmatic development : how young French children combine gestures and speech to agree and refuse », Workshop on Pragmatic Development, Lyon, 22 avril 2009.

Guidetti M., Dessalles J.L., « Quelles contraintes pragmatiques pour le langage et la communication ? », colloque international Langage et Cognition, Paris, 1-2 octobre 2008.

Guidetti M. (2008), « Gestures and pragmatic development in the preschool years », Gesture seminar, Max-Planck Institute for Psycholinguistics, Nijmegen, Pays-Bas, 3 juin 2008.

Guidetti M., « Children gesture before beginning to talk : some issues for developmental pragmatics », Post-Graduation Program of Psychology of the Psychology Institute de l’Universidade Federal do Rio Grande do Sul, Porto Alegre, Brésil, 2 avril 2007.

Communication avec actes dans des congrès internationaux

S. Kubicki, S. Lepreux, Y. Lebrun, Ph. Dos Santos, C. Kolski, J. Caelen, « New Human-Computer Interactions Using Tangible Objects : Application on a Digital Tabletop with RFID Technology », HCI International, San Diego, juillet 2009.

Garcia, B., Fusellier-Souza, I., Sallandre, M-A., Boutet, D., L’huillier, M-T., Courtin, C., Balvet. A., « The CREAGEST Project (ANR) : Linguistic and methodological issues involved in crating a corpus of French Sign Language (LSF) and natural gesture », in Sign Language Corpora : Linguitic Issues Workshop, London UCL, 24-25 juillet 2009.

A. Pellegrin, J. Caelen, « Picture viewing and picture description for environmental amenities », SWAET’09, Stavanger, mai 2009.

A.M. Pez, C. Pelachaud, Zhenbo Li, P. Horain, « Creating a library of gestures with variants », Gesture Workshop 2009, Bielefeld, février 2009.

Colletta J.-M., « Unités et structures du texte : l’éclairage de l’étude des textes parlés enfantins », colloque international de linguistique « Le Texte : modèles, méthodes, perspectives », Cluj-Napoca, Roumanie, 25-27 septembre 2008.

Guidetti M., Nicoladis, E., « The origins and functions of infants’ gestures : a harbinger of linguistic development », XIth International Congress for the Study of Child Language (IASCL), Edinburgh, août 2008, p. 140-142.

Colletta J.-M., Pellenq C., Rousset I., « Évolution du débit de parole chez l’enfant francophone dans des tâches narrative et conversationnelle », XXVIIe Journées d’Etude de la Parole (JEP’08), Avignon, 9-13 juin 2008.

Colletta J.-M., Kunene R., Venouil A., Tcherkassof A., « Double level analysis of the multimodal expressions of emotions in human-machine interaction », LREC 2008 Workshop on Multimodal Corpora, Marrakech, 26-27 mai 2008.

Colletta J.-M., Venouil A., Kunene R., Kaufmann V., Simon J.-P., « Multitrack annotation of child language and gestures », LREC 2008 Workshop on Multimodal Corpora, Marrakech, 26-27 mai 2008.

M. Mancini, C. Pelachaud, « Distinctiveness in multimodal behaviors », Seventh International Joint Conference on Autonomous Agents and Multi-Agent Systems, AAMAS’08, Estoril, Portugal, mai 2008, 8 p.

Guidetti M., Grandaty M. and Falbat-Gastal C., « Gestures and speech in the preschool years : a multimodal and pragmatic approach », 3rd International Conference of the International Society of Gesture Studies, Evanston, juin 2007, p 13.

Communication avec actes dans des congrès nationaux

F. Jambon, B. Meillon, C. Perrot, J. Caelen, M. Harshé, « Création d’une plate-forme d’utilisabilité/usage : objectifs, réalisation, usages et retours d’expérience », 21e conférence francophone sur l’interaction homme-machine (IHM’09), Grenoble, 13-16 octobre 2009, 4 p.

J. Caelen, A. Pellegrin, « Analyse cognitive des aménités environnementales », congrès EPIQUE’2009, Nice, septembre 2009, 8 p.

Fibigerova K., Guidetti M., Sulova L., « Effet de la culture et de la langue sur le développement de la gestualité coverbale : une comparaison entre locuteurs tchèques et français d’âge différent », Congrès national de la Société française de psychologie, Toulouse, 17-19 juin 2009.

S Baillaud, J. Caelen, « La traçabilité d’une interface tangible, à l’aide d’une base de données spatio-temporelle », Interactions, Contextes et Traces : Modèles, Méthodes et Applications exploitant les traces d’activités (ICT 2009), Caen, mars 2009, 12 p.

Mancini, M., Niewiadomski, R., Bevacqua, E., Pelachaud, C., « Greta : a SAIBA compliant ECA system », 3e workshop francophone sur les agents conversationnels animés (WACA’08), Paris, France, 28 novembre 2008.