Poster 908 Lilia Forte e Cristina Carvalho
POSTER
Análise dos procedimentos metodológicos na avaliação das competências interculturais
Lilia A. Simões Forte
Doutoranda, Universidade de Ottawa (Canada)
Introdução
A globalização e a migração de indivíduos têm provocado mudanças políticas, culturais, económicas e educativas. Consequentemente, as instituições de ensino e as salas de aula tornaram-se cada vez mais heterogéneas em termos culturais, o que traz alguns desafios, nomeadamente no que diz respeito às interações culturais e ao bem-estar social (Huang & Brown, de 2009, Stevenson & Willott, 2010). Por isso, muitos esforços são feitos para lidar com esta diversidade nas universidades. Várias intervenções são implementadas, incluindo atividades informais ou programas específicos de desenvolvimento de competências interculturais (De Wit, 2009).
No entanto, existe pouca literatura sobre a qualidade do processo de avaliação. Este é um aspeto muito importante para garantir a sustentabilidade dos programas e, consequentemente, melhorar o desenvolvimento da competência intercultural (Sternberger et al., 2009). É por isso que devemos olhar com uma perspectiva crítica para o valor dos instrumentos e métodos de avaliação utilizados neste contexto (Deardorff, 2006; van de Vijver & Leung, 2009).
Objetivos
Os objetivos deste trabalho que ainda se encontra em progresso consistem em: (1) proceder a uma revisão da literatura para identificar as principais recomendações para avaliar a competência intercultural de forma válida e eficaz, e (2) responder à pergunta de investigaçao seguinte: Como é que os investigadores e profissionais aplicam os dispositivos de avaliação para medir a competência intercultural?
Quadro teórico
Nesta parte, apresentamos uma definição de competência intercultural, assim como as principais recomendações feitas por diferentes autores para avaliar este constructo complexo.
Competências interculturais
As competências interculturais são um conjunto de habilidades analíticas que se traduzem numa série de interpretações e ações dos indivíduos nas suas interações com pessoas de outras culturas. Estas habilidades incluem o conhecimento geral assim como a sensibilização perante as diferenças culturais, o que leva a uma mudança de atitudes e de comportamentos (Barmeyer, 2004).
Recomendações para a avaliação da competência intercultural
Na literatura, foi identificada a importância da triangulação e especialmente a aplicação de metodologias mistas (Deardorff, 2006;. Fantini, 2009, van de Vijver & Leung, 2009). De facto, para avaliar constructos multidimensionais e complexos, a metodologia deve reflectir uma postura interna e externa. Embora as abordagens quantitativa e qualitativa pareçam opostas, elas podem complementar-se e serem integradas em conjunto na prática (Cresswell, 2009). Além disso, os métodos híbridos podem aumentar a validade e a fidelidade da investigação (Kim, 2001). Recomenda-se a utilização de instrumentos que tenham boas propriedades psicométricas (Cicchetti, 1994), assim como a aplicação de métodos de avaliação direta (específicos para um tempo definido, anunciados, tais como os testes, questionários, etc.) e os métodos de avaliação indireta (avaliação esporádica e nem sempre óbvia, como a observação, apontamentos sobre o desempenho, etc.) (Fantini, 2009).
A competência deve ser vista como um processo (Tardif, 2006). Assim, a recolha de dados sistemática torna-se mais adequada. Por sua vez, Le Boterf (2010) aconselha avaliar por simulação porque permite a obtenção de dados num contexto autêntico.
Além disso, a sensibilidade dos dados requer a implementação de práticas de avaliação que evitam as ameaças à validade (ex.desiderabilidade social), mas também os danos ou o desconforto moral que podem sentir os participantes (Lustig & Spitzberg, 1993).
Para concluir esta parte, os desafios na avaliação mencionados nas linhas anteriores não são novos e também se aplicam a outros constructos tais como o conceito de competência em geral. Além disso, a qualidade dos instrumentos de avaliação por si só não implica o sucesso de um programa de desenvolvimento das competências, contudo continua um aspeto importante.
Métodos e Procedimentos
Para concretizar os objectivos propostos, a metodologia foi inspirada no trabalhos de Gaudreau (2011) e Mendenhall et al. (2004). Pretendemos apresentar uma análise crítica dos métodos de avaliação utilizados nos programas de desenvolvimento de competências interculturais em contexto universitário. Assim, tendo em conta as recomendações mencionadas na parte anterior (Cicchetti, 1994; Deardorff, 2006; Fantini, de 2009, Kim, 2001; Le Boterf, 2010;. Lustig & Spitzberg, 1993, Mendenhall et al, 2004, van de Vijver & Leung, 2009), desenvolvemos uma grelha de critérios que permite uma análise de conteúdo da seção de metodologia de artigos científicos que descrevem vários programas de desenvolvimento da competência intercultural.
Fontes de dados
Foi realizada uma amostragem sistemática de artigos científicos publicados em inglês e francês, entre 2000 e 2012. Acedemos ao banco de dados da Universidade de Ottawa (CBCA, ERIC, Proquest, e-Journals Portal). As palavras-chave foram: programas, competência intercultural, estudantes. Para manter a coerência com os objectivos do presente estudo, foram apenas incluídos os artigos que se interessavam nos estudantes universitários. Além disso, nenhum autor foi listado duas vezes e foram considerados artigos publicados em revistas que continham uma componente metodológica, pois alguns só apresentavam uma descrição dos programas. No final, selecionámos um total de 32 artigos.
Limitações metodológicas
Os procedimentos descritos neste documento representam um inventário preliminar dos métodos e instrumentos utilizados em programas de desenvolvimento da competência intercultural. Reconhecemos várias limitações do ponto de vista metodológico. Primeiro, as bases de dados consultadas não fornecem uma visão abrangente de todas as avaliações de programas realizadas com estudantes universitários. Além disso, a amostra considerada para esta análise é muito pequena para fazer generalizações. Em terceiro lugar, é necessário continuar o estudo e obter o índice de confiabilidade entre avaliadores (Krippendorff, 2004). Finalmente, é necessário prosseguir a investigação em outras bases de dados para uma melhor visão do trabalho em vários países e continentes.
Resultados preliminares
Os resultados apresentados nesta seção foram obtidos a partir de uma análise de conteúdo. Assim, nos 32 artigos analisados, verificou-se que a maioria dos artigos obtidos emprega uma metodologia qualitativa (n = 18) e que apenas cinco artigos apresentam uma metodologia mista. A análise descritiva também mostrou que a maioria dos estudos nos artigos analisados consistiam numa investigação transversal simples (n = 22). Além disso, alguns estudos eram do tipo pre-teste/pós-teste (n = 7) e outros eram longitudinais (n = 3).
No que diz respeito aos instrumentos utilizados em diferentes estudos, descobrimos que havia uma grande variedade. A este respeito, os instrumentos mais utilizados são entrevistas (n = 11), focus group (n = 10), questionários (n = 10) e sondagens (n = 10). Poucos estudos empregam métodos como as simulações (n = 2), os incidentes críticos (n = 2) ou as grelhas de observação (n = 0).
Tendo em conta as recomendações mencionadas na seção anterior, constata-se que um grande número de estudos apresentam uma triangulação (n = 18). No entanto, apenas parte deles atende à recomendação de Fantini (2009) que diz que devemos combinar métodos diretos e indiretos. Além disso, poucos estudos fornecem informações sobre a qualidade dos instrumentos, ou sobre o processo de validação. Por exemplo, apenas cinco estudos fornecem informações sobre a validade e fidelidade dos instrumentos, e um estudo relatou ter consultado os juízes para a construção do instrumento. Por fim, apenas três estudos relataram a importância de considerar os aspetos culturais como assunto sensível e a necessidade de ajustar o comportamento do investigador.
Discussão e conclusão
Notamos que existe uma variedade de instrumentos utilizados em programas de desenvolvimento da competência intercultural. No entanto, a escolha de métodos ou dos instrumentos nem sempre é adequada. Portanto, a validade e a fidelidade da investigação nem sempre são garantidas. Além disso, para além de considerar aspetos metodológicos, é essencial não esquecer a componente ética, que é a base de estudos que abordam os aspetos culturais. É por isso que temos de levar em conta os aspetos sensiveís na metodologia, incluindo as interações entre os avaliadores e os participantes, mas também sobre o impacto que as práticas de avaliação pode ter (ex. moral, valores, etc.). Isto deve estar presente na descrição da metodologia utilizada para assegurar a reprodutibilidade da investigação.
Referências
Barmeyer, C. (2004). Peut-on mesurer les compétences interculturelles ? Une étude comparée France - Allemagne - Québec des styles d'apprentissage. Dans G. Simard & G. Lévesque (Dir.). La GRH mesurée! Actes XVe congrès AGRH (pp. 1435-1462), Montréal 2004.
Cicchetti, D. (1994). Guidelines, criteria and rules of thumbs for evaluating norms and standardized assessment instruments in psychology. Psychological Assessment, 6, 284-290.
Cresswell, J.W. (2009). Research design: Qualitative, quantitative and mixed methods approaches. London: SAGE.
Deardorff, D.K. (2009). The Sage Handbook of Intercultural Competence. Thousand Oaks: SAGE.
Deardorff, D. (2006). Identification and Assessment of Intercultural Competence as a Student Outcome of Internationalization. Journal of Studies in International Education, 10(3), 241-266.
De Wit, H.(2009). Global Citizenship and Study Abroad: A European Comparative Perspective. In R. Lewin (Dir.), The Handbook of Practice and Research in Study Abroad: Higher Education and the Quest for Global Citizenship (pp. 212-229). New-York: Routledge.
Fantini, A. E. (2009). Assessing Intercultural Competence: Issues and Tools. In Deardorff, D.K. (Dir.). The Sage Handbook of Intercultural Competence (pp.456-476). Thousand Oaks: SAGE.
Gaudreau, L.(2011). Guide pratique pour créer et évaluer une recherche scientifique en éducation. Montréal : Guérin Éditeur.
Huang, J. & Brown, K. (2009): Cultural factors affecting chinese ESL student’s academic learning. Education, 129(4), pp. 643 – 653.
Krippendorff, K. (2004). Content Analysis: An Introduction to Its Methodology. Thousand Oaks: Sage.
Kim, Y. Y. (2001). Becoming Intercultural : an integrative theory of communication and cross-cultural adaptation. Thousand Oaks: Sage.
Le Boterf, G. (2010). Repenser la compétence. Paris : Groupe Eyrolles.
Lustig, M. W. & Spitzberg, B. H. (1993). Methodological issues in the study of intercultural communication competence. Dans R. L. Wiseman & J. Koester (Dir.). Intercultural communication competence (pp. 153-167). Newbury Park: Sage.
Mendenhall, M., Stahl, G., Ehnert, I., Oddou, G., Osland, J. & Kuhlmann, T. (2004). Evaluation studies of cross-cultural training programs; a review of the literature from 1988 to 2000. In D. Landis, J. Bennett & M. Bennett (Dir). Handbook of Intercultural Training (3e ed.) (pp. 129-143). Thousand Oaks: SAGE.
Messick, S. (1995). Validity of psychological assessment: Validation of inferences from persons’ responses and performances as scientific inquiry into score meaning. American Psychologist, 50, 741-749.
Stevenson, J. & Willott, J. (2010). Refugees: Home Students with International Needs. In E. JONES (Ed.). Internationalisation and the Student Voice: Higher Education Perspectives. New York, NY: Routledge.
Tardif, J. (2006). L’évaluation des compétences: documenter le parcours de développement. Montreal : Chenelière Education.
van de Vijver, F. J. R. & Leung, K. (2009). Methodological Issues in researching Intercultural Competence. In Deardorff, D.K. (Dir.). The Sage Handbook of Intercultural Competence (pp.404-418). Thousand Oaks: SAGE.
