In collaboration with Payame Noor University and Iranian Electronic Learning Association

Document Type : scientific-research

Author

Associate Professor , Departamento de Letras Modernas, State University of Sao Paulo (UNESP), Campus of Sao Jose do Rio Preto, Brazil

Abstract

Abstract
In this article I review principles and practical aspects of language assessment in foreign language (FL) learning, more specifically with a focus on Computer-Assisted Language Learning (CALL) and other contexts in which computers are used as a means for distance learning and for language assessment (Computer-Aided Assessment - CAA). Assessment constitutes an essential dimension of learning experiences and it is an aspect of most formal processes of language teaching and learning. Language assessment may involve language testing, as well as other procedures and instruments such as observations, performance tasks, portfolios and self-evaluation, and by combining information from various sources of assessment one is able to obtain more valid and reliable results. I draw on the literature on CALL and on language assessment, and on data collected within the scope of the Teletandem Brazil Project: foreign languages for all (henceforth TBP), to support my position on principles that may or may not characterize language assessment in the context of teletandem interactions. CAA is defined as any type of activity in which computers are used to support a process of assessment apart from and beyond their simple function to store and transmit information. CAA helps faster assessment, increases the quality and quantity of information detected and maximizes the provision of feedback about language assessment processes. In the TBP project, undergraduate students from a Brazilian university interacted with students from universities abroad, by means of computer programmes for synchronous communication, microphones and webcams. Besides the claims about CALL from the literature, I make reference to teletandem interactions in both EFL and Portuguese as a foreign language, considering occasions in which teletandem agents evaluate each other linguistic performances. I also analyse a questionnaire for evaluation in teletandem, which does not focus on language assessment but rather on the experience of interacting in the teletandem context and on the tools used for communication. No clear distinctions were found to exist between CAA and more traditional procedures for language assessment. Principles for CAA seem to combine traditional bases for language assessment and testing with a number of pedagogical principles that underpin distance learning. Nevertheless, CALL and CAA can contribute in various aspects of language education, especially when large numbers of learners are involved in teaching and learning processes. However, these principles do not characterize a new paradigm in language assessment, since the linguistic criteria on which teletandem agents base their evaluation are very similar to criteria that underpin language assessment and testing by means of paper-and-pencil tests, for example. I conclude the article indicating the need for further investigation and the establishment of principles for language assessment in electronic contexts. 

Keywords

Article Title [Persian]

زبان های خارجی و یادگیری به کمک کامپیوتر: اصول جدید برای ارزیابی زبان در تلگرام؟

Abstract [Persian]

در این مقاله به بررسی اصول و جنبه‌های عملی ارزیابی زبان در یادگیری زبان‌های خارجی (FL) می‌پردازم، به‌ویژه با تمرکز بر یادگیری زبان به کمک رایانه (CALL) و سایر زمینه‌هایی که در آن رایانه‌ها به عنوان ابزاری برای یادگیری از راه دور استفاده می‌شوند. ارزیابی زبان (Computer-Aided Assessment - CAA). ارزشیابی یک بعد اساسی از تجربیات یادگیری را تشکیل می دهد و جنبه ای از اکثر فرآیندهای رسمی آموزش و یادگیری زبان است. ارزیابی زبان ممکن است شامل آزمون زبان و همچنین روش‌ها و ابزارهای دیگر مانند مشاهدات، وظایف عملکرد، نمونه کارها و خودارزیابی باشد و با ترکیب اطلاعات از منابع مختلف ارزیابی، فرد می‌تواند به نتایج معتبرتر و قابل اعتمادتری دست یابد. من از ادبیات مربوط به CALL و ارزیابی زبان و داده‌های جمع‌آوری‌شده در محدوده پروژه Teletandem برزیل استفاده می‌کنم: زبان‌های خارجی برای همه (از این پس TBP)، برای حمایت از موضع خود در مورد اصولی که ممکن است مشخصه ارزیابی زبان باشند یا نباشند. زمینه تعاملات تله تاندم CAA به عنوان هر نوع فعالیتی تعریف می شود که در آن رایانه ها برای پشتیبانی از فرآیند ارزیابی جدا از و فراتر از عملکرد ساده آنها برای ذخیره و انتقال اطلاعات استفاده می شوند. CAA به ارزیابی سریعتر کمک می کند، کیفیت و کمیت اطلاعات شناسایی شده را افزایش می دهد و ارائه بازخورد در مورد فرآیندهای ارزیابی زبان را به حداکثر می رساند. در پروژه TBP، دانشجویان مقطع کارشناسی از یک دانشگاه برزیل با استفاده از برنامه های کامپیوتری برای ارتباطات همزمان، میکروفون و وب کم با دانشجویان دانشگاه های خارج از کشور تعامل داشتند. علاوه بر ادعاهای مربوط به CALL از ادبیات، من به تعاملات تله‌تاندم در هر دو زبان انگلیسی و پرتغالی به عنوان یک زبان خارجی اشاره می‌کنم، با توجه به مواردی که در آن عوامل تله‌تاندم عملکردهای زبانی یکدیگر را ارزیابی می‌کنند. من همچنین پرسشنامه‌ای را برای ارزیابی در تله‌تاندم تحلیل می‌کنم که بر ارزیابی زبان تمرکز نمی‌کند، بلکه بیشتر بر تجربه تعامل در زمینه تله‌تندم و ابزارهای مورد استفاده برای ارتباط متمرکز است. هیچ تمایز واضحی بین CAA و روش های سنتی تر برای ارزیابی زبان یافت نشد. به نظر می رسد اصول CAA پایه های سنتی ارزیابی و آزمون زبان را با تعدادی از اصول آموزشی که زیربنای یادگیری از راه دور هستند، ترکیب می کند. با این وجود، CALL و CAA می‌توانند در جنبه‌های مختلف آموزش زبان کمک کنند، به‌ویژه زمانی که تعداد زیادی از زبان‌آموزان درگیر فرآیندهای آموزش و یادگیری هستند. با این حال، این اصول یک پارادایم جدید در ارزیابی زبان را مشخص نمی‌کنند، زیرا معیارهای زبانی که عوامل تله‌تندم ارزیابی خود را بر اساس آن‌ها انجام می‌دهند، بسیار شبیه به معیارهایی است که برای مثال، با استفاده از آزمون‌های کاغذی و مدادی، زیربنای ارزیابی و آزمون زبان است. مقاله را به پایان می رسانم که نیاز به بررسی بیشتر و ایجاد اصولی برای ارزیابی زبان در زمینه های الکترونیکی را نشان می دهد.

Keywords [Persian]

  • ارزیابی
  • یادگیری زبان به کمک کامپیوتر (CALL)
  • آموزش از راه دور
  • زبان های خارجی
  • تلگرام
References
[1] S. Link, J. Li, (Eds.), Assessment across online language education, Sheffield & Bristol:
Equinox & CALICO, (2018).
[2] L. F. Bachman, Ongoing challenges in language assessment, in: A. J. Kunnan (Ed.), The
Companion to Language Assessment, New York: John Wiley & Sons, (2014).
[3] Chapelle, C. A. (1999). Validity in language assessment. Annual Review of Applied
Linguistics, 19, pp. 254-272.
[4] D. A. Consolo, P. P. Anchieta, Avaliação de proficiência em língua estrangeira em meios
virtuais: Alguns princípios e características de exames e testes eletrônicos, in: P. T. C. 
Douglas Altamiro Consolo: Foreign Languages and Computer-Assisted … 47
Szundy, J. C. Araújo, C. S. Nicolaides, K. A. Silva, (Eds.), Linguística Aplicada e
Sociedade: Ensino e Aprendizagem de Línguas no Contexto Brasileiro. Campinas, Brazil:
Pontes Editores, (2011), pp.197-215.
[5] D. A. Schön, How professionals think in action, New York: Basic Books, (1983).
[6] J. Mezirow, Transformative dimensions of adult learning, San Francisco: Jossey-Bass,
(1991).
[7] Brocco, A. S. (2007). The systematization of grammar via a deductive approach in the
teaching/learning of Portuguese in a teletandem context. Report of a Scientific Initiation
study. Sao Jose do Rio Preto, Brazil: UNESP, Department of Modern Languages.
[8] Brocco, A. S., “A Gramática no Contexto Teletandem e em Livros Didáticos de
Português como Língua Estrangeira”, MA dissertation. Sao Jose do Rio Preto, Brazil:
UNESP (2009).
[9] Custódio, C. M. (2007). Final report on a scientific initiation project. Sao Jose do Rio
Preto, Brazil: UNESP, Department of Modern Languages.
[10] Rossi dos Santos, G. “Características da Interação no Contexto de Aprendizagem
InTandem”, MA dissertation, Sao Jose do Rio Preto, Brazil: UNESP (2008).
[11] D. R. Garrison, T. Anderson, E-Learning in the 21st Century: A Framework for Research
and Practice, Oxon & New York: Routledge Falmer, (2003).
[12] E. Shohamy, O. Inbar, The Language Assessment Process: A “Multiplism” Perspective,
CALPER, (2006).
[13] H. H. Stern, Fundamental Concepts of Language Teaching, Oxford: Oxford University
Press, (1983).
[14] Scaramucci, M. V. R. (2000). Proficiência em LE: considerações terminológicas e
conceituais, Trabalhos em Lingüística Aplicada, 36, pp.11-22.
https://periodicos.sbu.unicamp.br/ojs/index.php/tla/article/view/8639310/6904
[15] Carter J, Ala-Mutka K, Fuller U, Dick M, English J, Fone W et al. “How shall we assess
this?” In Proceedings of the ITiCSE-WGR '03 Working group reports from ITiCSE on
Innovation and technology in computer science education, ACM Press, (2003). pp. 107123.
[16] Burstein, J., Leacock, C & Swartz, R. (2001). Automated Evaluation of Essays and Short
Answers. Proceedings of 5th Annual Conference on Computer-Aided Assessment,
Loughborough, UK.
[17] Mason, O. & Grove-Stephenson, I. (2002). Automated free text marking with Paperless
School. Proceedings of 6th Annual Conference on Computer-Aided Assessment,
Loughborough, UK.
[18] Jackson, D. (2000). A Semi-Automated Approach to Online Assessment. Proceedings of
ITiCSE’00, Helsinki.
[19] Dikli, S. (2010) The Nature of Automated Essay Scoring Feedback. CALICO Journal 28
(1), pp.99-134.
[20] Freschi, A. C. (2017) A Avaliação por Pares no Teletandem Institucional Integrado: um
Estudo de Caso sobre o Feedback Linguístico nas Sessões Orais em Português. MA
dissertation. Sao Jose do Rio Preto, Brazil:UNESP.
[21] Consolo, D. A., Brocco, A. S. & Custodio, C. M. (2009). Grammar and communication in
Portuguese as a foreign language: A study in the context of teletandem interactions.
Proceedings of the 1st International CSEDU Conference, Lisbon, Portugal (CD-ROM),
pp.62-66.
[22] Goertler, S.; Schenker, T.; Lesosk, C. & Brunsmeier, S. (2018) Assessing Language and
Intercultural Learning during Telecollaboration. In Link, S. & Li, Jinrong (Eds.),
Assessment Across Online Language Education, Sheffield & Bristol: Equinox and
CALICO, pp.21-48.
48 Quarterly of Iranian Distance Education Journal, Vol.2, No.2, Serial Number 6, Spring 2020
[23] Swain, M. & Lapkin, S. (1998). Interaction and second language learning: Two adolescent
French immersion students working together. Modern Language Journal 82 (3), pp.320-
337.
[24] Yang, C. C. R. (2008). Second Language Classroom Interaction Patterns: An Investigation
of Three Case Studies. IABR & TLC Conference Proceedings. San Juan, Puerto Rico,
USA.
[25] Walsh, S. (2006). Investigating Classroom Discourse. New York: Routledge.
[26] Bloom, B. (1956). Taxonomy of Educational Objectives: The classification of Educational
Goals: Handbook I. New York: Longman.
[27] Furtoso, V. A. B. (2009). Para além do Gostei muito da conversa: avaliação no contexto de
aprendizagem in-tandem. In J. A. Telles (Ed.). Teletandem: um contexto virtual, autônomo
e colaborativo para a aprendizagem de línguas estrangeiras no século XXI, pp.297-314,
Campinas, Brazil: Pontes Editores.
Appendix. TELETA