Kappa statistic for judgment agreement in Sociolinguistics / Estatística Kappa para concordância de julgamento  em Sociolinguística

Raquel Meister Ko. Freitag

doi:10.17851/2237-2083.27.4.1591-1612

Kappa statistic for judgment agreement in Sociolinguistics / Estatística Kappa para concordância de julgamento em Sociolinguística

Raquel Meister Ko. Freitag

Abstract

Abstract: Perception studies have required the development of new techniques, as well as new ways of analyzing data. This paper discusses the proposal of Kappa statistic for the measurement of agreement amongst judgments in perception tests. The analysis deals with data obtained from a subjective reaction test focusing on the variable pronunciation of /t, d/ as stops or affricates in Aracaju, Sergipe, Brazil, considering aesthetic, rhythmic, and dialectal factors. Kappa statistic shows aspects of the inter-rater agreement and reliability that can explain how the linguistic change is driven in the community. This type of analysis also allows to account for, in a perception study, the sex/gender bias observed in production. Results suggest that Kappa-statistics is a tool that can improve the explanatory power of perceptual studies in Sociolinguistics.

Keywords: Sociolinguistic perception; statistic tools; inter-rater agreement; /t,d/ palatalization.

Resumo: Estudos de percepção têm demandado o desenvolvimento de novas técnicas, assim como novas formas de analisar os dados obtidos. Este texto discute a proposta do teste Kappa para a aferição da força de convergência de julgamentos em testes de percepção. A análise é realizada com dados obtidos em um teste de reação subjetiva quanto à realização variável de /t,d/ em Aracaju, Brasil, considerando fatores estéticos, rítmicos e dialetais. A estatística Kappa mostra aspectos da concordância e da confiabilidade entre os avaliadores que podem ser usados para explicar como a mudança linguística se dá na comunidade. A análise também permite identificar em um estudo da percepção o viés de sexo/gênero observado nos estudos de produção. Os resultados mostram que a estatística Kappa é uma ferramenta que pode ampliar o poder explanatório dos estudos de percepção em Sociolinguística.

Palavras-chave: percepção sociolinguística; ferramentas estatísticas; concordância de juízes; palatalização de /t,d/.

Keywords

Sociolinguistic perception; statistic tools; inter-rater agreement; /t,d/ palatalization; percepção sociolinguística; ferramentas estatísticas; concordância de juízes; palatalização de /t,d/.

Full Text:

PDF

References

AGRESTI, Alan. An agreement model with Kappa as parameter. Statistics & Probability Letters, [S.l.], v. 7, n. 4, p. 271-273, 1989. Doi: https://doi.org/10.1016/0167-7152(89)90104-1

AMAN, Saima; SZPAKOWICZ, Stan. Identifying expressions of emotion in text. In: International Conference on Text, Speech and Dialogue. Springer, Berlin, Heidelberg, 2007. p. 196-205. Doi: https://doi.org/10.1007/978-3-540-74628-7_27

BANGDIWALA, Shrikant I.; SHANKAR, Viswanathan. The agreement chart. BMC Medical Research Methodology, v. 13, n. 1, p. 97, 2013. Doi: https://doi.org/10.1186/1471-2288-13-97

BATTISTI, Elisa et al. Palatalização das oclusivas alveolares e a rede social dos informantes. Revista Virtual de Estudos da Linguagem, v. 5, n. 9, p. 1-29, 2007.

BATTISTI, Elisa; DORNELLES FILHO, Adalberto Ayjara. Análise em tempo real da palatalização de/t/e/d/no português falado em uma comunidade ítalo-brasileira. Revista da ABRALIN, v. 14, n. 1, 2015. Doi: https://doi.org/10.5380/rabl.v14i1.42492

BEN-DAVID, Arie. About the relationship between ROC curves and Cohen’s kappa. Engineering Applications of Artificial Intelligence, v. 21, n. 6, p. 874-882, 2008. Doi: https://doi.org/10.1016/j.engappai.2007.09.009

BISOL, Leda. Palatalization and its variable restriction. International Journal of the Sociology of Language, v. 89, n. 1, p. 107-124, 1991. Doi: https://doi.org/10.1515/ijsl.1991.89.107

BLOCH, Daniel A.; KRAEMER, Helena Chmura. 2 x 2 kappa coefficients: measures of agreement or association. Biometrics, p. 269-287, 1989. Doi: https://doi.org/10.2307/2532052

CARDOSO, Denise Porto. Atitudes linguísticas e avaliações subjetivas de alguns dialetos brasileiros. São Paulo: Blucher, 2015. Doi: https://doi.org/10.5151/BlucherOA-atitudeslinguisticas

CARLETTA, Jean. Assessing agreement on classification tasks: the kappa statistic. Computational Linguistics, v. 22, n. 2, p. 249-254, 1996.

CARVALHO, Ana Maria. I Speak Like the Guys on TV: Palatalization and the Urbanization of Uruguayan Portuguese. Language Variation and Change, v. 16, n. 2, p. 127-151, 2004. Doi: https://doi.org/10.1017/S0954394504162030

CASTAÑEDA, Rosa-Maria. The Sociolinguistic Evolution of a Sound Change. Journal of Portuguese Linguistics, v. 15, 2016. Doi: https://doi.org/10.5334/jpl.3

CHOUDHARY, Pankaj K.; NAGARAJA, Haikady N. Measuring Agreement: Models, Methods, and Applications. John Wiley & Sons, 2017. Doi: https://doi.org/10.1002/9781118553282

COHEN, Jacob. A coefficient of agreement for nominal scales. Educational and Psychological Measurement, v. 20, n. 1, p. 37-46, 1960. Doi: https://doi.org/10.1177/001316446002000104

CORRÊA, Thais Regina Andrade. A variação na realização de /t/ e /d/ na comunidade de práticas da UFS: mobilidade e integração. 2019. Dissertação (Mestrado em Letras) – Universidade Federal de Sergipe, Aracaju, 2019.

DAILEY, René M.; GILES, Howard; JANSMA, Laura L. Language Attitudes in an Anglo-Hispanic Context: The Role of the Linguistic Landscape. Language & Communication, v. 25, n. 1, p. 27-38, 2005. Doi: https://doi.org/10.1016/j.langcom.2004.04.004

DE MAST, Jeroen. Agreement and kappa-type indices. The American Statistician, v. 61, n. 2, p. 148-153, 2007. Doi: https://doi.org/10.1198/000313007X192392

EDDINGTON, David. A comparison of two tools for analyzing linguistic data: logistic regression and decision trees. Italian Journal of Linguistics, v. 22, n. 2, p. 265-286, 2010.

EKMAN, Paul et al. Universals and cultural differences in the judgments of facial expressions of emotion. Journal of Personality and Social Psychology, v. 53, n. 4, p. 712, 1987. Doi: https://doi.org/10.1037//0022-3514.53.4.712

FALOTICO, Rosa; QUATTO, Piero. Fleiss’ kappa statistic without paradoxes. Quality & Quantity, v. 49, n. 2, p. 463-470, 2015. Doi: https://doi.org/10.1007/s11135-014-0003-1

FLEISS, Joseph L. Measuring nominal scale agreement among many raters. Psychological Bulletin, v. 76, n. 5, p. 378, 1971. Doi: https://doi.org/10.1037/h0031619

FLEISS, Joseph L.; COHEN, Jacob. The equivalence of weighted kappa and the intraclass correlation coefficient as measures of reliability. Educational and Psychological Measurement, v. 33, n. 3, p. 613-619, 1973. Doi: https://doi.org/10.1177/001316447303300309

FREITAG, Raquel Meister Ko. Banco de dados falares sergipanos. Working Papers em Linguística, v. 14, n. 2, p. 156-164, 2013. Doi: https://doi.org/10.5007/1984-8420.2013v14n2p156

FREITAG, Raquel Meister Ko. Socio-stylistic aspects of linguistic variation: schooling and monitoring effects. Acta Scientiarum. Language and Culture, Aracaju, v. 37, n. 2, p. 127-136, 2015. Doi: https://doi.org/10.4025/actascilangcult.v37i2.24240

FREITAG, Raquel Meister Ko. Amostras sociolinguísticas: probabilísticas ou por conveniência?. Revista de Estudos da Linguagem, Belo Horizonte, v. 26, n. 2, p. 667-686, 2018. Doi: https://doi.org/10.17851/2237-2083.26.2.667-686

FREITAG, Raquel Meister Ko; SANTOS, Adelmileise de Oliveira. Percepção e atitudes linguísticas em relação às africadas pós-alveolares em Sergipe. In: LOPES, Norma Silva; ARAUJO, Silvana Silva Farias; FREITAG, Raquel Meister Ko. (org.). A fala nordestina: entre a sociolinguística e a dialetologia. São Paulo: Blucher, 2016. p. 109-122. Doi: https://doi.org/10.5151/9788580392173-06

FREITAG, Raquel Meister Ko; SOUZA, Gládisson Garcia Aragão. O caráter gradiente vs. discreto na palatalização de oclusivas em Sergipe. Tabuleiro de Letras, v. 10, n. 2, p. 78-89, 2016.

FREITAG, Raquel Meister Ko.; SOUZA NETO, Antônio Félix; CORRÊA, Thais Regina Andrade. Palatalização em Sergipe. In: LOPES, Norma Silva; SANTANA, Elisângela; CARVALHO, Cristina (org.). Língua e Sociedade, diferentes perspectivas, fim comum. São Paulo: Blucher, 2019. p. 63-80.

GAMER, Matthias et al. Package ‘irr’. Various coefficients of interrater reliability and agreement, 2012.

LABOV, William. Sociolinguistic Patterns. Pennsylvania: University of Pennsylvania Press, 1972.

LABOV, William. The Social Stratification of English in New York City. Cambridge: Cambridge University Press, 2006. Doi: https://doi.org/10.1017/CBO9780511618208

LADEGAARD, Hans J. Language attitudes and sociolinguistic behaviour: Exploring attitude-behaviour relations in language. Journal of Sociolinguistics, v. 4, n. 2, p. 214-233, 2000. Doi: https://doi.org/10.1111/1467-9481.00112

LANDIS, J. Richard; KOCH, Gary G. The measurement of observer agreement for categorical data. Biometrics, p. 159-174, 1977. Doi: https://doi.org/10.2307/2529310

LeBRETON, James M.; SENTER, Jenell L. Answers to 20 questions about interrater reliability and interrater agreement. Organizational Research Methods, v. 11, n. 4, p. 815-852, 2008. Doi: https://doi.org/10.1177/1094428106296642

McHUGH, Mary L. Interrater reliability: the kappa statistic. Biochemia Medica: Biochemia Medica, v. 22, n. 3, p. 276-282, 2012. Doi: https://doi.org/10.11613/BM.2012.031

MOTA, Jacyra Andrade. Como fala o nordestino: a variação fônica nos dados do Projeto Atlas Lingüístico do Brasil. In: LIMA-HERNANDES, MC et al. (org.). A língua portuguesa no mundo. São Paulo: FFLCH-USP, 2008.

OUSHIRO, Livia. Salience and Covariation in Second Dialect Acquisition: Northeastern Migrants in São Paulo. In: NEW WAYS OF ANALYZING VARIATION, 46, 2017, Washington. Washington: Linguistic Society of America, 2017. Paper presented.

PAOLILLO, John C. Analyzing Linguistic Variation: Statistical Models and Methods. Chicago: Center for the Study of Language and Information, 2002.

PEIRCE, Jonathan W. PsychoPy–Psychophysics Software in Python. Journal of Neuroscience Methods, v. 162, n. 1-2, p. 8-13, 2007. Doi: https://doi.org/10.1016/j.jneumeth.2006.11.017

POSNER, Karen L. et al. Measuring interrater reliability among multiple raters: an example of methods for nominal data. Statistics in Medicine, v. 9, n. 9, p. 1103-1115, 1990. Doi: https://doi.org/10.1002/sim.4780090917

R CORE TEAM. R: A language and environment for statistical computing. 2018.

SHUY, Roger W. Subjective Judgments in Sociolinguistic Analysis. Paper presented at the 20th Annual Round Table Meeting on Linguistics and Language Studies, Georgetown University, Washington, D.C., 1969. Disponível em: https://eric.ed.gov/?id=ED027523. Acesso em: 25 jan. 2019.

SOUZA, Gládisson Garcia Aragão et al. Palatalização de oclusivas alveolares em Sergipe. 2016. Dissertação (Mestrado em Letras) – Universidade Federal de Sergipe, Alagoas, 2016.

SOUZA NETO, Antônio Félix de. Realizações dos fonemas/t/e/d/em Aracaju Sergipe. 2008. Dissertação (Mestrado em Letras) – Universidade Federal de Alagoas, Maceió, 2008.

TAGLIAMONTE, Sali A.; BAAYEN, R. Harald. Models, Forests, and Trees of York English: Was/Were Variation as a Case Study for Statistical Practice. Language Variation and Change, v. 24, n. 2, p. 135-178, 2012. Doi: https://doi.org/10.1017/S0954394512000129

WOLD, Svante; ESBENSEN, Kim; GELADI, Paul. Principal Component Analysis. Chemometrics and Intelligent Laboratory Systems, v. 2, n. 1-3, p. 37-52, 1987. Doi: https://doi.org/10.1016/0169-7439(87)80084-9

DOI: http://dx.doi.org/10.17851/2237-2083.27.4.1591-1612