Considerando o poder decisório que os resultados de exames de larga escala têm na vida das pessoas em relação à educação, profissão, imigração e naturalização, McNamara e Roever (2006) apontam como responsabilidade social e ética dos elaboradores de testes informar ao público sobre o impacto de fatores, tais como as tarefas avaliativas e os parâmetros de correção, nos resultados observáveis, assim como sobre o esforço para controlá-los, por exemplo com descrições detalhadas das tarefas e procedimentos confiáveis de correção. Atentas à dimensão social e ética de testes padronizados, tratamos neste artigo de dois exames de alta relevância no contexto brasileiro: o Certificado de Proficiência em Língua Portuguesa para Estrangeiros (Celpe-Bras) e o Exame Nacional do Ensino Médio (Enem), que é analisado como corpus de referência. Examinamos os enunciados das tarefas de produção escrita e sua complexidade, assumindo que interferem nos desempenhos dos candidatos, podendo orientá-los (ou não) sobre o desempenho a depender de suas características¹. O enunciado é a instrução textual que formula a questão e apresenta ao candidato a proposta de leitura e de produção textual nesses exames².

O Celpe-Bras, desenvolvido pelo Ministério da Educação na década de 90 e desde 2009 realizado pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), começou a ser aplicado em 1998 e atualmente é realizado para cerca de 10 mil candidatos/ano em 125 postos aplicadores (48 no Brasil e 77 no exterior)³. Esse exame tem como construto teórico o uso da língua em práticas sociais (SCHLATTER ET AL 2009) e visa avaliar, a partir de um único instrumento, diferentes níveis de proficiência para desempenhar ações em língua portuguesa. O exame testa de forma integrada a compreensão e a produção (oral e escrita) em duas etapas: Parte Escrita e Parte Oral (BRASIL 2015)⁴. Os níveis certificados são Intermediário, Intermediário Superior, Avançado e Avançado Superior.

De responsabilidade também do Inep, o Enem foi aplicado pela primeira vez em 1998 e atualmente é realizado para mais de 6 milhões de estudantes⁵. Inicialmente criado com o objetivo de avaliar a qualidade da Educação Básica brasileira, a partir de 2004, passou a ser utilizado para o acesso à Educação Superior e hoje se constitui como o maior exame brasileiro utilizado para esse fim (LIMA 2015; SILVA 2016; LIMA et al 2019). O Enem é composto por 180 questões objetivas que testam conteúdos de quatro áreas do conhecimento⁶ e por uma redação, que consiste na escrita de um texto dissertativo-argumentativo.

Entendemos que o enunciado de uma tarefa avaliativa apresenta características de um gênero do discurso do campo instrucional: caracteriza-se por sua ênfase na prescrição de ações, fazendo uso de verbos operacionais no modo imperativo, infinitivo ou no futuro do presente, que indicam o que deve ou não ser realizado pelo candidato (MARINELLO; BOFF; KOCHE 2008). Tendo em vista que determinadas características de enunciados de tarefas de avaliação e de ensino são potenciais orientadoras de respostas esperadas e de níveis de dificuldade percebidos (GOMES 2009; SILVA; ARAÚJO 2009; MACIEL 2015) e pressupondo que o enunciado impacta na complexidade de uma tarefa avaliativa, este estudo desenvolve análises de enunciados de tarefas escritas do Celpe-Bras e da Redação do Enem, em uma perspectiva da Linguística de Corpus (LC). Conforme discutiremos mais adiante, a partir do uso das ferramentas analíticas Coh-Metrix-Port 2.0, AntConc e Sketch Engine, além dos recursos do Corpus do Português: NOW (Notícias da Web), buscamos encontrar padrões para aferir a complexidade textual dos enunciados estudados. A discussão dos resultados pretende contribuir para a elaboração de tarefas de produção textual estáveis e equivalentes entre as diferentes edições dos exames, nas quais o enunciado não se configure como obstáculo na concretização da tarefa, o que aumentaria a validade das inferências feitas a partir das notas das respostas.

Na próxima seção, apresentamos nossos referenciais teóricos referentes a texto, leitura e complexidade textual e relacionamos este estudo com resultados de pesquisas recentes sobre o tema. Na seção 3, apresentamos as características gerais dos enunciados dos exames analisados e os procedimentos metodológicos utilizados. Nas seções 4 e 5, discorremos sobre os resultados da análise, apresentando dados sobre a complexidade textual dos enunciados e sobre o léxico e a sintaxe utilizados, discutindo como os enunciados analisados refletem e refratam os construtos teóricos dos dois exames. Finalizamos levantando algumas implicações do estudo e desenvolvimentos futuros.

Neste trabalho, texto é compreendido como o próprio lugar da interação entre sujeitos ativos que se constroem e são construídos dialogicamente nessa interação (KOCH 2005). Ao participar de uma avaliação, o texto se constitui como a concretização de uma interação entre candidato e avaliador, que fazem uso da linguagem nessa prática social de forma organizada em tipos relativamente estáveis de enunciados que nunca são neutros, e sim permeados de ideologias e historicidade (BAKHTIN 2003). Tanto a leitura como a escrita, nas práticas de avaliação, constituem-se em interações que levam em conta os gêneros dos textos produzidos nas suas práticas originais e na avaliação, mas é o enunciado da tarefa avaliativa que orienta para as ações que estão em jogo. A leitura é uma prática de construção de significados na qual o leitor assume uma posição social ativa, remetendo-se a outros textos, valores e experiências pessoais (KLEIMAN 1995). Na leitura de uma tarefa avaliativa, portanto, o candidato ao mesmo tempo decodifica o texto, acionando conhecimentos sobre o funcionamento da língua escrita; relaciona o conteúdo aos seus conhecimentos prévios; reage ao texto de acordo com expectativas geradas pela sua vivência com aquela prática social; e analisa o que lê, posicionando-se criticamente, reconhecendo que cada texto é um ponto de vista, que não é ideologicamente neutro, e que ele também assume uma posição como leitor (FREEBODY; LUKE 1990).

A partir desse enquadre, a complexidade textual decorre da relação entre texto, tarefa e leitor, não sendo possível medi-la unicamente a partir da sua materialidade linguística: a complexidade resulta da relação dinâmica entre aspectos textuais e a interação do leitor com o texto em determinada prática social e momento sócio-histórico. A possibilidade de estabelecer determinados níveis preditivos de dificuldade leitora deve levar em conta relações entre esses fatores. O Modelo de Medida de Complexidade Textual em Três Partes (NATIONAL GOVERNORS ASSOCIATION CENTER FOR BEST PRACTICES 2010)⁷, por exemplo, propõe combinar uma parte de análise quantitativa dos textos, realizada por programas de computador; uma parte de análise qualitativa, realizada por especialistas da área⁸; e uma parte associada ao leitor e às particularidades apresentadas pela tarefa, realizada também por professores especializados⁹.

Nessa perspectiva, investigar a complexidade de tarefas de leitura e produção escrita requer um olhar que inclua a análise dos enunciados das tarefas, nosso foco neste trabalho, pois a orientação proposta direciona o modo como o candidato as abordará e os recursos que mobilizará para ler o(s) texto(s) de insumo e escrever o texto a fim de cumprir a tarefa. Isto é, “não é possível separar complexidade das condições de recepção e de produção propostas na tarefa” (GOMES 2009: 98). A composição do enunciado de uma tarefa reflete diretamente na forma como será respondida e, portanto, deve utilizar linguagem injuntiva clara e objetiva para obter respostas aproximadas à intenção original de seus elaboradores. Os enunciados, portanto, devem dirigir da forma mais clara possível o examinando para que possa produzir o desempenho que se pretende avaliar (SILVA 2011).

O enunciado, segundo Brown (2004: 78), é uma chave para a validade e o sucesso de uma tarefa, não devendo, pois, apresentar tópico obscuro, dados imprecisos e informações culturais tendenciosas que possam levar a uma dificuldade de nível superior ao desejado inicialmente. Tanto no ensino quanto na avaliação, os enunciados de tarefas podem potencializar a aprendizagem e o desempenho, mas também podem constituir-se como empecilho à construção e à aferição de conhecimentos em diversos níveis da educação e áreas¹⁰. Em tarefas de escrita, os enunciados devem estabelecer uma representação do modelo de produção textual que se deseja como resposta, de modo que o leitor seja capaz de construir mentalmente o enquadre comunicativo e a função da escrita para poder concretizá-la (SEBASTIÃO 2019). No caso de tarefas que exigem a leitura de um texto de insumo para sua realização, o enunciado apresentado antes do texto de insumo permite que a leitura seja direcionada aos propósitos solicitados¹¹ (SILVA 2011).

Em pesquisa sobre a Redação do Vestibular da Universidade Federal de Campina Grande, que solicita a escrita de diferentes gêneros textuais, Silva e Araújo (2009), a partir de sessões reflexivas com candidatos que realizaram a prova de 2007, constataram que os enunciados explicitaram as características do texto de produção suficientemente para possibilitar a escrita de gêneros não conhecidos previamente ou não praticados durante a Educação Básica. Os enunciados utilizados nessa avaliação explicitaram os propósitos sociais e as características linguísticas principais dos gêneros de escrita solicitados. Gomes (2009), ao analisar quatro enunciados do Celpe-Bras e 144 textos produzidos em resposta, concluiu que o desempenho dos candidatos é melhor quando o enunciado explicita, em frases simples e com suporte contextual suficiente, as informações necessárias para o cumprimento dos propósitos de escrita. A autora aponta a importância da explicitação das condições de produção para alcançar um bom desempenho: a situação de comunicação, a relação de interlocução e o propósito do texto que, juntos, podem orientar a seleção de informações do texto de insumo.

Conforme apontam esses estudos, a dificuldade que um enunciado pode causar aos participantes pode ser evitada caso o enunciado explicite as características do texto diretamente ou contextualizando suficientemente as condições de produção. Essas pesquisas, no entanto, não se debruçaram sobre características da linguagem utilizada, foco deste estudo. Para além das questões elencadas, a escolha dos termos utilizados, as construções sintáticas empregadas, a explicitação de determinados aspectos relevantes na resposta esperada podem impactar no desempenho. Em outras palavras, a complexidade textual do enunciado torna-se também um fator a ser considerado como medida preditiva da qualidade de orientação ao candidato para uma resposta esperada. De acordo com Hiebert e Pearson (2014), diversas fórmulas têm sido propostas para designar índices de complexidade de textos que, com o rápido desenvolvimento tecnológico, transformaram-se em sistemas sofisticados de análise que utilizam modelos de matemática complexa. Os autores destacam que as pesquisas que trabalham com variáveis numéricas demandam que o pesquisador interprete os resultados obtidos através das ferramentas analíticas, visto que as “características quantitativas não têm validade até e a menos que sejam compreendidas qualitativamente” (HIEBERT; PEARSON 2014: 157). Para analisar textos em português escritos em resposta à prova de Redação da UFRGS de 2014, Evers (2018), entre outras ferramentas, usou o Coh-Metrix-Port¹², que opera com 48 métricas de coesão e coerência textual, oferecendo medidas lexicais, sintáticas, semânticas e referenciais, e o Índice Flesch brasileiro. A autora descreve o fenômeno de engaiolamento nas produções dos candidatos que, de acordo com o estudo, é composto por padrões de forma e de conteúdo aprendidos conforme modelos da Redação da UFRGS ensinados em cursos pré-vestibulares. A escala hierárquica de complexidade textual utilizada por Evers (2018) é apresentada a seguir no Quadro 1.

Quadro 1:

Muito fáceis: índice entre 90 a 100, textos adequados para leitores com nível de escolaridade até a 4ª série do Ensino Fundamental.

Fáceis: índice entre 80 a 89, textos adequados a alunos com escolaridade ate 8ª série do Ensino Fundamental.

Razoavelmente fáceis: índice entre 70 a 79, textos adequados a alunos com escolaridade até 8ª série do Ensino Fundamental.

Padrão: índice entre 60 e 69, textos adequados a alunos com escolaridade ate 8ª serie do Ensino Fundamental.

Razoavelmente difíceis: índice entre 50 a 59, textos adequados para alunos cursando o Ensino Médio ou universitário.

Difíceis: índice entre 30 a 49, textos adequados para leitores com Ensino Médio ou universitário.

Muito difíceis: índice entre 0 a 29, textos adequados apenas para áreas acadêmicas específicas.

Fonte: Evers (2018: 123)¹³

O quadro 1 mostra um sistema de medidas de complexidade associada à inteligibilidade¹⁴ de textos para diferentes níveis de leitores, que variam de 0 a 100, sendo que quanto maior o índice, mais fácil é considerado o texto. Tais índices consideram o tamanho médio de sentenças e o número médio de sílabas por palavra para seus cálculos e serão usados como parâmetro para nossa análise de complexidade dos enunciados. Entendendo que a compreensão dos enunciados das tarefas é fundamental para realizar as ações de leitura e de escrita demandadas pelos exames, pretendemos reunir um primeiro conjunto de dados sobre a inteligibilidade dos enunciados, para poder relacioná-los, mais adiante, com as outras dimensões que compõem a complexidade de uma tarefa de leitura e escrita: características do texto de insumo, do texto a ser produzido e do leitor/escritor.

Medidas de type-token ratio apontam a diversidade de uso de palavras e podem ser utilizadas para avaliar a densidade lexical de textos, indicando sua complexidade. Conforme os dados apresentados no quadro 3, na seção anterior, o Celpe-Bras apresenta um índice mais elevado (30%, 730 types - 2.428 tokens) quando comparado ao Enem (15%, 345 types - 2199 tokens), indicando, assim, uma maior riqueza lexical nos enunciados.

A Figura 4 sintetiza uma análise diacrônica dos enunciados do Enem. Como se pode observar, há uma acentuada homogeneidade nos textos, sendo que, desde o ano 2015, utilizam as mesmas palavras em sua composição, com exceção da temática. No formato atual, observamos que cada trecho pode ser diretamente associado às cinco competências avaliadas (BRASIL 2018: 8) e que isso se manteve bastante estável ao longo dos anos, com alguma variação de termos usados²¹.

Figura 4:

No caso do Celpe-Bras, Schoffen et al. (2018) afirmam que, a partir de 2002, ano de publicação do primeiro Manual do Candidato, a operacionalização do construto do exame se tornou estável, indicando nos enunciados enunciador, interlocutor, propósito comunicativo, gênero do discurso e suporte, conforme vimos na seção 3.1²². As autoras contabilizam 27 diferentes gêneros do discurso até a edição de 2017, apontando que tal diversidade estimula efeitos retroativos positivos no ensino de Português como Língua Adicional (SCHOFFEN et al 2018: 35). Ainda segundo elas, a tarefa 4 apresenta mais gêneros argumentativos, como carta do leitor e artigo de opinião, do que as outras três tarefas.

O Quadro 4 a seguir apresenta as medidas de tendência central de seis métricas do Coh-Metrix-Port: índice Flesch; número de palavras; número de palavras por sentença; número de sentenças; frequência da palavra de conteúdo mais rara e incidência de verbos. Essas métricas foram escolhidas para a verificação da inteligibilidade dos enunciados, por meio das contagens básicas e do Índice Flesch, entendendo que a complexidade lexical e a incidência de determinados verbos poderiam indicar níveis de complexidade relevantes para esse gênero instrucional. A métrica do índice de frequência da palavra de conteúdo mais rara avalia, sentença por sentença, a menor frequência de palavras de conteúdo ou lexicais (substantivos, adjetivos, advérbios e verbos) mais raras, e a do índice de incidência de verbos apresenta o resultado do cálculo de divisão do número de verbos pelo número total de palavras da sentença dividido por 1000 (número de verbos/[número de palavras/1000]).

Quadro 4:

		Corpus Celpe-Bras N = 42	Corpus Enem N = 31
Flesch	Média	42,9441	16,5994
	Mediana	42,3150	12,8130
	Desvio Padrão	17,21041	11,49134
Words	Média	57,86	70,16
	Mediana	58,00	68,00
	Desvio Padrão	13,368	20,588
Words per sentence	Média	16,3185	29,1006
	Mediana	17,0000	32,5000
	Desvio Padrão	4,32959	7,70182
Sentences	Média	3,98	2,70
	Mediana	3,00	2,00
	Desvio Padrão	2,158	1,531
Min CW Freq	Média	4331,0610	1391,5009
	Mediana	1980,3335	202,5000
	Desvio Padrão	5669,97072	3039,87019
Verbs	Média	139,4892	102,1161
	Mediana	139,1410	78,125000
	Desvio Padrão	30,57052	48,722435

Podemos observar que as medidas de tendência central entre os dois corpora se distinguem, apontando para especificidades no uso da linguagem nos

enunciados em cada exame. Em relação ao número de palavras, sentenças e palavras por sentença, verifica-se que o corpus Celpe-Bras mostra uma média aritmética menor de palavras e maior de sentenças, portanto um número menor de palavras por sentença do que o corpus de referência. Esse resultado evidencia o uso de sentenças mais curtas nos enunciados do Celpe-Bras.

A métrica de frequência da palavra de conteúdo mais rara mostra que o corpus Enem utiliza palavras mais raras do que o corpus Celpe-Bras, visto que, quanto menor o número da métrica, menor a frequência de uso da palavra, ou seja, mais rara ela é considerada. O Celpe-Bras, contudo, mostra maior variância, com desvio padrão de 5669,97072, o que evidencia menor estabilidade em relação ao Enem. Já no que se refere ao índice de incidência de verbos, verifica-se que o corpus Celpe-Bras tende a usar mais verbos por sentença do que o corpus Enem, ainda que, como visto anteriormente, suas sentenças sejam mais curtas. Esses resultados apontam para enunciados com sentenças mais longas e menor uso de injuntivos no Enem do que no Celpe-Bras. Por fim, o Índice Flesch apresenta a maior diferença entre os corpora: o corpus Celpe-Bras, com a média de 42,9441, e o corpus Enem, com a média de 16,5994,compreendemdiferentesfaixasdeníveldedificuldadee escolaridade, respectivamente, Difícil e Muito difícil (cf. quadro 1 na seção 2). Os enunciados da tarefa 4 da Parte Escrita do Celpe-Bras, portanto, apresentam dificuldade consideravelmente menor de leitura em relação aos enunciados das redações do Enem.

O Celpe-Bras é usado para o ingresso de estrangeiros em cursos de graduação e de pós-graduação em universidades brasileiras (BRASIL 2015: 8), sendo que a principal motivação para produzi-lo foi a necessidade de criar um exame único e padronizado para a seleção de candidatos ao Programa de Estudantes-Convênio de Graduação (PEC-G)²³ (SCHLATTER ET AL 2009). Do mesmo modo, o Enem é utilizado para avaliar o estudante que finalizou seus estudos do Ensino Médio e pretende ingressar no Ensino Superior. Com base nesses usos planejados pelos sistemas de avaliação, poderíamos supor que o nível de complexidade dos textos das provas, em especial das orientações do que deve ser feito, estivesse entre as faixas dos índices 30 e 59 do Índice Flesch Razoavelmente difíceis e Difíceis, considerando que é desejável que os enunciados não interfiram negativamente no desempenho dos candidatos²⁴. Como vimos, a média do índice de dificuldade de leitura do corpus Celpe-Bras está na faixa considerada Difícil e adequada para leitores com Ensino Médio ou universitário completo (entre 30 e 49). O mesmo, contudo, não se confirma para o corpus Enem, cuja média Muito Difícil é adequada apenas para áreas acadêmicas específicas, o nível mais alto de escolaridade. Todavia, observa-se maior variância nos enunciados do Celpe-Bras, havendo um texto com índice negativo de -2.109 (Muito Difícil) e um texto com índice bastante alto, de 85.647 (Fácil)²⁵.

Os histogramas dos índices Flesch dos corpora, a seguir, permitem visualizar a distribuição das frequências desses dados (Figura 5).

Figura 5:

As medidas do Índice Flesch do corpus Celpe-Bras apresentam uma distribuição simétrica e normal, com a maioria dos dados incidindo na faixa desejada, entre 30 e 60 ao redor da média aritmética do conjunto de dados. Já o corpus Enem apresenta uma distribuição assimétrica positiva com a maioria dos dados concentrados em torno de 5 e 15, que está abaixo da média aritmética. Contudo, por apresentar alta estabilidade nos enunciados, como vimos anteriormente, o corpus Enem mostra um comportamento mais heterogêneo: levando em consideração as 7 faixas de níveis de dificuldade Flesch, os dados se concentram apenas nas 2 faixas mais altas. Por outro lado, o corpus Celpe-Bras apresenta maior variabilidade, com dados incidindo em 6 das 7 faixas de dificuldade, pois, como vimos, apresenta ampla variedade de práticas sociais em suas propostas de escrita, o que resulta em diferentes construções de enunciados.

Pode-se afirmar que os enunciados do Celpe-Bras caracterizam-se pelo uso de mais sentenças curtas, com índice alto de incidência de verbos e índice baixo de palavras raras por enunciado, implicando em uma média de índice Flesch 42. Essas características descrevem um enunciado com orientações mais explícitas quanto ao texto a ser escrito, o que, ao mesmo tempo que faz sentido com a proposta e o construto do exame de testar usos da língua em práticas sociais variadas (confirmado pelo amplo desvio padrão da métrica Flesch), pode também ser considerado mais elucidativo para o candidato quanto ao que deve fazer. Por outro lado, no Enem, a prova de Redação sempre solicita um texto dissertativo-argumentativo, com um formato bastante consolidado ao longo dos anos nos concursos vestibulares. Nesse sentido, o formato parece ser tratado no enunciado como conhecido dos candidatos, e não há orientações específicas quanto ao que ou como escrever, mas sim lembretes sobre os critérios de correção. Como vimos, isso gera enunciados mais longos que fazem uso de um menor número de sentenças com mais palavras raras e menor incidência de verbos e, consequentemente, níveis de complexidade mais altos, com baixo nível de desvio padrão e menor transparência no enunciado em relação ao gênero solicitado.

Para extrair lista de palavras e palavras-chave dos corpora, utilizamos a ferramenta Antconc. Na lista de palavras, a ferramenta apresenta todos os tipos de palavras (Types) utilizadas no corpus em ordem decrescente de frequência. Já as palavras-chave são as “palavras cujas frequências são estatisticamente diferentes no corpus de estudo e no corpus de referência” (SARDINHA 2004: 96) e podem indicar temas dominantes que demonstram significância em relação ao conteúdo ou à estrutura dos textos (FISCHER-STARCKE 2009).

Para extrair a lista de palavras-chave do corpus Celpe-Bras, o corpus Enem foi utilizado como referência e vice-versa. O resultado da extração de palavras-chave é apresentado em ordem decrescente de acordo com o índice Keyness (chavicidade), que indica o resultado da estatística de comparação. O valor da chavicidade indica a força da associação da palavra-chave com o corpus alvo em sua dispersão total através dos textos que o compõem (EGBERT; BIBER 2019). Além disso, a ferramenta fornece o número de ocorrência na coluna Freq (frequência de ocorrência da palavra no corpus de estudo) e dados estatísticos que indicam o tamanho da diferença das palavras-chave através do índice de Effect (tamanho do efeito), como mostra a Figura 6 abaixo.

Figura 6:

Pode-se verificar que, dentre as 9 palavras-chave²⁶ do corpus de estudo, 6 são palavras de conteúdo, resultado que pode reforçar o dado da métrica “frequência da palavra de conteúdo mais rara” que revelou que os enunciados do Celpe-Bras utilizam menos palavras raras de conteúdo do que os enunciados do Enem. Por sua vez, o corpus Enem apresenta um número maior de palavras-chave, como mostra a Figura 7 abaixo.

Figura 7:

A figura 7 mostra 20 das 33 palavras-chave do corpus Enem com chavicidade mais alta do que as do corpus de estudo, variando de 44.85 (Rank 1) até 14.47 (Rank 33). Considerando que a média de palavras desse corpus é 70,16, percebe-se que quase metade das palavras utilizadas são palavras específicas desse corpus. As 20 palavras-chave são palavras de conteúdo, corroborando o dado de que os enunciados do Enem utilizam palavras de conteúdo mais raras do que os do Celpe-Bras.

Considerando mais atentamente as palavras-chave do corpus Celpe-Bras, destaca-se a presença de escreva no Rank 2, no modo imperativo, como esperado em um gênero de comando de escrita. Contudo, o corpus de referência utilizado também é composto por textos de comando de escrita e, por isso, pode-se pensar que essa palavra não seria apontada como uma palavra-chave. Ao averiguar, porém, a lista de palavras-chave do corpus Enem, verifica-se, em Rank 11, redija, também no modo imperativo.

Ao investigar a lista de palavras, constatou-se que o Celpe-Bras utiliza outros verbos de comando similares à ação de escrever: além de escreva (26 vezes), o verbo redija (2 vezes), responda (2 vezes) e narre (1 vez), com um total de 31 verbos no modo imperativo nos 42 enunciados, o que indica que a tarefa 4 da Parte Escrita do Celpe-Bras utiliza formas diversificadas para dar o comando de escrita. Por outro lado, os 31 enunciados que compõem o corpus Enem utilizaram redija para dar o comando da tarefa, retratando um texto mais estável. Como vimos, os elementos que compõem os enunciados do Enem sofreram mudanças ao longo de sua história, salvo o verbo redigir, que foi usado desde 1998, sem exceções.

Para compreender os usos de escreva e redija em ambos os corpora, procedemos à observação das linhas de concordância das palavras²⁷ para identificar seus colocados.

Figura 8:

Figura 8 pode-se observar que há uma padronização no contexto de uso de redija no corpus Enem. As linhas de concordância mostram que os colocados imediatos (palavras que ocorrem logo antes ou depois do nódulo) de redija são, tanto à esquerda do nódulo (nodes) (palavra de interesse) quanto à direita, majoritariamente os mesmos, apontando o gênero texto dissertativo-argumentativo como o gênero dominante. Como discutido anteriormente, depreende-se que os enunciados das tarefas da redação do Enem seguem um modelo padrão de composição no qual o verbo de comando utilizado é sempre o verbo redigir, que, combinado com “(um) texto” ou “(um) texto dissertativo(-argumentativo)” ou “um texto em prosa” ou “uma dissertação”, caracteriza a orientação quanto ao texto solicitado.

Por outro lado, ao observar as linhas de concordância da palavra escreva no corpus Celpe-Bras, vemos que, à esquerda do nódulo, não é possível observar nenhum padrão em seu uso; já à direita, observa-se, como colocados não imediatos, a ocorrência frequente dos gêneros e-mail (6), carta (5) e texto para ser publicado (7) em alguma revista ou jornal, além da menção explícita de meios de comunicação (blog, jornal, revista) ou partes deles (Painel do Leitor, seção Fale Conosco), o que mostra a maior diversidade de gêneros discursivos a serem produzidos pelos candidatos.

Para comparar esses resultados com os colocados das duas palavras no Corpus do Português: NOW²⁸, utilizamos a ferramenta Compara (Figura 9). Foram comparados os verbos já nas formas do modo imperativo (e não seus lemmas). Como janela, foi utilizada uma distância máxima de 4 palavras somente à direta dos nódulos, visto que o objetivo era investigar o que os verbos exigiam para ser escrito ou redigido.

Figura 9:

Os resultados da ferramenta de comparação mostram um número extremamente maior de ratio de ocorrência da palavra escreva (WORD 1), com 70.17, do que redija (WORD 2), com 0.01. Escreva seleciona tipicamente a palavra texto, sem, contudo, especificar o gênero da produção textual; já redija também seleciona dissertativo-argumentativo e carta. Portanto, podemos entender que a primeira palavra é usada com muito mais frequência e para diversas produções textuais, ao passo que a segunda é utilizada raramente e especialmente para comandos de textos dissertativo-argumentativos e cartas, ainda que ambos os textos também sejam colocados de escreva, 2 vezes com dissertativo-argumentativo e 31 com carta.

Além disso, entre as 11 ocorrências do colocado dissertativo-argumentativo para redija (W2), 10 são de textos de um blog da revista Abril, chamado Guia do Estudante, e o último é de uma reportagem do jornal online O Globo, todas as ocorrências aparecem em textos que tratam sobre a Redação do Enem. Ou seja, o verbo redigir no modo imperativo, no corpus investigado, aparece sendo usado apenas em contexto de Redação do Enem.

O comportamento dos lemmas das duas palavras-chaves também foi observado no corpus “Portuguese Web 2011 (ptTenTen11)”²⁹ do Sketch Engine através da função Word Sketch, que fornece um sumário do comportamento gramatical e colocacional da palavra em estudo, elencando todas as combinatórias sintáticas da palavra (SANTOS; CHISHMAN 2018). Os resultados apontaram para a mesma direção: a palavra escrever é mais frequente, com 1,309,016 ocorrências, e redigir, bem menos frequente, com 37,015. Como é possível ver na figura a seguir, os usos dos dois termos também são distintos nesse corpus.

Figura 10:

As telas do Sketch Engine mostram a relação das duas palavras-chave com o sujeito (Relação 1) e o modificador nominal (Relação 2) da sentença. Nas ilustrações, quanto mais próximo ao lemma e maior a circunferência ao redor do colocado, maior a sua recorrência e, portanto, mais forte a sua relação (Figura 10). Podemos ver que o sujeito de escrever é majoritariamente autor, você, escritor, jornalista ou poeta; e o sujeito de redigir é tabelião, escriba, escrivão, redator ou jurista. Já os modificadores nominais mais frequentes de escrever são prova, imprensa, palavra, livro, texto, artigo e carta; e os de redigir são ata, manuscrito, manifesto, testamento e prefácio. As relações de escrever remetem a interações mais cotidianas e jornalísticas, enquanto as relações da palavra redigir remetem a uma esfera de atuação bem mais restrita, como a jurídica. A frequência de ocorrência das palavras nos indica que escrever é mais comum, portanto, mais acessível do que redigir.

Retomando as conclusões da seção anterior e o resultado da análise das palavras-chave do corpus Celpe-Bras, confirma-se aqui que as palavras de conteúdo apontam para o gênero da produção textual que a tarefa solicita. As palavras-chave você, escreva, jornal, revista, carta e é indicam que o enunciado da tarefa 4 direciona o examinando a se colocar na posição social de um enunciador que deve estabelecer uma interlocução comunicativa através de um texto escrito que se insere na esfera jornalística. As palavras-chave encontradas corroboram as análises de Schoffen et al. (2018), segundo as quais “na tarefa IV, diferentemente das outras três tarefas, não há grande variedade de esferas, e a esfera Jornalística tem grande destaque em número de ocorrências” (SCHOFFEN et al 2018: 45). É possível dizer, portanto, que, a partir dos padrões encontrados, confirma-se a noção de que, na tarefa 4, os enunciados solicitam predominantemente que o examinando tome o papel social de colaborador ou leitor de jornal e revista.

Da mesma forma, em relação ao Enem, as análises linguísticas confirmam que os enunciados remetem às competências avaliadas, parecendo configurar-se como uma forma de legitimar os critérios de avaliação utilizados. Nesse sentido, poderia se inferir que a leitura do enunciado, embora apresente um alto nível de complexidade, pode não interferir na produção escrita, pressupondo que a estabilidade do gênero seja suficiente para o candidato saber o que deve fazer.

Este trabalho analisou a complexidade de enunciados de tarefas de produção escrita dos exames Celpe-Bras e Enem como uma primeira etapa de um estudo mais amplo que visa discutir a complexidade de tarefas que integram leitura e produção escrita na Parte Escrita do exame Celpe-Bras levando em conta relações entre texto, tarefa e leitor/escritor.

As análises apontam que os enunciados do Enem são textos complexos, que fazem uso de sentenças longas e palavras de uso raro. Além disso, o verbo redigir, por ser uma palavra de uso restrito e infrequente, pode não ser acessível de forma equivalente a todos os participantes. Tal resultado é corroborado pelas métricas do Índice Flesch, que demonstram que a complexidade dos textos é adequada apenas para áreas acadêmicas específicas (Muito difíceis, entre 0 e 29), portanto não apropriada a estudantes ao final do Ensino Médio. A estabilidade do uso da palavra-chave redija colocada com texto dissertativo-argumentativo (e suas variações) como indicações sobre o texto a ser escrito parece pressupor que o gênero Redação seja conhecido dos candidatos.

Por outro lado, o estudo mostrou que a maioria dos enunciados da tarefa 4 da Parte Escrita do Celpe-Bras está no nível de dificuldade referente ao nível de escolaridade esperado, entre as faixas Difíceis e Razoavelmente Difíceis (30 e 59) nas métricas Flesch, e aponta para um perfil de enunciado com mais palavras por sentença, mais sentenças e mais verbos de ação, ainda que com um total de palavras menor. Apesar disso, os dados mostram enunciados com variações amplas de dificuldade textual que, se melhor controladas, talvez possam gerar tarefas mais válidas e análogas em relação à compreensão da linguagem utilizada em seu comando. Além disso, as palavras-chave você, escreva, jornal, revista, carta e é apontam para a produção de um texto da esfera jornalística por interlocutores que são colaboradores de jornais e revistas ou leitores, confirmando o perfil da tarefa 4 do exame apontado por Schoffen et al. (2018) e as indicações, no enunciado, sobre os elementos que compõem a prática social em foco como constituinte da prova.

Entendendo que um enunciado não deveria se constituir em um obstáculo à produção textual, poderia se dizer que os exames em tela apresentam diferentes direcionamentos. O Enem apresenta um enunciado de alta complexidade, e as informações que oferece sobre o texto são pouco elucidativas, exigindo que o candidato conheça as características que compõem o gênero Redação. Já os enunciados do Celpe-Bras apresentam uma complexidade linguística adequada e explicita as características do texto a ser escrito, possibilitando maior acesso a um enunciado que efetivamente precisa ser compreendido para se ter sucesso na tarefa. Isso posto, embora apresentem níveis de complexidade distintos, não é possível afirmar que as produções escritas exigidas em qualquer um dos exames sejam simples: o Enem exige conhecimento das características de um texto dissertativo-argumentativo, e o Celpe-Bras, de vários gêneros do discurso. Um estudo sobre possíveis impactos de diferentes complexidades de enunciados na produção escrita de candidatos com mais e menos preparação prévia para os exames poderia contribuir para iluminar essa questão.

É importante lembrar que nosso foco aqui foi somente o enunciado e que, como dito anteriormente, essa análise é a primeira etapa de uma investigação sobre a complexidade de tarefas avaliativas, entendida como uma relação entre texto-tarefa-leitor/escritor. As técnicas de análise da LC utilizadas possibilitaram expor padrões linguísticos que permitiram uma descrição dos enunciados com base em dados empíricos e não puramente subjetivos (FISCHER-STARCKE 2009). Esses resultados necessitam ser complementados por investigações qualitativas que averiguem aspectos como níveis de sentido, propósitos de leitura, estruturas composicionais, níveis de formalidade, clareza e demanda de conhecimentos prévios do leitor.