Apresentamos um método para a melhoria dos resultados de extração de termos de domínio pela aplicação de uma base lexical-semântica difusa, o CLIP 2.1, um recurso lexical que organiza termos em relação de sinonímia outorgando um valor numérico para o grau de pertença de cada termo num conjunto (chamado de synset, seguindo o modelo de uma Wordnet). Através de uma lista de termos mais representativos de um documento, obtida por meio de técnicas convencionais de extração de termos, queremos melhorar os resultados de precisão sem reduzirmos a abrangência. Este processo pode ser também referido como validação, resolvida mais frequentemente quer manualmente, quer pela aplicação de listas especializadas. Neste último caso, temos o problema de que, ainda assumindo que as listas tenham uma precisão de 100%, não abrangem necessariamente todos os termos do domínio. Para superar esta dificuldade propomos o uso de uma base de conhecimento lexical. Analisamos uma série de experiências em que glossários geográficos servem de listas semente para obtermos synsets do domínio da base lexical difusa CLIP 2.1, de onde avaliamos, considerando uma métrica de associação semântica difusa, uma lista de termos candidatos extraídos de um corpus do domínio geográfico. Obtemos resultados > 80% na medida-F¹ sem reduzirmos a abrangência atingida pelos métodos convencionais estatísticos e de Processamento da Linguagem Natural (PLN). O melhor resultado ao otimizar tanto a precisão quanto a abrangência atinge 90% na medida-F com uma abrangência > 80%.

Termos de um domínio são aqueles que conformam a terminologia específica de uma área. A extração de termos num corpus visa obter listas de uma temática e aplica critérios de seleção para reduzir o número de candidatos (CONRADO; FELIPPO; PARDO; REZENDE 2014). As abordagens de reconhecimento automático de termos aplicam métodos estatísticos e atributos linguísticos, a soma de ambos propicia modelos híbridos (CONRADO; PARDO; REZENDE 2015). Como resultado obtemos um vocabulário que finalmente tem de ser validado por especialistas do domínio (ALMEIDA, ALUÍSIO, OLIVEIRA 2007) ou contrastado com listas especializadas e recursos externos (WENDT; LOPES; MARTINS; VIEIRA; LIMA 2010).

A extração de léxicos preferenciais (ZAPPAROLI 2010) ligados à temática de um conjunto de textos tem sido atendida na linguística de corpus a partir da comparação das frequências normalizadas do léxico contido em vários documentos de que se capturam os vocábulos com maior contraste. Lopes, Fernandes e Vieira (2016) comparam o efeito das métricas de base estatística e desenvolvem uma variante específica da medida TF-IDF (Term Frequency Inverse Document Frequency) para a recuperação de termos, partindo também de um princípio contrastante, mas centrando o trabalho na extração de termos, ainda que limitando a análise a bigramas e trigramas que, de início, têm já uma precisão > 80%. Teixeira (2011) analisou o desempenho de ferramentas automáticas para o ciclo completo de extração de termos, achando os melhores desempenhos ainda muito baixos, na faixa de 20 % para o índice de verdadeiros positivos. Como parte de uma proposta de aprendizagem máquina, Conrado (2014) oferece uma ampla visão de conjunto das métricas e técnicas de extração de terminologia baseada em corpora de domínio para o português.

A proposta que analisamos neste artigo é aplicável a qualquer lista de termos de um domínio, independentemente da métrica considerada e do número de corpora usados. Dada a lista a avaliar, procedemos a validá-la pela aplicação de recursos lexicais. Uma base de dados lexical organiza vocábulos segundo de um modo similar a um tesouro lexicográfico, mostrando relações semânticas e agrupando termos de um domínio ou área temática. Um modelo de grande aplicação é a WordNet (FELLBAUM 1998), que serve mais frequentemente de modelo para a criação de bases de conhecimento lexical em Português (GONÇALO OLIVEIRA; GOMES 2010; FELIPPO; ALMEIDA 2010, 2014; GONÇALO OLIVEIRA; PAIVA; FREITAS; RADEMAKER; REAL; SIMÕES 2015). A particularidade da base lexical usada nesta proposta é ela ser difusa, isto é, os termos do synset vêm ordenados segundo uma métrica que determina o grau de associação semântica ao termo alvo de entrada.

Tanto os materiais no seu estado inicial quanto as ferramentas para o seu processamento são preferentemente de acesso aberto.

As experiências permitiram avaliar o desempenho dos glossários e otimizar os valores de corte para a recuperação e pesquisa de synsets no CLIP 2.1. A figura 1 mostra os resultados obtidos em 400 rondas (4 glossários x 10 rondas de recuperação de synsets x 10 rondas de pesquisa de termos nos synsets recuperados). A lista mais específica do corpus (TR8IBGEGeonames) obtém os melhores resultados, com valores de 90% na medida-F. De salientar que a lista com menor número de termos (17) - portanto, com menor trabalho de pesquisa - atingiu os resultados mais altos. Não obstante, todas as listas especializadas conseguem, nas suas melhores configurações, resultados próximos.

Fig.1:

No que diz respeito aos valores de corte na associação dos termos na base lexical, a tabela 6 mostra os melhores resultados para as três medidas consideradas. A abrangência aumenta pela redução do valor de corte. Achamos, assim, o melhor resultado da medida-F (84%), com um 100% de abrangência, com os valores de associação 0.05 na seleção e 0.01 para a limitação de pesquisa dentro do synset. Uma precisão do 100% mantém uma abrangência de 81%, com o valor de seleção de synset em 0.15 e recuperação de termos dentro do synset em 0.25. Os resultados mais baixos (Fig.1) são resultado da aplicação de medidas muito restritivas, que consideram termos com uma medida de corte ≥ 1.5.

Tabela 6:

Precisão	Abrangência	Medida-F	Seleção de synset	Seleção de termos no synset
100%	81%	90%	0.15	0.25
72%	100%	84%	0.05	0.01

Os melhores resultados que achamos na literatura para a extração de termos combinam técnicas de PLN e estatísticas para obter listas de candidatos. Operando sobre uma lista obtida pela aplicação de técnicas convencionais, pesquisamos um método de melhoria que continue o processo de modo automático. Uma das soluções consideradas na literatura relacionada é a aplicação de listas especializadas. Consideramos dois glossários para as experiências: um que otimiza a precisão (IBGE) e outro que otimiza a abrangência (GeoNames_trad). Da sua reelaboração obtemos mais duas listas, uma da fusão de ambos (IBGE ⋃ GeoNames_trad), outra da redução dos termos dos glossários àqueles que apenas achamos no corpus (TR8IBGEGeonames).

No que diz respeito à simples aplicação das listas especializadas, ao ampliar os termos contidos nos glossários com outros relacionados semanticamente (sinonímias difusas), a base lexical permitiu uma melhoria da abrangência até os 100% (Tabela 6), no melhor dos resultados das listas especializadas, limitada ao 65% (Tabela 3). É também possível atingir uma precisão de 100% e melhorar ainda a abrangência, no melhor resultado, até 81%, conseguindo um incremento de mais de 10 pontos na medida-F a respeito das listas especializadas (cuja precisão é também de 100%).

As experiências centraram-se em determinar os melhores valores para duas variáveis: o listado especializado (glossários) usado como semente para a recuperação e os valores de corte para a seleção de synsets e os termos neles incluídos. A respeito do glossário, aquele com menor número de termos (TR8IBGEGeonames com 17 termos - face a IBGE com 126 termos, GeoNames_trad com 667 e IBGE ⋃ GeoNames_trad com 725), porém o mais específico do corpus - é que obtém os melhores resultados, indicando que a proximidade da lista ao texto pode ser um fator relevante para o desempenho na recuperação de termos de domínio. A necessidade de considerar a variável do valor de associação semântica no CLIP 2.1 fica patente pelo fato de valores muito restritivos (particularmente ≥1.5) oferecem resultados não desejados (os mais baixos na fig. 1). Como esperado, a redução do valor de corte aumenta a abrangência, no entanto, tanto para a seleção de synsets quanto para a posterior pesquisa dos termos neles incluídos, é possível estabelecer limites que reduzam o número de synsets e termos a avaliar, mantendo uma abrangência de 100%.

O uso de uma base lexical como ferramenta de validação dos candidatos obtidos pelas técnicas mais comuns de extração de termos permitiu a melhoria dos resultados através da simples aplicação de uma lista especializada em todas as métricas consideradas. O procedimento consistiu em selecionar um glossário geográfico e pesquisar os seus termos na base lexical CLIP 2.1 em que os termos aparecem agrupados em synsets com uma medida de associação semântica. Se achamos o termo pesquisado num synset, guardamos este grupo de termos. Se estabelecemos uma medida de corte, o procedimento é o mesmo mas só se guarda o synset em que o termo pesquisado aparece por cima do valor considerado. Para validar uma lista de termos geográficos que extraímos de um corpus do domínio geográfico, pesquisamos cada termo, primeiramente validado num glossário geográfico especializado, nos synsets do CLIP 2.1 e aplicamos uma nova medida de corte para a seleção dos termos dentro do synset. Deste modo melhoramos a abrangência dos listados especializados, ao aumentá-los com termos numa relação (quantificável) de proximidade semântica.

A vantagem da base lexical difusa não se limita à melhoria na abrangência. Consideramos que o seu aproveitamento é ainda maior, uma vez que permite configurações específicas aplicando valores de corte sobre a medida de associação semântica. Nas nossas experiências foi possível manter, com valores da medida-F > 80%, quer a precisão, quer a abrangência, no 100%. A base lexical CLIP 2.1 consegue estes resultados independentemente do procedimento e métricas usados para chegar à lista de termos candidatos. Consideramos que a sua aplicação pode melhorar o presente estado da arte na extração de termos de domínio. O feito de ser de livre disposição faz que recomendemos a sua aplicação tanto em soluções práticas como em novos testes com configurações alternativas à por nós apresentada neste trabalho.