rcf Revista Contabilidade & Finanças Rev. contab. finanç. 1519-7077 1808-057X Universidade de São Paulo, Faculdade de Economia, Administração e Contabilidade, Departamento de Contabilidade e Atuária 10.1590/1808-057x201909160 Original Article International VaR approach: Backtesting for different capital markets 0000-0002-0168-530X Pinheiro Marília Cordeiro 1 0000-0003-0860-563X Fernandes Bruno Vinícius Ramos 2 Universidade de Brasília, Faculdade de Economia, Administração, Contabilidade e Gestão Pública, Programa de Pós-Graduação em Contabilidade, Brasília, DF, Brazil Universidade de Brasília Faculdade de Economia, Administração, Contabilidade e Gestão Pública Programa de Pós-Graduação em Contabilidade Brasília DF Brazil Universidade de Brasília, Faculdade de Economia, Administração, Contabilidade e Gestão Pública, Departamento de Contabilidade e Atuária, Brasília, DF, Brazil Universidade de Brasília Faculdade de Economia, Administração, Contabilidade e Gestão Pública Departamento de Contabilidade e Atuária Brasília DF Brazil marilia.cordeiro90@hotmail.com brunoramos@unb.br

Correspondence address: Marília Cordeiro Pinheiro. Universidade de Brasília, Faculdade de Economia, Administração, Contabilidade e Gestão de Políticas Públicas, Programa de Pós-Graduação em Contabilidade. Campus Universitário Darcy Ribeiro, Bloco A-2 - CEP 70910-900. Asa Norte - Brasília - DF - Brazil

Associate Editor: Fernanda Finotti Cordeiro Perobelli

 15 12 2019 02 12 2018 18 01 2019 30 05 2019 This is an open-access article distributed under the terms of the Creative Commons Attribution License ABSTRACT

This article aims to compare distinct metrics of the value at risk (VaR), differing from prior studies with respect about compare three asset categories belonging to seven countries. Since VaR inception, several approaches were developed to improve the loss estimation accuracy. However, there is hardly a universal consensus on which approach is the most appropriate, since VaR depends on statistical properties of the target asset and the market in which it is traded. It is relevant to compare the results obtained not only among the assets, but also among the markets in which they are traded, considering their specifics properties to verify if there is any pattern of the methods for the data. Considering the three asset categories, the semiparametric and non-parametric models obtained the lowest rejections number. It was also found that the models tested were not effective for the estimation of exchange rate VaR, which may be due to more relevant risks than the market in it asset price formation. Five models belonging to the parametric, semiparametric, and non-parametric approaches were tested. The analyses were divided in two, aiming to test the VaRs performances in distinct economic cycles; the first analyses considered a 1,000 days estimation window, while the second one considered a 252 days estimation window. To validated the results statistically, were applied the Kupiec and the Christoffersen tests. The results show that the conditional VaR and historical simulation have the best performance to estimate VaR. Comparing the markets, Chinese assets were the ones with the highest average number of tests rejections, which can be a consequence of its closed economy. Finally, it was found that shorter estimation window tends to perform better for high volatility assets, while longer window tends for lower volatility assets.

 Keywords VaR parametric models semiparametric models non-parametric models backtesting 1. <bold>INTRODUCTION</bold>

The value at risk (VaR) was created in the 1980’s by JP Morgan, being disseminated by The Basel Committee in April 1995. At the end of the same year, the Securities and Exchange Commission (SEC) defined VaR as one of the three risk metrics that traded companies must use. VaR consists on an econometric tool to predict the worst loss over a target horizon within a given confidence interval (Jorion, 2007). Since its inception, several approaches were developed with the objective to improve the loss estimation accuracy and as an answer for the financial crises that have occurred over the years.

Although different, these methods have similar structures; from the assets daily returns, it made an inference of the distributions of these returns to estimate the desired VaR. The main divergence lies in the premise of the returns distribution, since there is a division between parametric models, which assumes a linear distribution, and non-parametric models, which defends a non-linear distribution (Engle & Manganelli, 2004). Considering that VaR is computed from specific assets statics properties and the markets which they are traded, difficultly will have a consensus about which of these two approaches is more adequate, as the financial instruments form heterogeneous classes, with different theoretical foundation of price formation and, consequently, the levels exposure risk.

Therefore, is necessary to apply the backtesting that aims to test the VaR accuracy based on the historical data, making it possible to analyses if a certain model had a good or bad performance and, consequently, verify if it is suitable for the target asset (Adams & Füss, 2009). Given the importance of VaR, a range of models was developed with the purpose of testing its accuracy. The Kupiec (1995) test focused on the measurement of the proportion of unconditional losses of the VaR model; if the proportion of failures occurs above the established p-percentile, it is an indication that the VaR tested underestimates the maximum asset loss. Another commonly used backtesting is Christoffersen (1998), which identifies whether violations cluster, that is, whether violations are independent from each other. The null hypothesis rejection is an indication of the model’s delay in absorbing market oscillations in the evaluation of asset loss (Campbell, 2006).

In this paper, five VaR models are tested for three distinct asset classes of seven markets: Brazil, China, Germany, Japan, South Africa, United Kingdom, and United States of America. The article is relevant for comparing the results obtained not only among the assets, but also among the different markets in which they are traded, considering their specifics statistics properties, and verify if there is any pattern of the VaR models for the data. Additionally, is also tested the influence of the size of estimation window on VaR accuracy.

The paper is organized as follows: the section 2 contains the related literature, the section 3 describes the methodology, the section 4 summarizes the empirical results, and the section 5 presents the conclusion.

 2. RELATED LITERATURE

The VaR analysis is more complex than the traditional forms of risk estimation, due to the dependence of multivariate distribution of risk factors and their dynamic, as in portfolio risk mapping. Although VaR can be accurately measured, it is limited to a specific time horizon and to the established probability interval. Additionally, VaR estimation is obtained from specific statistical characteristics of the asset and the market which it is traded. Considering all these factors, several extensions of its calculation have been developed, seeking to improve its predictive capacity. The main difference between these metrics is the premise of the returns distribution, since the characteristic of non-linearity on financial series is predominant, which puts the accuracy of parametric models in questioning.

In view of the scope of VaR metrics, previous literature has already addressed the comparation among the models performance. One of the most explored thematic is the lack of VaR subadditivity, which means that the portfolio risk can be larger than the sum of isolated risks of its components when estimated by VaR. In response to this, a popular alternative for the subadditivity violation is the expected shortfall model (ES), also knowns as conditional VaR (CVaR), proposed by Acerbi, Nordio, and Sirtori (2001). The method allows the risk factors decomposition by using its optimization portfolio property. Also, CVaR focuses on the information contained in the tail and not on the entire distribution, giving the conditional expected value beyond the VaR level. In contrast to the defenders of CVaR, Danielson et al. (2005) explored the subadditivity violations focusing on heavy tailed assets and using a bivariate generalized autoregressive conditional heteroscedastic (GARCH) model to estimate the loss. For the most of sample, VaR is subadditive in the tail at probabilities that are most relevant for practical applications. The author reexamined the subadditivity question in 2013 and concludes that VaR is subadditive in the relevant tail region if asset returns are multivariate regularly varying and that VaR estimated by historical simulation model may violate subadditivity.

Historical simulation (HS) is widely used because it does not assume the normality premise of asset returns distribution, representing the segment of non-parametric models. Considering this, the main advantage of the HS is its coverage, since its application is not restricted only to linear portfolios, which makes it one of the most popular risk management methods. However, due its entirely dependence on the information contained in the historical data, it is subject to distortions of extreme events that occurred in a distant past and are no longer relevant in the loss estimation. Pritsker (2006) finds that risk estimates using the method delays to changes in conditional volatility and that it reacts asymmetrically, since the risk forecasting after larges losses, but not after large gains. Barone‐Adesi and Giannopoulos (2001) find that HS fails to condition forecasts on the current state of the market, because it makes interval forecasts that are static, taking no notice of the last trading dates risk level.

Monte Carlo (MC) is another common simulation method used for VaR estimation, which is similar to HS, differentiating by the movements of the risk variables that are generated by the outline of some probability. In fact, this is one of the main fragilities of MC, since it is necessary to make assumptions about the process and to understand the sensitivity of this (Jorion, 2003). In a review of MC risk management, Hong, Hu, and Liu (2014) pointed out two important features about the model; first, the result is limited to the quality of the VaR model, which can cause distortions in loss distribution and, consequently, the risk may hide in the tail distribution. Second, in practice is difficult to make a realistic inference about the distribution precisely, considering that it is necessary a sufficiently large sample to arrive at a number that is approximately equal to the mathematical expectation of risk.

Although MC is a widely used method, the most popular VaR estimators are those derived from the autoregressive moving-average (ARMA) and GARCH models. Angelidis, Benos, and Degiannakis (2004) evaluated the performance of GARCH family for stock indices from United States of America, France, Germany, Japan, and United Kingdom. First, they detect that leptokurtic distributions can produce better VaR forecast. Second, that the ARCH structure producing the most accurate forecasts is different and specific for each stock market. So and Philip (2006) extended the test for 12 different market indices and four foreign exchange rates. The results show that among the models, risk metrics tends to be more robust of having less variation in the sample coverage, and that VaR estimation for exchange rates is less relied on the volatility models than stock market data.

As can be seen, the review of related literature reveals divergent results, which is expected considering that the financial market is composed by heterogeneous assets classes, with their own statistical properties and particularities. This provides a motivation to reinvestigate the accuracy VaR metrics for distinct assets and economies.

3. METHODOLOGY

To estimate VaR and compare the performance of each method among the assets, six different models are tested; exponentially weighted moving-average (EWMA), GARCH, and MC representing the parametric approach, HS representing the non-parametric approach, and CVaR representing the semiparametric approach.

3.1. Exponentially Weighted Moving-Average (EWMA)

The EWMA consists on an improvement of moving-average methods, especially for having the advantage of putting more weight in the most recent observations, considering that it has the most relevant information about the asset risk.

The EWMA estimates the returns volatility for date t over a window from date t-k to date t-1:

σ 2 = ( 1 - λ ) ∑ i = 1 ∞ λ i - 1 r t - i 2

where i003 denotes the decay factor, which , i005, and so, as returns move further into the past, they will have less influence on i006estimation.

Usually, empirical studies show that λ = 0.94 permits a nice risk forecasting for market assets. The EWMA represents a linear model, assuming the normal distribution of returns. The estimation of the EWMA VaR of the 100% h-day is:

E W M A   V a R =   Φ - 1 ( 1 - α ) σ h

where h corresponds to the target horizon estimation and i008 is the distribution function of the quantile 1 - α.

3.2. Generalized Autoregressive Conditional Heteroscedastic (GARCH)

The GARCH model considers that the conditional volatility i009 is a function of continuous change its previous values squares which generates the volatility clusters. The model is autoregressive since the return Y t depends on the values of Y t-1 , which suggests the heterosledasticity observed over different periods can be autocorrelated.

Let rt = i010 be the continuously compound rate of return from time t - 1 to t, where S t is the asset price at t moment. It is assumed that the time series of interest rt is decomposed into two parts: the predictable and unpredictable component i011, where i012 is the information time at t - 1, E is the mean operator, and εt is the unpredictable part that can be expressed as an ARCH process:

ε t = z t σ t

where z t is a sequence of independently and identically distributed random variables with 0 mean and unit variance. The conditional variance of i014 is i015, a time varying, positive and measurable function of the information set at time t-1 (Angelidis et al., 2004).

Engle and Manganelli (2004) developed the ARCH(q) model and expressed the conditional variance as a linear function of the past q squared innovations:

σ t 2 = a 0 + ∑ i = 1 q a i ε t - 1 2

The GARCH(p,q) model is a generalization of the ARCH model, proposed by Bollersev (1994). For the conditional variance to be positive, the parameters must satisfy a0 > 0 and i017 for i018= 1, …, q. Based on these restrictions, the GARCH model is expressed by:

σ t 2 = a 0 + ∑ i = 1 q a i ε t - 1 2 + ∑ i = 1 q b i σ t - 1 2

The parameters are estimated by maximum likelihood under the assumption that the returns are normally distributed i020 and i021 being their density function, the log-likelihood function of i022 for a sample of T observations is given by:

L t y t ; θ = ∑ t = 1 T [ ln ⁡ D z t θ ; v - 1 2 ln ⁡ σ 2 θ ]

In summary, the one-step ahead conditional variance forecast i024for the GARCH(p,q) model equals:

σ t + 1 t 2 = a 0 + ∑ i = 1 q a 1   ε t - i + 1 2 + ∑ i = 1 q b j σ t - j + 1 2

Therefore, the one-step VaR forecasts under all distributional assumptions and for zero mean observations calculated by

V a R t + 1 t = F ( α ) σ t + 1 t

where i027 is the corresponding quantile (95th or 99th) of the assumed distribution and i028 is the forecast of the conditional standard deviation at time i029 given the information at time t.

 3.3. Monte Carlo (MC)

The process for MC’s estimation is based on risk factor mapping. It is assumed that the portfolio mapping is based on returns rather than on changes in the equity risk factors. Hence, the VaR will be estimated as a percentage of the portfolio value. The basic algorithm for generating correlated simulation on k risk factors returns is based on k-dimensional, i030 normal process. Therefore, the marginal distribution of the risk factor’s return is i031(i032) for i033 and the risk factor correlations are represented in a i034matrix C. The algorithm begins with k independent simulations on standard uniform variables, transforms these into independent standard normal simulation, and then uses the Cholesky matrix of the risk factor returns covariance to transform these into correlate zero-mean simulations with the appropriate variance. Therefore, the mean excess return is added to each variable (Alexander, 2009).

Given this approach, the covariance matrix is written as:

Ω = D C D

where i036 =i037. The Cholesky matrix is a lower triangular i038 matrix i039 such i040 The expected returns in a vector is written as i041 then the i042 multivariate normal vector i043 are generated by simulating i044 independent standard vector i045 and setting i046. It is simulated a very large number of such vectors i047 and apply the portfolio mapping to each simulation, producing N simulations on the portfolio returns. Next, it is simulated i048 portfolio excess returns with the purpose to find their empirical distribution, to find the i049 quantile of this distribution, and to multiply this by -1, which is the i050 VaR estimate (Alexander, 2009). In this work, the MC model was calculated using VaR, using 10 million simulations.

 3.4. Historical Simulation (HS)

The HS is a non-parametric model which assumes that all possible future oscillations have been experienced in the past and that historically simulated distribution is identical to the returns’ distribution over the forward target risk horizon. Historical scenarios in recent movements in risk factors are used to simulate many possible portfolio values in i051 days’ time (Alexander, 2009). The VaR obtained by the HS is estimated from the construction of hypothetical values from a current observation given by:

f i k = f i , t + ∆ f i k

wherei053 is the risk factor of the portfolioi054 These hypothetical values are used to construct the hypothetical portfolioi055, considering the new scenario from the equation:

P k = P [ f 1 k , f 2 k … f N k ]

The oscillations of portfolios values i057 are obtained with the equations above. The returns i058 are ordered and then are chosen those that correspond to 𝑞𝑢𝑎𝑛𝑡𝑖𝑙 𝑐𝑡ℎ 𝑅𝑝 (𝑐). The VaR is obtained by the difference between the mean and the 𝑞𝑢𝑎𝑛𝑡𝑖𝑙:

V a R = A V E R p - R p ( c )

3.5. Conditional Value at Risk (CVaR)

The last model tested is the CVaR, also known as ES, which is a differentiated model, since it is concentrated on the information that is associated on the quantile below the probability i060. The math function on the estimated loss of the asset Y is given by:

E Y = ∫ - ∞ ∞ y f y d y

However, to VaR estimation, the function must be changed, considering that the expectative does not range from i062 to i063, but i064 to i065. The area below i066 on the interval i067] is smaller than one, which implicates that i068 is not an adequate function for this context. Thus, the new density function i069 is defined by the positive adjust of i070, so that the area above this value becomes unitary (Danielsson, 2011). To identify the correct density distribution, it is applied:

E Y = ∫ - ∞ - V a R ( p ) y f y d y

Therefore, the density of the i072 tail is:

1 = ∫ - ∞ - V a R ( p ) f V a R y d y = 1 p ∫ - ∞ - V a R ( q ) f q y d y

The CVaR is obtained by the reason between the profit and the loss over the density of i074 tail:

C V a R = ∫ - ∞ - V a R ( p ) f V a R y d y

3.6. Statistical Tests

To verify and compare the performance among the models is used the methodology proposed by Danielsson (2011). Firstly, is calculated the violation ratio (VR) that has the purpose of measures whether the current return of a specific day exceeds the VaR obtained based on the estimation window. Considering the violations equal to i076 it is assumed that when the violation occurs, i077 1 and i078 0 otherwise. The number of violations is incorporated on the variable i079, while i080 corresponds to the number without violations.

n t = 1   i f   y t ≤ - V a R 0   i f   y t > - V a R       v 1 = ∑ n t   v 0 = t e s t i n g   w i n d o w   s i z e - v 1

The VR is:

V R = o b s e r v e d   n u m b e r   o f   v i o l a t i o n s e x p e c t e d   n u m b e r   o f   v i o l a t i o n s = v 1 p   ×   t e s t i n g   w i n d o w   s i z e

Danielson (2011), based on Basel III accords, used the rule of thumb that if VR i085 it is a good forecast and, if VR < 0.5 or > 1.5 the model, respectively, underestimates and overestimated the risk. To validate statically the VR values, Kupiec (1995) and Christoffersen (1998) tests are applied. The first one considers only the frequency of the violations and not the time in which they occurred. Thus, the Christoffersen test (1998) is applied so that there is no error in rejecting a model that produced clustered violations.

For Kupiec (1995), the null hypothesis for VaR violation is:

H 0 :   η ~ B ( p )

with B representing the Bernoulli distribution. The Bernoulli density is given by:

p ^ = v 1 W t

under H0, i088/, therefore the restrict maximum likelihood function is:

l R p ^ =   ∏ t = W e T ( 1 - p ) 1 - η t ( p ) η t = ( 1 - p ) v 0 ( p ) v 1

As said before, the Christoffersen test (1998) has as advantage to identify whether violations cluster, considering that, theoretically, they should be independent. If the null hypothesis is rejected, it is an indication that the model delays in absorbing the oscillations that occur in the market for the asset tested. It is needed to calculate the probabilities of two consecutives violations and the probability of a violation if there was no violation on the previous day:

p i j = P r ⁡ ( η t = i η t - 1 = j

The statistical test is given by:

L R = 2 l o g l U Π 0 - l o g l R l R ( Π 1 ~ χ 2

where i092 is the estimated transition matrix and i093 is the transition matrix. Under the null hypothesis of no violations cluster, the probability of a violation tomorrow does not depend on a today violation; therefore, i094 . The test of independence is asymptotically distributed as a i095

The CVaR backtesting differs from the other models since what is being tested is a loss beyond VaR. Danielsson (2011) presents a methodology to backtesting CVaR that is analogous of the VR. When VaR is violated, normalized shortfall i096 is calculated as:

N S t = y t E S t

with ES being the observed ES on day i098. Then the expected i099 for a violated VaR is:

E Y t Y y <   - V a R t E S t = 1

Given that, the null hypothesis defines that average NS should be equal to one:

H 0 = N S - = 1

3.7. Data

The sample is composed of three categories of assets belonging to seven countries with different economic status. Countries were selected based on liquidity criteria and market representativeness: representing developing economies, the assets of South Africa, Brazil, and China were selected, 17th, 20th, and 5th largest capital markets respectively. Representing the developed countries, the assets of the United States of America, Germany, Japan, and United Kingdom, 1st, 10th, 3rd, and 4th largest capital markets, respectively, were chosen (based on the stock to trade major stock exchange in the world infographic, retrieved from https://stockstotrade.com/major-stock-exchanges-in-the-world-infographic/).

The equity market is represented by the New York Stock Exchange (NYSE), the Shanghai Stock Exchange (SSEC), the London Stock Exchange (LSE), the Bovespa Index (B3), the Nikkei 225, the Johannesburg Stock Exchange (JSE), and the German Stock Index (DAX). The bond market is composed by United States Treasury bond (U.S. T-Bond), Chinese government bond, Brazilian government bond (NTN-B), Japanese government bond, South African government bond, and Deutsche government bond. The exchange rate, last asset class tested, is represented by yuan (CNY), British pound (GPB), real (BRL), yen (JPN), South African rand (ZAR), and euro (EUR). An important observation is that the dollar is not used on the exchange rate, since it is the greater exchange representativeness, being used as parity for the other currencies. It covers the period from January 2 until December 31. The liquidity and the size criteria were used to select the indices for the sample composition.

4. EMPIRICAL ANALYSIS

The empirical analysis is structured as follows. It starts with the descriptive statistics, which is a fundamental topic considering that VaR uses the statistical properties to estimate the losses. The next subsection presents the values of VR with the purpose of analyses the performance of VaR models and simultaneously verify if there is a predominance of a model for a given type of market or asset. Finally, the results obtained are validated based on the Kupiec (1995) and Christoffersen (1998) tests.

4.1. Descriptive Statistics

The descriptive statistics provide an insight into the investment properties of different assets and markets. Table 1 summarizes the descriptive statistics for the data.

Descriptive statistics of the raw data
Country Assets Annual mean (%) Annual volatility (%) Skewness Kurtosis JB p-value JB
United States of America NYSE 0.06 0.33 -0.35 9.23 6,076.90 0.00
U.S. T-bond 0.01 0.06 -0.11 5.14 3,103.90 0.00
China SSEC -0.02 0.28 -0.61 4.08 1,959.10 0.00
Chinese government bond -0.02 0.31 -0.31 7.84 6,191.20 0.00
CNY/USD 0.02 0.02 -0.56 17.35 36,117.00 0.00
United Kingdom LSE UK 0.07 0.37 0.18 6.76 5,205.60 0.00
United Kingdom government bond -0.04 0.10 -1.00 13.31 2,164.00 0.00
GPB/USD -0.04 0.10 -1.00 13.30 21,617.00 0.00
Brazil B3 0.01 0.28 -0.04 6.02 4,100.00 0.00
NTN-B -0.04 0.29 0.32 8.97 7,669.10 0.00
BRL/USD -0.05 0.17 -0.28 6.43 4,976.90 0.00
Japan Nikkei 225 -0.01 0.25 -0.50 7.98 7,337.10 0.00
Japanese government bond 0.00 1.56 2.99 10.21 1,155.90 0.00
JPY/USD -0.02 0.11 -0.10 2.81 875.60 0.00
South Africa JSE 0.06 0.21 -0.09 3.74 1,608.20 0.00
South Africa government bond -0.01 0.15 0.15 13.13 20,999.00 0.00
ZAR/USD -0.06 0.18 -1.28 17.28 36,447.00 0.00
Germany DAX 0.03 0.22 -0.02 6.01 4,204.20 0.00
Deutsche government bond -0.66 1.46 -31.51 17.46 2,134.36 0.00
EUR/USD -0.01 0.10 0.09 2.29 632.50 0.00

Note: The data summarizes statistics for the equity markets, government bond markets, and exchange rates from January 2008 until December 2017.

B3 = Bovespa Index; BRL = real; CNY = yuan; DAX = German Stock Index; EUR = euro; GPB = British pound; JPY = Japanese yen; JSE = Johannesburg Stock Exchange; LSE UK = London Stock Exchange; NTN-B = Brazilian government bond; NYSE = New York Stock Exchange; SSEC = Shanghai Stock Exchange; U.S. T-bond = United States Treasury bond; USD = dollar; ZAR = South African rand.

Source: Elaborated by the authors.

As can be seen, the null hypothesis of normality is rejected at any significance level for all markets, which is a violation for the parametric model’s main premise. Additionally, all assets have positive excess kurtosis, a characteristic of leptokurtic returns distribution with fat tails and exposed to extreme events. The equity market with the highest return is the LSE, which is also the most volatile and the only one with positive asymmetry. On the other hand, the SSEC has the lowest return, being the third most volatile. In general, the stock portfolios are the assets with the highest average return and greater volatility. For the government bond market, German bond record the lowest return. This may be a consequence of the policy adopted in 2016, which were issued bonds with a negative yield. An important point to add is that Japan also implemented this policy and, according to Table 1, although the annual average is not negative, the Japanese bond is the asset with the highest volatility. By treating these two bonds as outliers, government bonds have the second highest average volatile of the data, while equity indices have the highest one. The exchange rate is the asset class with the lowest average volatility, and the yuan is the only one with a positive annual return. The South African and Brazilian currencies presented the greatest volatility and average devaluation.

4.2. Analysis for the Entire Period

Firstly, is applied the test for the whole period (2007-2017), with a 1,000 days estimation window. Table 2 shows the VRs and their statistical significance of Kupiec (1995) and Christoffersen (1998) tests with the purpose to validate the results.

Backtesting for 99% value at risk (VaR) estimation (2007-2017)
Countries Assets EWMA HS GARCH CVaR MC
United States of America NYSE 1.43 0.14* 1.28 1.87 0.43
U.S. T-bond 2.21* 0.39* 1.71* 1.03 1.16
China SSEC 2.52* 1.26 1.89* 1.14* 2.01*
Chinese government bond 2.43*** 0.07 1.43 1.28* 0.43*
CNY/USD 1.71* 1.71*** 1.87* 1.80 2.94***
United Kingdom LSE UK 1.16* 0.52*** 0.87** 1.16 0.93
United Kingdom government bond 1.77* 0.91 1.71* 1.03 1.16**
GPB/USD 1.93* 1.93 1.44 1.17 2.89*
Brazil B3 1.28 0.99* 1.05 1.19 1.22
NTN-B 1.33 0.39 1.02 1.01 1.33
BRL/USD 2.14* 0.96 1.55* 0.91 1.71*
Japan Nikkei 225 2.09*** 1.05** 1.98* 1.22** 1.63***
Japanese government bond 1.70** 2.86 1.46 1.10 4.20
JPY/USD 1.93* 1.15 1.15 0.77 1.15
South Africa JSE 1.83* 0.69 1.43 0.97 1.20
South Africa government bond 1.74* 1.20** 1.20 1.10 1.25**
ZAR/USD 2.30* 1.02** 1.98 1.13* 1.71***
Germany DAX 2.11* 0.61 1.56* 1.00 1.34***
Deutsche government bond 1.43** 3.93*** 1.59*** 1.11 4.20***
EUR/USD 1.27 0.48* 1.22 1.16 1.38

B3 = Bovespa Index; BRL = real; CNY = yuan; CVaR = conditional VaR; DAX = German Stock Index; EUR = euro; EWMA = exponentially weighted moving-average; GARCH = generalized autoregressive conditional heteroscedastic; GPB = British pound; HS = historical simulation; JPY = Japanese yen; JSE = Johannesburg Stock Exchange; LSE UK = London Stock Exchange; MC = Monte Carlo; NTN-B = Brazilian government bond; NYSE = New York Stock Exchange; SSEC = Shanghai Stock Exchange; U.S. T-bond = United States Treasury bond; USD = dollar; ZAR = South African rand.

* = significant at 5% level for the Kupiec test (1995 ); ** = significant at 5% level for the Christoffersen test (1998 ); *** = significant at 5% level for the Kupiec ( 1995 ) and the Christoffersen ( 1998 ) tests.

Source: Elaborated by the authors.

Relying on the premise that a VR ∈ [0.8,1.2] is a good forecast, based on the data of Table 2, United Kingdom has the highest percentage of adequate VR (53%), followed by Brazil and South Africa (both with 47%), while China has the lowest value (7%). The Chinese market is also the one with the highest number of rejections of Kupiec (1995) and Christoffersen (1998) tests. These results may be due to intrinsic particularities of Chinese financial market, considering not only its closed economy, but also the intervention of the government to keep the currency and the interest rates at a low level.

Comparing the assets, the percentage of appropriate VR is close, with stocks and government bonds having the best performance (35%) and exchange rate having the worst (30%). This can be a consequence of the complex formation of currency pricing, given that it depends of internal and external policies, especially of the United States of America. The Chinese currency is the only one that did not get any adequate VR, while the Japanese has the largest number (3). Among the stock indices, LSE has the highest number of appropriate VR (3), while NYSE did not have any one. For government bonds, United Kingdom bond has the highest number (3), while Chinese bond the lowest (0). While CVaR has the highest number of accurate VR for all asset categories, EWMA has the lowest number. HS has the second best performance for equity indices, MC has the second best performance for government bond indices, except for CVaR and EWMA; all other models have only one adequate VR for exchange rate.

Considering the results of VaR estimation models, CVaR presents the highest number of accurate VR (15), however, it must be emphasized a restriction on the comparability of this method on the others, since CVaR is distinguished by concentrating on the information contained in the left tail and estimates the losses below VaR quantile. The second model with best performance is HS (6), characterized by not assuming the normality premise. The EWMA is the model with the lowest number of appropriate VR. Compared to other methods, EWMA is the simplest one in the aspect that is a GARCH model with only one parameter with i102.

The results of the Kupiec (1995) statistical test at 5% of significance show that EWMA has the highest number of rejections for the null hypothesis (14), while CVaR has the lowest (3). For the Christoffersen test (1998), MC presents the highest number of rejection for the null hypothesis (7), indicating a delay to absorb markets movements information. GARCH and CVaR have the lowest number (2). The good performance of GARCH model for the test may be a consequence of the relevance of heteroscedasticity on the risk estimation, a typical characteristic on financial data. HS has the second highest number of rejections for both statistical tests, especially for those VR, which are not on the appropriate interval. Among the asset categories, stocks have the lowest rejections percentage, while exchange rates have the highest.

 4.3. Analysis for Subperiods

Next, is tested a smaller window and analysis the performance of VaR models over subperiods. The estimation window has been reduced for 252 days, equivalent to one year of trading. The data is segregated in the following subperiods: 2007-2010, 2011-2014, and 2015-2017.

Subperiod 2007-2010 backtesting for 99% value at risk (VaR)
Countries Assets EWMA HS GARCH CVaR MC
United States of America NYSE 1.03 0.11 1.03 1.00 0.57
U.S. T-bond 1.04 1.24 0.89 1.10 0.48*
China SSEC 1.94 0.51 2.06 1.23 2.19
Chinese government bond 1.68 1.00 1.51 1.16 2.18*
CNY/USD 1.97 0.00*** 1.43 1.37*** 1.28***
United Kingdom LSE UK 2.27 0.75 2.27 1.01 2.14*
United Kingdom government bond 2.13 1.06 1.78 1.09 3.08*
GPB/USD 2.12 0.95 1.78 1.09 3.08*
Brazil B3 2.16 1.14 1.91 1.06 2.16
NTN-B 0.00 0.56 0.00 0.00 1.12
BRL/USD 1.70 0.85 1.46 1.13 2.19*
Japan Nikkei 225 1.81 1.16 1.29 1.08 3.10***
Japanese government bond 0.90 0.72 0.72 1.03 1.09
JPY/USD 1.47 0.73 1.47 1.27 1.47
South Africa JSE 1.63 0.99 1.49 1.03 1.99
South Africa government Bond 1.17 0.99 1.49 1.03 1.99**
ZAR/USD 2.21 1.35 1.72 1.11 1.72
Germany DAX 2.07 0.61 1.59 1.09 2.07
Deutsche government bond 1.99 1.24 2.24 0.99 2.62*
EUR/USD 1.42 2.13 1.89 1.09 2.96

B3 = Bovespa Index; BRL = real; CNY = yuan; CVaR = conditional VaR; DAX = German Stock Index; EUR = euro; EWMA = exponentially weighted moving-average; GARCH = generalized autoregressive conditional heteroscedastic; GPB = British pound; HS = historical simulation; JPY = Japanese yen; JSE = Johannesburg Stock Exchange; LSE UK = London Stock Exchange; MC = Monte Carlo; NTN-B = Brazilian government bond; NYSE = New York Stock Exchange; SSEC = Shanghai Stock Exchange; U.S. T-bond = United States Treasury bond; USD = dollar; ZAR = South African rand.

* = significant at 5% level for the Kupiec test (1995); ** = significant at 5% level for the Christoffersen test (1998); *** = significant at 5% level for the Kupiec (1995) and the Christoffersen test (1998) tests.

Source: Elaborated by the authors.

Subperiod 2011-2014 backtesting for 99% value at risk (VaR)
Countries Assets EWMA HS GARCH CVaR MC
United States of America NYSE 0.84 0.17 0.68 1.01 0.12***
U.S. T-bond 0.91 0.91 0.91 1.21 0.34
China SSEC 1.95 0.91 1.30 1.10 1.43
Chinese government bond 2.84 0.59 2.55 1.36 1.35
CNY/USD 1.55 0.88 1.33 1.17 1.32
United Kingdom LSE UK 1.39 0.76 1.39 1.15 0.88
United Kingdom government bond 2.00 1.06 2.01 1.09 1.90
GPB/USD 2.03 1.08 2.03 1.09 1.92
Brazil B3 1.39 1.14 1.14 1.05 1.51
NTN-B 0.55 0.00*** 0.00*** 1.90*** 0.55
BRL/USD 2.57 1.47*** 2.08*** 1.05*** 2.81
Japan Nikkei 225 1.66 0.77 1.28 1.12 1.79***
Japanese government bond 2.17 1.81 1.99 1.09 2.53
JPY/USD 0.67 0.67 0.67 1.17 0.67
South Africa JSE 1.50 1.25 1.87 1.12 2.38
South Africa government bond 1.71 1.45 1.45 1.18 1.18*
ZAR/USD 2.13 0.59 1.78 1.14 1.66
Germany DAX 2.07 0.61 1.59 1.09 2.07
Deutsche government bond 1.99 1.24 2.24 0.99 2.62
EUR/USD 1.42 2.13 1.89 1.09 2.96

B3 = Bovespa Index; BRL = real; CNY = yuan; CVaR = conditional VaR; DAX = German Stock Index; EUR = euro; EWMA = exponentially weighted moving-average; GARCH = generalized autoregressive conditional heteroscedastic; GPB = British pound; HS = historical simulation; JPY = Japanese yen; JSE = Johannesburg Stock Exchange; LSE UK = London Stock Exchange; MC = Monte Carlo; NTN-B = Brazilian government bond; NYSE = New York Stock Exchange; SSEC = Shanghai Stock Exchange; U.S. T-bond = United States Treasury bond; USD = dollar; ZAR = South African rand.

* = significant at 5% level for the Kupiec test (1995); ** = significant at 5% level for the Christoffersen test (1998); *** = significant at 5% level for the Kupiec (1995) and the Christoffersen test (1998) tests.

Source: Elaborated by the authors.

Subperiod 2015-2017 backtesting for 99% value at risk (VaR)
Countries Assets EWMA HS GARCH CVaR MC
United States of America NYSE 0.44 0.22 0.22 0.22 1.00*
U.S. T-bond 1.53 0.34 1.53 1.18 1.02
China SSEC 2.90 0.22 2.45 1.19 1.34
Chinese government bond 1.67 0.37 1.30 1.11 1.11***
CNY/USD 1.89 0.95 2.01 2.31 2.49
United Kingdom LSE UK 1.11 1.11 1.29 1.15 1.11
United Kingdom government bond 1.72 0.86 1.37 1.33 1.20
GPB/USD 1.39 0.76 1.39 1.33 1.20
Brazil B3 1.39 1.14 1.14 1.05 1.52
NTN-B 0.00* 0.39 0.39 0.00* 0.39
BRL/USD 1.43** 0.71 1.25 1.44** 0.71
Japan Nikkei 225 1.76 0.88 2.12 1.25 1.24
Japanese government bond 1.13 0.99 0.99 1.05 2.27
JPY/USD 0.64 0.64 0.74 1.17 0.64
South Africa JSE 2.00 0.54 1.27 0.98 0.91**
South Africa government bond 1.52 0.76 0.95 1.02 1.90**
ZAR/USD 1.88 1.69 2.44 1.12 1.69
Germany DAX 1.42 0.71 1.07 1.11 0.89
Deutsche government bond 1.03 3.11 1.55 1.01 2.93***
EUR/USD 1.00 1.17 0.84 1.47 1.00

Notes: The table presents the percentage of appropriate violation ratio and the percentage of rejection for Kupiec (1995) and Christoffersen (1998) tests at 5% significance level for each asset.

B3 = Bovespa Index; BRL = real; CNY = yuan; CVaR = conditional VaR; DAX = German Stock Index; EUR = euro; EWMA = exponentially weighted moving-average; GARCH = generalized autoregressive conditional heteroscedastic; GPB = British pound; HS = historical simulation; JPY = Japanese yen; JSE = Johannesburg Stock Exchange; LSE UK = London Stock Exchange; MC = Monte Carlo; NTN-B = Brazilian government bond; NYSE = New York Stock Exchange; SSEC = Shanghai Stock Exchange; U.S. T-bond = United States Treasury bond; USD = dollar; ZAR = South African rand.

* = significant at 5% level for the Kupiec test (1995); ** = significant at 5% level for the Christoffersen test (1998); *** = significant at 5% level for the Kupiec (1995) and the Christoffersen test (1998) tests.

Source: Elaborated by the authors.

Comparing the VRs and the Kupiec (1995) and Christoffersen (1998) rejection number among the subperiods, 2007-2010 has the highest percentage of tests rejections. Although the subprime crisis (2007-2008) started in the United States of America, the country has the highest percentage of adequate VRs, with a good performance for EWMA and GARCH, characterized by considering the volatility clusters on the estimation loss and CVaR. China has the highest percentage of rejections, largely concentrated on its currency. From 2007 to 2009, the Chinese central bank implemented a series of measures to depreciate the yuan against the dollar and to contain the effects of the financial crisis. Considering that the models tested are focused on market risk, it is expected that they are not able to incorporate governmental actions on the asset’s values. Another important observation is that, with exception of China, for the first subperiod, all the rejections among the countries occurred for MC method. One of the fragilities of this model is that the prespecified model is not correct, which is a risk that can increase during financial crisis, considering the high volatility of the assets. By the opposite, based on the percentage of appropriate VR, the CVaR has the best performance, which was expected since the model estimate the risk based on the tail of the loss distribution, being more conservative than the other models.

For the subperiod of 2011-2014, Brazil was the country with the highest percentage of rejection, which is concentrated on NTN-B and in BRL/USD. These can be a result of two associate factors: for the NTN-B, the government implemented a monetary policy to raise interest rates, causing the basic interest rate to rise as from 2013. Considering the Brazilian currency, during these years, the country was affected by the commodity crisis, the main export good of Brazilian economy, which decreased the amount dollar in the country, leading to the real (Brazilian currency) depreciation. An additional observation is that, unlike the subprime crisis of the first period, the CVaR does not present a good performance for the Brazilian crisis, considering that the model was rejected for Kupiec (1995) and Christoffersen (1998) tests. However, despite the Brazilian case, again CVaR have the best performance, followed by HS, a non-parametric model.

For the period of 2015-2017, one more time the Brazilian assets have the highest rejection number concentrated in NTN-B. The main risk to which the bonds are exposed is the raise of interest yield, considering that its increase has a negative impact on its value. As well as the Chinese assets on the first subperiod, again it can be seen that the models tested are not efficient in incorporate the political risk, since during 2015-2017, the government established a political of increase yield. Based on the VR, Germany has the highest number of appropriate ratios, followed by United Kingdom. During 2015-2017, it was implemented an investment package on European Union, which, according to the World Bank Union Europe Annual Report from 2018 (retrieved from https://publications.europa.eu/en/publication-detail/-/publication/e977293e-8743-11e9-9f05-01aa75ed71a1/language-en/format-PDF), promoted a modest economic recovery started in 2014. Assets tend to be less volatile during more stable economic periods, which may have improved the accuracy of the models for these countries (Mei & Guo, 2004; Shwert, 2011). The MC was the method with the highest rejection percentage, concentrated on the government bonds.

Comparing the assets, the equity indices are the one with the lowest average rejection percentage for Kupiec (1995) and Christoffersen (1998) tests (14 and 1%, respectively), government bonds have the highest percentage for Kupiec (1995) (24%), and exchange rate for Christoffersen (1998) (12%). It must be emphasized that, despite the Kupiec (1995) results for government bonds, Japanese and Germany bonds, the most volatilities assets of the data, present a forecast improvement based on the statistical tests. These results corroborate those of Harmatiz, Miao, and Chien (2006), who conclude that more volatile assets tend to have their best forecast loss in lower horizon estimation windows, while less volatile assets tend to have it in longer horizon windows. Again, CVaR has the highest percentage of VR (78%); however, as mentioned earlier, the method differs from the others because it concentrates on values ​​that exceed VaR. Among the traditional metrics, HS has the highest percentage of VR (20%), which reinforces the hypothesis that the model has a better predictive capacity due to the non-use of the normality premise of the assets. These two models also present the lowest percentage of rejection for the Kupiec test (1995).

Despite these results, is observed that HS and MC have the highest percentage of Christoffersen (1998) rejection. As both correspond to simulation methods, this factor can be indicative of the delay in adjusting these metrics to fluctuations in asset prices. GARCH is the model with the lowest percentage of appropriate VR, which may indicate a worsening of this method due to the reduction of the estimation window, considering that it uses the information contained in the past volatility to forecast losses. For Kupiec test (1995), MC has the highest percentage of rejections. Considering that one of the assumptions of the MC method is the need for a relevant number to perform risk factors simulation, it was expected that the reduction of the estimation window could weaken the model predictive capacity.

In summary, based on the percentage of null hypothesis rejection for both statistical tests, MC method has the weakest performance for all asset classes: 26% for equity indices, 31% for government bonds, and 27% for exchange ratios. CVaR has the best performance for equity indices (12%) and exchange rate (6%), and HS is the best result for the government bond (17%). Among the markets, Chinese assets have the highest average rejection percentage, while Japanese assets have the lowest percentage.

 5. CONCLUSION

This paper tests the performance of five VaR methods and differs from prior studies with respect about compare distinct asset categories belonging to different economies. Is also tested the influence of the estimation window horizon on the models’ forecast capacity. Therefore, two analyses are made: the first for the entire data period with a 1,000-days estimation window, and the second for subperiods of the data with a 252-days estimation window.

For both analyses, considering the percentage of VR, CVaR is the model that presents the best performance, followed by HS. Both have especial properties; the first consists on a semiparametric model with focus on left tail information for risk forecasting, and the second is a non-parametric model, which estimates the risk factors behavior based directly on the historical observations. The EWMA has the weakest performance in the first analysis. In the second one, MC has not only the weakest performance, but also the highest rejection number for the Kupiec (1995) and the Christoffersen (1998) tests, which indicates the need for a larger horizon estimate window as expected. It is concluded that a smaller estimation window is better for more volatile assets, while a larger estimation window is better for less volatile assets. Among the markets, the Chinese present the highest average percentage of rejection for the both analysis, the British has the lowest average for the first analysis, while the Japanese has the second one.

The main limitation lies in the data, since indices are used as assets proxies, which generates two fragilities: firstly, because of the stock portfolios composed of different economic sectors, so that, not necessarily a model that performed well for a portfolio will perform well for a stock individually. Secondly, because of commonly the investment strategies consists of diversified portfolios, containing several classes of assets. Therefore, it is suggested that further studies carry out these tests for distinct industrial niches and portfolios composed of more than one asset category.

REFERENCES Acerbi, C., Nordio, C., & Sirtori, C. (2001). Expected shortfall as a tool for financial risk management. Working paper. Retrieved from http://www.gloriamundi.org/var/wps.html. Acerbi C. Nordio C. Sirtori C 2001 Expected shortfall as a tool for financial risk management Working paper http://www.gloriamundi.org/var/wps.html Adams, Z., & Füss, R. (2009). VaR performance criterion (VPC): A performance measure for evaluating value-at-risk models. Maidenhead: McGraw-Hill. Adams Z. Füss R 2009 VaR performance criterion (VPC): A performance measure for evaluating value-at-risk models Maidenhead McGraw-Hill Alexander, C. (2009). Market risk analysis. Value at risk models (Vol. 4). West Sussex: John Wiley & Sons. Alexander C 2009 Market risk analysis. Value at risk models 4 West Sussex John Wiley & Sons Angelidis, T., Benos, A., & Degiannakis, S. (2004). The use of GARCH models in VaR estimation. Statistical Methodology, 1(1-2), 105-128. Angelidis T. Benos A. Degiannakis S 2004 The use of GARCH models in VaR estimation Statistical Methodology 1 1-2 105 128 Barone‐Adesi, G., & Giannopoulos, K. (2001). Non parametric VaR techniques. Myths and realities. Economic Notes, 30(2), 167-181. Barone‐Adesi G. Giannopoulos K 2001 Non parametric VaR techniques. Myths and realities Economic Notes 30 2 167 181 Bollersev (1994). 1994 Campbell, S. D. (2006). A review of backtesting and backtesting procedures. Journal of Risk, 9(2), 1-17. Campbell S. D 2006 A review of backtesting and backtesting procedures Journal of Risk 9 2 1 17 Christoffersen, P. F. (1998). Evaluating interval forecasts. International Economic Review, 39(4), 841-862. Christoffersen P. F 1998 Evaluating interval forecasts International Economic Review 39 4 841 862 Danielsson, J. (2011). Financial risk forecasting: The theory and practice of forecasting market risk with implementation in R and Matlab. West Sussex: John Wiley & Sons. Danielsson J 2011 Financial risk forecasting: The theory and practice of forecasting market risk with implementation in R and Matlab West Sussex John Wiley & Sons Danielsson, J., Jorgensen, B. N., Mandira, S., Samorodnitsky, G., & De Vries, C. G. (2005). Subadditivity re-examined: the case for Value-at-Risk. Discussion paper 549. Financial Markets Group, London School of Economics and Political Science, London, UK. Danielsson J. Jorgensen B. N. Mandira S. Samorodnitsky G. De Vries C. G 2005 Subadditivity re-examined: the case for Value-at-Risk Discussion paper 549 Financial Markets Group, London School of Economics and Political Science London, UK Engle, R. F., & Manganelli, S. (2004). CAViaR: Conditional autoregressive value at risk by regression quantiles. Journal of Business & Economic Statistics, 22(4), 367-381. Engle R. F. Manganelli S 2004 CAViaR: Conditional autoregressive value at risk by regression quantiles Journal of Business & Economic Statistics 22 4 367 381 Harmantzis, F. C., Miao, L., & Chien, Y. (2006). Empirical study of value-at-risk and expected shortfall models with heavy tails. The Journal of Risk Finance, 7(2), 117-135. Harmantzis F. C. Miao L. Chien Y 2006 Empirical study of value-at-risk and expected shortfall models with heavy tails The Journal of Risk Finance 7 2 117 135 Hong, L. J., Hu, Z., & Liu, G. (2014). Monte Carlo methods for value-at-risk and conditional value-at-risk: a review. ACM Transactions on Modeling and Computer Simulation (TOMACS), 24 (4), 22. Hong L. J. Hu Z. Liu G 2014 Monte Carlo methods for value-at-risk and conditional value-at-risk: a review ACM Transactions on Modeling and Computer Simulation (TOMACS) 24 4 22 Jorion, P. (2003). Financial risk manager handbook (Vol. 241). Hoboken (NJ): John Wiley & Sons. Jorion P 2003 Financial risk manager handbook 241 Hoboken (NJ) John Wiley & Sons Jorion, P. (2007). Financial risk manager handbook (Vol. 406). Hoboken (NJ): John Wiley & Sons. Jorion P 2007 Financial risk manager handbook 406 Hoboken (NJ) John Wiley & Sons Kupiec, P. (1995). Techniques for verifying the accuracy of risk measurement models. The Journal of Derivatives, 3(2), 73-84. Kupiec P 1995 Techniques for verifying the accuracy of risk measurement models The Journal of Derivatives 3 2 73 84 Mei, J., & Guo, L. (2004). Political uncertainty, financial crisis and market volatility. European Financial Management, 10(4), 639-657. Mei J. Guo L 2004 Political uncertainty, financial crisis and market volatility European Financial Management 10 4 639 657 Pritsker, M. (2006). The hidden dangers of historical simulation. Journal of Banking & Finance, 30(2), 561-582. Pritsker M 2006 The hidden dangers of historical simulation Journal of Banking & Finance 30 2 561 582 So, M. K., & Philip, L. H. (2006). Empirical analysis of GARCH models in value at risk estimation. Journal of International Financial Markets, Institutions and Money, 16(2), 180-197. So M. K. Philip L. H 2006 Empirical analysis of GARCH models in value at risk estimation Journal of International Financial Markets, Institutions and Money 16 2 180 197 Artigo Original Abordagem internacional de VaR: backtesting para diferentes mercados de capitais 0000-0002-0168-530X Pinheiro Marília Cordeiro ¹ 0000-0003-0860-563X Fernandes Bruno Vinícius Ramos ² Universidade de Brasília, Faculdade de Economia, Administração, Contabilidade e Gestão Pública, Programa de Pós-Graduação em Contabilidade, Brasília, DF, Brazil Universidade de Brasília Universidade de Brasília Faculdade de Economia, Administração, Contabilidade e Gestão Pública Programa de Pós-Graduação em Contabilidade Brasília DF Brazil Universidade de Brasília, Faculdade de Economia, Administração, Contabilidade e Gestão Pública, Departamento de Contabilidade e Atuária, Brasília, DF, Brazil Universidade de Brasília Universidade de Brasília Faculdade de Economia, Administração, Contabilidade e Gestão Pública Departamento de Contabilidade e Atuária Brasília DF Brazil : marilia.cordeiro90@hotmail.com : brunoramos@unb.br

Endereço de correspondência: Marília Cordeiro Pinheiro. Universidade de Brasília, Faculdade de Economia, Administração, Contabilidade e Gestão de Políticas Públicas, Programa de Pós-Graduação em Contabilidade. Campus Universitário Darcy Ribeiro, Bloco A-2 - CEP 70910-900. Asa Norte - Brasília - DF - Brasil

Editora Associada: Fernanda Finotti Cordeiro Perobelli

 RESUMO

O objetivo deste artigo é comparar diferentes métricas de valor em risco (VaR), distinguindo-se de estudos anteriores na medida em que compara três categorias de ativos pertencentes a sete países. Desde a concepção do VaR, foram desenvolvidas várias abordagens para melhorar a precisão da estimativa de perdas. Entretanto, praticamente inexiste um consenso universal sobre qual abordagem é a mais apropriada, uma vez que o VaR depende das propriedades estatísticas do ativo alvo e do mercado no qual este é negociado. É importante comparar os resultados obtidos não apenas entre os ativos, mas também entre os mercados em que são negociados, considerando suas propriedades específicas para verificar se existe algum padrão dos métodos para os dados. Considerando as três categorias de ativos, os modelos semiparamétrico e não paramétrico obtiveram o menor número de rejeições. Verificou-se também que os modelos testados não foram eficazes para a estimação do VaR da taxa de câmbio, o que pode ser devido a riscos mais relevantes do que o mercado na formação do preço do ativo. Foram testados cinco modelos pertencentes às abordagens paramétrica, semiparamétrica e não paramétrica. As análises foram divididas em duas, com o intuito de testar os desempenhos dos VaRs em diferentes ciclos econômicos; as primeiras análises consideraram uma janela de estimação de 1.000 dias, enquanto as segundas consideraram uma janela de estimativa de 252 dias. A fim de validar estatisticamente os resultados, foram aplicados os testes de Kupiec e Christoffersen. Os resultados mostram que o VaR condicional e a simulação histórica apresentam o melhor desempenho para estimar o VaR. Comparando-se os mercados, os ativos chineses foram os que apresentaram o maior número médio de rejeições de testes, o que pode ser consequência de sua economia fechada. Por fim, constatou-se que a janela de estimação mais curta tende a apresentar um melhor desempenho para ativos de alta volatilidade, enquanto a janela mais longa tende a ter um melhor desempenho para ativos com menor volatilidade.

 Palavras-chave: VaR modelos paramétricos modelos semiparamétricos modelos não paramétricos backtesting 1. INTRODUÇÃO

O valor em risco (value at risk - VaR) foi criado na década de 1980 pelo JP Morgan, sendo disseminado pelo Comitê de Basiléia em abril de 1995. No final do mesmo ano, a Securities and Exchange Commission (SEC) definiu o VaR como uma das três métricas de risco que as empresas negociadas devem utilizar. O VaR consiste em uma ferramenta econométrica para prever a pior perda ao longo de um horizonte-alvo, dentro de um dado intervalo de confiança (Jorion, 2007). Desde a sua criação, várias abordagens foram desenvolvidas com o objetivo de melhorar a precisão das estimativas de perdas e como resposta às crises financeiras que ocorreram ao longo dos anos.

Embora diferentes, esses métodos possuem estruturas semelhantes: a partir dos retornos diários dos ativos, realizam uma inferência acerca das distribuições desses retornos para estimar o VaR desejado. A principal divergência reside na premissa da distribuição de retornos, uma vez que há uma divisão entre modelos paramétricos, que pressupõem uma distribuição linear, e modelos não paramétricos, que defendem uma distribuição não linear (Engle & Manganelli, 2004). Considerando-se que o VaR é calculado a partir das propriedades estatísticas de ativos específicos e dos mercados em que são negociados, dificilmente haverá consenso sobre qual dessas duas abordagens é mais adequada, haja vista que os instrumentos financeiros formam classes heterogêneas, com diferentes fundamentos teóricos de formação de preço e, consequentemente, de níveis de exposição a risco.

Deste modo, é necessário aplicar o backtesting que visa a testar a precisão do VaR com base nos dados históricos, possibilitando analisar se um determinado modelo teve um bom ou mau desempenho e, consequentemente, verificar se ele é adequado para o ativo de interesse (Adams e Füss, 2009). Dada a importância do VaR, uma gama de modelos foi desenvolvida com o objetivo de testar sua precisão. O teste de Kupiec (1995) concentrou-se na mensuração da proporção de perdas incondicionais do modelo VaR; se a proporção de falhas ocorrer acima do percentil p estabelecido, é uma indicação de que o VaR testado subestima a perda máxima do ativo. Outro backtesting comumente usado é o de Christoffersen (1998), que identifica se as violações se agrupam, isto é, se as violações são independentes umas das outras. A rejeição da hipótese nula é uma indicação do atraso do modelo em absorver as oscilações do mercado na avaliação das perdas do ativo (Campbell, 2006).

Neste artigo, são testados cinco modelos de VaR para três diferentes classes de ativos de sete mercados: Brasil, China, Alemanha, Japão, África do Sul, Reino Unido e Estados Unidos. O artigo é relevante por comparar os resultados obtidos não apenas entre os ativos, mas também entre os diferentes mercados em que são negociados, considerando suas propriedades estatísticas específicas, e por verificar se existe algum padrão nos modelos de VaR para os dados. Além disso, é também testada a influência do tamanho da janela de estimação na precisão do VaR.

O artigo organiza-se da seguinte forma: a seção 2 contém a literatura relacionada, a seção 3 descreve a metodologia, a seção 4 resume os resultados empíricos e a seção 5 apresenta a conclusão.

 2. LITERATURA RELACIONADA

A análise do VaR é mais complexa do que as formas tradicionais de estimativa de riscos, devido à dependência da distribuição multivariada dos fatores de risco e sua dinâmica, como no mapeamento do risco de carteira. Embora o VaR possa ser medido com precisão, ele é limitado a um horizonte de tempo específico e ao intervalo de probabilidade estabelecido. Além disso, a estimativa do VaR é obtida a partir de características estatísticas específicas do ativo e do mercado em que ele é negociado. Considerando todos esses fatores, foram desenvolvidas várias extensões de seu cálculo, buscando melhorar sua capacidade preditiva. A principal diferença entre essas métricas é a premissa da distribuição dos retornos, uma vez que a característica de não-linearidade nas séries financeiras é predominante, o que coloca a precisão dos modelos paramétricos em questão.

Considerando a variedade das métricas de VaR, a comparação entre o desempenho de modelos já foi estudada na literatura. Uma das temáticas mais exploradas é a falta de subaditividade do VaR, o que significa que o risco da carteira pode ser maior que a soma dos riscos isolados de seus componentes quando estimados pelo VaR. Em resposta, uma alternativa popular para a violação de subaditividade é o modelo de Expected Shortfall (ES), também conhecido como VaR condicional (conditional value at risk - CVaR), proposto por Acerbi, Nordio e Sirtori (2001). O método permite a decomposição dos fatores de risco utilizando sua propriedade de otimização de carteira. Além disso, o CVaR concentra-se nas informações contidas na cauda e não na distribuição inteira, fornecendo o valor condicional esperado além do nível do VaR. Em contraste com os defensores do CVaR, Danielson et al. (2005) exploraram as violações da subaditividade com foco em ativos de cauda pesada e utilizando um modelo heteroscedástico condicional autorregressivo geral (generalized autoregressive conditional heteroscedastic - GARCH) bivariado para estimar as perdas. Para a maior parte da amostra, o VaR é subaditivo na cauda nas probabilidades mais relevantes para aplicações práticas. O autor reexaminou a questão da subaditividade em 2013, e concluiu que o VaR é subaditivo na região relevante da cauda se os retornos do ativo forem multivariados variando regularmente; concluiu ainda que o VaR estimado pelo modelo de simulação histórica pode violar a subaditividade.

A simulação histórica (historical simulation - HS) é amplamente utilizada, pois não pressupõe a normalidade da distribuição dos retornos do ativo, representando o segmento de modelos não paramétricos. Considerando-se isso, a principal vantagem da HS é a sua abrangência, uma vez que sua aplicação não se restringe apenas às carteiras lineares, tornando-a um dos métodos mais populares de gerenciamento de risco. No entanto, devido à sua total dependência das informações contidas nos dados históricos, está sujeita a distorções de eventos extremos ocorridos em um passado distante e não mais relevante na estimativa das perdas. Pritsker (2006) considera que as estimativas de risco utilizando o método ficam defasadas em relação a mudanças na volatilidade condicional, e que reagem assimetricamente a partir da previsão do risco após grandes perdas, mas não após grandes ganhos. Barone-Adesi e Giannopoulos (2001) entendem que a HS não é capaz de condicionar as previsões sobre o estado atual do mercado por fazer previsões com intervalos estáticos, desconsiderando o nível de risco das últimas datas de negociação.

O Monte Carlo (MC) é outro método de simulação comum utilizado na estimação do VaR, semelhante à HS, diferenciando-se pelos movimentos das variáveis ​​de risco geradas pelo contorno de alguma probabilidade. Na verdade, essa é uma das principais fragilidades do MC, pois é necessário fazer suposições sobre o processo e entender a sensibilidade disso (Jorion, 2003). Em uma revisão sobre gestão de risco por MC, Hong, Hu e Liu (2014) apontaram duas características importantes sobre o modelo; primeiro, o resultado é limitado à qualidade do modelo de VaR, o que pode causar distorções na distribuição das perdas e, consequentemente, o risco pode se esconder na distribuição da cauda. Em segundo lugar, na prática, é difícil fazer uma inferência realista sobre a distribuição de forma precisa, considerando que é necessária uma amostra suficientemente grande para se chegar a um número aproximadamente igual à expectativa matemática do risco.

Embora o MC seja um método amplamente utilizado, os estimadores de VaR mais populares são aqueles derivados dos modelos de média móvel autorregressiva (autoregressive moving-average - ARMA) e GARCH. Angelidis, Benos e Degiannakis (2004) avaliaram o desempenho da família GARCH para índices de ações dos Estados Unidos, França, Alemanha, Japão e Reino Unido. Primeiro, eles identificaram que as distribuições leptocúrticas podem produzir uma melhor previsão do VaR. Segundo, que a estrutura ARCH que produz previsões mais precisas é diferente e específica para cada mercado de ações. So e Philip (2006) estenderam o teste a 12 índices de mercado diferentes e quatro taxas de câmbio. Os resultados mostram que, entre os modelos, a métrica de risco tende a ser mais robusta em função de ter menos variação na cobertura da amostra, e que a estimativa do VaR para as taxas de câmbio é menos dependente dos modelos de volatilidade do que os dados do mercado de ações.

Como se pode ver, a revisão da literatura relacionada revela resultados divergentes, o que é esperado, considerando-se que o mercado financeiro é composto por classes de ativos heterogêneas, com suas propriedades e particularidades estatísticas. Isso fornece motivação para reinvestigar a precisão das métricas de VaR para diferentes ativos e economias.

 3. METODOLOGIA

Para estimar o VaR e comparar o desempenho de cada método entre os ativos, são testados seis modelos diferentes: média móvel exponencialmente ponderada (exponentially weighted moving-average - EWMA), GARCH e MC representando a abordagem paramétrica; HS representando a abordagem não paramétrica; e CVaR representando a abordagem semiparamétrica.

3.1. Média Móvel Exponencialmente Ponderada (EWMA)

A EWMA consiste em um aprimoramento dos métodos de média móvel, especialmente por ter a vantagem de colocar mais peso nas observações mais recentes, considerando que elas contêm as informações mais relevantes sobre o risco do ativo.

A EWMA estima a volatilidade de retornos i103 para a data t em uma janela desde a data t-k até a data t-1:

σ 2 = ( 1 - λ ) ∑ i = 1 ∞ λ i - 1 r t - i 2

onde λ denota o fator de decaimento, sendo i105, k → ∞, e, assim, à medida que os retornos se distanciam no passado, terão menos influência na estimativa de σ.

Estudos empíricos mostram que λ = 0,94 permite uma boa previsão de risco para ativos de mercado. O EWMA representa um modelo linear que pressupõe a distribuição normal dos retornos. A estimativa do EWMA VaR do dia h de 100% é:

E W M A   V a R =   Φ - 1 ( 1 - α ) σ h

onde h corresponde à estimativa do horizonte-alvo e i107 é a função de distribuição do quantil 1 - α.

 3.2. Heteroscedástico condicional autorregressivo generalizado (GARCH)

O modelo GARCH considera que a volatilidade condicional σ é uma função de mudança contínua de seus valores quadrados anteriores, o que gera os clusters de volatilidade. O modelo é autorregressivo, uma vez que o retorno Y t depende dos valores de Y t-1 , o que sugere que a heteroscedasticidade observada em diferentes períodos pode ser autocorrelacionada

Seja rt = i108 a taxa composta continuamente de retorno do tempo t-1 até t, onde S t é o preço do ativo no momento t. Supõe-se que a série temporal de juros rt é decomposta em duas partes: o componente previsível e imprevisível i109, onde It-1 é o tempo de informação em t - 1, E é o operador médio e εt é a parte imprevisível que pode ser expressa como um processo ARCH:

ε t = z t σ t

onde zt é uma sequência de variáveis ​​aleatórias distribuídas independente e identicamente, com média 0 e variância unitária. A variância condicional de i111 é i112, uma função variável no tempo, positiva e mensurável do conjunto de informações no momento t-1 (Angelidis et al., 2004).

Engle e Manganelli (2004) desenvolveram o modelo ARCH(q) e expressaram a variância condicional como uma função linear das inovações passadas de q quadrado:

σ t 2 = a 0 + ∑ i = 1 q a i ε t - 1 2

O modelo GARCH (p, q) é uma generalização do modelo ARCH, proposto por Bollersev (1994). Para que a variância condicional seja positiva, os parâmetros devem satisfazer a0 > 0 and i114 for i115= 1, …, q. Com base nessas restrições, o modelo GARCH é expresso por:

σ t 2 = a 0 + ∑ i = 1 q a i ε t - 1 2 + ∑ i = 1 q b i σ t - 1 2

Os parâmetros são estimados por máxima verossimilhança sob o pressuposto de que os retornos são normalmente distribuídos i117, e i118 sendo sua função de densidade, a função log-verossimilhança de i119 para uma amostra de T observações é dada por:

L t y t ; θ = ∑ t = 1 T [ ln ⁡ D z t θ ; v - 1 2 ln ⁡ σ 2 θ ]

Em suma, a previsão de variância condicional de um passo à frente i121 para o modelo GARCH(p, q) é igual a:

σ t + 1 t 2 = a 0 + ∑ i = 1 q a 1   ε t - i + 1 2 + ∑ i = 1 q b j σ t - j + 1 2

ortanto, as previsões de VaR de uma passo sob todas as hipóteses distributivas, e para observações de média zero, são calculadas por

V a R t + 1 t = F ( α ) σ t + 1 t

onde F (α) é o quantil correspondente (95º ou 99º) da distribuição presumida e i124 é a previsão do desvio padrão condicional no momento t + 1, dada a informação no momento t.

 3.3. Monte Carlo (MC)

O processo para a estimativa do MC é baseado no mapeamento do fator de risco. Pressupõe-se que o mapeamento da carteira seja baseado em retornos, e não em mudanças nos fatores de risco do capital. Assim, o VaR será estimado como uma porcentagem do valor da carteira. O algoritmo básico para se gerar a simulação correlacionada nos retornos dos fatores de risco k baseia-se no processo normal i125, k-dimensional. Portanto, a distribuição marginal do retorno do fator de risco é i126(i127) para i128 e as correlações do fator de risco são representadas em uma matriz i129. O algoritmo começa com k simulações independentes sobre variáveis ​​uniformes padrão, transforma-as em simulação normal padrão independente e, em seguida, utiliza a matriz de Cholesky da covariância dos retornos do fator de risco para transformá-los em simulações correlacionadas de média zero com a variância apropriada. Assim, o retorno excessivo médio é adicionado a cada variável (Alexander, 2009).

Dada essa abordagem, a matriz da covariância é escrita da seguinte forma:

Ω = D C D

onde i131 =i132. A matriz de Cholesky é uma matriz Q i133 triangular inferior tal que i134. Os retornos esperados em um vetor são escritos como i135 então o vetor x multivariado normal k × 1 é gerado simulando-se o vetor z padrão independente i136 e definindo-se i137. Simula-se um número muito grande de tais vetores x e aplica-se o mapeamento da carteira a cada simulação, produzindo-se N simulações sobre os retornos da carteira. Em seguida, simulam-se os retornos excessivos da carteira i138 com o objetivo de encontrar sua distribuição empírica, para calcular o quantil α da distribuição e multiplicá-lo por -1, que é a estimativa do VaR i139 (Alexander, 2009). Neste trabalho, o modelo MC foi calculado utilizando-se o VaR, a partir de 10 milhões de simulações.

 3.4. Simulação Histórica (HS)

O HS é um modelo não paramétrico que pressupõe que todas as oscilações futuras possíveis foram experimentadas no passado e que a distribuição simulada historicamente é idêntica à distribuição dos retornos ao longo do horizonte-alvo de risco no futuro. Cenários históricos de movimentos recentes nos fatores de risco são utilizados ​​para simular muitos valores de carteira possíveis dentro de h dias (Alexander, 2009). O VaR obtido por meio da HS é estimado a partir da construção de valores hipotéticos de uma observação atual dada por:

f i k = f i , t + ∆ f i k

onde i141 é o fator de risco da carteira i142. Estes valores hipotéticos são usados ​​para construir o portfólio hipotético i143, considerando-se o novo cenário a partir da equação:

P k = P [ f 1 k , f 2 k … f N k ]

As oscilações dos valores dos portfólios i145 são obtidas com as equações acima. Os retornos t são ordenados e, em seguida, são escolhidos aqueles que correspondem a 𝑞𝑢𝑎𝑛𝑡𝑖𝑙 𝑐𝑡ℎ 𝑅𝑝 (𝑐). O VaR é obtido pela diferença entre a média e o 𝑞𝑢𝑎𝑛𝑡𝑖𝑙:

V a R = A V E R p - R p ( c )

3.5. Valor em Risco Condicional (CVaR)

O último modelo testado é o CVaR, também conhecido como ES, um modelo diferenciado por concentrar as informações associadas no quantil abaixo da probabilidade p. A função matemática sobre a perda estimada do ativo Y é dada por:

E Y = ∫ - ∞ ∞ y f y d y

No entanto, a função deve ser alterada para a estimação do VaR, considerando que a expectativa não varia de i148 a i149, mas de i150 a i151. A área abaixo de i152 no intervalo i153] é menor do que um, o que implica que i154 não é uma função adequada a esse contexto. Assim, a nova função de densidade i155 é definida pelo ajuste positivo de i156, de modo que a área acima desse valor se torna unitária (Danielsson, 2011). Para identificar a distribuição de densidade correta, aplica-se:

E Y = ∫ - ∞ - V a R ( p ) y f y d y

Portanto, a densidade da cauda i158 é:

1 = ∫ - ∞ - V a R ( p ) f V a R y d y = 1 p ∫ - ∞ - V a R ( q ) f q y d y

O CVaR é obtido pela razão entre o lucro e a perda sobre a densidade da cauda :

C V a R = ∫ - ∞ - V a R ( p ) f V a R y d y

3.6. Testes Estatísticos

Para verificar e comparar o desempenho entre os modelos, utilizou-se a metodologia proposta por Danielsson (2011). Em primeiro lugar, calcula-se o índice de violação (IV) que tem como objetivo medir se o retorno atual de um dia específico excede o VaR obtido com base na janela de estimação. Considerando as violações como iguais a , assume-se que quando ocorre a violação, 1 e, caso contrário, 0. O número de violações é incorporado na variável , enquanto corresponde ao número sem violações.

n t = 1   s e   y t ≤ - V a R 0   s e   y t > - V a R     v 1 = ∑ n t   v 0 = t a m a n h o   d a   j a n e l a   d e   t e s t e - v 1

O IV é:

I V = n ú m e r o   o b s e r v a d o   d e   v i o l a ç õ e s n ú m e r o   e s p e r a d o   d e   v i o l a ç õ e s = v 1 p   ×   t a m a n h o   d a   j a n e l a   d e   t e s t e

Danielson (2011), com base no acordo de Basileia III, utilizou a regra comum segundo a qual se IV ∈ [0,8,1,2], é uma boa previsão, e se IV < 0,5 ou > 1,5 o modelo, respectivamente, subestima e superestima o risco. Para validar estaticamente os valores de IV, são aplicados Kupiec (1995) e Christoffersen (1998). O primeiro considera apenas a frequência das violações e não o tempo em que elas ocorreram. Assim, o teste de Christoffersen (1998) é aplicado para que não haja erro na rejeição de um modelo que produza violações agrupadas.

Para Kupiec (1995), a hipótese nula para a violação do VaR é:

H 0 :   η ~ B ( p )

com B representando a distribuição de Bernoulli, dada por:

p ^ = v 1 W t

sob H0, i173, portanto a função de máxima verossimilhança restrita é:

l R p ^ =   ∏ t = W e T ( 1 - p ) 1 - η t ( p ) η t = ( 1 - p ) v 0 ( p ) v 1

Conforme dito anteriormente, o teste de Christoffersen (1998) tem como vantagem identificar se as violações se agrupam, considerando que, teoricamente, devem ser independentes. Se a hipótese nula for rejeitada, é uma indicação de que o modelo demora a absorver as oscilações que ocorrem no mercado para o ativo testado. É necessário calcular as probabilidades de duas violações consecutivas e a probabilidade de uma violação se não houve violação no dia anterior:

p i j = P r ⁡ ( η t = i η t - 1 = j

O teste estatístico é dado por:

L R = 2 l o g l U Π 0 - l o g l R l R ( Π 1 ~ χ 2

onde i166 é a matriz de transição estimada e i167 é a matriz de transição. Sob a hipótese nula de nenhum cluster de violações, a probabilidade da violação de amanhã não depende da violação de hoje; logo, i168. O teste de independência é assintoticamente distribuído como i169

O backtest do CVaR difere dos outros modelos pois o que está sendo testado é uma perda além do VaR. Danielsson (2011) apresenta uma metodologia para backtest de CVaR análoga ao IV. Quando o VaR é violado, o déficit normalizado NS é calculado como:

N S t = y t E S t

com ES sendo o ES observado no dia t. Então o i171 esperado para um VaR violado é:

E Y t Y y <   - V a R t E S t = 1

Dado isso, a hipótese nula define que o NS médio deve ser igual a um:

H 0 = N S - = 1

3.7. Dados

A amostra é composta por três categorias de ativos pertencentes a sete países com diferentes situações econômicas. Os países foram selecionados com base em critérios de liquidez e representatividade de mercado: representando as economias em desenvolvimento, foram selecionados ativos da África do Sul, Brasil e China, 17º, 20º e 5º maiores mercados de capital, respectivamente. Representando os países desenvolvidos, foram selecionados ativos dos Estados Unidos, Alemanha, Japão e Reino Unido, 1º, 10º, 3º e 4º maiores mercados de capitais, respectivamente (com base no infográfico disponível no site Stocktotrade.com - https://stockstotrade.com/major-stock-exchanges-in-the-world-infographic/).

O mercado acionário é representado pela Bolsa de Nova York (NYSE), Bolsa de Valores de Xangai (SSEC), Bolsa de Valores de Londres (LSE), Índice Bovespa (B3), Nikkei 225, Bolsa de Valores de Joanesburgo (JSE), e o índice de ações alemão (DAX). O mercado de títulos é composto por títulos do Tesouro dos EUA (T-Bond dos EUA), títulos do governo chinês, títulos do governo brasileiro (NTN-B), títulos do governo japonês, títulos do governo sul-africano e títulos do governo alemão. O mercado de câmbio, última classe de ativos testada, é representado pelo yuan (CNY), libra esterlina (GPB), real (BRL), iene (JPN), rand sul-africano (ZAR) e euro (EUR). Uma observação importante é que o dólar não é utilizado na taxa de câmbio, pois é a maior representatividade cambial, sendo utilizado como paridade para as demais moedas. O período abrangido é de 2 de janeiro a 31 de dezembro. Foram utilizados critérios de liquidez e tamanho para selecionar os índices que compõem a amostra.

 4. ANÁLISE EMPÍRICA

A análise empírica começa com a estatística descritiva, que é um tema fundamental, considerando-se que o VaR utiliza as propriedades estatísticas para estimação de perdas. A subseção seguinte apresenta os valores de IV com o objetivo de analisar o desempenho dos modelos de VaR e, simultaneamente, verificar se há predominância de um modelo para um determinado tipo de mercado ou ativo. Por fim, os resultados obtidos são validados com base nos testes de Kupiec (1995) e Christoffersen (1998).

4.1. Estatísticas Descritivas

As estatísticas descritivas proporcionam uma visão das propriedades de investimento de diferentes ativos e mercados. A Tabela 1 resume as estatísticas descritivas dos dados.

Estatísticas descritivas dos dados brutos
País Ativos Média anual (%) Volatilidade anual (%) Assimetria Curtose JB Valor p JB
Estados Unidos NYSE 0,06 0,33 -0,35 9,23 6.076,90 0,00
T-bond 0,01 0,06 -0,11 5,14 3.103,90 0,00
China SSEC -0,02 0,28 -0,61 4,08 1.959,10 0,00
Título do governo chinês -0,02 0,31 -0,31 7,84 6.191,20 0,00
CNY/USD 0,02 0,02 -0,56 17,35 36.117,00 0,00
Reino Unido LSE UK 0,07 0,37 0,18 6,76 5.205,60 0,00
Título do governo do Reino Unido -0,04 0,10 -1,00 13,31 2.164,00 0,00
GPB/USD -0,04 0,10 -1,00 13,30 21.617,00 0,00
Brasil B3 0,01 0,28 -0,04 6,02 4.100,00 0,00
NTN-B -0,04 0,29 0,32 8,97 7.669,10 0,00
BRL/USD -0,05 0,17 -0,28 6,43 4.976,90 0,00
Japão Nikkei 225 -0,01 0,25 -0,50 7,98 7.337,10 0,00
Título do governo japonês 0,00 1,56 2,99 10,21 1.155,90 0,00
JPY/USD -0,02 0,11 -0,10 2,81 875,60 0,00
África do Sul JSE 0,06 0,21 -0,09 3,74 1.608,20 0,00
Título do governo sul-africano -0,01 0,15 0,15 13,13 20.999,00 0,00
ZAR/USD -0,06 0,18 -1,28 17,28 36.447,00 0,00
Alemanha DAX 0,03 0,22 -0,02 6,01 4.204,20 0,00
Título do governo alemão -0,66 1,46 -31,51 17,46 2.134,36 0,00
EUR/USD -0,01 0,10 0,09 2,29 632,50 0,00

Nota: Os dados resumem estatísticas para os mercados de ações, mercados de títulos públicos e taxas de câmbio de janeiro de 2008 até dezembro de 2017.

B3 = Índice Bovespa; BRL = real; CNY = yuan; DAX = Índice Alemão de Ações; EUR = euro; GPB = libra esterlina; JPY = iene japonês; JSE = Bolsa de Valores de Joanesburgo; LSE UK = Bolsa de Valores de Londres; NTN-B = título do governo brasileiro; NYSE = Bolsa de Nova York; SSEC = Bolsa de Xangai; T-bond dos EUA = título do Tesouro dos Estados Unidos; USD = dólar; ZAR = rand sul-africano.

Fonte: Elaborado pelos autores.

Como se pode observar, a hipótese nula de normalidade é rejeitada em qualquer nível de significância para todos os mercados, o que consiste em uma violação da premissa principal do modelo paramétrico. Além disso, todos os ativos têm curtose excessiva positiva, uma característica da distribuição leptocúrtica dos retornos com caudas grossas e expostos a eventos extremos. O mercado de ações com maior retorno é o LSE, que também é o mais volátil e o único com assimetria positiva. Por outro lado, a SSEC apresenta o menor retorno, sendo a terceira mais volátil. Em geral, as carteiras de ações são os ativos com maior retorno médio e volatilidade maior. Para o mercado de títulos públicos, os títulos alemães registram o menor retorno. Isso pode ser consequência da política adotada em 2016, na qual foram emitidos títulos com rendimento negativo. Um ponto importante a acrescentar é que o Japão também implementou essa política e, conforme a Tabela 1, embora a média anual não seja negativa, o título japonês é o ativo com maior volatilidade. Se tratarmos esses dois títulos como outliers, os títulos públicos apresentam a segunda maior volatilidade média dos dados, enquanto os índices de ações têm o maior índice. O câmbio é a classe de ativos com a menor volatilidade média, e o yuan é o único com um retorno anual positivo. As moedas da África do Sul e do Brasil apresentaram a maior volatilidade e desvalorização média.

 4.2. Análise para Todo o Período

Primeiramente, aplicou-se o teste para todo o período (2007-2017), com uma janela de estimação de 1.000 dias. A Tabela 2 mostra os IVs e a significância estatística dos testes de Kupiec (1995) e Christoffersen (1998) com o objetivo de validar os resultados.

Backtesting para estimativa de valor em risco (VaR) de 99% (2007-2017)
Países Ativos EWMA HS GARCH CVaR MC
Estados Unidos NYSE 1,43 0,14* 1,28 1,87 0,43
T-bond 2,21* 0,39* 1,71* 1,03 1,16
China SSEC 2,52* 1,26 1,89* 1,14* 2,01*
Título do governo chinês 2,43*** 0,07 1,43 1,28* 0,43*
CNY/USD 1,71* 1,71*** 1,87* 1,80 2,94***
Reino Unido LSE UK 1,16* 0,52*** 0,87** 1,16 0,93
Título do governo do Reino Unido 1,77* 0,91 1,71* 1,03 1,16**
GPB/USD 1,93* 1,93 1,44 1,17 2,89*
Brasil B3 1,28 0,99* 1,05 1,19 1,22
NTN-B 1,33 0,39 1,02 1,01 1,33
BRL/USD 2,14* 0,96 1,55* 0,91 1,71*
Japão Nikkei 225 2,09*** 1,05** 1,98* 1,22** 1,63***
Título do governo japonês 1,70** 2,86 1,46 1,10 4,20
JPY/USD 1,93* 1,15 1,15 0,77 1,15
África do Sul JSE 1,83* 0,69 1,43 0,97 1,20
Título do governo sul-africano 1,74* 1,20** 1,20 1,10 1,25**
ZAR/USD 2,30* 1,02** 1,98 1,13* 1,71***
Alemanha DAX 2,11* 0,61 1,56* 1,00 1,34***
Título do governo alemão 1,43** 3,93*** 1,59*** 1,11 4,20***
EUR/USD 1,27 0,48* 1,22 1,16 1,38

B3 = Índice Bovespa; BRL = real; CNY = yuan; CVaR = VaR condicional; DAX = Índice Alemão de Ações; EUR = euro; EWMA = média móvel exponencialmente ponderada; GARCH = heteroscedástico condicional autorregressivo generalizado; GPB = libra esterlina; HS = simulação histórica; JPY = iene japonês; JSE = Bolsa de Valores de Joanesburgo; LSE UK = Bolsa de Valores de Londres; MC = Monte Carlo; NTN-B = título do governo brasileiro; NYSE = Bolsa de Nova York; SSEC = Bolsa de Xangai; T-bond dos EUA = título do Tesouro dos Estados Unidos; USD = dólar; ZAR = rand sul-africano.

* = significativo ao nível de 5% para o teste de Kupiec (1995 ); ** = significante ao nível de 5% para o teste de Christoffersen (1998 ); *** = significativo ao nível de 5% para os testes de Kupiec ( 1995 ) e Christoffersen ( 1998 ).

Fonte: Elaborado pelos autores.

Baseando-se na premissa de que um IV ∈ [0,8,1,2] é uma boa previsão, com base nos dados da Tabela 2, o Reino Unido tem o maior percentual de IV adequado (53%), seguido pelo Brasil e África do Sul (ambos com 47%), enquanto a China tem o valor mais baixo (7%). O mercado chinês é também o que apresenta o maior número de rejeições dos testes de Kupiec (1995) e Christoffersen (1998). Esses resultados podem ser devido a particularidades intrínsecas do mercado financeiro chinês, considerando não só a economia fechada, mas também a intervenção do governo para manter a moeda e as taxas de juros em um nível baixo.

Comparando os ativos, os percentuais de IV apropriados são próximos, com ações e títulos públicos apresentando o melhor desempenho (35%), enquanto o câmbio obteve o pior (30%). Isso pode ser consequência da formação complexa dos preços das moedas, uma vez que essa formação depende de políticas internas e externas, especialmente dos Estados Unidos. A moeda chinesa é a única que não obteve IV adequado, enquanto a japonesa apresenta o maior número (3). Entre os índices de ações, a LSE apresenta o maior número de IVs apropriados (3), enquanto a NYSE não apresenta nenhum. Para os títulos públicos, o do governo do Reino Unido obteve o maior número (3), enquanto o do governo chinês foi o menor (0). Enquanto o CVaR tem o maior número de IVs precisos para todas as categorias de ativos, o EWMA tem o menor número. A HS tem o segundo melhor desempenho para índices de ações, o MC tem o segundo melhor desempenho para índices de títulos públicos, exceto pelo CVaR e EWMA; todos os outros modelos têm apenas um IR adequado para o mercado de câmbio.

Considerando os resultados dos modelos de estimação do VaR, o CVaR apresenta o maior número de IVs precisos (15); é necessário, porém, enfatizar uma restrição na comparabilidade desse método em relação aos demais, visto que o CVaR se distingue por se concentrar nas informações contidas na cauda esquerda, estimando as perdas abaixo do quantil de VaR. O segundo modelo com melhor desempenho é a HS (6), caracterizada por não pressupor a premissa de normalidade. O EWMA é o modelo com o menor número de IVs apropriados. Comparado aos outros métodos, o EWMA é o mais simples, na medida em que é um modelo GARCH com apenas um parâmetro com α = 0.

Os resultados do teste estatístico de Kupiec (1995) a 5% de significância mostram que o EWMA tem o maior número de rejeições para a hipótese nula (14), enquanto o CVaR tem o menor (3). Para o teste de Christoffersen (1998), o MC apresenta o maior número de rejeições para a hipótese nula (7), indicando um atraso em absorver as informações dos movimentos do mercado. GARCH e CVaR apresentam o desempenho mais baixo (2). O bom desempenho do modelo GARCH no teste pode ser consequência da relevância da heteroscedasticidade na estimativa de risco, uma característica típica dos dados financeiros. A HS tem o segundo maior número de rejeições para ambos os testes estatísticos, especialmente para aqueles IVs que não estão no intervalo apropriado. Entre as categorias de ativos, as ações têm o menor percentual de rejeições, enquanto as taxas de câmbio têm o mais elevado.

 4.3. Análise para Subperíodos

Em seguida, testou-se uma janela menor e analisou-se o desempenho dos modelos VaR em subperíodos. A janela de estimativa foi reduzida para 252 dias, o equivalente a um ano de negociações. Os dados encontram-se segregados nos seguintes subperíodos: 2007-2010, 2011-2014 e 2015-2017.

Backtesting para valor em risco (VaR) de 99% - Subperíodo de 2007 a 2010
Países Ativos EWMA HS GARCH CVaR MC
Estados Unidos NYSE 1,03 0,11 1,03 1,00 0,57
T-bond 1,04 1,24 0,89 1,10 0,48*
China SSEC 1,94 0,51 2,06 1,23 2,19
Título do governo chinês 1,68 1,00 1,51 1,16 2,18*
CNY/USD 1,97 0,00*** 1,43 1,37*** 1,28***
Reino Unido LSE UK 2,27 0,75 2,27 1,01 2,14*
Título do governo do Reino Unido 2,13 1,06 1,78 1,09 3,08*
GPB/USD 2,12 0,95 1,78 1,09 3,08*
Brasil B3 2,16 1,14 1,91 1,06 2,16
NTN-B 0,00 0,56 0,00 0,00 1,12
BRL/USD 1,70 0,85 1,46 1,13 2,19*
Japão Nikkei 225 1,81 1,16 1,29 1,08 3,10***
Título do governo japonês 0,90 0,72 0,72 1,03 1,09
JPY/USD 1,47 0,73 1,47 1,27 1,47
África do Sul JSE 1,63 0,99 1,49 1,03 1,99
Título do governo sul-africano 1,17 0,99 1,49 1,03 1,99**
ZAR/USD 2,21 1,35 1,72 1,11 1,72
Alemanha DAX 2,07 0,61 1,59 1,09 2,07
Título do governo alemão 1,99 1,24 2,24 0,99 2,62*
EUR/USD 1,42 2,13 1,89 1,09 2,96

B3 = Índice Bovespa; BRL = real; CNY = yuan; CVaR = VaR condicional; DAX = Índice Alemão de Ações; EUR = euro; EWMA = média móvel exponencialmente ponderada; GARCH = heteroscedástico condicional autorregressivo generalizado; GPB = libra esterlina; HS = simulação histórica; JPY = iene japonês; JSE = Bolsa de Valores de Joanesburgo; LSE UK = Bolsa de Valores de Londres; MC = Monte Carlo; NTN-B = título do governo brasileiro; NYSE = Bolsa de Nova York; SSEC = Bolsa de Xangai; T-bond dos EUA = título do Tesouro dos Estados Unidos; USD = dólar; ZAR = rand sul-africano.

* = significativo ao nível de 5% para o teste de Kupiec (1995); ** = significante ao nível de 5% para o teste de Christoffersen (1998); *** = significativo ao nível de 5% para os testes de Kupiec ( 1995 ) e teste de Christoffersen ( 1998 ).

Fonte: Elaborado pelos autores.

Backtesting para valor em risco (VaR) de 99% - Subperíodo de 2011 a 2014
Países Ativos EWMA HS GARCH CVaR MC
Estados Unidos NYSE 0,84 0,17 0,68 1,01 0,12***
T-bond 0,91 0,91 0,91 1,21 0,34
China SSEC 1,95 0,91 1,30 1,10 1,43
Título do governo chinês 2,84 0,59 2,55 1,36 1,35
CNY/USD 1,55 0,88 1,33 1,17 1,32
Reino Unido LSE UK 1,39 0,76 1,39 1,15 0,88
Título do governo do Reino Unido 2,00 1,06 2,01 1,09 1,90
GPB/USD 2,03 1,08 2,03 1,09 1,92
Brasil B3 1,39 1,14 1,14 1,05 1,51
NTN-B 0,55 0,00*** 0,00*** 1,90*** 0,55
BRL/USD 2,57 1,47*** 2,08*** 1,05*** 2,81
Japão Nikkei 225 1,66 0,77 1,28 1,12 1,79***
Título do governo japonês 2,17 1,81 1,99 1,09 2,53
JPY/USD 0,67 0,67 0,67 1,17 0,67
África do Sul JSE 1,50 1,25 1,87 1,12 2,38
Título do governo sul-africano 1,71 1,45 1,45 1,18 1,18*
ZAR/USD 2,13 0,59 1,78 1,14 1,66
Alemanha DAX 2,07 0,61 1,59 1,09 2,07
Título do governo alemão 1,99 1,24 2,24 0,99 2,62
EUR/USD 1,42 2,13 1,89 1,09 2,96

B3 = Índice Bovespa; BRL = real; CNY = yuan; CVaR = VaR condicional; DAX = Índice Alemão de Ações; EUR = euro; EWMA = média móvel exponencialmente ponderada; GARCH = heteroscedástico condicional autorregressivo generalizado; GPB = libra esterlina; HS = simulação histórica; JPY = iene japonês; JSE = Bolsa de Valores de Joanesburgo; LSE UK = Bolsa de Valores de Londres; MC = Monte Carlo; NTN-B = título do governo brasileiro; NYSE = Bolsa de Nova York; SSEC = Bolsa de Xangai; T-bond dos EUA = título do Tesouro dos Estados Unidos; USD = dólar; ZAR = rand sul-africano.

* = significativo ao nível de 5% para o teste de Kupiec (1995); ** = significante ao nível de 5% para o teste de Christoffersen (1998); *** = significativo ao nível de 5% para os testes de Kupiec ( 1995 ) e teste de Christoffersen ( 1998 ).

Fonte: Elaborado pelos autores.

Backtesting para valor em risco (VaR) de 99% - Subperíodo de 2015 a 2017
Países Ativos EWMA HS GARCH CVaR MC
Estados Unidos NYSE 0,44 0,22 0,22 0,22 1,00*
T-bond 1,53 0,34 1,53 1,18 1,02
China SSEC 2,90 0,22 2,45 1,19 1,34
Título do governo chinês 1,67 0,37 1,30 1,11 1,11***
CNY/USD 1,89 0,95 2,01 2,31 2,49
Reino Unido LSE UK 1,11 1,11 1,29 1,15 1,11
Título do governo do reino unido 1,72 0,86 1,37 1,33 1,20
GPB/USD 1,39 0,76 1,39 1,33 1,20
Brasil B3 1,39 1,14 1,14 1,05 1,52
NTN-B 0,00* 0,39 0,39 0,00* 0,39
BRL/USD 1,43** 0,71 1,25 1,44** 0,71
Japão Nikkei 225 1,76 0,88 2,12 1,25 1,24
Título do governo japonês 1,13 0,99 0,99 1,05 2,27
JPY/USD 0,64 0,64 0,74 1,17 0,64
África do Sul JSE 2,00 0,54 1,27 0,98 0,91**
Título do governo sul-africano 1,52 0,76 0,95 1,02 1,90**
ZAR/USD 1,88 1,69 2,44 1,12 1,69
Alemanha DAX 1,42 0,71 1,07 1,11 0,89
Título do governo alemão 1,03 3,11 1,55 1,01 2,93***
EUR/USD 1,00 1,17 0,84 1,47 1,00

Notas: A tabela apresenta a porcentagem da taxa de violação apropriada e a porcentagem de rejeição para os testes de Kupiec (1995 ) e Christoffersen (1998) ao nível de significância de 5% para cada ativo.

B3 = Índice Bovespa; BRL = real; CNY = yuan; CVaR = VaR condicional; DAX = Índice Alemão de Ações; EUR = euro; EWMA = média móvel exponencialmente ponderada; GARCH = heteroscedástico condicional autorregressivo generalizado; GPB = libra esterlina; HS = simulação histórica; JPY = iene japonês; JSE = Bolsa de Valores de Joanesburgo; LSE UK = Bolsa de Valores de Londres; MC = Monte Carlo; NTN-B = título do governo brasileiro; NYSE = Bolsa de Nova York; SSEC = Bolsa de Xangai; T-bond dos EUA = título do Tesouro dos Estados Unidos; USD = dólar; ZAR = rand sul-africano.

* = significativo ao nível de 5% para o teste de Kupiec (1995); ** = significante ao nível de 5% para o teste de Christoffersen (1998); *** = significativo ao nível de 5% para os testes de Kupiec ( 1995 ) e teste de Christoffersen ( 1998 ).

Fonte: Elaborado pelos autores.

Comparando o número de rejeições de IVs e testes de Kupiec (1995) e Christoffersen (1998) entre os subperíodos, 2007-2010 apresenta o maior percentual de rejeições de testes. Apesar de a crise dos subprimes (2007-2008) ter se iniciado nos Estados Unidos, o país tem o maior percentual de IVs adequados, com um bom desempenho para EWMA e GARCH, caracterizados por considerar os clusters de volatilidade na estimativa de perdas e CVaR. A China apresenta o maior percentual de rejeições, grande parte concentradas em sua moeda. De 2007 a 2009, o banco central chinês implementou uma série de medidas para depreciar o yuan em relação ao dólar e conter os efeitos da crise financeira. Considerando que os modelos testados estão focados no risco de mercado, é esperado que eles não sejam capazes de incorporar ações governamentais em relação aos valores dos ativos. Outra observação importante é que, com exceção da China, para o primeiro subperíodo, todas as rejeições entre os países ocorreram para o método MC. Uma das fragilidades desse modelo é que o modelo pré-especificado não está correto, o que constitui um risco que pode aumentar durante crises financeiras, considerando-se a alta volatilidade dos ativos. Pelo contrário, com base na porcentagem de RVs adequadas, o CVaR apresenta o melhor desempenho, o que era esperado, uma vez que o modelo estima o risco com base na cauda da distribuição das perdas, sendo mais conservador que os demais modelos.

Para o subperíodo 2011-2014, o Brasil foi o país com maior percentual de rejeições, concentradas no NTN-B e no BRL/USD. Elas podem ser resultantes de dois fatores associados: para o NTN-B, o governo implementou uma política monetária de elevação das taxas de juros, fazendo com que a taxa básica de juros subisse a partir de 2013. Considerando-se a moeda brasileira, durante esses anos, o país foi afetado pela crise das commodities, principal bem de exportação da economia brasileira, o que diminuiu a quantidade de dólares no país, levando à depreciação do real. Uma observação adicional é que, diferentemente da crise dos subprimes do primeiro período, o CVaR não apresenta um bom desempenho para a crise brasileira, considerando-se que o modelo foi rejeitado pelos testes de Kupiec (1995) e Christoffersen (1998). Entretanto, apesar do caso brasileiro, o CVaR apresenta novamente o melhor desempenho, seguido pela HS, modelo não paramétrico.

Para o período de 2015-2017, mais uma vez os ativos brasileiros apresentam o maior número de rejeições, concentradas no NTN-B. O principal risco a que os títulos estão expostos é o aumento da taxa de juros, considerando que sua elevação tem um impacto negativo em seu valor. Assim como os ativos chineses no primeiro subperíodo, pode-se ver, novamente, que os modelos testados não são eficientes em incorporar o risco político, já que durante o período de 2015 a 2017, o governo estabeleceu uma política de aumento de juros. Com base no IV, a Alemanha tem o maior número de razões apropriadas, seguida pelo Reino Unido. Durante o período de 2015 a 2017, foi implementado um pacote de investimentos na União Europeia, o qual, de acordo com o Relatório Anual do Banco Mundial para a União Europeia de 2018 (acessado em https://publications.europa.eu/en/publication-detail/-/publication/e977293e-8743-11e9-9f05-01aa75ed71a1/language-en/format-PDF), promoveu uma modesta recuperação econômica, iniciada em 2014. Os ativos tendem a ser menos voláteis durante períodos econômicos mais estáveis, o que pode ter melhorado a precisão dos modelos para esses países (Mei & Guo, 2004; Shwert, 2011). O MC foi o método com maior percentual de rejeições, concentradas nos títulos públicos.

Comparando-se os ativos, os índices de ações são os que apresentam o menor percentual médio de rejeição para os testes de Kupiec (1995) e Christoffersen (1998) (14 e 1%, respectivamente), sendo que os títulos públicos apresentam o maior percentual para Kupiec (1995) (24%), e a taxa de câmbio para Christoffersen (1998) (12%). Deve-se ressaltar que, apesar dos resultados de Kupiec (1995) para os títulos públicos, os títulos japoneses e alemães, os quais se mostraram os ativos mais voláteis dos dados, apresentam uma previsão de melhora com base nos testes estatísticos. Esses resultados corroboram os de Harmatiz, Miao e Chien (2006), que concluem que ativos mais voláteis tendem a ter sua melhor previsão de perdas em janelas de estimativa menores, enquanto ativos menos voláteis tendem a tê-las em janelas de horizonte mais longo. Novamente, o CVaR tem o maior percentual de IV (78%); entretanto, conforme já mencionado, o método difere dos outros na medida em que se concentra em valores que excedem o VaR. Entre as métricas tradicionais, a HS apresenta o maior percentual de RV (20%), reforçando a hipótese de que o modelo possui uma melhor capacidade preditiva devido à não utilização da premissa de normalidade dos ativos. Esses dois modelos também apresentam o menor percentual de rejeições para o teste de Kupiec (1995).

Apesar desses resultados, observou-se que a HS e o MC apresentam o maior percentual de rejeição para o teste de Christoffersen (1998). Como ambos correspondem a métodos de simulação, esse fator pode ser indicativo do atraso no ajuste dessas métricas às flutuações nos preços dos ativos. O GARCH é o modelo com o menor percentual de IVs apropriados, o que pode indicar uma piora desse método em função da redução da janela de estimativa, considerando-se que ele utiliza as informações contidas na volatilidade passada para a previsão de perdas. Para o teste de Kupiec (1995), o MC apresenta a maior porcentagem de rejeições. Considerando-se que uma das premissas do método MC é a necessidade de um número relevante para realizar a simulação dos fatores de risco, era esperado que a redução da janela de estimação pudesse enfraquecer a capacidade preditiva do modelo.

Em resumo, com base no percentual de rejeição da hipótese nula para ambos os testes estatísticos, o método MC tem o desempenho mais fraco para todas as classes de ativos: 26% para índices de ações, 31% para títulos públicos e 27% para taxas de câmbio. O CVaR tem o melhor desempenho para índices de ações (12%) e câmbio (6%), e a HS apresenta o melhor resultado para títulos públicos (17%). Entre os mercados, os ativos chineses têm o maior percentual médio de rejeições, enquanto os ativos japoneses têm o menor percentual.

 5. CONCLUSÃO

Este artigo testa o desempenho de cinco métodos de VaR, e se distingue de estudos anteriores na medida em que compara diferentes categorias de ativos pertencentes a economias distintas. Também foi testada a influência do horizonte da janela de estimativa na capacidade de previsão dos modelos. Portanto, são realizadas duas análises: a primeira para todo o período de dados, com uma janela de estimação de 1.000 dias, e a segunda para subperíodos dos dados, com uma janela de estimação de 252 dias.

Para ambas as análises, considerando-se o percentual de IV, o CVaR é o modelo que apresenta o melhor desempenho, seguido pela HS. Ambos possuem propriedades especiais; o primeiro consiste em um modelo semiparamétrico com foco nas informações da cauda esquerda para a previsão de risco, e o segundo é um modelo não paramétrico, que estima o comportamento dos fatores de risco com base diretamente nas observações históricas. O EWMA apresenta o desempenho mais fraco na primeira análise. Na segunda, o MC apresenta não apenas o desempenho mais fraco, mas também o maior número de rejeições para os testes de Kupiec (1995) e Christoffersen (1998), o que indica a necessidade de uma janela de estimação de maior horizonte, como se esperava. Conclui-se que uma janela de estimação menor é melhor para ativos mais voláteis, enquanto uma janela de estimação maior é melhor para ativos menos voláteis. Entre os mercados, o chinês apresenta a maior porcentagem média de rejeições para ambas as análises, o britânico possui a menor média para a primeira análise, enquanto o japonês possui a menor média para a segunda.

A principal limitação encontra-se nos dados, pois os índices são utilizados como proxies dos ativos, o que gera duas fragilidades: em primeiro lugar, devido ao fato de as carteiras de ações serem compostas por diferentes setores econômicos, de modo que, não necessariamente, um modelo com bom desempenho para uma carteira apresentará um bom desempenho para uma ação individual. Em segundo lugar, porque, comumente, as estratégias de investimento consistem em carteiras diversificadas, contendo várias classes de ativos. Portanto, sugere-se que novos estudos conduzam estes testes para diferentes nichos industriais e carteiras compostas por mais de uma categoria de ativos.