TEST NON PARAMETRICI PER IL TREND

 

 

19.3.  TEST DI JONCKHEERE O JONCKHEERE-TERPSTRA PER ALTERNATIVE ORDINATE IN K CAMPIONI INDIPENDENTI

 

 

Nel caso di k campioni indipendenti, con dati disposti come nell’analisi della varianza ad un criterio di classificazione, quando si suppone che i gruppi siano ordinati secondo il valore delle loro mediane, con il test di Jonckheere è possibile verificare l'ipotesi se i vari campioni o gruppi abbiano tendenze centrali in accordo con la sequenza fissata a priori.

E’ chiamato anche test di Jonckheere-Terpstra o delle alternative ordinate (ordered alternatives), in quanto proposto quasi contemporaneamente ed in modo indipendente da T. J. Terpstra nel 1952 (nell’articolo The asymptotic normality and consistency of Kendall’s test against trend when ties are present in one ranking pubblicato su Indagationes Mathematicae Vol. 14, pp. 327-333) e da A. R. Jonckheere nel 1954 (con un articolo intitolato A distribution-free k-sample test against ordered alternatives pubblicato su Biometrika vol. 41, pp. 133-145). 

Del Department of Psychology, University College, London, A. R. Jonckheere introduce l’uso del suo test con questa presentazione. Un ricercatore, sulla base della sua esperienza o di una teoria, spesso è nella condizione di attendersi una serie ordinata (rank order) negli effetti di differenti trattamenti sperimentali. Si supponga, per esempio, di determinare gli effetti di differenti livelli di stress su test di abilità manuale, come il numero di errori commessi nelle quattro situazioni classificate di stress alto, medio, basso e minimo. Lo sperimentatore spera di dimostrare risultati significativamente differenti e che le persone con livello di stress più alto commettano effettivamente un numero di errori maggiore. Per una presentazione più analitica e per osservare l’uso di un linguaggio tecnicamente corretto nella introduzione di una pubblicazione scientifica che utilizzi il test, è utile leggere le parole dell’autore: The experimenter hopes to refute the hypothesis that the four samples of data could be considered as randomly drawn from the same population. However, experience or theory lead him to expect that the number of errors made increases with the degree of stress (his alternative hypothesis). Hence he desires a test of significance especially sensitive to those differences wich, while tending to reject the null hypothesis that the samples are all drawn from the same population, at the same time lends support to the specified alternative in question.

 

L’analisi della varianza (ANOVA) e il test non parametrico corrispondente (il test di Kruskall-Wallis) non permettono di rispondere a questa domanda: il loro risultato è indipendente dall’ordine con il quale sono disposte le medie dei trattamenti. In questo caso, invece, serve una combinazione tra

-          i concetti dell’analisi della varianza, con la quale condivide l’ipotesi nulla,

-          e i concetti della correlazione non parametrica tra ordine osservato e ordine atteso dei vari gruppi a confronto, con la quale condivide l’ipotesi alternativa.

Ma per il tipo di scala utilizzato, quale l’intensità dello stress, non è possibile utilizzare la forma classica di analisi della regressione.

Quando si dispone solamente di due gruppi è possibile effettuare test bilaterali e test unilaterali. Con più gruppi, l’analisi della varianza permette solo ipotesi alternative bilaterali; questo metodo offre l’opportunità di eseguire test con ipotesi alternativa unilaterale anche nel caso di più gruppi.

Ha ovvie applicazioni nello studio di serie temporali o spaziali: Suppose, for instance, that on each of n successive occasions, any one of k events may occur. Then we can test the hypothesis that the k events occur randomly in the series of n accasions, against the alternative that they tend to occur in a particular ordered time sequence.

 

In modo più formale, l'ipotesi nulla  è che le mediane (me) dei k gruppi a confronto siano uguali,

mentre l'ipotesi alternativa  è che esse siano allineate in base al valore, con un ordine fissato a priori,

-          che può essere il seguente

-          oppure quello in direzione opposta.

 

Se si rifiuta l'ipotesi nulla, secondo vari testi recenti tra cui quello di W. J. Conover del 1999 (Practical nonparametric statistics, 3^rd ed. John Wiley & Sons, New York, VIII + 584 p.) e quello di P. Sprent e N. C. Smeeton del 2001 (Applied nonparametric statistical methods, 3^rd ed. Chapman & Hall/CRC, London, XII + 461 p.) si accetta che tra i valori centrali dei gruppi a confronto esista almeno una ineguaglianza in senso stretto (where at least inequality is strict).

.

Jonckheere in realtà scrive

 e afferma che se si rifiuta l’ipotesi nulla l’ordine è in accordo con quanto ipotizzato nella H₁.

 

Il test richiede che i campioni siano misurati con una scala ordinale o più precisa, come quelle di intervallo oppure di rapporti, in modo da non avere valori con lo stesso rango (ties). In realtà è accettato che ne sia presente un numero limitato.

 

Per una presentazione semplice dei dati e per facilitare l’interpretazione dei risultati, di norma i valori vengono disposti in una tabella identica a quella dell’analisi della varianza ad un solo criterio di classificazione:

 

 

 

Ma i k campioni a confronto sono disposti in ordine progressivo, in accordo con l’ipotesi alternativa formulata a priori sui valori delle mediane rispettive. E’ errato osservare nei dati raccolti una certa successione di medie e quindi collocare i gruppi in quell’ordine, utilizzando il test per valutarne la significatività. Aumenta molto la probabilità a di commettere un errore di Tipo I, cioè di trovare una differenza che in realtà non esiste.

 

Il test utilizza il metodo delle precedenze; è un procedimento lungo, quando si confrontano più gruppi, poiché analizza tutte le loro combinazioni semplici 2 a 2; con k gruppi sono k(k-1)/2.

Per ogni coppia di gruppi, si deve contare il numero di precedenze, ossia quante volte ogni osservazione dell'i-esimo gruppo precede le osservazioni del gruppo j-esimo, secondo il procedimento già proposto nel 1947 da Mann e Whitney con il test U., con il quale è concettualmente collegato, anche nella presentazione di Jonckheere.

Nel caso di due valori uguali (ties), il punteggio delle precedenze deve essere aumentato di 0,5.

 

L’applicazione del metodo a un esempio permette di fornire una spiegazione semplice e chiara.

Si supponga di dover analizzare 3 gruppi (A, B e C), composti rispettivamente 3, 4 e 3 osservazioni, come nella tabella sottostante,

 

1 - in cui, come primo passo, i valori devono essere ordinati in modo crescente entro ogni gruppo:

 

 

Con 3 gruppi (A, B, e C) i confronti possibili sono 3 (A-B,  A-C,  B-C). 

 

2 – Successivamente occorre riportare il numero di precedenze relativo ad ogni dato

 

 

 di un gruppo rispetto a tutti i dati del gruppo a confronto;

 nella tabella precedente,

-          il primo 4 del confronto A-B indica che il valore 7,5 del gruppo A precede nell’ordine naturale i 4 valori di B;

-          il valore 2 (terza posizione) del confronto A-B indica che il valore 12,3 del gruppo A precede nell’ordine naturale 2 valori di B (14,3 e 18,2);

-          mentre nel confronto B-C il quarto numero è 0, perché il valore 18,2 del gruppo B non precede nessun valore del gruppo C (essendo maggiore).

 

3 - Il terzo passo è la somma di tutte le precedenze, che fornisce la stima dell’indice J.

Con i dati dell’esempio, J risulta uguale a 26 (10 + 8 + 8).

 

4 - Quando è vera l’ipotesi nulla, il valore di J tende a essere uguale a un valore medio m_J, determinato

-          dal numero totale N  e

-          dal numero n_i di dati

-          in ognuno dei k gruppi,

 secondo la relazione

m_J =  (N² - )/4

 

Per piccoli campioni, la distribuzione campionaria di J è fornita da tabelle, riportate nelle 3 pagine seguenti.

Nella prima colonna delle tabelle è riportato il numero di dati che formano i k campioni a confronto. L’ordine delle loro dimensioni è ininfluente.

 

Per esempio, con 3 gruppi in cui il primo ha 6 osservazioni, il secondo 8 ed il terzo 6, si usa la terza riga della terza tabella, che riporta i valori di J per k uguali a 6, 6, 8. (cioè, rispettivamente per la varie probabilità, i seguenti valori critici:  85, 90, 99, 103).

Si rifiuta l’ipotesi nulla alla probabilità prefissata, quando il valore calcolato è uguale o superiore (³) a quello critico riportato nelle tabelle.

Ritornando ai dati dell’esempio con 3, 3 e 4 dati, il valore critico

-          alla probabilità a = 0.05 è 26

-          alla probabilità a = 0.01 è 29.

Il valore calcolato, uguale a 26, permette di rifiutare l’ipotesi nulla alla probabilità P £ 0.05.

In realtà la probabilità P è spesso inferiore a quanto indicato, poiché con pochi dati la distribuzione delle probabilità non varia in modo continuo: essa è calcolata mediante il calcolo combinatorio e il valore critico prescelto non è mai superiore al valore a prefissato.

 

Per campioni grandi, la distribuzione  asintotica di J è approssimativamente normale,

 con la media  già presentata

m_J =  (N² - )/4

 e varianza  uguale a

 

Valori critici di J nel test di Jonckheere

per 3 gruppi con osservazioni da 3 a 8

(PRIMA PARTE)

 

Valori critici di J nel test di Jonckheere

per 3 gruppi con osservazioni da 4 a 8 e da 5 a 8

(SECONDA PARTE)

 

Valori critici di J nel test di Jonckheere

da 3 a 6 gruppi con  osservazioni da 2 a 5

(TERZA PARTE)

 

dove

-  N  =  numero complessivo di dati raccolti

-   =  numero di dati del j-esimo gruppo.

Poiché le alternative sono ordinate, come a lungo argomentato nella introduzione  il test è sempre a una coda.

 

Esempio 1  (per Grandi Campioni)

Si intende verificare se le aree più vicine ad un forno inceneritore hanno una ricaduta maggiore di polveri e di sostanze inquinanti, con un gradiente non necessariamente lineare ma monotonico, nonostante la variabilità nella direzione e nell’intensità dei venti. A questo scopo, è stata misurata la quantità di sostanze inquinanti ricadute in alcune aree e la loro distanza dalla sorgente di emissione.

L'area è stata suddivisa in 4 zone (A, B, C, D) concentriche, di raggio progressivamente maggiore passando dal gruppo A al gruppo D.

 

Per abbreviare e semplificare i calcoli,

-          i gruppi sono già stati ordinati secondo l’ordine crescente atteso per le quantità mediane, espresso nell’ipotesi H₁

-           e i valori d’inquinamento raccolti in ogni zona sono già ordinati in ordine crescente entro ogni gruppo, come nella tabella seguente

 

 

 

Per i calcoli successivi, servono

-          i 4 valori di  (10, 8, 11, 9), corrispondenti al numero di osservazioni entro ogni gruppo e

-          il loro numero totale N = 38

 

Risposta.  Per verificare se la quantità di polveri ricadute è significativamente maggiore nelle aree presso la fonte d’emissione,

-  l'ipotesi nulla  è che all'aumento della distanza si abbia una quantità (q) mediana costante

H₀ :  q_A = q_B = q_C = q_D

-  mentre l'ipotesi alternativa  è che campioni raccolti in aree più distanti dall'inceneritore abbiano quantità (q) progressivamente minori di polveri, anche se non è quantificabile il tipo di relazione (lineare, quadratica, ecc. ...)

H₁ :  q_D £ q_C £ q_B £ q_A

Per verificare le caratteristiche della distribuzione dei dati e per la successiva interpretazione dei risultati, è sempre utile costruire il grafico con le singole osservazioni di ogni gruppo e la loro mediana.

 

 

 

 

In questo caso, passando dalla zona 1 alla 4 (cioè da D a A) si evidenzia una tendenza alla crescita, se l’attenzione viene posta solo sulle mediane. Ma se si prende in considerazione tutto il campo di variazione l’impressione è meno netta. Il test permette una conclusione oggettiva, analizzando l’informazione contenuta nell’insieme dei dati.

Si osserva inoltre una forte variabilità tra i gruppi, minima nel secondo, che non permetterebbe l’uso di tecniche parametriche.

 

La metodologia di Jonckheere richiede il calcolo delle precedenze, confrontando tutte le possibili coppie di zone campionate;  con 4 gruppi sono 6 

 D>C      D>B      D>A      C>B      C>A      B>A.

come riportate nella tabella sottostante

 

 

 

 

Nella prima colonna, il confronto D>C riporta 4 volte il punteggio 8: infatti i primi 4 valori del gruppo D sono minori degli  8 valori del gruppo C. Il punteggio 5,5 deriva dal fatto che il valore 38 del gruppo D precede 5 valori del gruppo C (48, 60, 66, 70,71) ed è appaiato dal valore 38 del gruppo C.

Anche da questo approccio,

-          è evidente che i valori rilevati devono essere misurati in una scala continua per rendere minima la frequenza di dati appaiati;

-          nel caso di valori uguali, il punteggio aumenta di 0,5 dopo aver contato quanti dati sono superiori a quello di confronto.

Il valore di J è dato dalla somma di tutte le precedenze

 e risulta uguale a 365.

 

Se l'ipotesi nulla fosse vera, questo valore dovrebbe tendere alla media  

 

 

 che, con i dati del campione, risulta uguale a 269,5

 mentre la sua varianza  

 

 

 risulta uguale a 1469,9

 e quindi la deviazione standard   

 è uguale a 38,34.

Da questi dati deriva

 un valore di Z = 2,49.

Ricordando che nella distribuzione normale per un test unilaterale al valore di Z uguale a 2,49 corrisponde una probabilità P = 0.006, si rifiuta l'ipotesi nulla.

Di conseguenza, si accetta l'ipotesi alternativa: la tendenza centrale dei 4 gruppi è significativamente maggiore per le aree più vicine alla fonte d’inquinamento.

 

Il test di Jonckheere è utile soprattutto nel caso del confronto tra rapporti o percentuali, quando sono calcolati su dimensioni di campioni di dimensioni sensibilmente differenti. Con tali dati infatti non è possibile applicare i test parametrici, poiché i valori a confronto non hanno tutti la stessa attendibilità. La trasformazione delle percentuali mediante arcoseno (vedi paragrafo sulle trasformazioni) serve solamente per rendere omogenee le varianze di gruppi che hanno medie differenti; ma per test parametrici le percentuali a confronto debbono essere calcolate su totali simili, come già ripetutamente ricordato in vari esempi.

 

Esempio 2  (CampionE PICCOLO).

Nei test di tossicità cronica sono usate varie specie acquatiche, in particolare Ciprinidi, Salmoidi, Cladoceri e Ditteri. Gli animali vengono esposti a sostanze tossiche per tempi generalmente lunghi, al fine di consentire che siano sottoposti all'azione del principio attivo non solo gli adulti, ma anche gli stadi larvali e giovanili.

Tra le stime di tossicità, è frequente l’impiego

-          del rapporto tra il numero di individui sopravviventi sul totale degli immessi,

-          la percentuale di femmine che arrivano alla riproduzione,

-          la quota di uova che si schiudono.

Con una serie di esperimenti, è stato calcolato il numero di uova rimaste sterili su quelle deposte, per stimare l'effetto di una sostanza ritenuta tossica sulla loro schiusa.

 

 

 

Si intende verificare se all'aumento della dose (1, 2, 3) si ha una quota crescente di uova sterili (misurate con x/y, dove x è il numero di uova sterili e y è il numero totale di uova deposte).

 

Risposta.  Per verificare l’ipotesi nulla

H₀ :  q₁ = q₂ = q₃

mentre l'ipotesi alternativa  è

H₁ :  q₁ £ q₂ £ q₃

 

1- la prima operazione consiste nel calcolare i rapporti e riportare i loro valori

 

 

 

2 -  Successivamente si devono ordinare i valori entro ogni gruppo in modo crescente, per facilitare le operazioni di confronto tra i gruppi

 

 

3 - Con 3 gruppi, si hanno 3 combinazioni di confronti a coppie:

1 contro (>) 2,

1 contro (>) 3,

2 contro (>) 3.

 

Per ognuna di esse si devono contare le precedenze, che sono riportate, insieme con la somma per colonna e il totale, nella tabella sottostante

 

 

4 -  Il valore di J, dato dalla somma di tutte le precedenze,

J = 19 + 31 + 19 = 69

 risulta uguale a 69.

Il valore di J tabulato per 3 gruppi con 5, 6 e 7 osservazioni alla probabilità a = 0.05 è 74.

Il valore di J calcolato (69) è inferiore a quello tabulato; di conseguenza, non si può rifiutare l'ipotesi nulla. All'aumentare della dose di sostanza inquinante, con questi dati non è dimostrato che si abbia un aumento significativo della proporzione di uova sterili.

 

In letteratura si trovano applicazioni del test di Jonckheere-Terpstra

-          a campioni estremamente piccoli,

-          con gruppi in cui compare addirittura una sola osservazione.

Soprattutto l’ultima è una condizione che vieta l’uso del test parametrico  F di Fisher.

 

ESEMPIO 3. (UN GRUPPO CON UN SOLO DATO) Una dimostrazione dell’uso del test con un solo dato in un gruppo è l’articolo pubblicato nel 1989 su Applied Statistics (vol. 38, pp. 495-506) di D. V. Hinkley (Modified profile likelihood in trasformed linear models) e riportato anche dal testo di P. Sprent del 1993 Applied Nonparametric Statistical Methods (2^nd ed., Chapman & Hall, London) e nella edizione successiva scritta con N. C. Smeeton nel 2001.

 

Per valutare l’aumento delle rotture meccaniche alla crescita della velocità (20, 25, 30 35 miglia orarie), è presentata l’analisi dei seguenti dati, con solamente 10 osservazioni suddivise in 4 gruppi e dei quali uno con una sola osservazione.

 

 

 

L’applicazione del test di Jonchkeere dimostra che con questi dati è possibile rifiutare l’ipotesi nulla al livello di significatività P =  0,0011. La probabilità è stata ricavata con una distribuzione esatta di permutazione dei ranghi, che è proposta nei pacchetti statistici di molti programmi informatici.