Re: [Aisa.circuli] Spain wants to change how it evaluates …

Delete this message

Reply to this message
Author: Daniela Tafani
Date:  
To: 380°, aisa.circuli@inventati.org
Old-Topics: Re: [Aisa.circuli] Spain wants to change how it evaluatesscientists—and end the ‘dictatorship of papers’
New-Topics: Re: [Aisa.circuli] Spain wants to change how it evaluatesscientists—and end the ‘dictatorship of papers’, Re: [Aisa.circuli] Spain wants to change how it evaluatesscientists—and end the ‘dictatorship of papers’
Subject: Re: [Aisa.circuli] Spain wants to change how it evaluates scientists—and end the ‘dictatorship of papers’
Buongiorno, 380°.

Le questioni cruciali sono state appena richiamate da Maria Chiara.

Ricordo solo una questione di fondo, con le parole di Italo Calvino in Cibernetica e fantasmi:

"Nel modo in cui la cultura d’oggi vede il mondo, c’è una tendenza che affiora contemporaneamente da varie parti: il mondo
nei suoi vari aspetti viene visto sempre più come discreto e non come continuo. Impiego il termine «discreto» nel senso che ha in
matematica: quantità «discreta» cioè che si compone di parti separate. Il pensiero, che fino a ieri ci appariva come qualcosa di
fluido, evocava in noi immagini lineari come un fiume che scorre o un filo che si sdipana, oppure immagini gassose, come una specie di
nuvola, tant’è vero che veniva spesso chiamato «lo spirito», – oggi tendiamo a vederlo come una serie di stati discontinui, di
combinazioni di impulsi su un numero finito (un numero enorme ma finito) di organi sensori e di controllo."

"Al posto di quella nuvola cangiante che portavamo nella testa fino a ieri e del cui addensarsi o disperdersi cercavamo di renderci conto descrivendo
impalpabili stati psicologici, umbratili paesaggi dell’anima, – al posto di tutto questo oggi sentiamo il velocissimo passaggio di segnali sugli intricati circuiti che collegano i relé, i diodi, i transistor di cui la nostra calotta cranica è stipata."

"Potrei dire anche che la numerabilità, la finitudine, stanno avendo la meglio sull’indeterminatezza dei concetti che non possono essere
sottoposti a misurazione e a delimitazione, ma questa formulazione rischia di dare un’idea un po’ semplicistica di come stanno le cose,
mentre è vero proprio tutto il contrario: ogni processo analitico, ogni divisione in parti tende a dare del mondo un’immagine che si va via
via complicando, così come Zenone da Elea rifiutandosi d’accettare lo spazio come continuo finiva per aprire tra la tartaruga e Achille
una suddivisione infinita di punti intermedi."

Entro questa impostazione, non è strano che, a disagio con gli effetti di una valutazione numerica affidata a monopoli,
si pensi a una nuova valutazione numerica, in cui si conti anche qualche altro ente e sia qualcun altro a contare.
Per parafrasare Paul Watzlawick, siamo in una di quelle situazioni in cui la soluzione è il problema.*

Un saluto,
Daniela

*https://archive.org/details/Paul_Watzlawick_-_Wenn_die_Loesung_das_Problem_ist_1987
________________________________________
Da: Aisa.circuli <aisa.circuli-bounces@???> per conto di 380° via Aisa.circuli <aisa.circuli@???>
Inviato: domenica 10 dicembre 2023 15:07
A: aisa.circuli@???
Oggetto: [SPAM]Re: [Aisa.circuli] Spain wants to change how it evaluates scientists—and end the ‘dictatorship of papers’

Buongiorno,

"Daniela Tafani via Aisa.circuli" <aisa.circuli@???> writes:

> Spain wants to change how it evaluates scientists—and end the
> ‘dictatorship of papers’


quindi la soluzione sarebbe quella di passare da un sistema di
valutazione deficiente, ovvero la ‘dictatorship of papers’ misurata da
aziende private tipo Clarivate...

[...]

> overhauled under new proposals from the country’s National Evaluation
> and Accreditation Agency (ANECA).
>
> The reforms, announced earlier this month, would for the first time
> see researchers at Spain’s public universities evaluated on a range of
> outputs besides papers,


alla valutazione (meno?) deficiente basata su parametri stabiliti da una
commissione nazionale di valutazione, una specie di "ordine
professionale degli scienziati"?

Andiamo bene.

[...]

> To win a modest salary increase and be eligible for promotion,


Ecco appunto: tutto ciò per litigarsi le **briciole** delle scarse
finanze riservate dai /magnanimi/ alla ricerca scientifica. Scarsità
(molto) artificiosa, tra l'altro.

> researchers must show that they have published a minimum of five
> papers during that period in high-impact journals indexed in Journal
> Citation Reports (JCR), a database produced by the publishing
> analytics company Clarivate. Meeting the goal also enables scientists
> to supervise doctoral students and be listed as principal
> investigators at their universities, which gives them access to a
> larger budget.


Appunto: una serie di regole basate su valutazioni che dipendono da
misurazioni, e:

--8<---------------cut here---------------start------------->8---

La misurazione è una riduzione di complessità che produce perdita di
informazione e dipende da scelte arbitrarie – tanto più quando,
spacciata come rappresentazione di attività variegate e
multidimensionali come quelle universitarie, è esito di una combinazione
di criteri molteplici, selezionati arbitrariamente, arbitrariamente
associati a indicatori numerici, e a loro volta arbitrariamente
aggregati e pesati.

--8<---------------cut here---------------end--------------->8---

Che differenza fa se la valutazione (di cosa?!?) è basata su criteri
molto deficienti o un po' meno deficienti?!?

Qualsiasi sia il sistema di valutazione, /quindi/ di misurazione,
all'interno di quel sistema si creerà un *mercato*, il "mercato della
ricerca", che sia liberista o statalista il risultato non cambia,
cambiano solo i modi di "fare mercato": in ogni caso la ricerca verrà
valutata solo sulla base del proprio valore /di scambio/.

> Continua qui:
> https://www.science.org/content/article/spain-wants-change-how-it-evaluates-scientists-and-end-dictatorship-papers


l'executive summary di tutto il cinema della valutazione è questo:

--8<---------------cut here---------------start------------->8---

The Spanish government introduced this system in 1994 in an effort to
increase the productivity of the country’s researchers.

--8<---------------cut here---------------end--------------->8---

Se l'obiettivo è quello di aumentare la /produttività/ dei ricercatori,
allora l'unico modo è quello di applicare un sistema più o meno
deficiente di valutazione della produttività.

Domanda da un miliardo di dollari: cos'è la produttività della scienza?

L'articolo prosegue:

--8<---------------cut here---------------start------------->8---

ANECA wants assessments to consider a broader range of research outputs,
including “publications, patents, reports, studies, technical works,
artistic works, exhibitions, archaeological excavations, [and the]
creation of bibliographic records.”

--8<---------------cut here---------------end--------------->8---

Tutte attività lodevoli (tranne i brevetti, ma non andiamo OT) per
carità, ma come si /misurano/?!?

--8<---------------cut here---------------start------------->8---

Assessors will no longer consider only the impact factor of the journals
in which scientists publish, but also details such as whether the
research reaches nonacademic audiences through news reports or
government documents.

--8<---------------cut here---------------end--------------->8---

Ah fantastico, aggiungiamo anche la misurazione dell'impact factor su
"Donna moderna" e "For men", oltre che nei documenti _governativi_ :-O

Perché quindi i ricercatori non dovrebbero sottomettersi alle
classificazioni commerciali e farlo invece con quelle statali?!?

https://aisa.sp.unipi.it/utrecht-e-noi-perche-continuare-a-sottomettersi-alle-classificazioni-commerciali/

--8<---------------cut here---------------start------------->8---

Perché ballare alla musica altrui, secondo coreografie disegnate da
altri, e con una giuria il cui scopo è vendere classifiche – e
posizionamenti – che “dal punto di vista delle scienze sociali sono
spazzatura”?

[...] Ma come faranno gli studenti a scegliere presso quale università
frequentare un corso di laurea o di dottorato, e i ricercatori non
locali a decidere con che collaborare? A Utrecht rispondono così:
guardando i contenuti e l’organizzazione dei corsi, e considerando la
qualità della ricerca – cosa, questa, possibile, contro l’alchimia delle
valutazioni aliene, commerciali o statali che siano, solo in virtù
dell’adozione delle pratiche della scienza e della didattica aperta.

--8<---------------cut here---------------end--------------->8---

Detto in atre parole: /siccome/ «la misurazione è una riduzione di
complessità che produce perdita di informazione», l'unico modo per
uscire da quella /trappola/ è smetterla di misurare (la misura avviene
sempre "da fuori" e la valutazione è aliena per definizione) e
**ingaggiare** la ricerca sulla base dell'analisi della sua /qualità/.

Pare troppo semplice.

Happy hacking! 380°

--
380° (Giovanni Biscuolo public alter ego)

«Noi, incompetenti come siamo,
non abbiamo alcun titolo per suggerire alcunché»

Disinformation flourishes because many people care deeply about injustice
but very few check the facts. Ask me about <https://stallmansupport.org>.