11 aprile 2006, ore 14.45 Panel 15e Scienze e tecnologie per ... - Crui

noisymaniacalΒιοτεχνολογία

20 Φεβ 2013 (πριν από 4 χρόνια και 7 μήνες)

235 εμφανίσεις

CIVR

Comitato di Indirizzo per la Valutazione della Ricerca

________________________________

Incontro CRUI
-

11 aprile 2006, ore 14.45


Panel 15e


Scienze e tecnologie per lo sviluppo e la governance
sostenibili: aspetti economici, sociali, energetici ed ambientali


Paolo Clemente

VTR 2001
-

2003


analisi

della

procedura

di

selezione

dei

prodotti

scientifici

presentati



analisi

della

procedura

di

“calibrazione”

dei

giudizi

degli

esperti



analisi

delle

ricadute

dei

risultati

CIVR

sulle

strutture

di

ricerca

dell’ateneo



suggerimenti

per

una

più

efficace

attività

di

valutazione


Ordine del giorno


Suggerire

regole

e

procedure

di

riferimento

per

la

valutazione

del

Sistema

Nazionale

della

Ricerca
.


Migliorare

il

collegamento

istituzionale

tra

risultati

della

valutazione

e

allocazione

delle

risorse
.


Avviare

procedure

sistematiche

di

raffronto
.


Favorire

la

diffusione

dei

risultati

della

ricerca
.


Assicurare

trasparenza

al

processo
.

Scopi

e specificità del VTR

CIVR

Strutture di ricerca


Panel di Area

Governo

Strutture di ricerca

Comunità scientifica

Giudizi



Dati & informazioni



Relazione NUV/CIV

Prodotti

Il processo

Strutture

partecipanti

Area 15e

Atenei

20

Enti pubblici di Ricerca

2

Istituzioni private di Ricerca

1

Aree

15 a Scienze e tecnologie per una società dell'informazione e della comunicazione

15 b Scienze e tecnologie per la qualità e la sicurezza degli alimenti

15 c Scienze e tecnologie dei nano/microsistemi

15 d Scienze e tecnologie aerospaziali

15 e
Scienze e tecnologie per lo sviluppo e la governance sostenibili

15 f Scienze e tecnologie per la valutazione e la valorizzazione dei beni culturali


1 Scienze matematiche e informatiche


2 Scienze fisiche


3 Scienze chimiche


4 Scienze della terra


5 Scienze biologiche


6 Scienze mediche


7 Scienze agrarie e veterinarie


8 Ingegneria civile ed architettura


9 Ingegneria industriale e dell’informazione

10 Scienze dell’antichità, filologico
-
letterarie e storico
-
artistiche

11 Scienze storiche, filosofiche, psicologiche e pedagogiche

12 Scienze giuridiche

13 Scienze economiche e statistiche

14 Scienze politiche e sociali


Libri


Capitoli di libri


Articoli su riviste


Brevetti e risultati di valorizzazione applicativa


Progetti, composizioni, disegni e
design


Performance
, mostre ed esposizioni


Manufatti e opere d'arte

Prodotti selezionabili


Attività puramente editoriali


Testi o
software

di esclusivo interesse didattico


Abstract

di conferenze


Prove e analisi di
routine


Rapporti tecnici interni

Prodotti non selezionabili

Selezione dei prodotti (1)


Le

strutture

hanno

selezionato

in

autonomia

i

prodotti

da

trasmettere

ai

Panel



Il

numero

complessivo

di

prodotti

selezionati

è

stato

fissato

nel

50
%

del

numero

medio

annuo

dei

ricercatori

della

Struttura

(calcolato

sul

triennio),

espressi

in

ETP



Non

era

obbligatorio

presentare

prodotti

in

ogni

area

o

settore

disciplinare

della

stessa



Le

aree

prive

di

prodotti

sono

state

giudicate

inattive
.



L’area

selezionata

dipendeva

dalla

collocazione

del

prodotto

e

non

da

quella

degli

autori



Per

ciascun

prodotto

è

stata

trasmessa

una

scheda

illustrativa,

con

l’allegato

in

pdf

della

pubblicazione



In

assenza

di

allegato,

è

stata

richiesta

alle

Strutture

copia

cartacea


Selezione dei prodotti (2)


La

singola

Struttura

poteva

presentare

ciascun

prodotto

selezionato

in

una

sola

Area



Strutture

diverse

potevano

selezionare

prodotti

identici

e

presentarli

anche

in

Aree

diverse



Ciascun

prodotto

selezionato,

anche

se

presentato

in

Aree

diverse,

è

stato

sottoposto

ad

un

unico

iter

valutativo,

che

ha

coinvolto

tutti

i

Panel

interessati


Giudizio di merito sui prodotti


Ogni

prodotto

è

stato

valutato

da

almeno

due

esperti

esterni,

per

i

seguenti

criteri
:


qualità



rilevanza



originalità/innovazione



internazionalizzazione



impatto

economico
-
occupazionale,

anche

potenziale

(per

i

risultati

di

valorizzazione

applicativa)


Per

ciascun

criterio

gli

esperti

hanno

formulato

un

giudizio

di

merito

descrittivo



Qualità
:

posizionamento

del

prodotto

rispetto

all’eccellenza

scientifica

nella

scala

di

valore

condivisa

dalla

comunità

scientifica

internazionale
.

Il

giudizio

di

merito

è

affidato

ad

esperti

esterni

indipendenti,

che

operano

nel

settore

o

in

settori

affini

a

quello

di

appartenenza

del

prodotto

(
peer

review)



Rilevanza
:

valore

aggiunto

per

l’avanzamento

della

conoscenza

nel

settore

e

per

la

scienza

in

generale,

nonché

per

i

benefici

sociali

derivati,

anche

in

termini

di

appropriatezza,

efficacia,

tempestività

e

durata

delle

ricadute
.

Integra

il

giudizio

di

qualità



Originalità/innovazione
:

contributo

a

nuove

acquisizioni

o

all’avanzamento

di

conoscenze,

nel

settore

di

riferimento
.

Integra

il

giudizio

di

qualità


Criteri (1)


Internazionalizzazione
:

posizionamento

nello

scenario

internazionale,

in

termini

di

rilevanza,

competitività,

diffusione

editoriale

e

apprezzamento

della

comunità

scientifica,

inclusa

la

collaborazione

esplicita

con

ricercatori

e

gruppi

di

ricerca

di

altre

nazioni
.

Integra

il

giudizio

di

qualità




Impatto

economico
-
occupazionale
:

effetti

sociali,

economici

e

culturali,

diretti

e

indiretti

del

prodotto
.


Criteri (2)

Esperti esterni


Nel

processo

di

valutazione,

i

Panel

si

sono

avvalsi

di

esperti

esterni,

anche

stranieri,

scelti

collegialmente

dai

Panel

stessi



agli

esperti

esterni

è

stato

affidato

il

compito

di

esprimere

giudizi

di

merito

sui

prodotti

selezionati

dalle

Strutture



agli

esperti

è

stato

garantito

l’anonimato

dei

giudizi



Ciascun

esperto

ha

espresso

su

ogni

prodotto

un

giudizio

unico

e

complessivo,

con

attribuzione

a

quattro

livelli

di

merito

(in

coerenza

con

il

giudizio

descrittivo)
:



Eccellente



Buono



Accettabile



Limitato


Livelli di merito dei prodotti (1)


Eccellente
:

la qualità del prodotto si colloca nel
20% superiore della scala di valore condivisa
dalla comunità scientifica internazionale.


Buono
:

il prodotto si colloca nel segmento 60
-
80%.


Accettabile
:

il prodotto si colloca nel segmento


40
-
60%.


Limitato
:

il prodotto si colloca nel 40% inferiore.

Livelli di merito dei prodotti (2)

Grado di proprietà dei prodotti


È

espresso

dal

rapporto

tra
:


N
.

autori

affiliati

alla

Struttura

/

N
.

complessivo

autori


Sono

state

considerate

anche

le

affiliazioni

multiple
.


È

stato

determinato

sia

sul

numero

totale

dei

prodotti

presentati

dalla

Struttura,

sia

sui

soli

prodotti

giudicati

eccellenti
.


Componenti del Panel 15e



CLEMENTE Paolo

(Presidente)



CONVERSI Alessandra



D'ARGENIO Bruno



DEHEZ Pierre



KING Russell



PERLINI Alice



STEDUTO Pasquale

Sottogruppi del Panel 15e


Un

unico

sottogruppo,

coincidente

con

l’intero

Panel
.

Prodotti valutati nell’area

Area 15e

Prodotti presentati dalle Strutture

229

di cui:

6

presentati da 2 Strutture

-
3

Prodotti valutati dal Panel

226

Prodotti valutati nell’area

category

N.

category

N.

1

Agricultural Chemistry

3

18

Engineering Management/General

1

2

Agriculture/Agronomy

2

19

Environment/Ecology

45

3

Animal Sciences

1

20

Environmental Engineering & Energy

34

4

Applied Physics/ … /Materials Science

1

21

Environ. Medicine & Public Health

1

5

Aquatic Sciences

4

22

Environ. Studies, Geogr. & Develop.

25

6

Art & Architecture

9

23

Instrumentation & Measurement

1

7

Biochemistry & Biophysics

2

24

Law

2

8

Biotechnology & Applied Microbiology

1

25

Materials Science & Engineering

1

9

Chemical Engineering

7

26

Mathematics

2

10

Chemistry

5

27

Mechanical Engineering

4

11

Chemistry & Analysis

3

28

Nuclear Engineering

1

12

Civil Engineering

9

29

Philosophy

1

13

Communication

2

30

Physics

2

14

Computer Science & Engineering

1

31

Plant Sciences

1

15

Earth Sciences

18

32

Political Science & Public Admnistr.

2

16

Economics

28

33

Sociology & Anthropology

5

17

Electrical & Electronics Engineering

2

total


226

Esperti esterni coinvolti

Area 15e

Nazionalità

Provenienza

Num. esperti

Num. valutazioni

Italiana

Accademica

134

312

Italiana

Non
-
accademica

14

25

Straniera

Mista

32

115

Totali

180

452

Prodotti

valutati (1)

0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
6. Medicina
5. Biologia
1. Matematica
3. Chimica
15b. Qualità Alimenti
4. Geologia
15c. Nano - Micro Tec
7. Sc Agrarie - Veterinarie
2. Fisica
9. Ing Industriale - Inform
15d. Sc Aerospaziali
15a. ICT
13. Economia - Statistica
15e. Sviluppo Sostenibile
8. Ing Civile - Arch
15f. Beni Culturali
11. Sc Stor Filos Psic Ped
14. Sc Politiche - Sociali
12. Sc Giuridiche
10. Sc Filol Lett - Stor Art
articoli
libri e capitolo di libro
brevetti
altro
Distribuzione per tipologia nelle diverse Aree

Prodotti valutati (2)

Area 15e

Tipologia

Numero

%

Articolo su rivista

129

57.08

Brevetto

3

1.33

Capitolo di libro

26

11.50

Libro

36

15.93

Manufatto ed opera d'arte

3

1.33

Performance, mostra ed esposizione

3

1.33

Progetto, composizione, disegno e design

3

1.33

Risultato di valorizzazione applicativa

23

10.18

Totale

226

100

Tipologia dei prodotti (1)

Area 15e

Tipologia prodotto

numero

valutati eccellente

ISI

114

18 (15.8%)

Altri
(non
-
ISI, libri, etc.)

112

10 (8.9%)

Totale

226

28 (12.4%)

Tipologia dei prodotti (2)

Riviste ricorrenti

Area 15e Scienze e tecnologie per lo sviluppo e
la governance sostenibili: aspetti economici,
sociali, energetici ed ambientali
0
1
2
3
4
5
6
7
JOURNAL OF GEOPHYSICAL RESEARCH
JOURNAL OF HYDROLOGY
JOURNAL OF SEA RESEARCH
MOLECULAR ECOLOGY
SCIENCE OF THE TOTAL ENVIRONMENT
TOPICS IN CATALYSIS
WATER AIR AND SOIL POLLUTION
WATER RESEARCH
JOURNAL OF ENVIRONMENTAL QUALITY
ANNALI DI CHIMICA
ATMOSPHERIC ENVIRONMENT
WATER RESOURCES RESEARCH
ENVIRONMENTAL SCIENCE & TECHNOLOGY
Rivista
numero
Tipologia e qualità dei prodotti

Area 15e Scienze e tecnologie per lo sviluppo e la governance
sostenibili: aspetti economici, sociali, energetici ed ambientali
0%
25%
50%
75%
100%
Articolo su rivista (129)
Brevetto (3)
Capitolo di libro (26)
Libro (36)
Manufatto ed opera d'arte (3)
Performance, mostra ed esposizione (3)
Progetto, composizione, disegno e design (3)
Risultato di valorizzazione applicativa (23)
Eccellente
Buono
Accettabile
Limitato
Tutte le Aree

Distribuzione per Lingua

Nelle diverse Aree

Distribuzione per Lingua

0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
1. Matematica
3. Chimica
6. Medicina
5. Biologia
15b. Qualità alimenti
15c. Nano e Micro Tec
7. Sc Agrarie - Veterinarie
2. Fisica
4. Geologia
9. Ing Industriale - Inform
15d. Sc Aerospaziali
15a. ICT
13. Economia - Statistica
15e. Sviluppo Sostenibile
8. Ing Civile - Arch
15f. Beni Culturali
14. Sc Politiche - Sociali
11. Sc Stor Filos Psic Ped
10. Sc Filol-Lett Stor-Art
12. Sc Giuridiche
ITALIANO
INGLESE
ALTRO
Grado medio di Proprietà

0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
Totale
Prodotti eccellenti
15f. Beni Culturali

15e. Sviluppo

15d. Sc Aerospaziali

15c. Nano e Micro Tec

15b. Qualità Alimenti

15a ICT

14. Sc Politiche
-

Sociali

13. Economia
-

12. Sc Giuridiche

11. Sc Stor Filos Psic

10. Sc Filol
-
Lett Stor
-
Art

9. Ing Industriale
-

8. Ing Civile
-

Arch

7. Sc Agrarie
-

6. Medicina

5. Biologia

4. Geologia

3. Chimica

2. Fisica

1. Matematica

Grado di proprietà dei prodotti

Media (


) e intervallo di variazione ( )

5%
19%
46%
30%
1%
8%
39%
52%
Eccellente
Buono
Accettabile
Limitato
Prodotti presentati da:

Una sola struttura

Più strutture

Distribuzione dei giudizi (1)

17.329 prodotti di tutte le Aree

Andamento complessivo per area

Distribuzione dei giudizi (2)

0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
1. Matematica
2. Fisica
3. Chimica
4. Geologia
5. Biologia
6. Medicina
7. Sc Agrarie - Veterinarie
8. Ing Civile - Arch
9. Ing Industriale - Inform
10. Sc Filol-Lett Stor-Art
11. Sc Stor Filos Psic Ped
12. Sc Giuridiche
13. Economia - Statistica
14. Sc Politiche - Sociali
15a. ICT
15b. Qualità alimenti
15c. Nano e Micro Tec
15d. Sc Aerospaziali
15e. Sviluppo Sostenibile
15f. Beni Culturali
Eccellente
Buono
Accettabile
Limitato
Distribuzione dei giudizi (3)

Area 15e - 226 prodotti
12%
54%
24%
9%
Eccellente
Buono
Accettabile
Limitato
Brevetti Area 15e

Eccellente

Buono

Accettabile

Limitato

Totale

-

1

1

1

3

Distribuzione dei giudizi (4)

Analisi divergenze giudizi

Impact Factor dei prodotti

Media (


) e intervallo di variazione ( )

Impact Factor dei prodotti (2)

Peso dei giudizi

Giudizio

Significato

Peso

Eccellente

Il prodotto si colloca nel 20% superiore della
scala di valore condivisa dalla comunit
à

scientifica internazionale

1

Buono

Il prodotto si colloca nel segmento 60%
-
80%

0.8

Accettabile

Il prodotto si colloca nel segmento 40%
-
60%

0.6

Limitato

Il prodotto si colloca nel 40% inferiore

0.2

La Valutazione delle Aree (1)

Esprime

il

giudizio

medio

sui

prodotti

presentati

da

ogni

singola

Struttura

nelle

diverse

Aree
.

Si

ottiene

dividendo

la

somma

dei

giudizi

pesati

attribuiti

ai

singoli

prodotti

(prodotti

pesati)

per

il

numero

totale

di

prodotti

presentati
.

RATING

La Valutazione delle Aree (2)













L
A
B
E
L
A
B
E
N
N
N
N
N
0.2
N
0.6
N
0.8
N
1.0
Rating
Sul sito
http://vtr2006.cineca.it

sono riportati per ogni singola Area:

La Valutazione delle Aree (3)

La Valutazione delle Aree (4)

La Valutazione delle Aree (4)

La Valutazione delle Aree (4)

La Valutazione delle Aree (4)

Rating

La Valutazione delle Aree (5)

Aquatic

sciences

3

paper

su

rivista

e

un

libro

sono

i

prodotti

di

questa

categoria,

tutti

giudicati

di

buon

livello,

con

contributi

originali

e

un’ottima

collocazione

editoriale
.


La Valutazione delle Aree (5)

Art

&

Architecture

I

prodotti

di

questa

categoria

sono

quasi

tutti

libri

o

capitoli

di

libri

scritti

in

italiano
.


La

qualità

è

complessivamente

accettabile
.


Alcuni

prodotti

si

sono

distinti

per

rilevanza

delle

tematiche

affrontate

e

per

il

buon

grado

di

diffusione,

peraltro

limitato

dalla

lingua
.


La Valutazione delle Aree (5)

Chemical

engineering


La

maggior

parte

dei

prodotti

di

ingegneria

chimica

sono

articoli

su

rivista,

tutti

in

inglese
.


La

qualità

è

generalmente

buona
.


Le

tematiche

affrontate

sono

di

interesse

internazionale

e

i

risultati

contribuiscono

in

maniera

rilevante

all’avanzamento

delle

conoscenze

nel

campo
.


Buono

il

grado

di

originalità

e

innovazione
.


La Valutazione delle Aree (5)

Chemistry

I

prodotti

di

questa

categoria

sono

tutti

articoli

di

buona

qualità,

con

punte

di

eccellenza,

pubblicati

su

riviste

internazionali
.


I

temi

trattati

sono

di

interesse

e

l’internazionalizzazione

è

elevata
.


La Valutazione delle Aree (5)

Civil

engineering

Gli

articoli

di

ingegneria

civile,

tutti

in

inglese

e

pubblicati

su

accreditate

riviste

internazionali,

sono

tutti

di

ottima

qualità,

con

rare

eccezioni,

e

trattano

di

importanti

temi

di

ricerca
.


La

presenza

di

autorevoli

collaborazioni

internazionali

rappresenta

un

ulteriore

aspetto

che

testimonia

l’elevato

valore

scientifico

dei

prodotti


La Valutazione delle Aree (5)

Earth

sciences

Molti

dei

prodotti

della

categoria

scienze

della

terra

sono

paper

pubblicati

su

riviste

internazionali

con

impact

factor

medio

elevato,

di

buona

qualità,

anche

se

non

tutti

di

elevata

diffusione

internazionale
.


I

temi

trattati

sono

di

grande

rilevanza

e

i

risultati

di

interesse

La Valutazione delle Aree (5)

Economics

La

maggior

parte

dei

prodotti

di

economia

ha

ottenuto

un

buon

giudizio
.


Non

ci

sono

prodotti

con

giudizio

eccellente,

ma

diversi

sono

stati

giudicati

limitati
.


Questi

sono

spesso

report

che,

pur

utili

per

chi

si

avvicina

alle

tematiche

trattate,

non

sono

dei

veri

prodotti

di

ricerca


La Valutazione delle Aree (5)

Environment/ecology

Gran

parte

dei

prodotti

di

questa

categoria

è

costituita

da

articoli

pubblicati

su

riviste

con

diffusione

internazionale
.


La

qualità

dei

prodotti

è

risultata

in

media

accettabile

ma

una

percentuale

non

trascurabile

è

stata

giudicata

di

valore

limitato
.


Infatti,

a

volte

i

risultati

ottenuti

non

sono

soddisfacenti

La Valutazione delle Aree (5)

Environmental

engineering

&

energy


Gran

parte

dei

prodotti

di

questa

categoria

è

costituita

articoli

pubblicati

su

riviste

di

ampia

diffusione
.


I

temi,

di

interesse,

sono

trattati

con

rigore

scientifico
.


I

lavori

forniscono

un

significativo

contributo

allo

sviluppo

delle

conoscenze

nel

campo,

con

ampia

rilevanza

internazionale

La Valutazione delle Aree (5)

Environmental

studies,

geography

&

development

La

maggior

parte

dei

prodotti

è

concentrata

nei

due

livelli

intermedi

(B

e

A)
.


Molti

lavori

rappresentano

un’importante

esempio

di

ricerca

applicata

interdisciplinare
;

in

alcuni

casi,

però,

l’importanza

del

lavoro

è

compromessa

da

un

carattere

locale,

con

scarsi

riferimenti

alla

letteratura

internazionale
.


Pur

contenendo

aspetti

originali

ed

innovativi,

i

prodotti

denotano

una

ricerca

convenzionale,

caratterizzata

da

metodologie

descrittive

e

spesso

focalizzata

su

una

regione

specifica
.


Molti

prodotti,

scritti

in

italiano

e

pubblicati

da

case

editrici

nazionali

non

hanno

una

diffusione

internazionale
;

soltanto

pochi

prodotti

hanno

un

interesse

internazionale,

mentre

altri,

potenzialmente

di

interesse

internazionale,

sono

limitati

dalla

diffusione

soltanto

locale
.

È

auspicabile,

al

riguardo,

una

migliore

pubblicazione

e

diffusione

dei

prodotti
.


La Valutazione delle Aree (5)

Brevetti

Sono

stati

presentati

3

brevetti

Dei

3

brevetti
,

2

sono

in

mechanical

engineering

e

1

in

environmental

engineering

&

energy
:

per

i

primi

due,

giudicati

B

e

A

rispettivamente,

gli

esperti

prevedono

buone

possibilità

di

ricadute

industriali,

anche

se

non

immediate
;

il

terzo

è

stato

giudicato

L
.


Va

osservato

che

il

campione

non

può

essere

considerato

rappresentativo

per

un

giudizio

complessivo
.

l’unico

commento

è

proprio

che

nel

panel

sono

stati

presentati

pochi

brevetti


La Valutazione delle Aree (5)

Prodotti

di

Valorizzazione

Applicativa


Sono

stati

presentati

23

prodotti

di

valorizzazione

applicativa
.

I

23

prodotti

di

valorizzazione

applicativa

si

inseriscono

nella

fascia

medio
-
alta

della

scala

dei

valori,

con

rare

punte

di

eccellenza

e

limitatezza
.

Quasi

tutti

sono

presentati

da

enti

di

ricerca
.

Si

tratta

spesso

di

software

di

un

certo

interesse

per

le

pubbliche

amministrazioni

locali

e

nazionali

deputate

alla

salvaguardia

dell’ambiente

e

della

salute

dell’uomo