Archivio del mese di dicembre, 2014

30 dicembre, 2014 | di

earthquakeISIDE, il repository dei dati sismologici dell’INGV (Isituto Nazionale di Geofisica e Vulcanologia), si è arricchito di un web service tramite il quale è possibile interrogare ed ottenere tutti i dati rilevati ed elaborati dalla rete sismologica nazionale. Si tratta di un servizio FDSN, specifica della federazione internazionale delle reti di sismografi digitali che definisce le modalità per interrogare, e il formato con cui ritornare, i dati esposti tramite questo tipo di web service.

All’URL del servizio è possibile vedere in forma tabellare gli ultimi dati registrati nel DB di ISIDE, e alcune query di esempio. I risultati sono forniti in XML secondo lo schema QuakeML, che è un formato standard per la rappresentazione di dati sismologici. Tramite questo formato non vengono veicolate soltanto le informazioni standard quali coordinate e magnitudo dell’evento, ma anche molti altri metadati relativi alla registrazione, l’elaborazione e la gestione dei dati dell’evento (es. dati sull’incertezza e sulla qualità del dato, informazioni sulla stazione che lo ha registrato, ecc.).

I dati sono interrogabili in base ad:

  • area geografica (filtro rettangolare o radiale)
  • finestra temporale
  • range di intensità
  • profondità dell’ipocentro

Ad esempio, per visualizzare lo sciame sismico dello scorso 19/20 dicembre nell’area del Chianti (Toscana), possiamo interrogare il servizio con la seguente query: http://webservices.rm.ingv.it/fdsnws/event/1/query?lat=43.587007&lon=11.316179&maxradiuskm=30&starttime=2014-12-19T00:00:00&endtime=2014-12-20T23:59:59&minmag=2&maxmag=5

dove cerchermo gli eventi nel raggio di 30 km (maxradiuskm) dal centro di Greve in Chianti (lat/lon), tra il 19 e il 20 dicembre 2014 (starttime/endtime) filtrando solo gli eventi con magnitudo compresa tra 3 e 5 (minmag/maxmag). Al”interno dei risultati è possibile identificare l’evento principale, di magnitudo 4.1, che ha fatto scricchiolare le finestre e i mobili del mio studio :)

Non sono al corrente di strumenti di pubblico dominio per la visualizzazione diretta di dati in formato QuakeML all’interno dei più comuni software GIS, ma non sarebbe molto oneroso fare un convertitore verso formati GIS standard, magari in Python usando ObsPy, una libreria che offre funzionalità anche per interrogare direttamente i servizi FDSN, generare plot delle onde sismiche o mappe della localizzazione degli eventi.

E’ tuttavia possibile ottenere i risultati in formato testuale (un csv con il carattere pipe (“|”) come separatore dei campi) aggiungendo alla chiamata il formato di output “text”. L’output sarà simile al seguente:

#EventID|Time|Latitude|Longitude|Depth/Km|Author|Catalog|Contributor|ContributorID|MagType|Magnitude|MagAuthor|EventLocationName|web_id_locator(deprecated)
4730151|2014-12-20T22:37:25.350000|43.6097|11.2563|6.7|SURVEY-INGV||||ML|2.6|SURVEY-INGV|Firenze|4004730151
4730041|2014-12-20T22:35:09.980000|43.5848|11.2553|10.2|SURVEY-INGV||||ML|2.0|SURVEY-INGV|Firenze|4004730041
4729881|2014-12-20T22:25:33.310000|43.6218|11.2432|7.4|SURVEY-INGV||||ML|2.2|SURVEY-INGV|Firenze|4004729881
4729581|2014-12-20T21:39:40.560000|43.6218|11.2445|5.7|SURVEY-INGV||||ML|2.3|SURVEY-INGV|Firenze|4004729581
(...)

e potrà essere aperto e visualizzato in un qualsiasi software GIS che supporti il caricamento di dati CSV (ad esempio QGIS Desktop):

terremoti

Localizzazione degli eventi visualizzati in base al valore di magnitudo (QGIS Desktop – Base OpenStreetMap)

La nota dolente del servizio è il copyright, che vincola al solo utilizzo personale e non commerciale, e non permette alcuno riutilizzo dei dati se non espressamente permesso dall’INGV. La domanda sorge spontanea: perché?

 

29 dicembre, 2014 | di

Diversi geoportali, piccoli e grandi, di Pubbliche Amministrazioni da ogni parte del mondo, sono basati su tecnologia ESRI ArcGIS. All’utente di solito viene esposta un’interfaccia di consultazione del catalogo dei dataset (come quella del geoportale della Regione Siciliana) e/o l’accesso diretto ai dati e alla loro rappresentazione tramite servizi OGC standard come WMS, WFS e WCS.

Ma ci sono diverse altre caratteristiche interessanti rese disponibili da queste tecnologie e che molto spesso ignoriamo, la cui conoscenza ci consente di accedere ad un numero molto più ampio di informazioni e dati. Tutto questo oggi è a maggior forza interessante, grazie alle politiche Open Data realizzate da molte Pubbliche Amministrazioni e anche perché dal 19 marzo 2013i ”tutti i dati e documenti che le pubbliche amministrazioni pubblicano con qualsiasi modalità, senza l’espressa adozione di una licenza d’uso, si intendono rilasciati come dati aperti (open data by default)” (cit. dati.gov.it, mentre dal punto di vista normativo si tratta dell’articolo 52, comma 2 del CAD).

In questo post sottolineerò alcuni elementi relativi all’accesso ai dati tramite query via interfaccia REST (più propriamente tramite API REST).

Introduzione

Le API REST di ArcGIS – REST è l’acronimo di Representational State Transfer - forniscono una semplice interfaccia di accesso web ai server cartografici di questa casa software, sia ai dati/servizi che ad alcuni processi. Il tutto è quindi accessibile tramite una serie di URL gerarchici, che identificano ciò a cui si vuole accedere. L’URL di default di accesso ha di _default _questa struttura:

http://<host>:/arcgis/rest/services

Ad esempio quello della Regione Siciliana è questo:

http://map.sitr.regione.sicilia.it/ArcGIS/rest/services

E aprendo l’indirizzo sono elencati dati e servizi disponibili in questo server.

sicilia_rest

La documentazione ufficiale generale è molto ricca e vasta e non aggiungerò altri dettagli generici.

A seguire invece alcuni esempi di query  via ArcGIS REST API, in modo da apprezzarne la ricchezza e le modalità di accesso.

Interroghiamo una risorsa

Per gli esempi di questo articolo farò riferimento alla Regione Umbria, che ha aperto da poco i suoi dati cartografici. Dal suo portale open data possiamo leggere l’URL pubblico del server ArcGIS.

url_umbria

Si legge

http://geo.umbriaterritorio.it/arcgis/

Bisogna aggiungere (vedi sopra) “rest/services/” e abbiamo

http://geo.umbriaterritorio.it/arcgis/rest/services/

A questo punto non resta che sfogliare un po’ la directory pubblica e scegliere un layer su cui eseguire una query. Userò il dataset dei “NUMERI CIVICI”, che si raggiunge facendo click su Public > ECOGRAFICO_CATASTALE_WGS84 (MapServer) > NUMERI CIVICI.

Scorrendo la pagina verso il basso è visibile il tasto “Query“, tramite il quale è possibile interrogare il dataset.

query

Per lanciare la prima interrogazione devo inserire almeno un criterio di ricerca. Ad esempio il numero civico con “ID=1″ (ogni elemento ha sempre un identificativo numerico associato). La pagina html con il risultato dell’interrogazione mi fornisce informazioni sia sugli attributi che sulla geometria dell’elemento.

attributi

Posso fare allora una query per attributo: tutti gli elementi che contengono nel campo “DESCR_S49″ la stringa “CORPOSANO”. Nell’interfaccia leggiamo che ci sono 47 record che soddisfano questa condizione e l’output è in HTML. Ci sono però altri formati di output tra cui KML e JSON; questo l’output in JSON della stessa query.

output

Questi due formati quindi mostrano nei fatti, come una query REST su server ArcGIS sia un’ulteriore modalità di accesso al dato grezzo.

Query spaziale

E’ possibile eseguire anche delle interrogazioni spaziali di complessità variabile. Ad esempio posso estrarre tutti i civici che ricadono tra queste coordinate 12.384356,43.108511,12.388869,43.110765 (<xmin>,<ymin>,<xmax>,<ymax>).

spatial_query

Posso farne il download con GDAL/OGR (vedi sotto) e ottenere rapidamente i dati in formato spaziale e al contempo visualizzarne rapidamente una loro rappresentazione.

spatial_query_map

Accesso tramite GDAL/OGR a una query

La libreria GDAL/OGR ha i driver di accesso in lettura e scrittura al formato GeoJSON. Uno degli output delle query di sopra è proprio JSON e questa libreria lo riesce a leggere nativamente proprio come GeoJSON.

L’ultima query si effettua chiamando questo lungo URL:

http://geo.umbriaterritorio.it/ArcGIS/rest/services/Public/ECOGRAFICO_CATASTALE1_WGS84/MapServer/0/query?geometry=&geometryType=esriGeometryPoint&inSR=&spatialRel=esriSpatialRelIntersects&relationParam=&objectIds=&where=DESCR_S49+LIKE+%27%25CORPOSANO%25%27&time=&returnCountOnly=false&returnIdsOnly=false&returnGeometry=true&maxAllowableOffset=&outSR=&outFields=*&f=pjson

Nell’indirizzo di sopra sono visibili tutti i parametri disponibili per effettuare un’interrogazione, ma sopra abbiamo valorizzato soltanto la stringa di testo da ricercare in un determinato campo (parametro “where”) e il formato di output (parametro “f”). Questo URL fa da source per GDAL/OGR. Se voglio avere tutte le informazioni su questa sorgente di dati vettoriali userò il classico ogrinfo:

ogrinfo -ro "http://geo.umbriaterritorio.it/ArcGIS/rest/services/Public/ECOGRAFICO_CATASTALE1_WGS84/MapServer/0/query?geometry=&geometryType=esriGeometryPoint&inSR=&spatialRel=esriSpatialRelIntersects&relationParam=&objectIds=&where=DESCR_S49+LIKE+%27%25CORPOSANO%25%27&time=&returnCountOnly=false&returnIdsOnly=false&returnGeometry=true&maxAllowableOffset=&outSR=&outFields=*&f=pjson" OGRGeoJSON

“OGRGeoJSON” è per GDAL/OGR il nome predefinito del layer di una sorgente GeoJSON. “-ro” perché imposto l’accesso in sola lettura.

Se voglio convertire in ArcView Shapefile l’output di questa query userò ogr2ogr:

ogr2ogr CORPOSANO.shp "http://geo.umbriaterritorio.it/ArcGIS/rest/services/Public/ECOGRAFICO_CATASTALE1_WGS84/MapServer/0/query?geometry=&geometryType=esriGeometryPoint&inSR=&spatialRel=esriSpatialRelIntersects&relationParam=&objectIds=&where=DESCR_S49+LIKE+%27%25CORPOSANO%25%27&time=&returnCountOnly=false&returnIdsOnly=false&returnGeometry=true&maxAllowableOffset=&outSR=&outFields=*&f=pjson" OGRGeoJSON

Come esempio, riporto qui il download fatto con GDAL/OGR nei formati ArcView Shapefile, GeoJSON e KML.

Web mapping a partire da query

Queste query possono essere visualizzate in maniera molto efficace anche in un’interfaccia di web mapping. Sia a partire dal salvataggio dell’output, che tramite chiamata diretta in realtime. La cosa è inoltre resa semplice da una bella libreria rilasciata in open source da ESRI e basata su Leaflet: http://esri.github.io/esri-leaflet.

La query di sopra (quella sulla stringa “CORPOSANO”) ad esempio si può rappresentare rapidamente come sotto (click qui per aprire a schermo intero).

leaflet

Il codice lo trovate qui: https://github.com/tanto/arcgisqueryrest/blob/gh-pages/index.html

Alcune note in conclusione

Sono rimasto molto in superficie, ma l’intento è quello di mostrare un punto di ingresso poco noto e utile, visto il sempre maggior numero di dati spaziali oggi disponibili e aperti. Di default l’output di queste _query _è limitato a 1000 risultati, quindi è necessario “ciclare” le chiamate. Ad esempio per ID a gruppi di 1000 record:

Il totale (190140 record), da conoscere prima di fare partire il ciclo, si ricava ad esempio con questa query. Ci sono altri modi per ciclare tra i record, questo è solo un esempio.

L’accesso REST è molto utile anche con sorgenti di tipo raster, ma magari lo scrive qualcun altro, in un altro post :) .

L’URL con struttura “http://<host>:/arcgis/rest/services” è quello di default. Chi gestisce il server potrebbe usare uno schema diverso.

Questo post è dedicato al giovane Padawan “Flavio“, che mi ha fatto scoprire questa pagina e ha dato la stura alla stesura di questo testo.

Non mi RESTa che augurarvi un buon 2015!

18 dicembre, 2014 | di

I geo-dati sono come un ordito per tessere città “smart” e la geo-ICT inonda di applicazioni l’ecosistema della città intelligente; la governance dei processi “intelligenti” si basa sulla cooperazione tra gli attori coinvolti secondo un modello a rete. Perché non pensare di inserire negli organismi d’indirizzo di ogni smart city -prima che per legge, come scelta di buon senso- la figura professionale del Geographic Information Manager?

118365849_78c37c79a0_o_lr

L’idea del GIM è presa per analogia con l’energy manager, professione di cui si è incominciato a parlare nei primi anni ’80, dopo le note crisi petrolifere degli anni ‘70. Il modello seguito per questa -ormai radicata- professione potrebbe essere adattato al mondo delle Smart City, per sostenere in questo contesto l’uso consapevole dei geo-dati e delle relative tecnologie disponibili.

Potremmo identificare il Geographic Information Manager come un esperto di settore, il cui compito fondamentale sia quello di favorire l’incremento del livello di qualità e competenza tecnica all’interno del network che costruisce una comunità intelligente, nei riguardi delle tematiche legate alla capacità di fruire dei dati territoriali (spatial enablement), sia intesa rispetto alla disponibilità di queste informazioni, sia come abilità conseguite per il loro sfruttamento.

Tra settore energetico e quello dell’informazione geografica esistono ovviamente innumerevoli differenze. Mi sono lasciato però suggestionare da due caratteri comuni. Per entrambi gli ambiti –questo è il primo aspetto- i percorsi di studio che consentono di acquisire le conoscenze di base, nell’uno come nell’altro settore, possono essere diversi: la preparazione teorica è un prerequisito ma conta assai di più il successivo percorso di specializzazione, soprattutto on the job. La seconda caratteristica è la sensibilità culturale iniziale della classe dirigente del Paese nei confronti delle problematiche e delle opportunità di cui il primo è stato portatore, assai simile a quella mantenuta, almeno finora, nei riguardi delle istanze del settore dei dati geografici digitali.

Sappiamo che produzione e gestione dei dati geografici sono attività complesse, comportano costi consistenti; essi hanno potenzialità di riuso assai marcate e, infatti, sono i dati tra i più richiesti della PA: quelli disponibili hanno però un livello di fruibilità ancora insoddisfacente.  Guardare alle informazioni geografiche come a una sorta di “forma di energia” può aiutare una comunità “smart” a comprendere meglio quanta ne produce, quanta ne utilizza, per che fini e –soprattutto- con quale “rendimento”, cioè qual è e a quanto ammonta la quantità che si spreca ecc., ecc.

Il ruolo dell’energy manager è stato introdotto per legge: la 10/1991, ha stabilito infatti che i soggetti (enti pubblici e privati) caratterizzati da consumi annui di energia al di sopra di una data soglia, debbano nominare un tecnico per “la conservazione e l’uso razionale dell’energia”. Tale norma è stata, a più riprese, ampliata e diffusa ad altre funzioni. Come in occasione del recepimento della direttiva 2006/32/CE, riguardante l’efficienza degli usi finali dell’energia e i servizi energetici: all’energy manager il legislatore ha affiancato l’esperto in gestione dell’energia (D.Lgs. 115/2008). Inoltre, questa seconda legge ha introdotto anche una procedura di certificazione volontaria, descritta in una norma tecnica, la UNI-CEI 11339:2009.

Lo scorso luglio, tale certificazione è stata resa obbligatoria (D.Lgs. 102/2014, “Attuazione della direttiva2012/27/UE sull’efficienza energetica”) sia nei riguardi dell’esperto in gestione dell’energia, con riferimento allo svolgimento di alcuni compiti, sia rispetto agli enti pubblici e privati indicati dalla legge 10/1991; essi, per continuare a beneficiare di riconoscimenti economici derivati da azioni di risparmio energetico adottate, dal 2016 dovranno nominare energy manager che abbiano acquisito la citata certificazione.

Un argomento da considerare –per l’idea del GI Manager- riguarda l’evoluzione delle modalità di gestione dell’elenco degli energy manager (non è un albo) e della formazione di questi professionisti. La legge del ‘91 si è limitata a stabilire che L’Agenzia per l’Energia (ENEA), dovesse provvedere -attraverso convenzioni con le Regioni- all’aggiornamento dei tecnici. L’introduzione della certificazione ha indotto il coinvolgimento di diversi organismi. Ovviamente, l’ENEA ha ampliato il proprio ruolo: attraverso la Federazione Italiana per l’uso Razionale dell’Energia, FIRE, iniziativa di cui è stata promotrice, gestisce dal 1992 la rete degli energy manager, su incarico del Ministero dello Sviluppo Economico. Più recentemente (2008), FIRE ha costituito una struttura interna dedicata alla certificazione delle competenze degli Esperti in Gestione dell’Energia: il SECEM (Sistema Europeo per la Certificazione in Energy Manager). Inoltre, il D.Lgs. del luglio scorso, assegna ad Accredia, organismo nazionale di accreditamento, la predisposizione degli schemi di certificazione e accreditamento e all’Ente Italiano di Normazione, UNI, l’elaborazione delle norme tecniche per la certificazione, indicando agli stessi di avvalersi della collaborazione del Comitato Termotecnico Italiano, di GSE SpA (Gestore dei Servizi Energetici, società del Ministero dell’Economia e delle Finanze), oltre che dell’ENEA.

Ma se i tempi necessari per vedere all’opera un GIM fossero dell’ordine di un decennio, come avvenuto per l’energy manager, non potremmo certamente essere soddisfatti. Inoltre, come si può appurare consultando i siti dedicati all’argomento, l’introduzione di questa figura per legge, seppur sostenuta da associazioni di settore, non ha garantito di per sé una sua diffusione consapevole e sempre efficace. Negli anni immediatamente successivi l’entrata in vigore della norma istitutiva, le aziende e le pubbliche amministrazioni interessate da questa normativa provvidero all’assegnazione di questi compiti affidandoli prevalentemente a tecnici già in staff alla struttura. Gli energy manager della prima ora erano tutti esperti nella materia? No, affatto. La legge non forniva indicazioni sul CV richiesto; inoltre, in molti ambienti l’attenzione dei vertici manageriali al tema energetico era scarsa, la disposizione normativa accolta come un’incombenza burocratica e, comunque, i professionisti competenti non erano molti.

Esistono però alcuni elementi che meritano di essere considerati. Rispetto al contesto degli anni ’80, oggi si può prevedere che il processo di promozione del GIM possa essere innescato e sostenuto facendo leva sulla partecipazione attiva di comunità in Rete, coalizzando nello specifico la comunità geomatica. E’ anche possibile prevedere di assegnare, per esempio, all’AgID un ruolo analogo a quello ricoperto da ENEA o, più precisamente, dalla FIRE. L’Agenzia per l’Italia Digitale è la naturale organizzazione cui fare riferimento per la gestazione della figura del GIM. Mi pare questa un’ipotesi che non dovrebbe suscitare perplessità o contrarietà nell’ambiente geomatico: l’Agenzia è l’organo deputato per l’applicazione delle strategie per la crescita digitale e, tra i diversi compiti, è impegnata per lo svolgimento del programma nazionale per la cultura, la formazione e le competenze digitali; ha coordinato il Comitato per le Regole Tecniche sui Dati Territoriale, best practice in termini di cooperazione interistituzionale ed ha riavviato recentemente i gruppi di lavoro tematici. Last but not least, in seno ad AgID è presente il comitato tecnico delle Comunità intelligenti, organismo che supporta le attività dell’Agenzia riguardanti questa materia tramite l’operato di quattro gruppi di lavoro, ognuno con specifici obiettivi.

L’iniziativa FIRE, si legge sul sito della federazione, ha avuto origine dalla convergenza di diverse esperienze associative, raccoglie soci che rappresentano tutti i comparti del settore e opera attraverso un nucleo di supporto fornito dall’ENEA. Trasferendo tale descrizione alla “Federazione Italiana per l’Informazione Geografica”, non si dovrebbe creare l’ennesima associazione di questo settore: essa dovrebbe fungere da tavolo inclusivo di supporto ai GIM, in sintonia con gli indirizzi indicati dalle politiche per lo sviluppo delle competenze digitali, di cui AgID è il riferimento operativo.

I temi sui quali dovrebbe essere competente un GIM e per i quali, quindi, dovrebbe essere fornito supporto formativo, andrebbero approfonditi. Ne segnalo giusto due. L’applicazione del concetto “spatial enablement” al processo di una Smart City comporta l’esigenza di misurare il grado di aderenza a tale paradigma, per esempio valutare la capacità di PA, cittadini e imprese nell’uso dei dati territoriali per organizzare le loro attività e i modi di comunicare. La conoscenza dei punti di forza e dei limiti consente di definire le azioni da perseguire, le quali dovranno essere monitorate per seguirne l’attuazione, intervenendo per correggere eventuali scostamenti dai risultati attesi.

All’interno di questo tema, un GIM dovrà tenere sotto controllo e proporre azioni per migliorare la capacità di implementazione della direttiva INSPIRE, in sintonia con l’INSPIRE Maintenance and Implementation Framework approntato dalla Commissione Europea.

Il lavoro del GIM può far sì che la città -come “essere vivente”- impari a organizzare le informazioni geografiche tenendo presente i costi per generarle e permettendone l’utilizzo ogniqualvolta serve, a ogni utilizzatore, impegnandosi -e ingaggiando la città- per creare cicli d’informazioni geografiche sostenibili.

Il suo operato può inoltre avere degli effetti collaterali estremamente positivi. Da un lato generare una forte domanda per nuove professionalità legate proprio al mondo della GI, inducendo quindi la definizione di programmi formativi specifici sia in ambito accademico, sia post laurea. D’altro canto, le soluzioni individuate dai Big GIM potrebbero fungere da volano, stimolando grandi opportunità di crescita del mercato Geo-ICT.


foto di troybthompson


TANTO non rappresenta una testata giornalistica ai sensi della legge n. 62 del 7.03.2001, in quanto non viene aggiornato con una precisa e determinata periodicita'. Pertanto, in alcun modo puo' considerarsi un prodotto editoriale.