Con questo post vogliamo fare il punto su quanto avvenuto dopo la chiusura del sondaggio sul ruolo del GIM che abbiamo promosso sull’onda della proposta di Sergio Farruggia, per avere un riscontro condiviso, con un panel di operatori del settore geo-ICT.

Iniziamo con il ringraziare quanti hanno partecipato, numerosi rispetto alle aspettative. Ci ha colpito sia il numero che la qualità dell’adesione alla proposta, anche questa non era scontata.

Altro motivo di riflessione è legato a coloro che hanno deciso di rispondere al questionario: molti degli operatori invitati hanno deciso di non esprimersi, mentre c’è stata, in proporzione, una maggiore adesione spontanea all’iniziativa, anche questo è secondo noi un fatto importante.

I dati

Abbiamo inviato per email poco meno di 100 inviti alla compilazione del questionario e ricevuto (grazie anche ad un po’ di comunicazione sul web) 64 risposte.
Quelle alla prima domanda – “Ritieni che il ruolo del GIM sia utile per la PA?” – sono così distribuite:

  • 4 “Per Niente”;
  • 8 “Abbastanza;
  • 52 “Molto”.

Più del 80% dei partecipanti ha espresso un feedback positivo.

grafico1

Le risposte alla domanda “Ritieni che il ruolo del GIM sia utile per le città/comunità? sono invece così distribuite:

  • 2 “Per Niente”;
  • 5 “Abbastanza;
  • 57 “Molto”.

Un feedback positivo più forte da cui emerge una valutazione migliore di questo ruolo nel contesto delle città/comunità: 2 persone che avevano valutato per niente utile il GIM per la Pubblica Amministrazione, lo trovano più efficace in un contesto più “dal basso”.

grafico2

Infine, circa 50 persone hanno manifestato la disponibilità a partecipare alla costruzione di questa campagna, lasciando il proprio indirizzo mail.

I luoghi di #GIMNow

Come già annunciato in precedenza è stata aperta una “mailing list/gruppo di discussione” per costruire insieme questa idea e renderla concreta, la mailing list sta prendendo vita ed abbiamo già iniziato alcune discussioni, ad esempio condividendo i RAW data delle risposte al questionario.

Il canale Twitter @biggimnow potrebbe rappresentare un’ulteriore strumento utile di discussione.

Per stimolare una analisi condivisa utilizziamo un unico documento, contenente le proposte emerse dal questionario su cui ragionare assieme.

Abbiamo “creato” uno spazio su http://big-gim.it in cui raccogliere e sistematizzare il frutto del confronto sul tema del GIM.

La redazione di TANTO.


Abbiamo ricevuto questa notizia da Regione Piemonte (che ringraziamo), e ci limitiamo semplicemente a rigirarla per darne diffusione: la “Base Dati Territoriale di Riferimento degli Enti - BDTRE” è stata pubblicata con  licenza Creative Commons 2.5 BY.

Sotto tutti i dettagli



Il database topografico di Regione Piemonte è OPEN!

Regione Piemonte promuove la costruzione di un insieme comune di dati geografici (BDTRE: Base Dati Territoriale di Riferimento degli Enti), integrati in una infrastruttura che ne permette la condivisione tra i vari soggetti che gestiscono il territorio.

Nucleo portante di tale infrastruttura è il database topografico regionale, realizzato secondo le Specifiche di contenuto dei database geotopografici (G.U. n. 48 del 27-2-2012, Suppl. ord. 37) e contenente gli elementi tipici della cartografia tecnica alla grande scala. I contenuti del database topografico sono resi disponibili in varie forme, dati e servizi, tra cui l’edizione annuale aggiornata della Base Cartografica di Riferimento della Regione Piemonte, che supera la CTR ( L.R. 1/2014 art 10).

BDTRE è Open!

Gli utenti del database topografico sono Enti locali, professionisti, enti universitari e di ricerca, imprese e i cittadini che necessitano di dati topografici per interagire con la Pubblica Amministrazione. Per consentire loro la piena fruizione, Regione Piemonte rende disponibile la BDTRE in modalità open attraverso il GeoPortale Piemonte, con licenza Creative Commons 2.5 BY: gli utilizzatori sono liberi di utilizzare per propria utilità, anche commerciale, i dati della BDTRE riconoscendone la paternità in modo esplicito.

Usiamo BDTRE!

Il data base topografico, l’allestimento raster derivato e i servizi aggiornati all’edizione 2015 sono facilmente raggiungibili dal GeoPortale Piemonte ( www.geoportale.piemonte.it) utilizzando “BDTRE 2015″ come chiave di ricerca nel catalogo.

Sono sempre disponibili, inoltre, i servizi relativi all’edizione 2014.



Come fare il download del dato grezzo


Qualche settimana fa, qui su TANTO, un post di Sergio Farruggia proponeva una riflessione sul ruolo del Geographic Information Manager.

L’idea ci ha appassionato ed abbiamo deciso, come redazione, di provare a coinvolgere i nostri personali contatti.

Questa mattina è partita la seguente email, destinata a circa 100 persone.

Oggetto: costruisci assieme a noi il ruolo del Geographic Information Manager

Ciao, alcune settimane fa abbiamo pubblicato un post che lanciava l’idea del Geographic Information Manager, una figura da inserire negli organismi d’indirizzo di processi “smart” di una città e/o comunità, per favorire la valorizzazione degli aspetti legati all’informazione geografica.

“Un esperto di settore, il cui compito fondamentale sia quello di favorire l’incremento del livello di qualità e competenza tecnica all’interno del network che costruisce una comunità intelligente, nei riguardi delle tematiche legate alla capacità di fruire dei dati territoriali (spatial enablement), sia intesa rispetto alla disponibilità di queste informazioni, sia come abilità conseguite per il loro sfruttamento.”

A noi l’idea sembra buona, ma vorremmo capire cosa ne pensano altri attori di questo settore e ti chiediamo, in prima battuta, di compilare questo brevissimo questionario.

Cerchiamo però più di una semplice approvazione e, se l’idea ti sembra interessante, vorremmo provare a discuterne pubblicamente in questa mailing list  per definire assieme competenze e ambiti operativi di questa nuova figura.

Chiuderemo il questionario il 18/01/2015.

Grazie, la redazione di TANTO.

Perché l’invio di un’email diretta? Perché quello che cerchiamo di avviare è un percorso di confronto attorno ad un tema che ci sembra importante, ed il modo migliore che ci è venuto in mente è quello di coinvolgere, in prima persona, la nostra rete di contatti.

Coinvolgere direttamente, via email, un limitato numero di persone è stata una scelta legata al rigetto di operazioni simil-spam che ciascuno di noi ha sviluppato negli (ultimi) anni, piuttosto che il tentativo di definire un ristretto gruppo di influencer da coinvolgere nella promozione del ruolo del Geographic Information Manager.

Se l’idea raccoglierà, come immaginiamo, un certo interesse, crediamo che la discussione si propagherà in maniera naturale. Il confronto attraverso questa mailing list pubblica è aperto infatti a chiunque abbia interesse e desiderio di parteciparvi. Proponiamo anche un hashtag: #GIMnow con cui veicoleremo informazioni, statistiche sui risultati del questionario e quello che emergerà da una discussione che ci auguriamo possa fattivamente contribuire a “favorire l’incremento del livello di qualità e competenza tecnica all’interno del network che costruisce una comunità intelligente, nei riguardi delle tematiche legate alla capacità di fruire dei dati territoriali (spatial enablement), sia intesa rispetto alla disponibilità di queste informazioni, sia come abilità conseguite per il loro sfruttamento.

La redazione di TANTO.

Aggiornamento del 19 gennaio

Il questionario é stato chiuso e messo off-line, stiamo ora analizzando le risposte. Pubblicheremo a breve i dati grezzi relativi alle risposte (resi anonimi) ed inizieremo una sintesi delle analisi, delle critiche e delle proposte pervenute.

Per partecipare alla discussione é possibile iscriversi alla mailing list e seguire il canale twitter e l’hashtag #GIMnow.

 


earthquakeISIDE, il repository dei dati sismologici dell’INGV (Isituto Nazionale di Geofisica e Vulcanologia), si è arricchito di un web service tramite il quale è possibile interrogare ed ottenere tutti i dati rilevati ed elaborati dalla rete sismologica nazionale. Si tratta di un servizio FDSN, specifica della federazione internazionale delle reti di sismografi digitali che definisce le modalità per interrogare, e il formato con cui ritornare, i dati esposti tramite questo tipo di web service.

All’URL del servizio è possibile vedere in forma tabellare gli ultimi dati registrati nel DB di ISIDE, e alcune query di esempio. I risultati sono forniti in XML secondo lo schema QuakeML, che è un formato standard per la rappresentazione di dati sismologici. Tramite questo formato non vengono veicolate soltanto le informazioni standard quali coordinate e magnitudo dell’evento, ma anche molti altri metadati relativi alla registrazione, l’elaborazione e la gestione dei dati dell’evento (es. dati sull’incertezza e sulla qualità del dato, informazioni sulla stazione che lo ha registrato, ecc.).

I dati sono interrogabili in base ad:

  • area geografica (filtro rettangolare o radiale)
  • finestra temporale
  • range di intensità
  • profondità dell’ipocentro

Ad esempio, per visualizzare lo sciame sismico dello scorso 19/20 dicembre nell’area del Chianti (Toscana), possiamo interrogare il servizio con la seguente query: http://webservices.rm.ingv.it/fdsnws/event/1/query?lat=43.587007&lon=11.316179&maxradiuskm=30&starttime=2014-12-19T00:00:00&endtime=2014-12-20T23:59:59&minmag=2&maxmag=5

dove cerchermo gli eventi nel raggio di 30 km (maxradiuskm) dal centro di Greve in Chianti (lat/lon), tra il 19 e il 20 dicembre 2014 (starttime/endtime) filtrando solo gli eventi con magnitudo compresa tra 3 e 5 (minmag/maxmag). Al”interno dei risultati è possibile identificare l’evento principale, di magnitudo 4.1, che ha fatto scricchiolare le finestre e i mobili del mio studio :)

Non sono al corrente di strumenti di pubblico dominio per la visualizzazione diretta di dati in formato QuakeML all’interno dei più comuni software GIS, ma non sarebbe molto oneroso fare un convertitore verso formati GIS standard, magari in Python usando ObsPy, una libreria che offre funzionalità anche per interrogare direttamente i servizi FDSN, generare plot delle onde sismiche o mappe della localizzazione degli eventi.

E’ tuttavia possibile ottenere i risultati in formato testuale (un csv con il carattere pipe (“|”) come separatore dei campi) aggiungendo alla chiamata il formato di output “text”. L’output sarà simile al seguente:

#EventID|Time|Latitude|Longitude|Depth/Km|Author|Catalog|Contributor|ContributorID|MagType|Magnitude|MagAuthor|EventLocationName|web_id_locator(deprecated)
4730151|2014-12-20T22:37:25.350000|43.6097|11.2563|6.7|SURVEY-INGV||||ML|2.6|SURVEY-INGV|Firenze|4004730151
4730041|2014-12-20T22:35:09.980000|43.5848|11.2553|10.2|SURVEY-INGV||||ML|2.0|SURVEY-INGV|Firenze|4004730041
4729881|2014-12-20T22:25:33.310000|43.6218|11.2432|7.4|SURVEY-INGV||||ML|2.2|SURVEY-INGV|Firenze|4004729881
4729581|2014-12-20T21:39:40.560000|43.6218|11.2445|5.7|SURVEY-INGV||||ML|2.3|SURVEY-INGV|Firenze|4004729581
(...)

e potrà essere aperto e visualizzato in un qualsiasi software GIS che supporti il caricamento di dati CSV (ad esempio QGIS Desktop):

terremoti

Localizzazione degli eventi visualizzati in base al valore di magnitudo (QGIS Desktop – Base OpenStreetMap)

La nota dolente del servizio è il copyright, che vincola al solo utilizzo personale e non commerciale, e non permette alcuno riutilizzo dei dati se non espressamente permesso dall’INGV. La domanda sorge spontanea: perché?

 


Diversi geoportali, piccoli e grandi, di Pubbliche Amministrazioni da ogni parte del mondo, sono basati su tecnologia ESRI ArcGIS. All’utente di solito viene esposta un’interfaccia di consultazione del catalogo dei dataset (come quella del geoportale della Regione Siciliana) e/o l’accesso diretto ai dati e alla loro rappresentazione tramite servizi OGC standard come WMS, WFS e WCS.

Ma ci sono diverse altre caratteristiche interessanti rese disponibili da queste tecnologie e che molto spesso ignoriamo, la cui conoscenza ci consente di accedere ad un numero molto più ampio di informazioni e dati. Tutto questo oggi è a maggior forza interessante, grazie alle politiche Open Data realizzate da molte Pubbliche Amministrazioni e anche perché dal 19 marzo 2013i ”tutti i dati e documenti che le pubbliche amministrazioni pubblicano con qualsiasi modalità, senza l’espressa adozione di una licenza d’uso, si intendono rilasciati come dati aperti (open data by default)” (cit. dati.gov.it, mentre dal punto di vista normativo si tratta dell’articolo 52, comma 2 del CAD).

In questo post sottolineerò alcuni elementi relativi all’accesso ai dati tramite query via interfaccia REST (più propriamente tramite API REST).

Introduzione

Le API REST di ArcGIS – REST è l’acronimo di Representational State Transfer - forniscono una semplice interfaccia di accesso web ai server cartografici di questa casa software, sia ai dati/servizi che ad alcuni processi. Il tutto è quindi accessibile tramite una serie di URL gerarchici, che identificano ciò a cui si vuole accedere. L’URL di default di accesso ha di _default _questa struttura:

http://<host>:/arcgis/rest/services

Ad esempio quello della Regione Siciliana è questo:

http://map.sitr.regione.sicilia.it/ArcGIS/rest/services

E aprendo l’indirizzo sono elencati dati e servizi disponibili in questo server.

sicilia_rest

La documentazione ufficiale generale è molto ricca e vasta e non aggiungerò altri dettagli generici.

A seguire invece alcuni esempi di query  via ArcGIS REST API, in modo da apprezzarne la ricchezza e le modalità di accesso.

Interroghiamo una risorsa

Per gli esempi di questo articolo farò riferimento alla Regione Umbria, che ha aperto da poco i suoi dati cartografici. Dal suo portale open data possiamo leggere l’URL pubblico del server ArcGIS.

url_umbria

Si legge

http://geo.umbriaterritorio.it/arcgis/

Bisogna aggiungere (vedi sopra) “rest/services/” e abbiamo

http://geo.umbriaterritorio.it/arcgis/rest/services/

A questo punto non resta che sfogliare un po’ la directory pubblica e scegliere un layer su cui eseguire una query. Userò il dataset dei “NUMERI CIVICI”, che si raggiunge facendo click su Public > ECOGRAFICO_CATASTALE_WGS84 (MapServer) > NUMERI CIVICI.

Scorrendo la pagina verso il basso è visibile il tasto “Query“, tramite il quale è possibile interrogare il dataset.

query

Per lanciare la prima interrogazione devo inserire almeno un criterio di ricerca. Ad esempio il numero civico con “ID=1″ (ogni elemento ha sempre un identificativo numerico associato). La pagina html con il risultato dell’interrogazione mi fornisce informazioni sia sugli attributi che sulla geometria dell’elemento.

attributi

Posso fare allora una query per attributo: tutti gli elementi che contengono nel campo “DESCR_S49″ la stringa “CORPOSANO”. Nell’interfaccia leggiamo che ci sono 47 record che soddisfano questa condizione e l’output è in HTML. Ci sono però altri formati di output tra cui KML e JSON; questo l’output in JSON della stessa query.

output

Questi due formati quindi mostrano nei fatti, come una query REST su server ArcGIS sia un’ulteriore modalità di accesso al dato grezzo.

Query spaziale

E’ possibile eseguire anche delle interrogazioni spaziali di complessità variabile. Ad esempio posso estrarre tutti i civici che ricadono tra queste coordinate 12.384356,43.108511,12.388869,43.110765 (<xmin>,<ymin>,<xmax>,<ymax>).

spatial_query

Posso farne il download con GDAL/OGR (vedi sotto) e ottenere rapidamente i dati in formato spaziale e al contempo visualizzarne rapidamente una loro rappresentazione.

spatial_query_map

Accesso tramite GDAL/OGR a una query

La libreria GDAL/OGR ha i driver di accesso in lettura e scrittura al formato GeoJSON. Uno degli output delle query di sopra è proprio JSON e questa libreria lo riesce a leggere nativamente proprio come GeoJSON.

L’ultima query si effettua chiamando questo lungo URL:

http://geo.umbriaterritorio.it/ArcGIS/rest/services/Public/ECOGRAFICO_CATASTALE1_WGS84/MapServer/0/query?geometry=&geometryType=esriGeometryPoint&inSR=&spatialRel=esriSpatialRelIntersects&relationParam=&objectIds=&where=DESCR_S49+LIKE+%27%25CORPOSANO%25%27&time=&returnCountOnly=false&returnIdsOnly=false&returnGeometry=true&maxAllowableOffset=&outSR=&outFields=*&f=pjson

Nell’indirizzo di sopra sono visibili tutti i parametri disponibili per effettuare un’interrogazione, ma sopra abbiamo valorizzato soltanto la stringa di testo da ricercare in un determinato campo (parametro “where”) e il formato di output (parametro “f”). Questo URL fa da source per GDAL/OGR. Se voglio avere tutte le informazioni su questa sorgente di dati vettoriali userò il classico ogrinfo:

ogrinfo -ro "http://geo.umbriaterritorio.it/ArcGIS/rest/services/Public/ECOGRAFICO_CATASTALE1_WGS84/MapServer/0/query?geometry=&geometryType=esriGeometryPoint&inSR=&spatialRel=esriSpatialRelIntersects&relationParam=&objectIds=&where=DESCR_S49+LIKE+%27%25CORPOSANO%25%27&time=&returnCountOnly=false&returnIdsOnly=false&returnGeometry=true&maxAllowableOffset=&outSR=&outFields=*&f=pjson" OGRGeoJSON

“OGRGeoJSON” è per GDAL/OGR il nome predefinito del layer di una sorgente GeoJSON. “-ro” perché imposto l’accesso in sola lettura.

Se voglio convertire in ArcView Shapefile l’output di questa query userò ogr2ogr:

ogr2ogr CORPOSANO.shp "http://geo.umbriaterritorio.it/ArcGIS/rest/services/Public/ECOGRAFICO_CATASTALE1_WGS84/MapServer/0/query?geometry=&geometryType=esriGeometryPoint&inSR=&spatialRel=esriSpatialRelIntersects&relationParam=&objectIds=&where=DESCR_S49+LIKE+%27%25CORPOSANO%25%27&time=&returnCountOnly=false&returnIdsOnly=false&returnGeometry=true&maxAllowableOffset=&outSR=&outFields=*&f=pjson" OGRGeoJSON

Come esempio, riporto qui il download fatto con GDAL/OGR nei formati ArcView Shapefile, GeoJSON e KML.

Web mapping a partire da query

Queste query possono essere visualizzate in maniera molto efficace anche in un’interfaccia di web mapping. Sia a partire dal salvataggio dell’output, che tramite chiamata diretta in realtime. La cosa è inoltre resa semplice da una bella libreria rilasciata in open source da ESRI e basata su Leaflet: http://esri.github.io/esri-leaflet.

La query di sopra (quella sulla stringa “CORPOSANO”) ad esempio si può rappresentare rapidamente come sotto (click qui per aprire a schermo intero).

leaflet

Il codice lo trovate qui: https://github.com/tanto/arcgisqueryrest/blob/gh-pages/index.html

Alcune note in conclusione

Sono rimasto molto in superficie, ma l’intento è quello di mostrare un punto di ingresso poco noto e utile, visto il sempre maggior numero di dati spaziali oggi disponibili e aperti. Di default l’output di queste _query _è limitato a 1000 risultati, quindi è necessario “ciclare” le chiamate. Ad esempio per ID a gruppi di 1000 record:

Il totale (190140 record), da conoscere prima di fare partire il ciclo, si ricava ad esempio con questa query. Ci sono altri modi per ciclare tra i record, questo è solo un esempio.

L’accesso REST è molto utile anche con sorgenti di tipo raster, ma magari lo scrive qualcun altro, in un altro post :) .

L’URL con struttura “http://<host>:/arcgis/rest/services” è quello di default. Chi gestisce il server potrebbe usare uno schema diverso.

Questo post è dedicato al giovane Padawan “Flavio“, che mi ha fatto scoprire questa pagina e ha dato la stura alla stesura di questo testo.

Non mi RESTa che augurarvi un buon 2015!


TANTO non rappresenta una testata giornalistica ai sensi della legge n. 62 del 7.03.2001, in quanto non viene aggiornato con una precisa e determinata periodicita'. Pertanto, in alcun modo puo' considerarsi un prodotto editoriale.