Verso la fine del 2011 nella mia casella di posta elettronica trovai un invito per una conferenza dal titolo “Gli squali nel Mediterraneo”, che si sarebbe tenuta di lì a pochi giorni a Pescara.
Ormai non ricordo più se il titolo fosse davvero quello, né chi fosse il mittente della mail, fatto sta che decisi di andare, spinto in gran parte dalla voglia di passare – dopo anni – una giornata ad ascoltare discorsi di biologia marina “pura” e prendermi una pausa dalle solite cose: gis, json, rest, php, cors, script, sql, ecc.
Dell’intervento principale sugli squali ricordo poco o nulla, non mi colpì granché, ma ricordo bene l’intervento del dottor Vincenzo Olivieri, veterinario e presidente della Onlus “Centro Studi Cetacei” (CSC), che non parlò di squali, ma di spiaggiamenti di cetacei, dei casi di studio più interessanti che aveva incontrato, di indagini sul campo e metodologie analitiche, del lavoro svolto dalla sua associazione e di tanto altro. Ciò che mi fece drizzare le orecchie, man mano che andava avanti, fu pensare alla quantità di dati – dati spaziali, probabilmente – che il Centro Studi Cetacei poteva (e doveva!) aver raccolto.
Le domande che avevo in testa erano: “Dove li terranno questi dati?”, “In che formato saranno conservati?”, “Saranno disponibili?”, “Saranno accessibili?”.
Al termine della conferenza andai dritto da Olivieri, parlammo una decina di minuti e venne fuori un accordo, direi uno scambio: il Centro Studi Cetacei mi avrebbe fornito i dati sugli spiaggiamenti dopo averli riordinati e organizzati il meglio possibile, visto che erano sparsi in vari fogli Excel, documenti PDF e addirittura qualche scheda cartacea e io avrei sviluppato, senza costi per il CSC, uno strumento informatico per consultarli in maniera semplice e veloce sul web. In cambio chiesi che il risultato di questo nostro sforzo congiunto fosse messo a disposizione come open data.
Ci tengo a sottolineare che questa mia richiesta venne accolta immediatamente e con entusiasmo, segno di un’apertura mentale da parte del mio interlocutore che, ancora oggi, non so quanto sia facile trovare tra i non addetti ai lavori.

Pronti, si comincia!

La primissima fase consistette in una serie di incontri con Vincenzo e con altre persone del CSC; il nostro obiettivo era individuare un minimo comune denominatore nelle informazioni in loro possesso e, partendo da qui, organizzare lo storico in maniera coerente e il più possibile ordinata.
Successivamente fu la volta di scegliere gli strumenti informatici da usare per dare vita al nostro progetto e, non avendo vincoli se non mantenere a zero i costi dell’operazione, decisi per uno stack tecnologico collaudato e completamente open source: PostGIS, GeoServer e OpenLayers. A dire il vero penso che questa sarebbe stata la mia scelta anche se avessimo avuto un budget da spendere!
Scelto lo stack, restava però il problema di mettere in piedi un server. Come molti di voi sapranno, anche se installato con solo software libero, un server ha comunque dei costi legati all’hardware e alla connettività, il che cozzava non poco con il vincolo del costo zero.
Ebbene, senza TANTO e Andrea, al quale parlai del progetto il giorno dopo la conferenza, l’idea sarebbe rimasta nella mia testa, inespressa nella pratica o, al massimo, sarebbe diventata l’ennesima demo in “localhost” sul mio computer.
Il server, alla fine, ce lo ha messo TANTO! Un hosting non da poco, con PostGIS e GeoServer belli e pronti, Apache e PHP per creare pagine web e, soprattutto, persone competenti a gestire l’infrastruttura.
A questo punto, con i dati che iniziavano a prendere forma ed il server pronto ad accogliere l’applicazione, per me era finalmente ora di entrare nel vivo e tirarmi su le maniche per produrre qualcosa di tangibile da mostrare a Vincenzo e al CSC che, nel ripulire, organizzare e armonizzare i dati storici, avevano passato parecchi giorni a lavorare.
Così all’inizio del 2012 venne fuori il primo output, un’applicazione di web mapping strutturata in maniera abbastanza classica e in grado di mostrare i punti dove erano stati effettuati i rilievi sugli animali spiaggiati e le informazioni ad essi associate su una mappa, una griglia ordinabile e dei grafici. Scegliemmo di chiamarla GeoCetus.

I dati potevano essere filtrati su base annuale, adeguando le tre viste di conseguenza. Selezionando un punto, come lecito aspettarsi, compariva una scheda con tutte le informazioni di dettaglio ed era possibile scaricare tutti i dati disponibili in formato KML e CSV, ovviamente sotto licenza CC BY-SA. Nulla di eclatante, insomma, ma funzionale.
Questa prima versione si basava su una sola tabella PostGIS, denominata “spiaggiamenti”, un po’ di codice PHP per tirare fuori un GeoJSON – preferii non scomodare GeoServer in prima battuta – e la mia collaudata cassetta degli attrezzi JavaScript composta da OpenLayers 2.12, jqGrid e Google Charts.

Un buon inizio, ma serve sempre qualcosa in più

L’applicazione di web mapping prodotta non era male, nel senso che faceva quello che doveva fare in base ai requisiti concordati con il CSC e lo faceva discretamente: mostrava i dati e consentiva di interrogarli e scaricarli.
Ben presto, però, sorse la necessità di aggiornare la banca dati in modo che fosse sempre attuale ed utile, così pensai di ricorrere ad un foglio di calcolo su Google Drive. I nuovi dati sarebbero stati inseriti lì e poi, tramite uno script Python, trasferiti in PostGIS con una query SQL.
Lo script funzionava senza particolari problemi, però lasciava irrisolte due questioni importanti:

• vincolare alcuni campi ad un dominio specifico di valori;
• calcolare automaticamente il codice identificativo di ogni evento registrato, il quale doveva seguire uno schema preciso per non violare il vincolo di univocità.

Probabilmente lavorando un po’ di più allo striminzito script Python che avevo prodotto si sarebbe potuta trovare la soluzione ad entrambi i problemi, ma ho preferito creare qualcosa che girasse completamente sul nostro server e sviluppare un modulo gestionale in PHP con interfaccia basata sull’ottimo Twitter Bootstrap (all’epoca la versione stabile era la 2.3.2). Dopo qualche giorno di lavoro venne fuori il prototipo del modulo gestionale:

Questo modulo, accessibile solo agli utenti registrati sul database, costituiva uno strumento di facile utilizzo, tramite il quale chiunque poteva registrare un nuovo spiaggiamento senza incappare in errori grossolani, di distrazione e senza doversi preoccupare del codice di registrazione, che veniva compilato in automatico dal modulo stesso, sulla base delle regole stabilite.
Problema risolto? Certo che no! Le esigenze, man mano che GeoCetus e il suo modulo gestionale venivano utilizzati, divenivano ben maggiori del semplice consultazione e inserimento di nuovi dati. Occorreva spesso correggere o cancellare qualcosa e sarebbe stato bello anche poter allegare dei file per caratterizzare meglio i rilievi registrati.
Inoltre, nel frattempo, era saltata fuori anche la necessità di gestire i dati sulle tartarughe marine.
Come spesso accade, l’appetito viene mangiando.

GeoCetus diventa un portale

Per organizzare al meglio tutti le funzioni e i moduli previsti la cosa migliore era, sicuramente, ripensare l’applicazione in forma di un portale, così, dopo qualche mese di lavoro e svariati aggiornamenti a librerie e script vari, il risultato è quello che tutti possono vedere puntando il browser a questo indirizzo: http://geocetus.spaziogis.it.

Il portale prevede diverse tipologie di utenti, che hanno prerogative diverse sulla gestione dei dati e degli allegati. Ad ogni evento inserito sotto forma di punto è possibile associare fino a 3 foto e 3 documenti in formato PDF relativi a necroscopie ed analisi di laboratorio; a breve sarà possibile collegare anche dei filmati. Tutti i contenuti sono aperti, distribuiti sotto licenza CC BY-SA e messi a disposizione degli interessati sia sotto forma di servizi OGC che dei più comuni formati di file usati in ambito di geodati.
Ora, piuttosto che annoiarvi con l’elenco particolareggiato delle caratteristiche del portale, vi invito a consultare lo slideshow in calce al post e, soprattutto, a visitarlo in prima persona.
Piuttosto, mi preme dire che, per quanto ne so, ad oggi, quella di GeoCetus è la più completa banca dati sugli spiaggiamenti di cetacei e tartarughe marine dell’intero panorama nazionale, che si tratta di una banca dati libera ed accessibile e che, questo risultato, per quanto sia ancora passibile di miglioramenti, è stato raggiunto da un gruppo di volontari. Abbiamo investito parte del nostro tempo libero per dare vita a un progetto che, speriamo, diventi un riferimento per gli addetti ai lavori e, soprattutto, contribuisca ad innescare un clima virtuoso di collaborazione e condivisione delle informazioni anche da parte di altri soggetti.

L'articolo GeoCetus: la banca dati italiana aperta sugli spiaggiamenti di cetacei e tartarughe marine è apparso originariamente su TANTO. Rispettane le condizioni di licenza.

Sotto tutti i dettagli

Il database topografico di Regione Piemonte è OPEN!

Regione Piemonte promuove la costruzione di un insieme comune di dati geografici (BDTRE: Base Dati Territoriale di Riferimento degli Enti), integrati in una infrastruttura che ne permette la condivisione tra i vari soggetti che gestiscono il territorio.

Nucleo portante di tale infrastruttura è il database topografico regionale, realizzato secondo le Specifiche di contenuto dei database geotopografici (G.U. n. 48 del 27-2-2012, Suppl. ord. 37) e contenente gli elementi tipici della cartografia tecnica alla grande scala. I contenuti del database topografico sono resi disponibili in varie forme, dati e servizi, tra cui l’edizione annuale aggiornata della Base Cartografica di Riferimento della Regione Piemonte, che supera la CTR ( L.R. 1/2014 art 10).

BDTRE è Open!

Gli utenti del database topografico sono Enti locali, professionisti, enti universitari e di ricerca, imprese e i cittadini che necessitano di dati topografici per interagire con la Pubblica Amministrazione. Per consentire loro la piena fruizione, Regione Piemonte rende disponibile la BDTRE in modalità open attraverso il GeoPortale Piemonte, con licenza Creative Commons 2.5 BY: gli utilizzatori sono liberi di utilizzare per propria utilità, anche commerciale, i dati della BDTRE riconoscendone la paternità in modo esplicito.

Usiamo BDTRE!

Il data base topografico, l’allestimento raster derivato e i servizi aggiornati all’edizione 2015 sono facilmente raggiungibili dal GeoPortale Piemonte ( www.geoportale.piemonte.it) utilizzando “BDTRE 2015″ come chiave di ricerca nel catalogo.

Sono sempre disponibili, inoltre, i servizi relativi all’edizione 2014.

Come fare il download del dato grezzo

L'articolo Il database topografico di Regione Piemonte in #opendata è apparso originariamente su TANTO. Rispettane le condizioni di licenza.

All’URL del servizio è possibile vedere in forma tabellare gli ultimi dati registrati nel DB di ISIDE, e alcune query di esempio. I risultati sono forniti in XML secondo lo schema QuakeML, che è un formato standard per la rappresentazione di dati sismologici. Tramite questo formato non vengono veicolate soltanto le informazioni standard quali coordinate e magnitudo dell’evento, ma anche molti altri metadati relativi alla registrazione, l’elaborazione e la gestione dei dati dell’evento (es. dati sull’incertezza e sulla qualità del dato, informazioni sulla stazione che lo ha registrato, ecc.).

I dati sono interrogabili in base ad:

• area geografica (filtro rettangolare o radiale)
• finestra temporale
• range di intensità
• profondità dell’ipocentro

Ad esempio, per visualizzare lo sciame sismico dello scorso 19/20 dicembre nell’area del Chianti (Toscana), possiamo interrogare il servizio con la seguente query: http://webservices.rm.ingv.it/fdsnws/event/1/query?lat=43.587007&lon=11.316179&maxradiuskm=30&starttime=2014-12-19T00:00:00&endtime=2014-12-20T23:59:59&minmag=2&maxmag=5

dove cerchermo gli eventi nel raggio di 30 km (maxradiuskm) dal centro di Greve in Chianti (lat/lon), tra il 19 e il 20 dicembre 2014 (starttime/endtime) filtrando solo gli eventi con magnitudo compresa tra 3 e 5 (minmag/maxmag). Al”interno dei risultati è possibile identificare l’evento principale, di magnitudo 4.1, che ha fatto scricchiolare le finestre e i mobili del mio studio

Non sono al corrente di strumenti di pubblico dominio per la visualizzazione diretta di dati in formato QuakeML all’interno dei più comuni software GIS, ma non sarebbe molto oneroso fare un convertitore verso formati GIS standard, magari in Python usando ObsPy, una libreria che offre funzionalità anche per interrogare direttamente i servizi FDSN, generare plot delle onde sismiche o mappe della localizzazione degli eventi.

E’ tuttavia possibile ottenere i risultati in formato testuale (un csv con il carattere pipe (“|”) come separatore dei campi) aggiungendo alla chiamata il formato di output “text”. L’output sarà simile al seguente:

#EventID|Time|Latitude|Longitude|Depth/Km|Author|Catalog|Contributor|ContributorID|MagType|Magnitude|MagAuthor|EventLocationName|web_id_locator(deprecated)
4730151|2014-12-20T22:37:25.350000|43.6097|11.2563|6.7|SURVEY-INGV||||ML|2.6|SURVEY-INGV|Firenze|4004730151
4730041|2014-12-20T22:35:09.980000|43.5848|11.2553|10.2|SURVEY-INGV||||ML|2.0|SURVEY-INGV|Firenze|4004730041
4729881|2014-12-20T22:25:33.310000|43.6218|11.2432|7.4|SURVEY-INGV||||ML|2.2|SURVEY-INGV|Firenze|4004729881
4729581|2014-12-20T21:39:40.560000|43.6218|11.2445|5.7|SURVEY-INGV||||ML|2.3|SURVEY-INGV|Firenze|4004729581
(...)

e potrà essere aperto e visualizzato in un qualsiasi software GIS che supporti il caricamento di dati CSV (ad esempio QGIS Desktop):

Localizzazione degli eventi visualizzati in base al valore di magnitudo (QGIS Desktop – Base OpenStreetMap)

La nota dolente del servizio è il copyright, che vincola al solo utilizzo personale e non commerciale, e non permette alcuno riutilizzo dei dati se non espressamente permesso dall’INGV. La domanda sorge spontanea: perché?

L'articolo I dati sismici di ISIDE adesso hanno un web service è apparso originariamente su TANTO. Rispettane le condizioni di licenza.

Fornire gli strumenti per dare una risposta, significa fare una buona informazione civica, un obiettivo alto e stimolante per chi gestisce la cosa pubblica, ma che alle volte non è nemmeno abbozzato.

Per valutare il mio rischio devo rispondere almeno ad altre due domande:

• vivo vicino ad un rischio naturale?
• se sì, quanto è elevato?

I contenuti utili a definire la cosa sono disponibili, ma non permettono di passare dalla propria e personale conoscenza del territorio alla sua rappresentazione istituzionale.

Ho concentrato la mia ricerca sul rischio idrogeologico e sono “caduto” in questo articolo del Giornale di Sicilia: nella mia regione ci sarebbero 22 mila aree a rischio.
Il progetto di riferimento è il PAI (Piano di Assetto Idrogeologico), “lo strumento conoscitivo, normativo e tecnico-operativo mediante il quale sono pianificate e programmate le azioni, gli interventi e le norme d’uso riguardanti la  difesa dal rischio idrogeologico del territorio siciliano“.
Il sito web ufficiale è http://www.sitr.regione.sicilia.it/pai/, tenuto aggiornato nel tempo e ricco di pagine contenenti numerosi allegati (essenzialmente file PDF, compressi in file .zip). Mi aiuta a rispondere alle questioni poste sopra?

Non credo, salvo non conoscere ad esempio i nomi dei bacini idrografici locali, cosa ignota al 99 % delle persone che frequento. Ma anche sapendo il nome del bacino – ad esempio “Torrente Saponara, Area Territoriale tra i bacini T.te Saponara e F.ra Niceto” – ci si trova davanti a barriere di comunicazione come quella dell’immagine di sotto.

Qual è il significato del nome di questi file? Ne apro qualcuno, guardo un po’ dentro e cerco di capire? Non credo possa essere così, e sicuramente non può essere solo così.

Dati come questi devono essere pubblicati anche in maniera immediatamente comprensibile e leggibile da tutti: me, mia mamma, un giornalista, un pittore, un tecnico comunale, mio nipote il grande, il vicino di casa e financo da Gerlando.
Solo come esempio, per quell’insieme di persone che ha accesso al web, una semplice mappa come questa dà un’informazione che è subito comprensibile ad una platea vasta: dovo sono le aree a rischio frana in Sicilia, e qual è il grado di rischio.

Non scrivo tutto questo per fare una critica al PAI, è un progetto che non conosco e che immagino essere di qualità.

La barriera non è la presenza/assenza delle informazioni ma il loro scarso grado di utilizzabilità civica. Sarebbe auspicabile una collaborazione con la cittadinanza per trovare le modalità per superarla. Il risultato può essere proprio una mappa facilmente comprensibile da tutti.
Si tratta di un problema molto più semplice di quello del rischio idrogeologico, cionondimeno affrontarlo e risolverlo sarebbe una scelta politica con benefici a catena per tutti.

Invito la Regione Siciliana a costruire sul tema del rischio idrogeologico (e sul rischio in generale) una strategia di comunicazione e di informazione civica di qualità, senza barriere e ad ampio spettro.
Ad aprire di più e meglio i dati relativi, in modo che possano essere realizzate analisi e rappresentazioni del tema che oggi nemmeno immaginiamo. La carta interattiva di sopra, è stata implementata grazie a 2 servizi aperti: quello messo a disposizione dal Geoportale Regione Siciliana (special thanks ad Agostino) e l’ortofoto RealVista.

Una delle conseguenze dell’apertura dei dati è proprio quella di creare le precondizioni per raccontare meglio il proprio il territorio, in ciò per cui brilla e in ciò per cui è a rischio.
E io di queste storie vorrei poterne leggere tante.

NdR: questo articolo è pubblicato anche sul blog di Open Data Sicilia.

L'articolo Il rischio idrogeologico, la Regione Siciliana e l’informazione civica è apparso originariamente su TANTO. Rispettane le condizioni di licenza.

Le cose avvengono grazie al tempo che spendiamo per queste, alla crescita personale, all’evoluzione del contesto, agli incontri fatti, alla qualità delle persone. E questo è un anno che non dimenticherò.

Ringrazio l’Ing. Salvatore Cirone (dirigente dell’”Area 2 Interdipartimentale Sistemi Informativi Geografici, Infrastruttura Dati Territoriali Regionali e Cartografia”) e l’Ing. Agostino Cirasa (funzionario presso gli stessi uffici) per il dialogo di queste settimane e per l’immediata disponibilità all’autorizzazione, e Simone Cortesi che mi ha insegnato a passare la cera.

I servizi WMS da sfruttare per il ricalco, e i relativi metadati, dovrebbero essere quelle elencati qui: http://goo.gl/Hefwor

Qui invece la copia della lettera di autorizzazione. Tutto questo si innesta in un percorso iniziato proprio con OpenStreetMap qualche anno fa, e che sarà probabilmente soltanto una delle tappe previste in termini di apertura dei dati geografici da parte della Regione Siciliana.

L'articolo La Regione Siciliana autorizza il ricalco in OpenStreetMap sulle ortofoto di sua proprietà è apparso originariamente su TANTO. Rispettane le condizioni di licenza.

Lo spunto di partenza di oggi è lo stesso di allora: creare per il mio smartphone una copia della cartografia digitale dell’isola, in modo che sia disponibile anche offline, visto che in loco la connettività è scarsa.
Sono passati sei anni, un’enormità dal punto di vista tecnologico, e le modalità per farlo sono adesso davvero tante. Anche per questa ragione non parlerò di soluzioni, ma darò spazio a quello che è un vero e proprio scoop giornalistico: l’isola di Linosa deve essere spostata!

Scopro questa cosa incredibile il 18 agosto, data del mio arrivo sul posto. Nelle prime ore noleggio uno scooter, sistemo i bagagli in casa e subito voglio fare il punto mappa. Perché l’alloggio è in una zona per me nuova, perché voglio scegliere dove fare il primo bagno, perché mi voglio fare un’idea della viabilità, ecc.
Accendo il ricevitore GPS del mio smartphone, aspetto che venga calcolata la mia posizione, faccio partire la mia app e mi rendo subito conto di essere stato spostato a est di diverse decine di metri. Perché “carta canta”, non ci sono dubbi, e se il mio smartphone mi fa vedere il pallino in una certa posizione, sarà il mio maledetto telefonino “roottato” che funziona male. Ho pensato anche che il problema fosse della mia cartografia, ma avevo generato di proposito due basi offline, da due fonti diverse (Bing Maps di Microsoft e OpenStreetMap, e su entrambe riscontravo lo stesso problema.
Riavvio il telefonino, salgo sulla moto per fare un primo giro, arrivo sul lungo mare, rifaccio il test precedente e non cambia nulla.

Preso dalla sconforto decido di fare una passeggiata e registrare un tracciato GPS, in modo che di ritorno a Palermo possa fare con calma un po’ di verifiche e capire che strani dati produce il mio cellulare (si usa più questa parola?). A registrazione terminata, voglio essere sicuro che tutto sia stato archiviato correttamente, apro la mia app di tracking in una zona coperta da connessione web e scopro che tutto sembra tornare a funzionare. Ma c’è una differenza, la mappa di base stavolta è quella del Geoportale della Regione Siciliana: che siano le altre basi il problema?

Ho potuto verificare la cosa, alcuni giorni fa, al ritorno da Linosa. Avevo infatti bisogno di una connessione e di un personal computer.
Ho creato una vista cartografica (leaflet.js + Plugins by Pavel Shramov + Leaflet.Sync) in cui mettere a confronto i tre layer cartografici citati, sui quali ho sovrapposto la registrazione del mio percorso GPS, che ho usato un po’ come cartina al tornasole.

Come si vede dallo screenshot di sopra, la traccia GPS (in blu) è correttamente posizionata sul base della Regione Siciliana, mentre è spostata di diverse decine di metri a est su Bing Maps. E lo stesso (vedi sotto) vale per OpenStreetMap.

Non poteva essere diversamente perché i dati OpenStreetMap derivano (almeno per la gran parte) probabilmente da un tracciamento sulla base Bing. La Microsoft infatti ha concesso da tempo il ricalco sul proprio layer satellitare per l’arricchimento del database OSM, ma qui purtroppo è entrato in gioco la propagazione dell’errore: la base Bing è (qui a Linosa) “registrata” male, e qualsiasi prodotto derivato erediterà questo problema.

La vista cartografica dinamica interattiva con cui potrete testare la cosa in autonomia è accessibile qui: http://tanto.github.io/spostalinosa/
Ho inserito anche un pinpoint fisso a centro mappa, in modo da fare anche confronti a occhio tra un elemento individuato sulle due tavole.

Non ho idea di come sia possibile che i dati della multinazionale contengano questo errore, ma di certo “c’è da spostare Linosa”. A chi mi posso rivolgere per segnalare la cosa?
I dati OpenStreetMap saranno corretti in pochissimo tempo, per quelli di Bing temo ci vorrà più tempo: che grande cosa che è la “mappa liberamente modificabile dell’intero pianeta“!

Ho fatto leggere il post in bozza a questa redazione e a qualche altro amico. Sono usciti molti spunti “vicini” al bel post di Sergio, di cui un po’ questo è un figlio casuale, e anche uno dei mille “casi d’uso”.
Voglio concludere proprio con tre elementi che ho raccolto:

• la mappa non è il territorio (me l’ha detto tempo fa Franco Farinelli e me l’ha ripetuto in questi giorni napo);
• la cartografia della PA italiana è spesso di alto livello, è una grande risorsa e bisogna liberarla. Alla mia regione chiedo di lavorare sul passaggio ad una licenza che consenta pienamente il riuso dei dati, dalla attuale CC BY-SA 3.0 IT a una CC BY 4.0;
• in ultimo l’invito a non credere acriticamente né ai nostri strumenti, né ai dati a cui accediamo tramite questi, ad alzare la testa dallo smartphone e camminare un po’ più con lo sguardo aperto e rivolto in tutte le direzioni (lo so, lo so, si vede che è un’autocritica ).

NdR: questo di Linosa non è un caso unico e isolato. Sembra che anche Matera sia da spostare.

L'articolo Si avverte la gentile clientela che c’è da spostare un’isola è apparso originariamente su TANTO. Rispettane le condizioni di licenza.

La comunicazione al Ministero avviene in tre modi:

• tramite portale web
• tramite sistemi convenzionati (gestiti dai concessionari autostradali o da imprese accreditate)
• tramite gestionali conformi alle specifiche ministeriali

Lato consumatore si dovrebbero aprire enormi possibilità per il monitoraggio dell’andamento dei prezzi e quindi del rispetto della concorrenza, poiché diventa sufficiente avere accesso alla rete per poter avere informazioni puntuali sui prezzi praticati dalle stazioni di rifornimento. Il mercato è attualmente composto dal portale ministeriale e dalle applicazioni create dalle imprese accreditate: il ministero tramite Infocamere contribuisce con OsservaPrezzi, una sorta di applicazione demo che mostra il potenziale di questo dataset  (2.6 valutazione media sul Play Store), mentre tra le varie proposte permane ancora la storica PrezziBenzina (4.4 valutazione media sul Play Store).

La domanda che ci siamo posti quando abbiamo iniziato l’analisi del portale è la seguente: se il database dei prezzi è nato a garanzia di trasparenza e concorrenza, perché la piattaforma non prevede ancora il rispetto dei criteri stabiliti ad esempio dall’Agenda Digitale italiana? Possiamo fare qualcosa per contribuire al suo miglioramento?

La prima azione compiuta è stata l’analisi di come funziona dietro le quinte il portale del MiSE: con sommo piacere questo è costruito con tecnologie web al passo coi tempi ed il frontend (il “lato utente”) utilizza il framework Bootstrap. Questo teoricamente potrebbe garantire la navigabilità da piattaforme mobili, ma evidentemente si è lasciato che l’utente trovasse necessario l’utilizzo delle app.
L’API che fa dialogare la parte utente con il server è stata esplorata facilmente, permettendo perfino di documentarla parzialmente: l’unica azione per rendere il servizio disponibile in chiaro alla comunità sarebbe documentare le modalità di interrogazione e fornire l’accesso tramite chiavi agli sviluppatori interessati.

L’azione successiva si è svolta su due fronti: il primo è stato provare a fornire servizi utente facilmente fruibili, mentre il secondo è stato ricavare un dump completo del database in un dato momento per permetterne l’analisi a mo’ di big data.

Se l’API fosse ufficiale sarebbe utile che fornisse anche metodi per utilizzare i dati direttamente via JavaScript (JSONP) ma, purtroppo, ciò non è possibile al momento: si è reso necessario creare un ‘proxy’ fra i nostri esperimenti ed il servizio trasformando le nostre richieste da GET a POST via PHP, superando contemporaneamente le limitazioni di sicurezza che i nostri browser mettono in atto nei confronti delle richieste a domini diversi (cross-domain).
L’endpoint position, ad esempio, permette di ottenere tutti i distributori nell’intorno di un dato punto per un raggio di 10 chilometri: l’applicazione contenuta nella pagina distributori.html permette di consultare su mappa tutti i distributori intorno alla posizione scelta dall’utente (via doppio clic o tramite geolocalizzazione), mentre quella della pagina cheap.html evidenzia il distributore più conveniente nella stessa area.

Il dump ottenuto tramite simulazione delle richieste all’API copre tutti i distributori disponibili e viene trasformato in automatico dalla risposta JSON ad un database costituito di due parti: una tabella raccoglie la descrizione del distributore (marca, posizione, indirizzo,…), mentre l’altra raccoglie i prezzi di ognuno di essi. Le due tabelle sono legate tra loro da un identificatore trovato all’interno della risposta (il quale andrebbe a sua volta standardizzato e reso ufficiale per permettere incroci con altre basi di dati). Questo database è reso disponibile sia come file SQLITE sia come file SPATIALITE: quest’ultimo viene anche purificato dei distributori con coordinate non valide e può essere utilizzato per analisi spaziali con Qgis.

Noi continueremo ad estrarre informazione e valutarla per mostrare cosa può significare la disponibilità aperta dei dati: più persone ci saranno a consultare ed utilizzare i dati dell’Osservatorio, maggiore trasparenza ci sarà nella gestione e nel monitoraggio del mercato dei carburanti. I segnali che provengono ci fanno credere di stare seguendo una strada giusta e con pochi accorgimenti in una fase futura di apertura tutti ne potranno trarre beneficio.

Il repository GitHub è localizzato all’indirizzo https://github.com/sabas/carburantiMiSE; l’istanza corrispondente, dalla quale scaricare anche i dump più recenti, è all’indirizzo http://toolserver.openstreetmap.it/carburantiMiSE/

L'articolo L’Osservatorio Carburanti ed una missione per la trasparenza è apparso originariamente su TANTO. Rispettane le condizioni di licenza.

Se si tratta della risoluzione di ortofoto è sicuramente un piccolo grande numero, che consente di osservare il territorio con un buon dettaglio, di supervisionare virtualmente un’area prima di fare un volo con un drone, di derivare delle informazioni vettoriali, di guardare con occhio languido la cala in cui si andava in vacanza da bambini, di verificare la modifica di un versante di frana nel tempo. E tanto, tanto altro di più. Ma le dimensioni non sono tutto.

e-GEOS e il Ministero dell’Ambiente e della Tutela del Territorio e del Mare e l’Agenzia per le Erogazioni in Agricoltura (AGEA) hanno rilasciato da pochi giorni proprio delle ortofoto a 50 cm., accessibili in WMS (WMTS quelle di e-GEOS). Non si tratta di riprese con presa obliqua e sono accessibili in diversi sistemi di coordinate; due elementi “classici” per questo tipo di dataset, di cui trovo importante rimarcare la differenza con i layer cartografici dei grossi provider web. Ma la “tecnica” non è tutto.

Il dataset di e-GEOS, così come annunciato nel corso della Conferenza OpenGeoData “Istruzioni per il RI-uso”, è rilasciato con una licenza aperta; anzi per la precisione con due tipi di licenze (qui e qui). Questo tipo di accesso ai dati, li trasforma subito in ingredienti di base, con cui ognuno potrà realizzare la propria ricetta. E’ una gran bella cosa.
Del dato AGEA non ho invece trovato ((ma sono certo che ci saranno) i termini di utilizzo.

Per puro diletto ho realizzato un “confronto all’americana” tra i due dataset; lo trovate qui. Noterete che il layer AGEA è molto più lento a caricarsi, ma non si tratta di un dato sottoposto a tile caching come quello di e-GEOS.

Sotto la mappa altre informazioni utili sui dati, comprese le “Capabilities” dei rispettivi servizi WMS.

L'articolo Un post di 50 centimentri è apparso originariamente su TANTO. Rispettane le condizioni di licenza.

Quando lo scorso maggio – con Ciro, Gerlando, Marco, Giulio, Davide e Francesco – ho iniziato il lavoro che ha portato alla redazione de ” le linee guida sugli #OpenData della città di Palermo” avevo tantissimo entusiasmo, un po’ di conoscenza di dominio e pochissima esperienza su obiettivi di questo tipo.
Mi sentivo forte di entusiasmo e di conoscenze: in dipendenza del momento, le usavo ora come spade, ora come scudi. Mi dovevo prendere cura di un lavoro ”mio”, che mi sembrava di valore per la società.
Oggi, alla luce dell’esperienza fatta, mi sembra inutile brandeggiare qualsiasi arnese e quel lavoro è della comunità, non mi appartiene più.

Questa bella evoluzione si deve essenzialmente a un’intuizione: avere compreso il valore che una licenza fornisce all’opera a cui viene applicata.
Ai più sembrerà una concetto scontato, e confesso che anche io avrei pensato allo stesso modo prima di aver vissuto questa vicenda. Soprattutto per le licenze che danno maggiore “libertà”:

La persona che ha associato un’opera con questo atto ha dedicato l’opera al pubblico dominio attraverso la rinuncia a tutti i suoi diritti al lavoro in tutto il mondo dalle leggi sul copyright, inclusi tutti i diritti connessi e vicini, nei limiti consentiti dalla legge (licenza CC0).

Associare una licenza di questo tipo ad un proprio elaborato lo rende evidentemente “indipendente”, a disposizione di chiunque lo voglia utilizzare, nelle maniere più inaspettate e geniali.
Ma anche il semplice fatto che ad un oggetto sia associata una licenza chiaramente definita è parte del valore di cui sopra. Proprio quest’ultima cosa, l’ho imparata lavorando su queste linee guida.

Quando abbiamo iniziato a scriverle siamo partiti dai contenuti, e durante tutto il processo di elaborazione non abbiamo mai pensato ai diritti sul documento. Se non nei termini classici: ma sto trasgredendo qualche norma? Se copio questo testo ci denunciano? C’è una multa da pagare?

Ma il bello di una licenza è ciò che ti abilita a fare, non quello che ti vieta: ho apprezzato questo concetto e l’ho fatto mio recentemente. A fine dicembre infatti Francesco Piero Paolicelli mi scrive un’email e mi chiede di inviargli copia in formato modificabile delle linee guida di Palermo, perché sul web c’era soltanto la meno “comoda” e accessibile copia in formato PDF. Allora, visto che il documento era mio, di Ciro, Gerlando, Marco, Giulio, Davide e Francesco, dovevo prima condividere con tutti loro la scelta e all’unanimità. Scrivo loro un’email e nasce uno scambio da cui – non senza sane incomprensioni evolute in soluzioni – ci rendiamo conto che il documento non era veramente libero e che stava perdendo il valore (quello che sia) che aveva.
Per liberarlo, dargli superpoteri e farlo diventare virale è bastato applicargli una licenza. Le “linee guida sugli #OpenData della città di Palermo” sono state pubblicate quindi in CC BY-SA e tutti sono liberi di:

• Condividere - riprodurre, distribuire, comunicare al pubblico, esporre in pubblico, rappresentare, eseguire e recitare questo materiale con qualsiasi mezzo e formato
• Modificare - remixare, trasformare il materiale e basarti su di esso per le tue opere per qualsiasi fine, anche commerciale.

Ai seguenti termini:

• Attribuzione - Si deve attribuire adeguatamente la paternità sul materiale, fornire un link alla licenza e indicare se sono state effettuate modifiche. E’ possibile realizzare questi termini in qualsiasi maniera ragionevolmente possibile, ma non in modo tale da suggerire che il licenziante avalli te o il modo in cui usi il materiale.
• Stessa Licenza - Se si remixa, trasforma il materiale o ci si basi su di esso, bisogna distribuirne i contributi con la stessa licenza del materiale originario.

E’ bastato questo per renderlo un documento utile, abilitante e virale e sono felice che le linee guida sugli Open Data approvate in queste ore dal Comune di Matera siano basate sull’entusiasmo, sulla conoscenza e sull’esperienza che hanno portato alla pubblicazione del documento della città di Palermo, che trovate qui http://bit.ly/opendatacomune.

La licenza applicata non è la migliore, ma alcuni testi utilizzati per la sua stesura sono pubblicati in CC BY-SA e quindi è stato necessario imporre la stessa licenza.

E’ la prima versione del documento, e difatti gli abbiamo assegnato un numero di release e scelto un nome. Per il nome abbiamo deciso di iniziare dalla lettera “a” e di usare una parola che “localizzi” un po’ il documento (è un’idea di Gerlando). E’ la prima release, e quindi dovremo prendercene cura anche in futuro, migliorarla, snellirla, uniformarla nello stile, ristrutturarla e completarla.
Migliorarla ad esempio proprio in termini di licenza e passare da CC BY-SA a CC BY, in modo che sia ancora più riutilizzabile. Oppure renderla neutra rispetto ai Comuni di Italia, e rimuovere i riferimenti a Palermo.
Il documento è aperto ai commenti, così che si possano costruire le versioni successive in modo partecipato, e raccogliere correzioni, note e integrazioni di chicchessia.

E’ stata ed è una bella esperienza e mi sembra utile condividerla. Il documento pubblicato ora in CC BY-SA non vuole essere però una “terra di mezzo” tra l’esigenza di chi deve redarre delle linee guida sugli Open Data e la loro realizzazione, ma la definizione di una frontiera da superare.

NdR: la bella immagine in testa è una delle tante di pubblico dominio della British Library.

L'articolo Il valore dell’esperienza: le linee guida sugli #OpenData della città di Palermo e il potere delle licenze è apparso originariamente su TANTO. Rispettane le condizioni di licenza.

Questo post è dedicato a Francesco, il mio nipotino più grande, all’uomo che sarà nel futuro.

Caro Franci,
la mamma mi ha appena scritto che da te piove e che stai scrivendo – tanto per cambiare – del codice. Allora mi è venuto in mente che, anche se hai da poco compiuto vent’anni, è arrivato il momento di raccontarti una storia, che non voglio si perda nella mia memoria e rimanga anonima. Metti da parte le tue incomprensibili stringhe di testo, spegni un attimo il tuo strano “coso” informatico (io sono nato nel millennio precedente e continuerò ad usare il mio vecchio tablet), stampala e leggila con calma.

Poco più di dieci anni fa lo zio Andrea, insieme ad altre 5 persone, ha scritto le ” Linee Guida per le attività sugli Open Data della Città di Palermo“. E’ proprio grazie (anche) a questo, che oggi dal tuo tavolo di Berlino puoi connetterti ai Linked Open Data del Comune di Palermo, incrociarli con i dati ISTAT e OpenStreetMap e scrivere la tua applicazione ”Il bello di Palermo” (come farei senza la tua app!). Lo so, non ci crederai, perché “lo zio è bravo soltanto a mettere pallini su mappe e a perseverare a usare twitter”.

Tutto inizia nel febbraio del 2013 quando, con un altro degli autori delle linee guida – Gerlando Gibilaro il mio amico avvocato che crede di sapere usare il PC (noi li chiamiamo ancora così) – decidemmo di partecipare all’Open Data Day di Palermo (eravamo una trentina, mica i tremila di Berlino di #oddit25), in cui fu presentata per la prima volta la sezione Open Data del sito del Comune. Eravamo come sempre con penna e carta in mano, e a manifestazione finita tornammo a casa abbastanza scoraggiati e con i nostri appunti in tasca. Rimanemmo con atteggiamento “monitorante” – un giorno ti racconterò di Luigi e di Monithon – e a distanza di pochi mesi insieme decidemmo di scrivere un post su TANTO (a proposito quando me lo sistemi il widget social?), in cui evidenziammo come dal giorno della presentazione tutto fosse inalterato sia in termini di quantità, sia – soprattutto – di qualità. Fu un post molto letto (nei limiti ovviamente della piccola nicchia interessata) specie a livello nazionale; a Palermo ebbe un po’ di eco, principalmente perché pubblicato da Giulio Di Chiara – un altro degli autori delle linee guida – sul tuo amato mobilitapalermo. Aldilà del numero dei lettori, continuo a pensare che quel post fu una delle cause che portò Marco Alfano (anche lui un autore) – consulente del Comune sul tema – a telefonarmi ed invitarmi alla prima riunione ufficiale sugli Open Data. A questa erano presenti circa una quindicina di persone, ma di molte si persero rapidamente le tracce; così come avvenne del cosiddetto “gruppo opendata” – aperto sul mitico Google Groups – che si dissolse dopo poco tempo.

Di incontro in incontro, fatti in orari ed in giorni improbabili, e di email in email (per darti un’idea di quei mesi di lavoro ho fatto questo screenshot per te) si decise di concentrarsi sulla redazione di un documento di linee guida, in quanto ritenuto uno strumento strategico e propedeutico alla corretta realizzazione di un’azione Open Data. Un testo che non definisse soltanto la strategia che avrebbe dovuto tenere la nostra istituzione cittadina, ma che definisse anche gli aspetti tecnici (processo di pubblicazione dei dati e loro riutilizzo), l’organizzazione interna, gli obiettivi, le azioni e i tempi. L’obiettivo era arduo e probabilmente non lo raggiungemmo in pieno, ma per fortuna ci potemmo appoggiare “sulle spalle dei giganti” e fare riferimento in modo chiaro ad altre pubblicazioni già fatte sulla materia (una tra tutte “Linee guida nazionali per la valorizzazione del patrimonio informativo pubblico” dell’Agenzia per l’Italia Digitale); i riferimenti chiari furono – non so perché – rimossi dal documento originale da noi scritto, e quello ufficiale pubblicato sembra in alcune parti una di quelle (rare per fortuna) tesi di laurea con porzioni di testo copiate senza citare la fonte (ok, non ti faccio la solita ramanzina sul fatto che la forma è sostanza, e sulla Creative Commons 8).

Con tutti gli autori del documento – non ti ho citato ancora Davide Taibi, Ciro Spataro e Francesco Passantino - ci lanciammo in una difficile e lunga scrittura a più a mani che portò alla stesura di un documento che per alcuni aspetti fu (per quei tempi) speciale.

La cosa più bella e interessante – scusami se mi sparo un po’ di pose – fu la modalità con la quale furono realizzate. Io conoscevo bene soltanto uno degli autori del documento, altri due erano per me degli sconosciuti, e dei restanti avevo una conoscenza superficiale. Ci tenne insieme la voglia di arrivare all’obiettivo.

Fu una cosa fatta totalmente dal basso, da cittadini volontari, in modo informale, senza budget ed in tempi che si possono considerare rapidi, considerato (questo) il contesto. Questo ovviamente grazie anche all’azione del Comune di Palermo che, ricevuto da noi il documento, lo approvò in poche settimane. Ne approfitto per citarti altre persone che ebbero un ruolo in questa storia: Giusto Catania, Giuseppe Meli e Sergio Maneri, che con vari ruoli - per il Comune di Palermo – sono stati i nostri interlocutori principali e gli attuatori della cosa.

Un altro aspetto unico nel suo genere (per l’Italia) di quel documento fu la presenza di pietre miliari temporali, che fissavano dei paletti per la realizzazione di determinati obiettivi. Il Comune mostrò coraggio e recepì questa sezione del documento senza alcuna variazione. A proposito di variazioni voglio sottolinearti quanto venne ben considerato il nostro lavoro e come non venne fatta dalla Pubblica Amministrazione alcuna integrazione, estensione o modifica del testo che consegnammo. Furono effettuate soltanto alcune cancellazioni (consentimi, ma non le posso mettere alla stregua di modifiche) così come puoi vedere in questo documento in cui sono evidenziate le differenze tra il testo da noi consegnato e quello approvato.

Lo so, la sto facendo lunga, e sono il solito “zio Andrea noioso”. Volevo però fissare la cosa, e dargli i giusti contorni. Avrei potuto scrivere dell’altro, e di come quell’esperienza mi lasciò anche dell’amaro in bocca. Ma è Natale e confido nella tua sensibilità di lettore

Sono passati circa dodici anni, e l’orgoglio per essere stato parte attiva di questa cosa è immutato. Anzi forse è maggiore, perché vedere un nipotone che dopo anni ne raccoglie alcune delle conseguenze mi riempie il cuore di gioia. Adesso fai riposare un po’ gli occhi e vai a farti una bella passeggiata in Alexplatz, (tu che puoi)!

Buon Natale dalla zia Annalisa e da me

_____________________________________________________

E auguri a tutti voi dalla redazione di TANTO!

L'articolo #OpenData #Palermo christmas carol è apparso originariamente su TANTO. Rispettane le condizioni di licenza.