Soltanto a poche ora dal tragico terremoto che ha colpito una vasta area dell’Italia centrale, causando la distruzione di interi paesi ed un pesante bilancio in termini di vite umane, tutti i principali provider mondiali che operano nel settore aerospaziale si sono mobilitati per contribuire attivamente alle operazioni di soccorso, con acquisizioni satellitari  aggiornate delle aree colpite.

La European Space Imaging, che gestisce la programmazione sul territorio europeo dei satelliti WorldView e GeoEye-1 della DigitalGlobe, già dalle prime ore di stamattina ha attivato una programmazione per acquisire immagini in altissima risoluzione sia nella giornata di oggi che in quella di domani. La prima acquisizione è stata effettuata ieri mattina alle 11:21 dal satellite WorlView-2

Eccola a disposizione sui server di Planetek Italia (grazie) e rilasciata dal fornitore (European Space Imaging / Digital Globe) in CC-BY-NC: http://out.planetek.it/Amatrice-Earthquake_24ago2016.zip

!cid_ii_is988hw60_156bdc95c9186812


Introduzione

Il GTFS è un formato nato per definire orari e informazioni geografiche legate a reti pubbliche e private di trasporto. E’ nato in sintesi estrema (qui più dettagli) come side project di un dipendente di Google che nel 2005 stava cercando un modo per standardizzare l’importazione di dati di questo tipo in Google Maps. Non c’era ancora uno standard in questo settore, e nel tempo il GTFS è diventato il formato di riferimento, grazie anche all’uso diffuso e alla sua documentazione.

Si tratta di una collezione di file CSV (con estensione .txt) – da un minimo di 6 a un massimo di 13 – archiviati all’interno di un file zip, le cui specifiche sono documentate qui: https://developers.google.com/transit/gtfs/reference/

Per varie ragioni è un formato con cui ho spesso a che fare, ed è stato di ispirazione per creare uno script che ho scritto durante le bellissime olimpiadi di Rio e che ho chiamato GTFS, ready, set, go.

Cosa è GTFS, ready, set, go

È uno script bash che fa essenzialmente una cosa: trasforma i file txt del GTFS in formati pronti per essere usati meglio e subito, sopratutto in applicazioni spaziali. Nel dettaglio:

  • scarica una sorgente dati GTFS e ne converte i file txt in tabelle di un DBMS con estensione spaziale e in particolare in formato spatialite (evviva Alessandro Furierie tutti quelli che si prendono cura di spatialite);
    • trasforma in layer cartografici le tabelle delle fermate e delle rotte (stops e routes);
    • genera alcuna tabelle utili a creare un report sul file della reti di trasporti preso in esame;
  • esporta in formato GeoJSON e KML la tabella delle rotte e quella delle fermate;
  • genera un report in formato HTML e Markdown utili a dare una visione d’insieme dei dati in esame (al momento è ancora minimale e in bozza) .

Nulla di complesso e nulla di nuovo. Ci sono già altre modalità e prodotti per fare cose simili, ma sono scritti in linguaggi che non conosco (ad esempio in Go), richiedono l’installazione di un database server o non spazializzano database sqlite (come il mio amato GTFSDB) o sono procedure (semplici) da svolgere “a mano” e quindi a rischio sempre di qualche errore e con perdite di tempo (come ad esempio questa).

Qui il repository su GitHubhttps://github.com/aborruso/gtfsreadysetgo

Come funziona

Si tratta di uno script in cui ho messo in fila i comandi utili al mio obiettivo finale, costruendo una (sorta di) macro in cui sfrutto le caratteristiche del bash e alcune utility/applicazioni utili per arrivare al risultato atteso. Queste ultime sono al momento un requisito per lo script, e quindi una piccola barriera ad un utilizzo immediato: le ho utilizzate perché mi hanno consentito di non scrivere “vero” codice, perché “fanno” nella sostanza tutto loro.

Requisiti

Avere un sistema operativo in cui è possibile lanciare uno script bash, quindi ovviamente i sistemi Linux, quelli Mac e anche quelli Windows. Su quest’ultimo apro una piccola parentesi.

Per lanciare uno script bash su Windows – sino a poco tempo fa – era necessario installare “cose” come Cygwin.

Cygwin è una distribuzione di software libero, sviluppata originariamente da Cygnus Solutions, che consente a diverse versioni di Microsoft Windows di svolgere alcuni compiti in maniera esteticamente e funzionalmente simile ad un sistema Unix (da Wikipedia).

Dall’ultimo aggiornamento di release di Windows 10 (l’anniversary update di agosto 2016) è possibile utilizzare nativamente bash anche in Windows, tramite l’applicazione denominata “Bash in Ubuntu on Windows”; “GTFS ready set go” l’ho scritto e testato per intero in ambiente Windows 10, anche per provare questa novità introdotta in questo recente aggiornamento, che rende la comodità e la potenza di fuoco di bash sempre più trasversali.

bash

Lo script sfrutta queste applicazioni:

  • GDAL – Geospatial Data Abstraction Library >= 2.1, che viene usato essenzialmente per le operazioni di creazione, importazione e esportazione delle risorse;
  • spatialite, che viene sfruttato per fare query spaziali e come uno dei formati di archiviazione e output;
  • unzip, per decomprimere il GTFS sorgente;
  • curl, per il download del file GTFS;
  • csvtk, per convertire in formato Markdown alcune delle tabelle create;
  • pandoc, per convertire il report Markdown anche in formato HTML.

E infine vengono utilizzate gli straordinari grep e sed, che sono sempre presenti in ambienti in cui è possibile lanciare uno script bash.

Usare lo script

Questa la modalità attuale di utilizzo:

  • scaricare (o clonare) il repository e decomprimere in una cartella il file zip scaricato;
  • dare allo script .sh i permessi di esecuzione;
  • aprirlo con un editor di testo e cercare la variabile URLGTFS;
  • sostituire l’URL presente con l’URL di un feed GTFS di proprio interesse (un comodo archivio di GTFS è TransitFeeds) come ad esempio quello di Madrid https://servicios.emtmadrid.es:8443/gtfs/transitemt.zip;
  • salvare e lanciare lo script via shell.

Qui sotto la replica di quanto descritto nei punti di sopra.

2016-08-23_10h31_39

Alcune note

Lo script può essere migliorato e di molto. Per questa ragione inserisco alcune importanti note:

  • lo script non fa la verifica dei requisiti software (vedi sopra), quindi se non soddisfatti andrà in errore;
  • lo script è utilizzabile al momento soltanto con i GTFS che contengono anche la tabella shapes, che è opzionale per il formato GTFS, quindi non sempre presente;
  • lo script non fa alcuna verifica di consistenza dei dati (per la quale è possibile utilizzare FeedValidator;
  • lo script crea e cancella file e cartelle nella cartella in cui viene eseguito.

Gli output

Sopra ho già fatto riferimento agli output. Nel repository oltre allo script è stata creata la cartella output_example_folder per mostrare nel concreto quali siano gli output prodotti. A seguire l’elenco dei vari output con i relativi URL, in modo da potersi fare un’idea più concreta:

  • feed_gtfs.sqlite download, ovvero il file GTFS trasformato in formato SpatiaLite, in cui le tabelle stops e routes sono state trasformate in layer spaziali;
  • routes.geojson (visualizzazione e download), il file in formato GeoJSON per le rotte;
  • routes.kml (download), file in formato KML per le rotte, visualizzabile in Google Earth (ed in altri client);
  • stops.geojson (visualizzazione e download), il file in formato GeoJSON per le fermate;
  • stops.kml (download), file in formato KML per le fermate, visualizzabile in Google Earth (ed in altri client);
  • la cartella report(visualizza), che a sua volta contiene:
    • report.md, il file con il report in formato Markdown (visualizza)
    • report.html, il file con il report in formato HTML (vista codice e rendering HTML);
    • tutte le tabelle usate per costruire i report, in formato CSV e Markdown.

Perché

GTFS, ready, set, go nasce come conseguenza di #openamat, un’iniziativa civica (ancora in corso) per chiedere a AMAT (la municipalizzata comunale di Palermo che gestisce il trasporto pubblico) di pubblicare i dati relativi ai trasporti pubblici in formato aperto ed in tempo reale.

Dopo 6 mesi senza aggiornare i dati, AMAT ha pubblicato a luglio del 2016 tre aggiornamenti di GTFS in 15 giorni e avevo bisogno di uno script per poter usare e visualizzare subito questi dati.

Lo rendo pubblico perché penso possa essere utile anche ad altri.

URL (che mi sono stati) utili


Il titolo richiama un mio vecchio post, dedicato agli insegnamenti del geografo Franco Farinelli. In effetti, a quello è proprio legato.

Il prof. Piero Dominici è un sociologo. Teoria dei sistemi e teoria della complessità sono i suoi campi d’interesse, in particolare con riferimento alle organizzazioni complesse e alle tematiche riguardanti cittadinanza, democrazia, etica pubblica. I risultati delle sue ricerche fecondano anche gli innumerevoli interventi divulgativi e d’impegno sociale, cui il nostro si applica con continuità assillante, a beneficio della crescita in noi di un atteggiamento di responsabilità (educazione e istruzione, sollecita lo studioso) nei riguardi della crescente complessità della nostra epoca. Per inciso, Dominici è socio di Stati Generali dell’Innovazione.

Nei primi giorni di agosto, sono stati pubblicati due suoi contributi, che segnalo molto volentieri. Sul Sole24Ore è disponibile un intervento a sostegno della mozione per la risoluzione Safeguarding and enhancing Europe’s Intangible Cultural Heritage e della consultazione pubblica connessa, promossa dal progetto #DiCultHer (consultazione pubblica http://diculther.today/).

Il secondo articolo, proposto su TechEconomy,  dal titolo “Dialettiche aperte: traiettorie e discontinuità della società (di massa) interconnessa/iperconnessa”, lascia intuire che la sua lettura richiederà impegno: ma ne vale la pena.

Da parecchio tempo, tenevo “in memoria” il proposito di segnalare su TANTO gli insegnamenti di questo studioso. E sarebbe rimasto probabilmente tutto nella “penna” se non fossi finito sul sito di PensieroCritico.eu, curato da Franco Mattarella, dove ho trovato la seguente mappa concettuale, che v’invito a esplorare.

La-societa-ipercomplessa-richiede-una-nuova-Comunicazione_mappa

Dominici ha coniato il termine “Società Ipercomplessa”, con cui identifica in maniera sintetica una società nella quale, rispetto al passato, prevalgono due fattori: l’Economia e un contesto storico-sociale, dominato dalla Comunicazione.

Percorrendo la mappa concettuale della Società Ipercomplessa, giungiamo al punto centrale, caro al sociologo: perché la nuova Comunicazione sostenga lo sviluppo socio-economico occorre investire in Formazione! Orientata a: Pensiero Critico, Cittadianza e Inclusione, Valutazione della Didattica, Uso di piattaforme collaborative (software open-source), Progetti di Social networking. Su questi punti, è necessario definire programmi in cui siano coinvolti: il settore Pubblico, Ricerca & Università e personale docente della Scuola.

Rimaniamo ancora sulla mappa concettuale: al tema del divario digitale, su cui per lo più focalizziamo la nostra attenzione, è affiancato il divario culturale (vedi il citato articolo del Sole24Ore), fenomeno in crescita anch’esso. A questo riguardo, Dominici raccomanda che la formulazione di nuovi programmi di Formazione, di iniziative di educazione e istruzione pensate per le sfide dell’ipercomplessità in un –ancora sconosciuto- ecosistema della connessione continua devono essere fortemente orientate al superamento della separazione tra saperi, discipline, competenze.

Vorrei avervi incuriosito e spingervi ad approfondire il lavoro di questo studioso (l’esplorazione della mappa offre molti altri punti d’ingresso). Può anche essere l’occasione per riascoltare la bella intervista di Andrea al prof. Farinelli, perché –oggi più che mai- il sapere geografico riveste un ruolo significativo per  smascherare la dicotomia “formazione umanistica vs. formazione scientifica”.

Per stare a nostro agio nella “società ipercomplessa” occorre l’appropriazione delle capacità cognitive e strumentali necessarie per utilizzare i nuovi media; l’impegno per un’alfabetizzazione digitale che dia la possibilità ai singoli, alle comunità e alle organizzazioni di partecipare in modo attivo a una società sempre più digitalizzata. Un’alfabetizzazione anche geo-digitale: con la quale però s’intenda non soltanto l’insegnamento e l’apprendimento delle conoscenze di base per l’uso delle tecnologie ma, soprattutto, l’acquisizione di una conoscenza consapevole del loro impiego nel lavoro e nella vita quotidiana, per muoverci in spazi ibridi, tra luoghi fisici e luoghi della Rete.

Tale consapevolezza, non può escludere la necessità di possedere, unitamente all’abilità nell’uso della tecnologia, anche capacità riguardanti la particolare forma dell’intelligenza, appunto spaziale, associata alla rappresentazione nella nostra mente del mondo esterno.

In altri termini, le iniziative di formazione/alfabetizzazione digitale relative all’ambito geografico devono accrescere e migliorare le capacità spaziali, approfittando delle nuove funzionalità rese disponibili dalla tecnologia. Esse devono essere orientate per accrescere sia l’abilità nell’uso competente e confidente delle mappe e la capacità di creare rappresentazioni (dati-informazione-conoscenza) cartografiche per mezzo degli strumenti che la tecnologia mette a disposizione, sia l’attitudine a pensare anche in termini spaziali quando affrontiamo situazioni e problemi nell’ambito della vita quotidiana, all’interno della società e del mondo che ci circonda.

 

 


Da settimane vedevo rimbalzare su Facebook condivisioni di post a dir poco preoccupanti, che dipingevano una costa abruzzese dalle acque putride, in cui anche solo pensare di fare il bagno sarebbe stato masochismo puro, quasi un tentativo di suicidio! Foto di topi morti in spiaggia, di fiumane marroni, cariche di non meglio specificati “fanghi tossici” e i racconti dell’amico del cugino di un amico, a cui erano spuntate le più strane eruzioni cutanee dopo aver messo un piede in acqua, si susseguivano senza sosta. Dopo un po’ stavo iniziando a notare che questi argomenti, man mano che si stava entrando nel vivo della stagione estiva, stavano migrando dal mondo virtuale dei social a quello reale, e facevano sempre più spesso capolino nei discorsi di amici e conoscenti.
Personalmente, ho sempre fatto il bagno nel mare davanti casa e, pur riconoscendo che non si tratta di un mare dalle acque cristalline, come quello che si vede nelle classiche foto che ritraggono le località turistiche della Sicilia o della Sardegna (sfido io, si parla di un tratto di costa del medio Adriatico, di natura principalmente sabbiosa!), devo dire che non ho mai contratto strane malattie riconducibili al contatto con l’acqua di mare, né sono andato a sbattere contro carogne decomposte di animali mentre nuotavo. Al massimo mi sono beccato qualche puntura da meduse e tracine, che erano sicuramente vive e vegete… e decisamente reali!
Possibile che la situazione, di colpo, sia precipitata a tal punto? Non sarà, forse, che si viene in contatto con delle “notizie” da fonti non proprio autorevoli, si sbircia superficialmente qualche fake che spunta sui social e a furia di sentir parlare di certe cose se ne dà per certa la veridicità un po’ troppo facilmente?

Così ho fatto la cosa teoricamente più ovvia del mondo: una ricerca su Google. In non più di 10 minuti ho rinvenuto, sul sito dell’Agenzia Regionale per la Tutela dell’Ambiente (ARTA), le informazioni che volevo. Tutto era riportato negli allegati della D.G.R. 148 del 10/03/2016 e in un’applicazione web della stessa ARTA, da cui era possibile scaricare i risultati delle analisi in formato Excel e PDF.
Entusiasta di questa scoperta ho subito pensato di realizzare un’applicazione di web mapping, di quelle che “mi piacciono TANTO”, per facilitare la lettura dei dati messi a disposizione dall’ARTA. Il mio entusiasmo, però, si è smorzato non poco quando ho notato che l’unico file in cui erano riportate le coordinate dei limiti dei tratti di costa analizzati e dei punti di prelievo era il PDF della D.G.R.
Storcendo un po’ il naso, l’ho scaricato, ho estratto le pagine con i dati e, dopo un paio di tentativi poco fortunati di tirarne fuori in maniera (semi)automatica qualcosa di utilizzabile con dei programmi OCR online, mi sono rassegnato a ricopiare a mano le righe che riguardavano la mia provincia (Pescara) in un file di testo che ho poi salvato in CSV. Usando questo file parziale ho creato una mappa tematica semplicissima con Google My Maps e l’ho condivisa, molto poco soddisfatto del risultato, su Facebook, dicendomi: “Meglio di niente!”. Nonostante non fossi soddisfatto a livello tecnico, l’obiettivo si poteva dire raggiunto: i risultati delle analisi dicono che l’acqua è sostanzialmente pulita, addirittura di qualità eccellente lungo gran parte della costa. Alla faccia del disfattismo e del qualunquismo da tastiera.

Discorso chiuso? Sembrava di sì, anche perché nel frattempo avevo scritto una mail all’ARTA chiedendo gli stessi dati del PDF, ma in un formato diverso, senza ricevere alcuna risposta. Come al solito, però, Andrea è stato in grado di darmi un suggerimento fondamentale:

commento

Grazie ai dati del Portale Acque, distribuiti sotto licenza CC per mezzo di una serie di servizi ReST (per quanto non sia ancora riuscito a capire fino in fondo come sono strutturati) la musica è cambiata radicalmente e, realizzando uno script in PHP per il recupero dei dati in cross origin e un client Javascript basato sull’ottimo Bootleaf, ho sviluppato una sorta di clone dell’applicazione di web mapping ufficiale, con la differenza che la mia considera i soli dati sulla costa abruzzese e che la tematizzazione della mappa non si limita a classificare le zone indagate secondo una scala di due colori (verde/rosso = aperto/chiuso) ma riprende una scala più fine che, sul Portale Acque, è espressa da un simbolo colorato visibile solo accedendo con un clic al pannello di dettaglio di ogni zona. La potete vedere all’opera cliccando qui, mentre qui trovate il repository con il codice su GitHub.


A lavoro ultimato ho pubblicato un nuovo post sui canali social e stavolta, non so se per il maggior “impatto estetico” della nuova applicazione o per la più immediata leggibilità rispetto al tentativo precedente, in poche ore ho ottenuto diversi commenti con richieste di dettagli, svariate condivisioni e sono stato anche contattato telefonicamente da una persona che mi voleva far intervistare da una sua collaboratrice per un quotidiano locale.
Insomma, mi posso ritenere soddisfatto del risultato perché probabilmente, oggi, c’è in giro qualche persona in più che, anche grazie alla mia piccola opera di divulgazione e a un po’ di sano passaparola (perché basato su dati oggettivi), sa che può andare al mare in Abruzzo e fare il bagno avendo delle buone probabilità di portare a casa la pelle.

In chiusura, mi preme sottolineare quanto sia importante rendere accessibili e divulgare nel modo più chiaro possibile dati di interesse pubblico come questi, evitando di dare respiro alle chiacchiere, al disfattismo e ai facili allarmismi, che al giorno d’oggi corrono veloci sulla rete, attecchiscono più facilmente e sono più duri da sradicare dell’erba cattiva!

 


In seguito al Kick off meeting dello scorso 1 marzo 2016 e all’accoglimento delle conclusioni da parte della Commissione UNI/CT 526 “UNINFO APNR-ICT” competente è stato costituito il gruppo di lavoro UNI/CT 526/GL 04 “Profili Professionali relativi alla informazione geografica”.
Il gruppo si dedicherà all’elaborazione del progetto di norma E14.D0.003.7 “Attività professionali non regolamentate – Profili professionali per l’ICT – Parte X: Profili professionali relativi alla informazione geografica” che ha superato con esito positivo la fase di Inchiesta Pubblica Preliminare UNI.

In attesa che il gdl inizi a operare, pensiamo utile raccogliere dalla comunità geomatica in Rete indicazioni sulle figure professionali che il gdl dovrebbe prendere in considerazione, oltre al GIM, e in generale, suggerimenti in tema di professioni della Geographic Information.

Per questo, abbiamo preparato un secondo questionario.

Ringraziamo in anticipo chi vorrà lasciare un contributo.

(Questo articolo è stato pubblicato originariamente su http://big-gim.it).

Tag: big-gim


TANTO non rappresenta una testata giornalistica ai sensi della legge n. 62 del 7.03.2001, in quanto non viene aggiornato con una precisa e determinata periodicita'. Pertanto, in alcun modo puo' considerarsi un prodotto editoriale.