Introduzione

Anni fa ho creato un aggregatore di feed RSS, con l’obiettivo di raccogliere le notizie provenienti dai blog italiani a tema GIS. L’ho fatto come “utilizzatore finale” (giuro che non è satira politica), per avere una fonte unica – e in particolare un solo feed RSS – da cui leggere notizie a tema. Gli associai anche un nome di fantasia: Blog GIS Italia.
Successivamente, quando TANTO era ancora un blog monoautore, l’ho inserito nel flusso di notizie di una delle colonne laterali del blog, e nel tempo ne ho curato (malamente) la manutenzione, l’aggiornamento del “motore” e quello delle fonti.

La sua ultima versione – che con un tocco di presunzione avevo classificato come “0.3” – era basata su Yahoo! Pipes e ne sfruttava pochissime funzioni (soltanto un po’ di regex sul titolo delle sorgenti degli RSS).

E’ uno strumento che mi è sempre stato utile, su cui desideravo investire un po’ di nuove risorse e dare finalmente vita alla versione “0.4”. Il momento è arrivato e nasce oggi, come progetto della redazione di TANTO, “Planet GIS Italia 0.4” (ebbene sì un nome un po’ diverso).

Planet GIS Italia 0.4

E’ una finestra sul mondo delle tecnologie e della cultura geospaziali, un punto di accesso e di scoperta centralizzato. Nulla di nuovo.

Esistono infatti già diversi aggregatori legati al mondo dei GIS. Tre esempi noti:

1. Planet OSGeo, is a window into the world, work and lives of OSGeo members, hackers and contributors;
2. Planet Geospatial, is a window into the world of geospatial technology;
3. geoblogger.eu, is a feed aggregator of European geo-blogs and should serve as index and leverage networking for geo-minded people in that region.

Il nome è cambiato perché sono cambiati i criteri di selezione: ci sembrava riduttivo quello di aggregare “soltanto” le notizie/post/articoli provenienti dal mondo dei blog. Sono la fonte principale, ma non sono l’unica, né sempre la più ricca.
Ogni aggregatore sottostà a dei criteri di selezione, e quello principale di Planet GIS Italia (da qui in poi PGI) è “spaziale”: i contributi raccolti vengono dal nostro Paese (non sempre in senso stretto). Un altro criterio è ovviamente quello tematico.
Il risultato è un sito snello, un piccolo “televideo” tematico, che per scelta editoriale non ingloba interamente i post originali, ma soltanto una piccola parte.

Una piccola/grande novità di questo aggregatore, che lo differenzia ad esempio dai tre famosi di cui sopra, è il suo essere “geografico” non soltanto per i temi trattati, ma anche nel suo “cuore”. Infatti sugli elementi dei feed RSS sorgenti viene eseguita una procedura di geoparsing, con l’obiettivo di estrarre le informazioni spaziali eventualmente presenti in essi. Si tratta essenzialmente di una “caccia al
toponimo” che (se va a buon fine) consente di arricchire il dato originale con un’informazione che inizialmente (quasi sempre) non era presente: la posizione sulla Terra.

Uno degli output è ovviamente una mappa, in cui vengono raccolti – ed eventualmente aggregati in cluster – gli elementi archiviati in PGI.

Non crediamo però che l’elemento geografico sia il più importante. Ci piace infatti pensare che questo spazio possa essere soprattutto una fonte di scoperta e un ponte tra persone, esperienze e professionalità. Nel lavoro di redazione, nel raccogliere e proporre gli elementi da aggregare qui, noi stessi abbiamo letto per la prima volta dell’esistenza di alcuni siti, abbiamo appreso nuovi concetti e siamo entrati in contatto con delle belle persone.

Come funziona Planet GIS Italia

Planet GIS Italia è basato su MANAGING NEWS, un motore open source per l’aggregazione di notizie con le seguenti caratteristiche di base:

• Aggrega da sorgenti RSS/Atom a scelta
• Mostra le notizie come lista o su una mappa
• Consente di eseguire delle ricerche
• Da la possibilità di raggruppare le notizie in canali
• Esegue il geotagging delle notizie
• Espone i contenuti raccolti via RSS (e GeoRSS)
• Consente di condividere i contenuti su Facebook, Twitter o per email

Managing News è un prodotto (da febbraio del 2011) di Phase2 Technology, basato a sua volta su una personalizzazione di alto livello di Drupal 6, con alle spalle moduli che ci piacciono tanto, tra i quali OpenLayers. Il gruppo che ha originariamente sviluppato il prodotto è quello (fantastico) di Development Seed (per inciso una delle più belle homepage di tutti i tempi), e se ne ha evidenza nell’uso di MapBox come layer di base dell’interfaccia cartografica.

Il servizio di geoparsing è basato su Yahoo! Placemaker, un servizio che consente di sviluppare applicazioni location-aware, identificando i luoghi presenti in contenuti non strutturati (feed, pagine web, news, aggiornamenti di stato, ecc.) e restituendo i metadati geografici correlati.
Ad ogni luogo individuato viene associato un identificatore univoco WOEID (Where On Earth Identifiers), un tipo (una categorizzazione di base, per definire ad esempio se il luogo è una città o uno stato), un nome “formale” ed una coppia di coordinate.

Immaginiamo ad esempio che su su Planet GIS Italia venga raccolto il seguente contributo:

“Opendata, donazioni, Baviera: conti e racconti”

Il motore di PGI lo invia a Yahoo! Placemaker che lo processa e gli restituisce (se viene individuato un luogo) queste informazioni:

• woeId : 2345482 → gli associa un ID
• type : State → lo classifica
• name : Bavaria, DE → gli associa un nome formale
• centroid → ne restituisce la posizione del centroide

• latitude : 48.9172
• longitude : 11.408

Questo è l’output completo che viene restituito. Se volete “giocarci” un po’, lo strumento più comodo e didattico è sicuramente la console YQL. Da questo link potrete aprirla precaricata con una query sintatticamente corretta e basata sulla stringa di sopra (una volta aperta la pagina, dovrete fare click sul tasto “TEST” che si trova sotto la query).

Se il processing geografico restituisce valori, questi vengono associati agli elementi dei feed in due modalità principali:

• l’associazione di un tag con il nome del/i toponimo/i individuati (vedi immagine sottostante)
• l’associazione di una (o più) coppia di coordinate in modo da poter rappresentare la notizia su una mappa

Le notizie per le quali non è individuato un luogo vengono inserite comunque nel sito, ma non potranno essere mappate. Se le fonti originarie contengono però nativamente delle informazioni geografiche in forma di GeoRSS, queste vengono utilizzate automaticamente per posizionare la notizia sulla mappa, anche nel caso in cui il geoprocessing non abbia prodotto risultati.

Con in nomi dei luoghi e con le lingue le cose però non sono così facili. Perché c’è Prato e anche prato. Grazie a PGI ho scoperto anche che c’è una destinazione di viaggio a Hong Kong che da molto fastidio all’analisi dei testi italiani: “Che Ha”. Ma mi fermo perché il tema è molto specialistico, ed è necessaria un’altra penna e un altro post.

Per familiarizzare con l’interfaccia del sito abbiamo preparato una breve videoguida, che ne illustra le caratteristiche principali.

Sui feed

Se fai una indagine su tre classi dell’ultimo anno delle superiori, su 70 studenti di 18 anni nessuno sa cos’è Google Reader, 2 si informano in rete sui siti dei grandi giornali, e 70, cioé tutti usano Facebook.[1]

Un po’ tutti noi di TANTO siamo Feed RSS/Atom dipendenti. Se ne può “fare uso” nelle modalità più svariate, e l’elenco delle ricette che trovate sul meraviglioso ifttt ne è una prova. Purtroppo sono forse ancora visti (e utilizzati) come strumento di nicchia, mentre dovrebbero essere quasi per definizione uno strumento “pop”.

Anche i colossi dell’informatica ci mettono lo zampino, e in browser come Mozilla Firefox e Google Chrome il tasto per iscriversi ad un feed non fa parte della dotazione standard, ma è attivabile soltanto tramite un’estensione.

Un po’ di cura dovremmo mettercela anche noi che creiamo e diffondiamo RSS: i feed di TANTO ad esempio non superano ancora la validazione W3C. Costruendo questo spazio ho constatato anche che alcuni grossi siti del settore pubblicano i loro RSS con un corredo povero di informazioni (senza alcun tag e/o categorie).

Sorpresa e serendipità

If we’re going to encourage more innovation, it’s not enough for us to just dig in and work harder. We also need to encourage surprise and serendipity. We need to play each other’s instruments.[2]

Due delle emozioni tipiche nella quotidiana lettura dei feed RSS/Atom, sono per noi della redazione di TANTO lo spunto per farvi e farci dei grandi auguri per l’anno che verrà. Sorpresa e serendipità non bastano da soli a rendere un anno migliore di un altro, ma possono essere una delle scintille per fare partire quelle reazioni a catena che nel 2011 non si sono innescate.

Buon anno a tutti!

L'articolo Auguri da un nuovo pianeta è apparso originariamente su TANTO. Rispettane le condizioni di licenza.

Unce upon a time there was a hot summer and dark room. And there was a lazy nerdy Sunday morning. I remember quite well that weekend.

The time was up to try to develop something on Android. In the past I had tried to develop applications on Zaurus, on Dell Axim, on some Nokia smartphone, but the results had been disappointing every time. There had to be something easier, where one could throw his ideas and make simple applications out of it… in one weekend.

The nerdy Sunday, wakeup call at 6, checking emails with coffe’ and cookies, seemed to be inspiring. A couple of days before an email had arrived about a new book, available in “review-reading” mode as pdf version: Unlocking Android, a developer’s guide by Ableson et alter. I decided to give it a possibility.

Well, I found the book so easy to read through, that I gave the first application a try. I really wanted to create a lightweight application that would help out in field surveys and would have those features, that the tablet pc field mapping application didn’t have. Above all the possibility to record the orientation of the pictures taken during the survey, so that they would show the direction of the snapshot when imported on a map. And I really liked the idea of having a mapping device always in my pocket. The motto has always been: “Gather as much information as you can. Always. The GIS will then help you to sort it out.”

That Sunday experiment went way better than I had ever hoped, by the evening I had great satisfaction with my simple, new and most of all GPS logging application. It was already able to take text notes and track lines. I got really excited about the possibilities to create a small version of BeeGIS… well, at that point I knew the time was up for Geopaparazzi.

From that moment on things went quite smooth. We started developing a simple OpenStreetMap based view, we created an import tool for Geopaparazzi in BeeGIS. We were using it in our daily job, and that was simply awesome. As we usually do at HydroloGIS we open sourced the application and published it on the market, in the hope that people would buy it and through that act support our other open source projects: JGrasstools, JGrass, BeeGIS and uDig.

The first Geopaparazzi

The thing we were most proud of, was that it would handle shooting direction:

The compass tracks the picture shooting direction, when the user keeps the phone in "taking picture" mode.

which, once imported into BeeGIS, would result in geonotes containing the picture and showing through a small arrow the direction in which the photo had been taken:

Geopaparazzi survey data imported into BeeGIS. The small arrows show the direction of the snapshot, the note itself contains the image.

As time passes by and as open source software works, one starts to exploit components other teams are specialized in.

So at some point Geopaparazzi decided to remove the compass view to present the much more user friendly dashboard. The android system makes it very easy to call views from other applications. geopaparazzi therefore chose to present a compass button that calls the compass view from the Status GPS project, which is freely available in the market.

The Status GPS compass view

At that point Geopaparazzi 2 was released, which brought a new, more userfriendly dashboard view:

The main view of Geopaparazzi 2

From the beginning Geopaparazzi only wanted to deal with data collection, which is why with the time the possibilities to describe the data to collect were enhanced. The new form based tags were introduces, through which it is possible to describe the data structure as forms that appear as tag buttons:

The form file description is loaded as a set of buttons that call the actual form

Once the button is pushed, the form is generated from a user created description:

A form, generated on the fly from a user defined text

Geopaparazzi 2 also brought the integration with the osmdroid project, a project that supplies a map view that caches OSM map tiles that can be accessed also in offline mode. This gave the possibility to enhance a bit the usability of the map view, also adding the bookmarks facility:

The osmdroid based map view, with Geopaparazzi's measure tool, bookmarks and notes tools

That more or less brings us to where we are now. Some interest has grown around Geopaparazzi and that makes us very happy.

The  Osaka Water General Service together with the Osaka University has adapted it to use it for the collection of information about water-supply infrastructure to promote post-disaster recovery for water supply under the guidance of Venkatesh Raghavan.

The Japanese localized Geopaparazzi adaption used in the Disaster Management Information System of the city of Osaka

We worked on a customized version of Geopaparazzi to keep waste management information uptodate. Through the trashmapper it is possible to sample and update information out in the field and then syncronize the data with a central database/webgis.

Since in this project the new generation tablets are being used, we got to tweak it for better user experience on tablet screens:

The TrashMapper application that helps collecting data about waste management

Arrived to that point, it was about time to move to the next level. Geopaparazzi has always been a free and open source application. It was sold in the android market but the code has always been accessible. What we want to achieve now that it is a stable product, is to attract some developers to cooperate on the project and enhance its functionalities. That is why from today on Geopaparazzi can be found in the market for free. From today on it is not only free as in speech, but also as in beer.

A few final considerations: the new generation tablets are more or less like pcs and maybe the idea to avoid too much mapping capabilities in Geopaparazzi might be a decision that it is time to review. Maybe instead it is time Geopaparazzi starts to slowly take over the job of old and heavy BeeGIS, with new data and connectivity functionalties and mapping capabilities. The doors are open, even if the main paradigma has to be kept strickt in mind: the tools needs to stay as simple and usable as possible. If you are interested to contribute, feel free to stop by at our mailinglist and have a chat with us. If you want to try it out, simply access the market and search for geopaparazzi.

L'articolo Geopaparazzi, history of a digital mapping kid è apparso originariamente su TANTO. Rispettane le condizioni di licenza.

In un dopocena di un po’ di tempo fa, speso in letture web su python e gdal, ho “guardato” un po’ dentro l’archivio di Google code, ed in particolare tra i progetti etichettati con “gdal”. Sono soltanto 17 e tra questi l’occhio mi è “caduto” su MetaGETA: Metadata Gathering, Extraction and Transformation Application.
Si tratta di un’applicazione scritta in python, per estrarre e raccogliere metadati da dataset raster spaziali, in uno di questi formati:

• Generic  format (che legge tutti i formati “classici” di GDAL, incluso GDAL Virtual Raster)
• EO1 ALI (L1G & L1R) e Hyperion (L1R)
• ACRES ALOS AVNIR-2/PRISM/PALSAR
• ASTER
• ACRES Landsat CCRS/SPOT 1-4
• Digital Globe
• ECW
• ECWP
• ENVI
• ESRI Bil
• ESRI GRIDs
• ACRES Landsat FastL7A
• JPEG2000
• Landsat geotiff
• NetCDF
• NITF
• SPOT 1-4
• SPOT DIMAP

La scelta è molto ampia, con formati “generici” ed altri “specializzati” tipici del mondo del remote sensing. L’architettura a plugin dell’applicazione consente comunque di aggiungere facilmente nuovi driver di lettura di metadati.

E’ uno strumento di grande utilità, perché l’estrazione di metadati strutturati consente di conoscere meglio le proprie basi dati e di dargli quindi più valore.

Si tratta di un software opensource multipiattaforma, installabile da codice sorgente e nel caso di Windows anche tramite un installer. Io ho testato soltanto quest’ultima versione.
Il lancio si esegue (anche) da riga di comando con questa sintassi tipo:

>runcrawler.bat/sh arguments

Se non vengono forniti argomenti sufficienti, si aprirà la finestra di dialogo sottostante, in cui è possibile scegliere il percorso da analizzare, quello del file di output del processo, ed altre opzioni (tra cui quella di cercare anche nelle sottocartelle).

L'articolo MetaGETA: per estrarre, raccogliere, e trasformare metadati da dataset raster è apparso originariamente su TANTO. Rispettane le condizioni di licenza.

Tim Sutton ha da poco annunciato che è stato rilasciato ufficialmente QGIS 1.7.0 – Wroclaw e le novità sono veramente tante.

Alcune sono legate all’infrastruttura del progetto:

• un nuovo sito per gli sviluppatori per la pubblicazione dei loro plugin, http://plugins.qgis.org/
• un nuovo sito per condividere snippet di codice (sia in C++ che in Python), http://snippets.qgis.org/
• nuova mappa online degli utenti QGIS, http://users.qgis.org/
• nuovo planet QGIS, http://planet.qgis.org/
• migrazione del bug tracker da trac aredmine, http://hub.qgis.org/
• migrazione del repository del codice sorgente da quello SVN ospitato da OSGEO ad uno GIT su GITHub, http://github.com/qgis/Quantum-GIS

Queste invece alcune delle novità software:

• Simbologia
  • il nuovo gestore della simbologia – già presente nella versione precedente – è diventato quello di default
  • import ed export degli stili
  • elementi lineari
    • è possibile inserire un simbolo nel punto centrale di una linea
    • è possibile inserire un simbolo sul primo e sull’ultimo nodo di una linea
    • è possibile inserire un simbolo in ogni vertice di unalinea
  • elementi poligonali
    • rotazione dei riempimenti svg
    • aggiunta la possibilità di inserire un simbolo in corrispondenza del centroide di un poligono
  • etichette
  • è possibile impostare la distanza in unità di mappa
  • inserito uno strumento per muovere/ruotare/cambiare interattivamente le etichette
• Nuovi strumenti
  • aggiunta un’interfaccia per gdaldem
  • aggiunte nuove funzioni nel field calculator, $x $y e$perimeter
  • aggiunto lo strumento “Lines to polygons” nel menu Vector
  • aggiunto lo strumento “Voronoi polygon” nel menu Vector
• Interfaccia
  • zoom ad un gruppo di layer
  • “Suggerimento del giorno” all’avvio (si può disabilitare)
  • migliore organizzazione dei menu, e nuovo menu database
  • possibilità di mostrare in legenda il numero di feature per ogni classe (si attiva con il tasto destro del mouse)
  • migliorata usabilità e “pulizia”
• Gestione CRS
  • visualizzazione del CRS attivo nella barra di stato
  • possibilità di assegnare il CRS  dal menu contestuale in legenda
  • possibilità di impostare il CRS di default per i nuovi progetti
• Raster
  • aggiunti gli operatore AND e OR nel raster calculator
  • riproiezione al volo
  • inserita un barra degli strumenti, con pulsanti per calcolo dell’istogramma e funzioni di stretch
• Gestione e provider dati
  • supporto per Join tra tabelle
  • nuovo provider vettoriale SQLAnywhere
  • supporto per la ricerca di valori NULL nella tabella degli attributi
  • miglioramenti nella modifica e nella gestione degli attributi
  • possibilità (opzionale) di inserire gli attributi della feature precedente all’inserimento di una nuova
  • stringa di rappresentazione dei Null value configurabile
  • possibilità di unire/assegnare valori di campi ad un insieme di feature
  • possibilità di salvare (tramite OGR) oggetti geometrici senza attributi associati (i.e. DGN/DXF)
• QGIS Server
  • possibilità di specificare le Capabilities WMS nella finestra Proprietà Progetto
  • supporto per stampa WMS tramite GetPrint-Request
• Plugin
  • supporto per l’utilizzo di icone nella finestra di dialogo di gestione dei plugin
  • rimosso plugin “quickprint” (usare in sostituzione il plugin easyprint scaricabile dal catalogo)
  • rimosso plugin “ogr convertor” (usare in sostituzione “save as” dal menu contestuale)
• Stampa
  • supporto per Undo/Redo nel gestore di stampa

Io l’ho appena installato ed il primo impatto è molto buono. Feature come il supporto per il Join, la riproiezione al volo dei file raster e le migliorie legate alla simbologia mettono da subito di buon umore. Nel ringraziare tutti quelli che hanno contributo al progetto, ricordo (anche a me stesso) che QGIS è basato sul volontariato; una donazione, anche minima, si può fare da qui.

___

L'articolo Appena rilasciata la nuova versione di QGIS (1.7.0 Wroclaw) è apparso originariamente su TANTO. Rispettane le condizioni di licenza.

Python (http://python.org) è un linguaggio di programmazione di alto livello, adatto ai più svariati obiettivi di programmazione. Viene usato per applicazioni web e desktop, giochi, programmazione scientifica, utility e anche per porzioni di sistemi operativi.
Anche chi ha la necessità di sviluppare delle applicazioni in grado di leggere, scrivere, analizzare ed elaborare dati ed informazioni spaziali, troverà in Python un compagno di viaggio piacevole, eclettico e ricco di pregi. Chi lavora in questo contesto e segue il mondo della programmazione, sa che si tratta di un linguaggio che sta diventando tra i più diffusi, sia nel mondo proprietario che in quello open-source, con a disposizione numerose librerie ad hoc.
Anche per questo, penso sia arrivato il momento (anzi mi sento in grande ritardo) di scrivere un post che fornisca gli strumenti per iniziare a “sporcarsi le mani”.
In linea teorica è possibile scrivere da zero codice Python che consenta di manipolare dati spaziali. Per fortuna esiste – tra le tante librerie disponibili –  il binding Python di GDAL/OGR; per iniziare è molto più comodo appoggiarsi sulle spalle di questo gigante.
Due annotazioni prima di passare agli aspetti pratici:

• questo post consentirà di configurare Python e GDAL/OGR in ambiente Windows. Confido in qualche collega della redazione per scrivere le istruzioni utili per altri sistemi operativi
• verrà descritta una delle tante modalità possibili per configurare l’ambiente

Procedura

Installare GDAL per Python su Windows è un processo semplice, che può essere portato fino in fondo, seguendo la seguente procedura:

• Scaricare l’installer di Python dal sito ufficiale – http://www.python.org/download/ – ed installarlo. E’ possibile scaricare diverse release; noi abbiamo effettuato i nostri test con gli installer della 2.6.x
• Installare GDAL/OGR per Windows
  • Scaricarlo da http://download.osgeo.org/gdal/win32/. Abbiamo utilizzato il file “gdalwin32exe160.zip” che si trova nella cartella “1.6”.
  • Decomprimere questo file in una cartella del vostro PC. L’abbiamo estratta in C:\ ed abbiamo quindi creato la cartella C:\gdalwin32-1.6.
  • Aggiungere la cartella di GDAL che contiene gli eseguibili (“C:\gdalwin32-1.6\bin” nel nostro caso) alla variabile di ambiente  “Path”.
    • Aprire il “Pannello di controllo” di Windows
    • Fare click su Sistema (se usate la visualizzazione per categorie, “Prestazioni e manutenzione” e poi “Sistema”).
    • Fare click su Avanzate
    • Fare click su “Variabili d’ambiente”.
    • Cercare la voce “Path” tra le “Variabili di sistema” e cliccare su Modifica.
    • Fare click sulla cella “Valore variabile”, andare in fondo alla riga, aggiungere un “;” ed inserire il percorso completo della cartella “bin” della vostra installazione di GDAL (C:\gdalwin32-1.6\bin nel nostro caso).
    • Fare Click su OK.
      
  • Aggiungere “GDAL_DATA” come nuova variabile d’ambiente.
    • Fare click su “Nuovo” nella finestra “Variabili d’ambiente”.
    • Inserire “GDAL_DATA” nel campo “Nome variabile”.
    • Inserire il percorso completo della cartella data di GDAL nel campo “Valore variabile” (nel nostro caso “C:\gdalwin32-1.6\data”).
    • Fare click su “OK”. Aggiungeremo più avanti altre variabili d’ambiente, quindi potete tenere aperta questa finestra di dialogo.
      

• Installare PROJ.4 per Windows. E’ un pacchetto necessario per potere gestire le proiezioni ed i sistemi di coordinate.
  • Scaricare PROJ.4 da http://download.osgeo.org/proj/. Il file binario per Windows – proj446_win32_bin.zip – non è aggiornatissimo, ma non è un problema.
  • Decomprimere questo file in una cartella del vostro PC, ad esempio in “C:\proj”.
  • Aggiungere la cartella “bin” di PROJ.4 (“C:\proj\bin” nel nostro caso) alla variabile di ambiente “Path”. Per farlo dovete seguire gli stessi passi visti sopra per la cartella “bin” di GDAL, ed aggiungere stavolta “C:\proj\bin”.
  • Aggiungere “PROJ_LIB” come nuova variabile d’ambiente. Dovete seguire le stesse istruzioni usate per la variabile “GDAL_DATA”, ma il nome della variabile è stavolta “PROJ_LIB”, ed il valore è il percorso completo della cartella “nad” contenuta in  PROJ.4 (C:\proj\nad nel nostro caso).
  • Copiare il file “proj.dll” dalla cartella “bin” di PROJ.4 alla cartella bin di GDAL. Nel nostro caso da “C:\proj\bin\” a “C:\gdalwin32-1.6\bin\”.
• Installare il binding per Python di GDAL
  • Scaricare la versione appropriata alla vostra release di Python da http://pypi.python.org/simple/GDAL/.  Il file più aggiornato, compatibile con la versione 2.6.X di Python, è “GDAL-1.6.1.win32-py2.6.exe”.
  • Fare doppio click sul file, e completare la procedura di installazione
• Riavviare il sistema.

Al riavvio avrete a disposizione un sistema in cui sarà possibile scrivere codice SPAZIALE (nel senso di bel codice  ).

Ciao mondo

Il codice sottostante lo potrete usare come test “Ciao Mondo”, e verificare la procedura seguita.

# importazione dei moduli
import sys
try:
  from osgeo import ogr
except:
  import ogr
	
# apertura di uno shapefile in lettura
driver = ogr.GetDriverByName('ESRI Shapefile')
fn = 'C:/nomefile.shp'
dataSource = driver.Open(fn, 0)
	
# verifica dell'esistenza del file
if dataSource is None:
  print 'Il file ' + fn + ' non esiste'
  sys.exit(1)
	
# accesso al layer
layer = dataSource.GetLayer()
	
# conteggio delle feature
numFeatures = layer.GetFeatureCount()
print 'Numero di feature: ' + str(numFeatures)
	
# estensione del layer
extent = layer.GetExtent()
print 'Estensione:', extent
print 'Coordinate vertice in alto a sinistra:', extent[0], extent[3]
print 'Coordinate vertice in basso a destra:', extent[1], extent[2]

L’output sarà qualcosa di simile a quanto riportato sotto:

Numero di feature: 33
Estensione: (280151.67957063887, 294843.14350770513, 4210159.3865045626, 4220843.5284850718)
Coordinate vertice in alto a sinistra: 280151.679571 4220843.52849
Coordinate vertice in basso a destra: 294843.143508 4210159.3865

Buone letture

La procedura descritta in questo post è quasi una traduzione dell’eccellente documento scritto da Chris Garrard: “Installing GDAL manually”. Il dott. Garrard cura un corso denominato “Geoprocessing with Python using Open Source GIS“, di cui trovate online il materiale didattico (slide, esercizi e codice); è stato per me illuminante per fare i primi passi e consiglio a tutti i novizi di leggerlo: ASSOLUTAMENTE DA NON PERDERE (si, sto urlando).
Per chi non ha mai scritto codice Python, e non ne ha alcuna conoscenza, la pietra miliare è (per me) “Pensare da informatico“.

Buoni propositi

Il desiderio mio (e credo dei colleghi della redazione) è quello di non lasciare questo post da solo. Nel 2011 vorrei mettergli accanto dei fratellini; non saranno magari dei ricchi tutorial, ma la coppia GIS & Python sarà uno dei temi che terremo sotto osservazione e di cui daremo nota nel blog e/o soltanto nei canali Twitter e Facebook.

Buona scrittura

L'articolo Python e GIS con GDAL/OGR: configurare l’ambiente di lavoro su windows è apparso originariamente su TANTO. Rispettane le condizioni di licenza.

Il processo di liberazione dei dati pubblici procede abbastanza lentamente in Italia, nonostante le prime lodevoli iniziative in tal senso (dati.piemonte.it, CKAN Italiano, Linked Open Camera), mentre in altri Paesi (USA e UK in primis) si tratta di un fenomeno già ampiamente consolidato, tanto da rivoluzionare radicalmente il tradizionale modo di intendere il rapporto tra cittadini e Pubblica Amministrazione. Si veda, ad esempio, il portale Challenge.gov, dove i vari dipartimenti esecutivi ed agenzie federali americani lanciano delle vere e proprie sfide ai cittadini sulle questioni più disparate, che vanno dall’ambiente alla sanità, dall’economia alla tecnologia, a fronte della risoluzione delle quali sono previsti premi di natura economica.

Challenge.gov is a place where the public and government can solve problems together.

Il clamoroso ritardo del Belpaese in materia di Open Data è imputabile a diversi fattori. Da un lato, persiste di fatto l’assenza di una forte e concreta volontà politica di innescare tale processo in tempi brevi. Dall’altro, tuttavia, si comincia a registrare una graduale presa di coscienza del notevole impatto positivo che la liberazione dei dati prodotti dalla PA è potenzialmente in grado di produrre in termini di trasparenza dell’azione amministrativa e, al tempo stesso, come valida opportunità di sviluppo economico nei vari settori dell’IT. Ampio merito va dato alla Regione Piemonte, che con il suo portale dati.piemonte.it, rappresenta finora l’unica PA italiana che, pur non essendo obbligata a farlo (come argomenta Gerlando Gibilaro in un suo recente post su InDiritto), ha predisposto un banco di prova utile per mostrare effettivamente cosa si può fare con i dati grezzi e qual è il loro potenziale intrinseco ancora tutto da esplorare. A tal proposito, recentemente il portale si è arricchito di un’ulteriore sezione dedicata ai casi d’uso dei dati finora rilasciati, ancora piuttosto limitati in numero, ma non per molto visto che i tempi sono più che maturi…

Infatti, dopo essere rimasti a guardare a lungo cosa accadeva oltremanica o oltreoceano, è giunto finalmente il momento di tradurre questa opportunità in azione! Pertanto, al di là delle etichette, civic hacker, hacktivisti o civil servant di tutta Italia mettiamoci anche noi in gioco, “sporchiamoci” le mani con gli open data e affrontiamo la nostra sfida per l’innovazione e lo sviluppo. Ne va di mezzo anche la reputazione del nostro estro creativo che, da sempre, ci invidia tutto il mondo!

Gli open data piemontesi sul turismo…

All’esordio di dati.piemonte.it, i primi dataset resi disponibili non erano caratterizzati da forte connotazione geografica. Oggi, invece, grazie al recente rilascio dei dati relativi al settore del turismo, è possibile cominciare a ragionare in termini di localizzazione di attività produttive, nella fattispecie di strutture ricettive, e di rappresentazione all’interno di un’applicazione di web mapping, utilizzando un approccio maggiormente legato al territorio rispetto a quello prettamente illustrativo adottato in questo post. Nel dettaglio, sto riferendomi ai dati “Anagrafica esercizi – ricettività”, contenenti l’elenco delle quasi 5000 strutture ricettive piemontesi censite nel 2009, per ognuna delle quali è fornito l’indirizzo (via e comune), alcuni recapiti, la tipologia, l’eventuale qualifica (numero di stelle) e alcuni indicatori di capacità ricettiva (numero di camere, letti e bagni).

Data cleansing e faceted navigation…

Scaricati i dati di interesse, questi si presentano come un file di estensione .7z comprendente, a sua volta, due file .csv, di cui uno contenente i dati veri e propri e l’altro dei metadati. Fin qui tutto ok! Aprendo entrambi i file, tuttavia è possibile notare delle strane sequenze di caratteri (es. +AC0-, +AC1-, +Aog-, …): esse rappresentano la codifica di alcuni caratteri speciali (es. lettere accentate) derivanti dalla conversione dei dati grezzi nel formato CSV a partire dalla sorgente di dati originaria… Emerge chiaramente la necessità di dover ripulire questi dati e, piuttosto che utilizzare un comune editor di testo o un foglio di calcolo, ne ho approfittato per testare Google Refine (ex Freebase Gridworks), software con cui avevo visto fare cose davvero strabilianti in queste screencast.

Si tratta, infatti, di un potente strumento per ripulire i dati grezzi (data cleansing), in grado di renderli consistenti, collegarli a basi di dati esterne come Freebase, aggregarli con dati provenienti da altre fonti, convertirli nei formati necessari da utilizzare in altri strumenti e contribuire ad alimentare, a loro volta, altre fonti di dati. Ma non è finita qui… Pur essendo utilizzato all’interno di un browser, Google Refine non è un servizio web, ma un’applicazione desktop eseguibile sul proprio computer che consente ampia libertà nel flusso di lavoro, prevede un meccanismo di “undo/redo” persistente (anche in caso di crash della macchina!) e supporta diverse modalità avanzate di ricerca e di filtraggio dei dati mediante facet (faccette). In particolare, la “faceted navigation“ (“navigazione guidata” o “ricerca a faccette“) è quel metodo di ricerca incrementale per parole chiavi, molto utilizzato ad es. nei portali di e-commerce, che guida l’utente in tempo reale verso le informazioni ricercate attraverso una serie di piccoli e semplici passaggi, garantendogli ampia libertà di scelta.
I dati sono stati quindi ripuliti dai vari refusi presenti, effettuando operazioni di sostituzione in maniera batch (in caso di errore, come accennavo prima, esiste fortunatamente la possibilità di annullare le modifiche) e controllando, infine, la congruenza dei risultati ottenuti tramite le comode facet e i filtri di testo. I dati così ottenuti sono stati quindi esportati in formato CSV ed, infine, importati e pubblicati in un Google Spreadsheet.

Un problema di geocoding…

Occupandomi di sistemi informativi geografici, il mio interesse nei confronti di questo dataset è scaturito dal fatto che ogni struttura ricettiva è dotata di indirizzo (non solo il comune o la provincia di appartenenza) e che quindi, ai fini della sua rappresentazione su mappa, si presta bene ad essere risolto come un classico problema di geocoding, ovvero di determinazione delle coordinate geografiche (latitudine e longitudine) a partire dagli indirizzi dei punti di interesse (POI). A tal fine, esistono diversi servizi web (geocoder), liberi o proprietari, caratterizzati da diverso grado di copertura, accuratezza ed eventuali restrizioni d’uso, che si occupano di convertire gli indirizzi in coordinate.
Dovendo effettuare tale operazione per migliaia di indirizzi e desiderando automatizzare il processo, ho scelto di utilizzare questo servizio di Google, che consiste in una procedura guidata per la generazione batch dei valori di latitudine e longitudine a partire da un Google spreadsheet, contenente almeno due attributi: un identificatore univoco e l’indirizzo dei punti di interesse. Effettuato il geocoding e verificato che questo sia andato a buon fine, l’accuratezza dell’operazione dipenderà fortemente dalla qualità e soprattutto dal grado di capillarità degli indirizzi che diamo in pasto al geocoder. Per intenderci, mentre nei centri urbani sarà possibile individuare con buona approssimazione le coordinate dei numeri civici, d’altro canto risulterà alquanto improbabile determinare la posizione accurata di un rifugio alpino!
A valle di questa operazione, ho esportato gli identificativi e le coordinate così ottenute all’interno di un foglio di calcolo sul mio pc, manipolandole in funzione del particolare formato richiesto dal framework che mi accingevo ad utilizzare. Successivamente, ho collegato le coordinate alla tabella dei dati originari sfruttando l’identificativo univoco come attributo comune ed ho quindi nuovamente esportato e pubblicato i dati in Google Spreadsheet.

Il framework utilizzato…

Una volta sistemati i dati, il passo successivo consiste nella progettazione e nell’implementazione dell’applicazione web da utilizzare per la loro rappresentazione. A tal proposito, la scelta fin da subito è ricaduta sullo strepitoso SIMILE Exhibit, un framework per la pubblicazione di pagine web caratterizzate da una forte interazione con i dati, che utilizza funzionalità di ricerca e di filtraggio basate ancora una volta sul concetto di “faceted navigation” e che consente di riprodurre agevolmente visualizzazioni interattive dei dati sotto forma di tabelle, thumbnail, mappe, grafici e timeline (come ad esempio ci aveva mostrato Andrea Borruso nel suo post scritto a seguito del terremoto in Abruzzo), senza richiedere il setup di database e di altre tecnologie server-side, nè tanto meno il possesso di skill avanzati di programmazione.
In particolare, il formato di dati che SIMILE Exhibit accetta in ingresso è JSON se la sorgente di dati risiede sullo stesso server dell’applicazione, JSONP negli altri casi. Tra le varie alternative a disposizione, è possibile importare dati da un Google spreadsheet, seguendo queste indicazioni.
Pertanto, dopo aver letto un po’ di documentazione e spulciato il codice di alcuni esempi, ho provato a caricarci sopra l’intero dataset delle strutture ricettive piemontesi. Ahimè… mi sono scontrato con le uniche effettive controindicazioni all’utilizzo di queste API JavaScript, ovvero la limitazione della memoria cache dei browser in cui sono temporaneamente immagazzinati i dati e l’accettabilità del tempo di attesa in fase di caricamento. Trattandosi semplicemente di una proof of concept, ho deciso quindi di ridurre la mole dei dati in Google Refine, filtrando solo la provincia torinese e ripubblicando il tutto su Google Docs. In definitiva, il risultato ottenuto è il seguente (per accedere all’applicazione cliccare sull’immagine):

Nel dettaglio, l’applicazione “Where to sleep in Turin” consente la ricerca delle strutture ricettive della provincia torinese mediante l’utilizzo di:

• tre facet di ricerca di testo sul comune, la denominazione e l’indirizzo delle strutture ricettive;
• una “cloud facet” sulla tipologia;
• una “filter facet” sulla categoria delle strutture dotate di tale qualifica;
• e, infine, tre “slider facet” per controllare l’intervallo di valori dei parametri di capacità ricettiva.

Tra le varie modalità alternative di visualizzazione offerte da Exhibit, sono presenti:

• una thumbnail “STRUTTURE RICETTIVE” al fine di poter consultare in maniera descrittiva ed aggregata i risultati man mano che si restringe il campo della ricerca;
• una mappa nella quale visualizzare l’ubicazione delle strutture ricettive e poterne interrogare gli attributi
• ed, infine, tre scatterplot in cui si pongono reciprocamente in relazione i parametri di capacità ricettiva e dove, ancora una volta, è possibile interrogare le singole strutture su grafico.

In particolare, gli scatterplot presenti nell’applicazione non hanno una finalità strettamente legata alla ricerca delle strutture ricettive, piuttosto vogliono lasciar immaginare e quindi pregustare quanto di buono si possa fare con strumenti come SIMILE Exhibit. In questa applicazione, infatti, le correlazioni individuabili tra i vari parametri esaminati scaturiscono banalmente dalla tipologia di struttura (ad es. se la struttura è un albergo, il numero di bagni per posti letto si aggirerà generalmente attorno al valore 0.5, mentre se si tratta di un campeggio sarà decisamente minore). Diversamente, se al posto di questi dati ci fossero stati, ad esempio, quelli relativi alla concentrazione di un inquinante e all’incidenza di determinate patologie (a tal proposito, si veda questo post), allora la potenza e l’immediatezza di tale modalità di rappresentazione dei dati potrebbe acquistare decisamente tutto un altro spessore ed utilità sociale. Lascio spazio alla vostra immaginazione…

E non è finita qui! Ne approfitto per segnalare la presenza di TANTO alla seconda edizione di ITN 2010, evento che si terrà a Torino l’11 e il 12 novembre 2010 (in concomitanza con le giornate conclusive di ASITA, sic!), in cui il nostro hacktivista Pietro Blu Giandonato interverrà con “I ‘luoghi’ degli open data: dove e come trovare in Italia i dati per sviluppare applicazioni location aware“ (slide) nella sessione “Domanda (potenziale) e offerta (implicita) di informazione geolocalizzata: gli anelli mancanti”. In particolare, uno dei temi chiave della sessione è rappresentato dai “Dati geografici del settore pubblico o free, consolidati e facilmente accessibili, potenzialmente utilizzabili per la costruzione di significative applicazioni basate su informazione geolocalizzata” e credo che quelli utilizzati nell’applicazione appena mostratavi ne sono un più che valido esempio. Come si dice da queste parti …stay tuned!

L'articolo Where to sleep in Turin: un esempio d’uso dei raw data piemontesi con Google Refine e SIMILE Exhibit è apparso originariamente su TANTO. Rispettane le condizioni di licenza.

Un paio di persone a me care scrivono racconti. Giocano con le parole, i tempi, i luoghi, le facce e i sentimenti. Creatori di impossibili mondi possibili.
Non usano quasi mai acido lisergico, e se lo fanno sfruttano le proprie scorte naturali. Il loro nutrimento è più tipicamente ciò che hanno intorno, ciò a cui possono attingere e avere accesso. Quando scrivono di gnomi e pensano a morbide colline verdi, e l’ispirazione non li supporta, cercano e trovano scintille molto facilmente. Lo facevano anche prima di internet, quando creavano mash-up analogici, ed i mash-up non esistevano ancora.

Il prossimo premio giornalistico internazionale potrebbe essere assegnato ad un giornalista per un report da Kibera, la più grande baraccopoli africana (a Nairobi, in Kenya). E’ abitata da più di un milione di persone, ma era soltanto un’area “vuota” in una mappa. Adesso grazie al progetto Map Kibera, creato dallo Humanitarian Team di OpenStreetMap, sarà più facile raccontare di un luogo così lontano e “difficile”, ed illustrarne meglio le condizione di vita. Senza la conoscenza di base della geografia di Kibera, sarebbe stato impossibile aprire una discussione su come migliorare il quotidiano dei residenti. I dati su un’entità e l’accesso a questi, ancora una volta consentono di creare un valore aggiunto, e di rendere visibile l’invisibile.

Diversi governi del mondo, ed in prima fila quello degli Stati Uniti, stanno spingendo per una politica in cui la trasparenza, la partecipazione e la collaborazione abbiano un ruolo importante, mai avuto prima. Il governo presieduto da Barak Obama ha ad esempio emesso una direttiva, che obbliga ogni agenzia governativa ad aprire le proprie porte ed i propri dati ad i cittadini.
Tim Berners Lee – santo subito – è tra i promotori di linked data, un termine coniato per descrivere delle buone pratiche per la pubblicazione, la condivisione e la connessione di dati, informazioni e conoscenza, nel contesto del Web Semantico.
Un esempio concreto che concilia la politica del governo USA con i linked data è quello di Open Energy Info.

L’Ordnance Survey, l’analogo dell’Istituto Geografico Militare per la Gran Bretagna, ha da poco annunciato che consentirà (intorno ad Aprile del 2010) il libero accesso ad alcuni dei prodotti cartografici digitali (raster e vector) che produce. In questo modo i dati “can be used for digital innovation and to support democratic accountability“. Mica male.

Il 2010 sarà probabilmente un anno in cui il tema dell’accesso ai dati sarà tra quelli “forti” sia in termini di discussione, che in quelli di risorse messe in gioco (umane ed economiche), che per risultati ottenuti. Riceverà attenzione non soltanto (e come ovvio) da parte dei cittadini, ma anche (e finalmente) da chi governa il pianeta e prende decisioni. Sentiremo sempre più spesso parlare (aiutooo) di web 3.0.

Se la previsione di sopra si avvererà, sarà più facile raccontare storie: romanzi, racconti, report giornalistici, blog, cinguettii, video, mappe, e chi più ne ha (in testa) più ne metta.
Il mio augurio per il prossimo anno è che tutto ciò si realizzi (e che nel tempo si rafforzi). Dovrà essere un futuro non uguale, ma il più omogeneo possibile per tutti: che se ne fa un cittadino di Nairobi di Map Kibera, se non ha una connessione internet (e magari nemmeno il pc, e mi fermo)? Ma il digital divide è problema molto più diffuso di quanto ci si possa immaginare: in Italia soltanto il 47,3% dei cittadini ha un accesso ad Internet.

Se l’attenzione verso le politiche open si rafforzerà, sarà obbligatorio innovare continuamente, e di conseguenza migliorerà la qualità della vita di ciascuno.

Raccontare storie per fare sognare, evadere, informare, formare e per esaltare le capacità degli altri; “ispirare altre persone e fare brillare i loro occhi” (è una citazione da qui).

Buon 2010 da tutta la redazione di TANTO

L'articolo Un anno in cui sia più semplice raccontare storie è apparso originariamente su TANTO. Rispettane le condizioni di licenza.

E’ stata appena rilasciata la release 5.6 di MapServer. Come sempre tante le novità, ma una è quella che voglio mettere in evidenza qui: è stato definito uno schema XML con cui sarà possibile definire un mapfile anche in formato XML. I mapfile sono il cuore di questa applicazione: definiscono le relazioni tra gli oggetti, i percorsi in cui sono archiviati i layer e le regole per la loro rappresentazione grafica. La sintassi con cui si scrivono normalmente – qui un esempio di “vecchio” mapfile – non consente con facilità di creare degli editor dedicati.
Uno schema XML renderà molto più semplice la creazione di applicativi dedicati alla creazione, gestione e validazione di questo speciale formato di file.

Questa release ancora non lo legge e scrive nativamente; il file XSLT fornito con questa release consentirà però di convertire un file XML costruito con questo schema, in un “normale” mapfile di MapServer.

Qui sotto un esempio di mapfile “costruito” in XML. Mi sembra che anche la leggibilità ne abbia un giovamento.

Le altre tre novità più importanti sono le seguenti:

• MS RFC 52: One-pass query processing, making WFS queries on database backends much much faster
• MS RFC 55: Improve control of output resolution, allows printing maps at printer resolution using a mapfile defined for screen resolution
• MS RFC 57: Labeling enhancements: ability to repeat labels along a  line/multiline

Buon web-mapping!

L'articolo MapServer 5.6: i mapfile in XML è apparso originariamente su TANTO. Rispettane le condizioni di licenza.

A Novembre si terrà a Bolzano la “Seconda Conferenza Italiana sul Software Geografico Libero“.

Nei giorni 11 e 12 novembre 2009 si terrà a Bolzano la Seconda Conferenza Italiana sul Software Geografico Libero.

L’evento costituirà un appuntamento ideale per aziende, professionisti e pubbliche amministrazioni di tutta Italia attive sia nel settore del Software Libero Geografico, che di soggetti che desiderano avvicinarsi ad esso.

Durante la Conferenza sono previsti workshop, sessioni di presentazioni tematiche ed eventi paralleli a carattere applicativo, divulgativo e di sviluppo.

Per chi fosse interessato a proporre argomenti per le presentazioni, segnaliamo sin da ora che il termine per l’invio degli abstract è il 15-9-2009.

Seguiranno inoltre a breve indicazioni relative all’iscrizione agli workshop e ad altri aspetti organizzativi.

È possibile consultare le informazioni più aggiornate relative all’evento alla pagina http://www.gfoss.it/drupal/gfossday

La conferenza è organizzata dall’Associazione italiana per l’informazione geografica libera (GFOSS.it) in collaborazione con R3 GIS, Hydrologis, Free Software Center e Provincia Autonoma di Bolzano (Ufficio Coordinamento Territoriale) e si terrà al TIS – Techno Innovation Park di Bolzano.
Il giorno 13 Novembre si terrà nella stessa sede la Free Software Conference dell’Alto Adige, appuntamento annuale sul tema dei software liberi.

L'articolo Seconda conferenza italiana sul software geografico libero è apparso originariamente su TANTO. Rispettane le condizioni di licenza.

E’ appena uscito l’OSGeo Journal – Volume 5 – OSGeo 2008 Annual Report,  un volume che illustra le principali attività ed i progressi fatti dal mondo del software open source per la geomatica; viene dato spazio anche ai programmi per il futuro.

E’ un volume che contiene 60 contributi di autori da ogni parte del mondo, che ci illustrano progetti e idee sviluppati con diverse e importanti applicazioni.

Da qui il download e qui sotto lo vedete in anteprima. Buona lettura.

L'articolo Il report annuale di OSGeo è apparso originariamente su TANTO. Rispettane le condizioni di licenza.