[English version below!]

No dia 21 de fevereiro de 2015, assinalaram-se por todo o mundo eventos dedicados ao Open Data Day, um dia para se falar de dados abertos. Em Portugal tratámos de marcar este dia com um hackday especial, e partilhamos agora o relato do que se passou.

Workshop de Linked Data

Para abrir o dia, começámos com o workshop dedicado ao tema linked data (dados interligados), orientado pelo João Pequenão. Os dados interligados foram apresentados como o próximo nível da agenda open data, dando direção e contexto aos dados isolados. O tiro de partida foi dado na forma de um brainstorm coletivo para encontrar respostas para duas questões:

• Qual é o panorama nos Dados Abertos desde 2000 até hoje? E nos Dados em geral?
• O que gostávamos que acontecesse nos próximos 15 anos?

Em grupos, os post-its saíram a voar para os flipboards com ideias, sugestões e palpites sobre o que existe e sobre o que aí vem. As implicações do tema “dados” ramificaram-se para assuntos como a privacidade online, o envolvimento cidadão na governação, o estonteante ritmo da evolução tecnológica e, sobretudo, uma incerteza entusiasmada quanto a um futuro que se sabe promissor mas, também, repleto de dilemas.

Daí, partiu-se para uma concretização sobre a natureza, valor e potencial dos dados interligados. Exploraram-se as tecnologias específicas que vão dar que falar nos próximos tempos, com uma introdução teórica ao RDF e exercícios práticos na forma de um registo pessoal em formato FOAF e algumas experiências com SPARQL.

Finalmente, com os conhecimentos obtidos, voltou-se ao domínio da especulação produtiva com o desafio de responder, novamente em grupos, a quatro cenários onde os dados interligados poderão ser um elemento potenciador: a gestão e compreensão da afluência às unidades de urgência médica, o poder de fiscalização cidadã dos dados públicos, a idealização de novos planos de negócio para PME, e a forma possível para um portal europeu de dados abertos em 2020.

Deste brainstorm surgiram pistas sobre o potencial de recolha e extração de significado de dados que possa amplificar a eficiência de serviços públicos, a importância de formatos standard, ou as possibilidades dadas pelo contexto fornecido pela estrutura intrínseca dos dados interligados.

Os slides do workshop estão disponíveis! (PDF)

Totonome

O Tiago Vieira, coder residente do Transparência Hackday, abriu a tarde para mostrar a mais recente aventura do nosso coletivo com bases de dados onomásticas, materializada no projeto Totonome -- um jogo para testar os palpites de cada pessoa sobre que nomes foram ou não aceites pelo IRN como aceitáveis para dar a um recém-nascido em Portugal. Os slides desta apresentação foram postos à disposição pelo Tiago.

Foi explicada a maior dificuldade no arranque de projetos de apps ou sites que usam informação pública: encontrar e processar os datasets de forma a estarem aptos a serem integrados em aplicações. Neste caso, o dataset dos nomes aprovados apenas está disponível para o ano de 2014, em formato PDF. Este formato não é prático para bases de dados, pelo que se usou o Tabula, o CSVkit e outras ferramentas para processar, filtrar e organizar os dados para que se pudesse concretizar o jogo que tínhamos em mente.

A partir daí, foi criado um protótipo em 3 horas com recurso ao AngularJS para testar a ideia que parecia mais adequada para uma primeira experiência: um jogo que nos mostra dois nomes, um que foi aceite no IRN e outro que não foi. O objetivo é encontrar o nome que foi aceite.

Tal como demonstrado pelo Tiago, o jogo é surpreendentemente envolvente; bastou uma pequena demo para nos vermos todos a mandar os nossos palpites num jogo coletivo de adivinhação sobre quais eram os nomes mais plausíveis.

Foram também enumerados os próximos passos para o Totonome: assentar num interface simples, bonito e funcional; melhorar o feedback visual dos resultados, que não é ainda ideal; e facilitar a partilha dos resultados em redes sociais.

Eduardo Nunes

O Eduardo Nunes é um designer baseado em Coimbra, dividindo a sua atenção pela docência na Universidade de Coimbra e pela atividade como designer cross-media.

Foi-nos dada uma visão geral do percurso do Eduardo pelos ofícios gráficos. No seu percurso, encontrámos experiências de visualização do tempo e dos hábitos, numa manifestação premonitória do quantified self.

A seguir, vimos alguns exemplos da vertente de animação 3D. Foi mostrada uma fantástica visualização do Orçamento de Estado, num estilo idiossincrático e revelador.

E de seguida, o projeto responsável pelo convite que fizemos ao Eduardo para nos mostrar o seu trabalho no Open Data Day: a sua animação dedicada ao tema Saúde Mental em Portugal.

Finalmente, debruçámo-nos sobre o Dizer Design, um esforço de recolha e compreensão antropológica da demografia profissional dos designers em Portugal. Este site constituiu uma experiência de crowdsourcing da informação que não tardou em proporcionar resultados, com centenas de contributos por todo o país.

No entanto, evidenciaram-se os desafios de sustentar projetos independentes como o Dizer Design, com vários custos que são frequentemente invisíveis para o olhar convencional, como os custos de aluguer dos servidores ou o esforço de manutenção e atualização das plataformas ao longo do tempo. Este assunto proporcionou uma interessada discussão, tornando-se claro que os dilemas à volta da construção de plataformas independentes são comuns a várias áreas de trabalho.

Central de Dados

Na última apresentação do dia, a Ana Isabel Carvalho e o Ricardo Lafuente mostraram o estado atual do seu trabalho na Central de Dados, uma plataforma de distribuição de datasets em formatos standard.

A Central de Dados constitui uma resposta ao problema da dispersão que vivemos nos Hackdays: temos vários datasets, mas alguns são publicados em repositórios Github, outros em dropboxes, outros ainda passados à mão com pen drives, etc. Fazia-nos falta um local central e uma forma comum de formatar e publicar os datasets. Aplicações web como o CKAN seriam a resposta a este problema, mas elas também vêm com alguma bagagem: é necessário mantê-las debaixo de olho e fazer manutenção regular, o que exige tempo e recursos que não temos.

A Central de Dados é a solução proposta para o caso específico do Transparência Hackday. Recorrendo ao formato data package (em desenvolvimento pela Open Knowledge), os datasets criados no Transparência Hackday são publicados de forma documentada e organizada, servindo a Central de Dados como portal web para facilitar o acesso. Assim, temos uma plataforma que nos permite aceder facilmente aos datasets que tratámos para com eles poder construir aplicações e plataformas que demonstrem o seu valor. Ao mesmo tempo, qualquer pessoa pode igualmente beneficiar da conveniência de ter os datasets atualizados e em formatos documentados, bem como criar as suas apps e outras experiências usando diretamente os datasets fornecidos na Central.

Conclusão

O dia foi pontuado com momentos de entusiasmado networking por entre coffee breaks e almoço -- apercebemo-nos da importância destes momentos na condução de um evento aberto ao público, uma vez que um dos objetivos principais era aproximar e pôr em contato várias pessoas interessadas pelo tema dos dados abertos.

Podemos afirmar que foi um sucesso: com a maior participação de um hackday até ao momento: 23 pessoas, com mais de 1/3 de mulheres. Este sucesso só foi alcançável graças ao fundamental e generoso apoio da Open Knowledge, da ADDICT e da UPTEC. Faz assim sentido pontuar este relato com um profundo agradecimento a estas entidades, bem como a todas as pessoas que participaram no Open Data Day, para juntos integrarmos a nossa vontade comum de trocar impressões e opiniões sobre o que foi e pode ser feito para avançar as agendas dos dados abertos, tecnologia livre e cidadania envolvida.

Todas as fotos do dia (incluindo as deste post) foram feitas pela Mariana Santos e estão disponíveis no Flickr do Transparência Hackday.

E o próximo hackday, em que vamos prosseguir com as pontas soltas deixadas neste dia, será já a 14 de março -- marca na agenda!

---

English version

On 21 February 2015, several open data initiatives were held around the world to celebrate Open Data Day, a day dedicated to all uses and potential of open data. In Portugal, we made the most of this day in a special hackday; here are our notes of all the activities.

Linked Data Workshop

We started the day with a workshop around the subject of linked data, led by João Pequenão. Linked data were introduced as the next level of the open data agenda, providing context and direction to isolated data. The starting point was a collective brainstorm to find answers for two questions:

• What does the open data landscape look like since 2000 until today?
• What will we see happen in the next 15 years?

Divided in groups, people got the post-its flying towards the flipboards with ideas, hunches and insights about what's there and what's coming. The implications of the broad theme of "data" branched to issues such as online privacy, citizen engagement in governance, the dizzying pace of technological progress and, overall, an excited uncertainty about a future that looks both promising and packed with dilemmas.

From there, we went on to a more specific account of the nature, value and potential of linked data. This was followed by an exposé of existing technologies with an introduction to RDF and practical exercises: a personal FOAF record and a set of SPARQL experiments.

Finally, with the knowledge obtained, we went back to productive speculation with the challenge of providing answers, again in groups, to 4 scenarios where linked data might help:

• understanding and managing the turnout in emergency health services
• the ability of citizens to oversee public data policy
• possible new business models for SMEs
• what a next-generation (2020) EU data portal would look like

From this brainstorm, we got interesting insights, discussions and clues around the potential of gathering meaning from data that can widen the efficiency of public services, the importance of standard formats, or the possible uses of the extended context that linked data intrinsically provide.

The workshop slides are available! (PDF, Portuguese)

Totonome

Tiago Vieira, one of Transparência Hackday's (THD) resident coders, opened the afternoon to showcase the most recent endeavour of the THD collective, Totonome -- a game using official name registries to test players' hunches as to which names were or not accepted by the official registry (IRN) as acceptable for naming newborn citizens. Portuguese law restricts the given names to an existing set, with new proposals being considered each year. The presentation slides were made available.

Tiago described the largest hurdle in bootstraping this kind of public data app or site: finding and refining the available datasets into proper formats to be fed into other applications. In this case, the name approval record is only available for the year 2014, in PDF format. This format is not practical for publishing databases; specialised tools (Tabula and CSVkit) were used to organise the data in order to make our game idea real.

From there, an AngularJS-based prototype was created in 3 hours to test the game idea that sounded the most interesting: a game that shows two names, one which was accepted by the registry and one that was not. The goal is to find the approved name.

As demonstrated by Tiago, the game is surprisingly engaging; a quick demo was enough to get the crowd excited throwing guesses in a fun, collective quiz about which names sounded the most plausible.

Finally, the next steps for Totonome were outlined: come up with a simple, pretty and functional interface, improve on the results' visual feedback, and facilitate sharing of the scores in social networks.

Eduardo Nunes

Eduardo Nunes is a designer based in Coimbra, working both as a teacher at University of Coimbra and as an independent cross-media designer.

We got an overview of Eduardo's path through visual craft. In it, we found early experiments around visualizing time and habits, in an early reference to the quantified self meme.

We then were treated to his 3D animation experiments, including a fantastic visualization of the Government Budget de Estado, in an unusually pleasant graphic style.

This was followed by the project that got THD in love with Eduardo's work and contacted him to present in Open Data Day: an animation dedicated to the issue of Mental Health statistics in Portugal.

Finally, Eduardo presented Dizer Design, an effort to gather and carry out an anthropological understanding of the designer demographics in Portugal. This site was an experiment in crowdsourcing information that produced quick results, with hundreds of contributions from all around the country.

However, the challenges of maintaining independent platforms and their sustainability became clear, with several costs that are frequently invisible to the end user, such as the server rental costs or the labour involved in maintaining and updating these platforms over time. This subject created a lively discussion, making it evident that the problems involved in building independent online platforms are felt by many.

Central de Dados

In the last talk of the day, Ana Isabel Carvalho and Ricardo Lafuente showed the current state of their ongoing work in Central de Dados, a platform for distributing datasets in a standard format.

Central de Dados is an attempt to answer THD's problem of dataset dispersion: we have gathered several datasets, but had no central location to place them for the public. Some lived in fileservers, others in dropboxes, others yet in Github repositories, saved in many different formats. We sorely missed this kind of central location, as well as a standard format to publish datasets. Applications like CKAN were built to address this need, but they also come with their baggage. It is necessary to keep them under frequent attention and perform regular maintenance, which requires time and resources that we found we do not have at THD.

Central de Dados is our effort to address our specific use case. Using the excellent data package standard format (under development by Open Knowledge), the datasets created and scraped at THD can be published in a documented and organised way, with Central de Dados as a web portal to facilitate public access. With this, we have a platform that we can use ourselves to quickly bootstrap our public data project ideas, highlighting the value and potential uses of public data. Being an online platform, the general public fully benefits from this possibility as well.

Wrapping up

The day was flicked with moments of enthusiastic networking during coffee breaks and lunch -- we became aware of the importance of these intermissions when hosting a public events, since they ended up largely being responsible for fulfilling our goals to bring together a nascent local community interested in open data through sharing of experiences and thoughts, beyond the "work" moments.

We can call this a successful event, with the largest crowd in a hackday so far: 23 people, with more than a third of them women. This success was only made possible thanks to the crucial and generous support of Open Knowledge, ADDICT and UPTEC.

It therefore makes sense to close this report with a grateful word of thanks to these entities, as well as our speakers and everyone who attended the Open Data Day, making it possible for everyone to share our common goal to further the agendas of open data, libre technologies and engaged citizenship.

All the photos from this day (including the ones in this post) were done by Mariana Santos and can be found at Transparência Hackday's Flickr account.

The next hackday, where we'll tie up the loose ends left today, will be on the 14th of March -- save the date!