Chat Bot Sumé:Web Scraping em dados governamentais para consulta de gastos públicos dos vereadores da Câmara Municipal de Belo Horizonte

Abstract

A participação ativa da população na política é essencial para a democracia, portanto, quando existem mecanismos tecnológicos que facilitam interação dos cidadãos com as instituições públicas, aumentam as chances do exercício da soberania popular. Inovações tecnológicas são desenvolvidas com o intuito de disponibilizar dados para a população sobre gastos em todas as esferas públicas, sendo a transparência governamental um dos precursores nesse sentido. Entretanto, muitos dados disponibilizados pelas instituições públicas são desestruturados ou estão em formato de leitura humana, como arquivos em PDF. Ocorre que, em diversas situações, as fontes de dados são distintas e pode existir a necessidade de consulta a centenas de arquivos, o que torna inviável e moroso para a população, diminuindo, assim, o interesse da sociedade em participar dessas consultas. Após a criação da Lei de Acesso à Informação - que impõe diretivas para as instituições públicas-, ainda assim, convivemos com a escassez de dados abertos, mesmo sendo um requisito obrigatório dessa lei. Nesse contexto, diversos pesquisadores iniciaram movimentos de governo aberto e dados abertos para tratar essa lacuna. Diante dessa conjuntura em que diversas bases não são disponibilizadas pelas instituições públicas como dados abertos, a adoção de métodos de Web Scraping tem apresentado notáveis resultados para extração de dados na Web. Quando se trata de dados governamentais, o Web Scraping possibilita a extração, manipulação e armazenamento de dados que antes não estavam disponíveis para leitura de máquina, possibilitando a transformação em dados abertos. Este trabalho desenvolveu um método Web Scraping em Python para extração de dados do portal de transparência da Câmara Municipal de Belo Horizonte. O resultado desse método foi a criação de dados abertos do Custeio Parlamentar, o que permite o compartilhamento desses dados e possibilita a produção de novas soluções para a sociedade exercer controle social, como o protótipo de Chat Bot Sumé, desenvolvido neste trabalho.

The active participation of the population in politics is essential for democracy, therefore, when there are technological mechanisms that facilitate interaction between citizens and public institutions, the chances of exercising popular sovereignty increase. Technological innovations are developed with the aim of making data available to the population on expenditures in all public spheres, with government transparency being one of the precursors in this regard. However, many data made available by public institutions are unstructured or in human-readable format, such as PDF files. It so happens that, in several situations, the data sources are different and there may be a need to consult hundreds of files, which makes it unfeasible and time-consuming for the population, thus reducing society's interest in participating in these consultations. After the creation of the Access to Information Law - which imposes directives on public institutions -, we still live with the scarcity of open data, even though it is a mandatory requirement of this law. In this context, several researchers have initiated open government and open data movements to address this gap. Given this situation in which several databases are not made available by public institutions as open data, the adoption of Web Scraping methods has shown remarkable results for data extraction on the Web. When it comes to government data, Web Scraping enables extraction and manipulation and storage of data that was previously not available for machine reading, enabling transformation into open data. This work developed a Web Scraping method in Python to extract data from the transparency portal of the Municipality of Belo Horizonte. The result of this method was the creation of open data from Parliamentary Costing, which allows the sharing of these data and enables the production of new solutions for society to exercise social control, such as the Chat Bot Sumé prototype, developed in this work.