Explorando diferentes modos de ver
Redes de rótulo x espaços vetoriai
A proposta da atividade é permitir a comparação crítica de duas abordagens relativamente comuns para análise de grandes corpora visuais: as redes de rótulos de visão computacional e os agrupamentos não supervisionados por vetores de imagem. Para fins didáticos, estaremos usando o mesmo corpus visual composto por mil imagens extraídas do site stockimages. As imagens estão distribuídas de forma homogênea em 10 categorias.
Vision Labels Net
Para as redes de rótulo, passamos as imagens pela API do google vision e extraimos os rótulos semânticos gerados pelo modelos de visão da google e montamos uma rede bipartida (nós de imagem e nós de rótulo). A rede foi espacializada com algoritmo force atlas2 no gephi e teve detecção de comunidades gerada pelo algoritmo louvain comunity detection. Para facilitar a exploração interativa, a rede foi submetida ao Nodie, uma ferramenta desenvolvida pelo datalab design (UNEB) que cria uma interface de dashboard interativo para análise.
Pixplot
Para a abordagem de vetores de imagem, o mesmo corpus foi submetido à ferramenta pixplot (citar) usando os parâmetros default que a ferramenta disponibiliza. A proposta é que os estudantes explorem ambas as visualizações observem e registrem estranhamentos, insights, contradições entre os modos de ver, permitindo formular algumas hipóteses sobre vantagens, limites e viéses de cada modelo para a análise do corpus selecionado.