lucyLattes

Última atualização

Versão v1.0.3
Friday 2024-11-22 07:00:02 -04 verifique os logs <a href="#logss">aqui</a>.

Motivação

O CNPq por meio do currículo Lattes agrega dados do registro da vida profissional de estudantes, professores, e pesquisadores do país, e tornando-se padrão nacional no meio científico para consulta sobre a produção científica dos referidos profissionais.

Contudo, após a criação do captcha para o acesso aos currículos Lattes, extrair dados dos currículos se tornou uma tarefa árdua, pois todas vez que pretende-se acessar um currículo, torna-se necessário passar pelo captcha. Com o intuito de auxiliar na obtenção destes dados, o lucyLattes foi desenvolvido.

Com o intuito de melhorar a extração dos dados, e reduzir a possibilidade de erros de execução, a versão v1.0.0 foi desenvolvida. As principais mudanças estão na lógica de extração dos dados, organização dos arquivos e novos relatórios.

O que faz

Extração, compilação, e organização dos dados dos currículos da plataforma Lattes em arquivos de texto, e geração de um relátório simplificado, que proporcionam agilidade para a geração de informação.

Veja algumas informações geradas:

<figure> <img src="https://rafatieppo.github.io/post/pics/20190313_period_dep_year.png" alt=" "> <figcaption>Publicações de periódicos por ano</figcaption> </figure>

Notas

O lucyLattes não tem vínculo com o CNPq. Este programa computacional é fruto de um esforço (independente) realizado com o objetivo de dar suporte às rotinas de análise de dados cadastradas nos Currículos Lattes (publicamente disponíveis).

Este programa é um software livre; você pode redistribui-lo e/ou modificá-lo dentro dos termos da Licença Pública Geral GNU. Verifique o arquivo LICENSE.txt .

Este programa é distribuído na esperança que possa ser útil, mas SEM NENHUMA GARANTIA; sem uma garantia implicita de ADEQUAÇÂO a qualquer MERCADO ou APLICAÇÃO EM PARTICULAR. Verifique o arquivo LICENSE.txt .

Gostou?

<p>Espero que o <code>lucyLattes</code> seja útil de alguma forma, dentro do possível estarei melhorando o script na sua funcionalidade.</p> <p><img src="https://i.gifer.com/QLRN.gif" alt=""></p>

Nos de uma estrela clicando na estrela no topo da página (lado direito)
Caso queira, sinta-se livre para me pagar um cafézinho. Tudo que faço aqui é uma maneira de retribuir e compartilhar o conhecimento que adquiri ao longo da minha carreira, mas quem sou eu para negar um café, certo? Sua ajuda vai ser convertida para manter os scripts (pagando o provedor, por exemplo). O excedente, será utilizado para comprar café mesmo.
via Paypal

via Pix

Como usar

Inicialmente recomenda-se a leitura dos próximos tópicos (Instalação e Como executar o programa).

Requerimentos:

Sistema operacional Linux ou com base Unix (preferencialmente), ou ainda Windows;
Python 3.8 ou superior;
Navegador (Firefox ou Chromium) para visualizar relatório.

Instalação no Linux

Python

Se não possuir Python3 ou superior instalado no DEBIAN, UBUNTU ou derivados:

sudo apt-get install python3
sudo apt-get install python3-pip
sudo apt-get install python3-tk

Ambiente virtual python (virtual environments) no Linux

Para saber mais sobre ambiente virtual em Python, clique aqui https://docs.python.org/3/library/venv.html. Também fiz um post resumido sobre o assunto AQUI.

De modo simplista:

Crie uma pasta (diretório) e o ambiente virtual:

 mkdir teste_venv
 
 python3 -m venv ./teste_venv

Para ativar o ambiente virtual:

rt@rt-av52a:~/.virtualenvs$ source ./teste_venv/bin/activate

(teste_venv) rafatieppo@rt-av52a:~/.virtualenvs$

Para DEsativar o ambiente virtual:

(teste_venv) rafatieppo@rt-av52a:~/.virtualenvs$ deactivate
rafatieppo@rt-av52a:~/.virtualenvs$

Pacotes Python

Para todos os sistemas operacionais (Linux, MacOS, Windows, Solaris, etc) são necesssários as mesmas bibliotecas. Para instalar as bibliotecas em ambientes Linux acesse o Terminal, ative o seu ambiente Python e instale os pacotes.

Posteriormente, com o ambiente virtual ATIVADO, instale os pacotes necessários. No arquivo requirements_lucyLattes.txt está listado os pacotes necessários. Com o pip é possível executar o comando pip install -r requirements_lucyLattes,txt , e possivelmente os pacotes serão instalados. Ou ainda, vc pode instalar um pacote por vez.

(teste_venv) rt@rt-av52a:~/.virtualenvs$ pip3 install numpy
Collecting numpy
  Cache entry deserialization failed, entry ignored
  Downloading https://files.pythonhosted.org/packages/b8/46/40729c784/numpyx86_64.whl (14.1MB)
    100% |████████████████████████████████| 14.1MB 128kB/s 
Installing collected packages: numpy
Successfully installed numpy-1.21.1
(teste_venv) rafatieppo@rt-av52a:~/.virtualenvs$

Instalação no Windows

Se não possuir Python3 ou superior instalado no Windows

Acesse https://python.org.br/instalacao-windows/ e instale a versão do Python 3 (versão 3.8 ou superior), basta seguir as instruções. Não esqueça de instalar o PIP.

Recomenda-se criar um ambiente virtual para instalar os pacotes e executar o lucyLattes.

Ambiente virtual python (virtual environments) no Windows

De modo simplista:

Acesse o Power Shell como Administrador (botão direito) e libere a execução de Scripts. Se quiser saber mais Microsot

No Power Shell digite:

Set-ExecutionPolicy Unrestricted

pressione S ou Y.

Crie uma pasta (diretório) que neste exemplo é denominada teste_venv:

C:\Users\Joao\> mkdir teste_venv

Crie o ambiente virtual na pasta que foi criada:

C:\Users\Joao\> python3 -m venv ./teste_venv

Ative seu ambiente virtual.

C:\Users\Joao\> \teste_venv\Scripts\activate

Pronto, agora é só instalar as bibliotecas com o pip e posteriormente executar o LucyLattes.

Para desativar o ambiente virtual.

(teste_venv) C:\Users\Joao\> deactivate
C:\Users\Joao\>

Pacotes Python

(teste_venv) C:\Users\Joao\>  pip install numpy
Collecting numpy
  Cache entry deserialization failed, entry ignored
  Downloading https://files.pythonhosted.org/packages/b8/46/40729c784/numpyx86_64.whl (14.1MB)
    100% |████████████████████████████████| 14.1MB 128kB/s 
Installing collected packages: numpy
Successfully installed numpy-1.21.1
(teste_venv) C:\Users\Joao\>

Fiz um vídeo explicando como instalar e excutar o programa no Windows: https://youtu.be/L8TFyqXlemM

Como executar o programa

Faça o Download do arquivo .zip que contém o lucyLattes. Download aqui: https://rafatieppo.github.io/lucylattes/. Escolha a opção .zip ou .tar para fazer o download dos aquivos.
Descompacte o arquivo .zip que em um diretório de sua preferência.
Faça o dowload dos curriculos Lattes desejados e copie todos no diretório xml_zip. Para realizar o download dos currículos Lattes, acesse o currículo Lattes do pesquisador, e no canto superior direito clique sobre um botão XML, salve o arquivo e NÃO altere o nome e nem o formato, e NÃO DESCOMPACTE OS ARQUIVOS. O nome do arquivo é composto por 16 caracteres e a extensão .zip, e.g. 3275865819287843.zip.
Pelo terminal (ou power shell), e com o ambiente virtual ATIVADO, acesse o diretório descompactado, e digite:

Se for em ambiente Linux:

python3 app_lucyLattes.py

Se for em ambiente Windows

python.exe app_lucyLattes.py (ou algo similar)

Se tudo ocorreu corretamente, uma interface aparecerá:

Agora selecione as opções disponíveis, clique em Gravar configurações, e execute (Run lucyLattes). Se tudo ocorreu normalmente, há um relatório disponível na pasta ./relatorio . Abra o arquivo relatorio_producao.html com o Firefox ou com o navegador da sua preferência.

Observações

<strike> **Atenção**, **Atenção**, **Atenção**. </strike>

Development

DONE DANGER create a exceptio for NO papers found for reseacher.
DONE read zip and return a xml;
DONE create a minidom from .xml;
DONE a function to return .xml encoding and version;
DONE get dados-gerais and create a csv file for each researcher;
DONE get research and extension projects with their respective participants, classification of the type of project (research or extension) by organizing the data into a DataFrame and export in a csv file for each researcher;
DONE get published papers in journal by

Lucylattes

Install / Use

README