Projeto aberto para baixar, processar e publicar dados públicos das empresas do Brasil.

Pastas

src/ETL/Processor: ETL que baixa, processa e publica dados do CNPJ.
src/ETL/Tests: testes do ETL.
src/ETL/OpenCNPJ.sln: solution do ETL.
src/Page: página/SPA estática para consulta dos dados publicados.
src/Worker: Worker Cloudflare que lê shards publicados no R2.

Requisitos

.NET SDK 10.0+
rclone instalado e autenticado no seu storage (ex.: Backblaze, R2, S3, Azure Storage, ...).
Espaço em disco e boa conexão (a primeira execução pode levar tempo -- dias até).

Configuração

Ajuste src/ETL/Processor/config.json se desejar mudar pastas locais, destino do storage, memória, paralelismo...
No config.json, aponte para o Storage que deseja passando a configuração do rclone.
O downloader da Receita agora usa WebDAV no share público do SERPRO+/Nextcloud.

Layout local

downloads/YYYY-MM: zips baixados da Receita.
extracted_data/YYYY-MM: arquivos extraídos para o mês.
parquet_data/YYYY-MM: Parquets gerados para o mês.
cnpj_shards/YYYY-MM/shards: shards locais *.ndjson e *.index.json antes do upload.

Os artefatos locais não são apagados automaticamente, exceto quando o pipeline é executado com --cleanup-on-success. O pipeline também não usa mais cache de hash por shard.

Execução

Dentro de src/ETL/Processor:
- dotnet run pipeline
- dotnet run pipeline -m YYYY-MM (opcional)
- dotnet run pipeline --cleanup-on-success (opcional, remove artefatos locais do dataset após sucesso)

Sem -m, o pipeline escolhe o mês mais recente publicado no share WebDAV da Receita.

Publicação

A API publicada consome shards em shards/{prefix}.ndjson no R2 e shards/{prefix}.index.json como Static Asset do Worker, onde prefix usa os 3 primeiros caracteres do CNPJ normalizado.
Cada linha do *.ndjson representa um CNPJ e o *.index.json guarda offsets esparsos para leitura parcial no Worker.
O contrato de CNPJ já aceita formato alfanumérico: 12 caracteres alfanuméricos + 2 dígitos finais.
O arquivo info.json continua sendo publicado, agora com metadados adicionais de shard.

Contribuição

Abra issues para discutir mudanças.
Faça fork, crie uma branch descritiva e envie PR.
Mantenha commits pequenos e o projeto compilando (dotnet build).

OpenCNPJ

Install / Use

README