# Relatório automatizado
###### tags: `Relatório automatizado`

## Sumário

[TOC]

## 1. Problemática

Todo final de ano temos que gerar o Relatório de Atividades da SGE, sendo que somos responsáveis pelo dados da Prestação Jurisdicional.

Tal responsabilidade traz a necessidade de uma série de verificações de dados, gerando um volume de trabalho considerável.

Nós, da Análise Estatística (SGE), já temos experiência com Portal de Informações Gerenciais (PIG) e é uma ferramenta fenomenal para geração de relatórios automatizados, contudo é mais complexo gerar conteúdos textuais automatizados.

Nosso desejo era automatizar um relatório específico :Relatório de Atividades da SGE, especificamente o relatório de prestação jurisdicional, que traz as principais estatísticas do Tribunal no ano.

Nossa segunda parcial até final de novembro do relatório ainda era criada no word e pode ser acessada [aqui](https://docs.google.com/document/d/e/2PACX-1vTCAc4Ty9mjdP-cl8xhzXNq9ku-HxSqpSu8n10IetLLGeM1ntT2pb7I1WOyp1qazYpPMuLAgbBZITgs/pub.) ou abaixo:

<iframe width="800" height="500"src="https://docs.google.com/document/d/e/2PACX-1vTCAc4Ty9mjdP-cl8xhzXNq9ku-HxSqpSu8n10IetLLGeM1ntT2pb7I1WOyp1qazYpPMuLAgbBZITgs/pub?embedded=true" frameborder="0" style="border:0" allowfullscreen></iframe>

Confesso que desde minha entrada no Tribunal, em 2019, um dos nossos objetivos era possibilitar uma automatização desse relatório.

Mas o que faltava então? Basicamente, a competência necessária para tal. Em 2020 e 2021, foi um ano de muita capacitação para nossa área, desde de treinamentos corporativos, até treinamentos pagos do nosso bolsos.

Entre eles, fizemos um curso de relatórios pela [Curso-R](https://curso-r.com/), pago pelo Tribubal. Essa foi a ponte para nosso sonho começar a ganhar forma. Através do curso ganhamos competências necessárias e fizemos um networking incrível que possibilitou a chegada de uma estagiária com as competências necessárias para integrar nosso time.

--> Referências processo seletivo da Ariane.

~~Consolidar informações com qualidade, precisão e eficiência é um dos pilares para uma comunicação de resultados eficaz, entretanto, a integração de informações é uma atividade complexa e envolve a centralização de diversas fontes para a elaboração de relatórios que integrem uma vasta gama de informações, o que despende tempo e esforços em atividades que poderiam ser automatizadas.~~

## 2. Metodologia de resolução

A capacitação que citamos era basicamente sobre o programa open-source R. É uma dos principais programas estatísticos da atualidade, com linguagem poderosa que permite a reprodutibilidade das pesquisas. Permite uma análise estatística simples, criação de relatórios automatizados e ainda criação de dashboards automatizados. É um grande canivete suíço.

Dada a construção das nossas competências sobre essa ferramenta e seu potencial de utilização, nossa escolha era óbvia. Por isso, as principais ferramentas utilizadas na execução das atividades foram o software estatístico R e RStudio (que é um ambiente de desenvolvimento integrado para a linguagem R).

### Como planejamos

Muitas pessoas se perguntariam:

> Como vocês planejaram? Qual foi o método?
>> Nosso método foi o TBC (**Tira Bunda da Cadeira**)!

> Ahh vocês utilizaram Sprint?
>> Não!! Nosso processo foi simples: começar, registrar e ajustar!

### Como é isso?

Começamos pelo mais fácil. Primeiro validamos o template que seria utilizado para o relatório.

<iframe width="800" height="500"src="https://template-versao-1.netlify.app/" frameborder="0" style="border:0" allowfullscreen></iframe>

:::danger
@ahtdf você tem o primeiro modelo em branco?
:::

Com o template definido partimos para execução de fato do projeto. Nossa abordagem é sempre do mais fácil para o mais difícil.

Começamos apenas transportando o texto para o Rmardown, que é um modelo de automatização de relatórios que o R nos permite. <mark>(sugestão:[...] texto para o RMarkdown, que permite a criação de documentos dinâmicos e automatizados utilizando R.)</mark>

Essa etapa

<br>
<br>

Posteriormente, partiu-se para etapa de importação dos dados. Os dados históricos foram organizados e padronizados para cada assunto relacionado ao relatório de atividades. Assim, foi possível realizar as devidas atualizações em conformidade ao padrão do relatório.

Em resumo, as etapas do processo de elaboração do relatório foram:


<mark> Possíveis adaptações acessar arquivo [aqui](https://1drv.ms/f/s!AhnZefWJQ0CYkX8aKy8K6_bIlaPo)!</mark>

Para o gerenciamento das modificações e criações do projeto, utilizou-se o git/github para o controle de versão, o que proporcionou à equipe um fluxo de trabalho colaborativo rápido e eficiente.

<center>


</center>

<br>

Se foi fácil usar o git/github? A resposta é *NÃO*!
Configurar, push, pull request, commit... uau! Quanta informação! Como vencer esta etapa? Simples! Juntando os conhecimentos, pesquisando e testando várias e várias vezes até aprender! Entre erros e acertos conseguimos trazer o git/github como ferramenta chave na produção de nosso projeto.

Feito isto, partiu-se para a etapa seguinte, que consistia em utilizar os microdados extraídos do <mark>PIG?</mark> como fonte de entrada do relatório. Para tanto, fez-se o pré-processamento dos dados para que fossem eliminados possíveis ruídos ou inconsistências.

<table>
<tr>
<td width="60%" valign="center">
Para a manipulação dos dados utilizou-se uma das ferramentas mais importantes na aplicação ciência de dados no R, que é o pacote <a href="https://www.tidyverse.org">tidyverse</a>. Ele contempla uma série de pacotes necessários para a criação de gráficos, importação, organização, manipulação, entre outras ferramentas.
</td>
<td>


</td>

</tr>
</table>

<mark>Comentário: O formato em coluna acho que seria interessante pra esse trecho, por isso coloquei :+1: </mark>

Esta etapa foi uma das mais complexas, pois cada mínima informação apresentada no relatório é resultado de um conjunto de relações que envolvem cálculos de diversas origens até que se chegue em um resultado final.

Agora, após todas as tratativas preliminares, o que falta? Enfim, a automatização do relatório.
Trazer os resultados calculados para um conteúdo textual que possa ser renderizado conforme um conjunto de regras de decisão (por exemplo, *SE* um valor “X” for maior, o texto será “aumentou X”, *caso contrário*, “diminuiu X”) não é trivial.

<table>
<tr>
<td width="30%" valign="center">


</td>
<td>

E como utilizar a linguagem R em um relatório e gerar gráficos, tabelas e produzir um produto automatizado? Aí que entra uma outra ferramenta sensacional: o R Markdown!
O Rmarkdown é a união entre a linguagem Markdown + R, que permite elaboração de diversos tipos de documentos em formato de relatório em pdf, html ou word. Para alcançar os objetivos do nosso relatório, optou-se pelo formato HTML, que permite a personalizar diversos estilos da página utilizando HTML e CSS.

</td>

</tr>
</table>

Mais uma vez o tidyverse nos proporcionou a otimização de muitas tarefas e a atualização dos valores em texto só foi possível graças a possibilidade de "codar" inline, ou seja, após os cálculos previamente realizados, os resultados são inseridos diretamento no texto do relatório, sem que haja uma atualização manual das informações.

Desta forma, ganha-se tempo e produtividade, tendo em vista que após realizado a importação dos dados, não há a necessidade de inserir cada valor, bem como não é necessário escrever se uma condição A ou B é a mais adequada para aquela análise. Essa é apenas uma das inúmeras vantagens de se elaborar relatório utilizando o Rmarkdown.

E quanto ao HTML e CSS? bom, este é um "plus" no relatório. Por diversas vezes ouvi em alguns cursos "*saber HTML e CSS é fundamental para construir relatórios ou aplicativos?*" e acredito que a resposta é SIM. Existem diversos layouts disponíveis na internet, mas personalizar os relatórios com cores, fontes e estilos os quais estejam adequados ao objetivo do seu trabalho requer uma certa habilidade em linguagem de marcação e folha de estilo para a estruturação e estilização dos trabalhos.

E como gerar gráficos elegantes e automatizados? Temos mais uma ferramenta poderosa de visualização de dados: o ggplot2! Um pacote incrível cuja ideia surgiu de uma obra sob autoria de Hadley Wickham. Dentre infinitas possibilidades de atributos e configurações, chegamos ao resultado apresentado no relatório, com gráficos informativos e de fácil compreensão.

Após concluídas todas as etapas de elaboração do conteúdo do relatório em si, partiu-se para "versão 1" do relatório: projeto concluído e pronto para ser implementado de modo que fosse acessível para todos através de um link. Para isso, contamos com a hospedagem no Netlify, que possibilita o *deploy* de arquivos estáticos (como HTML, CSS, por exemplo). Com o conteúdo acessível, o material foi disponibilizado para a equipe e revisado diversas vezes até chegarmos na "versão final".

## 3. Resultados

----

Processo seletivo Ariane

Nesse curso, tivemos contato com trabalhos excelentes, inclusive com trabalho de antigas turmas, o que nós trouxe muito networking. Vimos um trabllho premiado pelo curso e tive acesso ao Linkedin da profissional. Pesquisamos e vimos que ela era estagiária no TJAM

Fizemos um processo seletivo de estagiário que nos possibilitou trazer uma profissional com habilidades necessárias para essa estruturação.

Resolvemos