Documentação SAE === 22/09/2021 - [x] Melhoria no relatório da primeira fase; - [x] Alteração nos gráficos de decisões por orgão julgador. - No seu relatório, na parte de Decisões por orgão julgador, os gráficos da quantidade de decisões por órgão julgador e da taxa de decisões por órgão julgador são praticamente idênticos. Ficaria melhor se a gente conseguisse inserir no gráfico as quantidades e as taxas, como fizemos nos outros. - [x] Inserir taxa de recorribilidade - (verificar a metodologia que já publicamos para os gabinetes com o Fernando) - Total de decisões - Como obter quantidade de recursos? - R.: pelo subgrupo recursal 22/09/2021 - Coleta dos dados da fase 2. - [x] Consistência dos dados - [x] Inclusão das turmas **Observações** ~~Mensagem Carvalho~~ - ~~Os períodos de comparação pré e pós-pandemia são estes:~~ - ~~I) período pré-pandemia – de 19/06/2019 (data da publicação da ER 52/2019) a 19/03/2020 (último dia antes da publicação da ER 53/2020);~~ - ~~II) Período pós-pandemia – de 20/03/2020 (data da publicação da ER 53/2020) a 31/12/2020 (fim do ano judiciário).~~ ~~O segundo período está certo, mas o primeiro começou no dia 15/6. São apenas alguns dias de diferença, mas eu conferi aqui e vi que a ER 52 é de 14 de julho, mas ela só foi publicada efetivamente no dia 19 de julho.~~ **Novas demandas:** - [x] Olhar andamentos para taxas de recorribilidade; - Conversar com a Pamella sobre como poderíamos verificar isso. - [x] Decidir base PIG (relatório atual) ou base SQL - [x] Lucas enviará relatório com os dados; - [x] Lucas mapear os sigilosos na base. - [x] Base de votos está pronta - [x] Resposta questões 6, 7 e 8 podem ser respondidas a priori; - [x] Lucas fará batimento para verificar diferenças entre as bases; - [x] Buscar base de destaques - [ ] Gerar SQL **Lucas** - [x] Fazer o corte em de 2016 a 2021 (30.06.2021) na base de decisões (colegiadas e virtuais) e comparar com base de votos; - [x] Rodar as perguntas 6, 7 e 8 da Bruna - Considerar os períodos antes (19.6.19 a 19.3.20) e pós pandemia (20.3.20 a 31.12.20). - [x] ~~Criar um indicador de recurso (**para depois**)~~ - ~~Primeira decisão decisão e recurso posterior no plenário (turma ou tribunal pleno)~~ ![image alt](https://www.dropbox.com/s/y96y9kbsu0a26xb/perguntas_sae.jpg?dl=1) :::info **Legenda** Pré = 19.6.19 a 19.3.20 Pós = 20.3.20 a 31.12.20 ::: Tabelas por plenário, 1 turma e 2 turma ### Pergunta 6 | Período | Pré | Pós | Total| | --------- | ---- | ---- | ---- | | Unanime | XXXX | XXXX | XXXX | | N Unanime | XXXX | XXXX | XXXX | | Total | XXXX | XXXX | XXXX | - Tabela com total e tabela de proporção ### Pergunta 7 | Período | Pré | Pós | | -------- | -------- | -------- | | Maioria | XXXX | XXXX | | N Maioria| XXXX | XXXX | | Total | XXXX | XXXX | - Tabela com total e tabela de proporção :::info Lucas, verifique se é possível juntar as duas tabelas acima. ::: :fire: **Sugestão**: Veja se faz sentido agregar dessa forma. | Período | Pré | Pós | | -------- | -------- | -------- | | Unanime | XXXX | XXXX | | Maioria c/ Relator | XXXX | XXXX | | Maioria s/ Relator | XXXX | XXXX | | Total | XXXX | XXXX | ### Pergunta 8 | Período | Pré | Pós | | -------- | -------- | -------- | | Relator vence | XXXX | XXXX | | Relator vencido| XXXX | XXXX | | Total | XXXX | XXXX | :::success Lucas, daria pra fazer um teste de correlação nessas tabelas. Seria um resultado interessante fazê-lo parecido com o que fez Cramer-V em outra análise. ::: - [x] Placar para Controle Concentrado e separado por classe (ADI, ADO, ADC, ADPF); - [x] Placar para HC e RHC (separados) nas turmas e plenário; - [x] ALTERAR AS REGRAS DE EMPATE (QUESTAO DO RELATOR) - [x] Retirado do plenário: pedidos de destaque. -> Conversar com Polyane para tentar rodar esse script. - [ ] ~~Olhar nos processos recursais com andamento de "julgado mérito da RG" -> não tem a informação~~ - [ ] ~~Taxa de recorribilidade somente geral no período.~~ - [x] Substituir os dados do PIG pelo SQL. - [x] Filtrar apenas os virtuais no ramo do direito no relatório (Euler) - [x] Destrinchar o ramo do direito "questões de altas complexidade" e verificar qual assunto "secundário" que mais aparece. ## Resultado votos - preliminar Os resultado de decisões nos mostram que durante o período de pandemia tivemos **7.866** decisões em plenário, conforme gráfico abaixo. Metodologicamente, é quase impossível que os números batam integralmente, pois a base de votos é contabilizada no nível de ministro a ministro com suas respectivas data de votação. Acontece que há entre o primeiro e o último voto diferença temporal que impactaria a entrada daquele processo dentro da base. Para exemplificar esse problema, vamos ver que nossa linha temporal (data aproximada): ```mermaid gantt title A Gantt Diagram section Section Out :a1, 2019-03-18, 90d Período pesquisa :a2, after a1 , 565d Out :after a2, 90d ``` Poderia acontecer da votação começar fora do período da pesquisa (primeiro voto) e finalizar dentro do período da pesquisa (último voto) ou o contrário, começar dentro do período (primeiro voto) e finalizar fora (último voto). Outra possibilidade é começar no período "pre-pandamia" e finalizar no período "pos-pandemia". Isso poderia trazer algumas dificuldades de manipulação da base que aumentariam a complexidade com pouco benefício em termos de identificação de padrões estatísticos. Assim, para estabelecimento de uma uniformidade metodolófica, utilizou-se como referência a data do último voto como data daquele julgamento. Assim, se a data do último voto daquele processo estiver dentro do período da pesquisa, então seria contabilizado dentro da base, caso contrário seria descartado. A diferença para a base de decisões é que poderia ocorrer uma votação antes do período da pesquisa, mas se ela foi registrada dentro do período, seria incluida na base de análise. ![](https://i.imgur.com/HtD0JvE.png) Para manipulação da base foram considerados somente os votos dentro do período da pesquisa, isto é de 19/06/2019 a 31/12/2020 e foram retirados os ministros que se declaração suspeitos ou impedidos. ## Reunião: 01/10/2021 **Prioridades do Projeto** - [x] Correção nos votos (TP, 1T, 2T); (Ok) - [x] Placar para Controle Concentrado e separado por classe (ADI, ADO, ADC, ADPF); (Ok) - Somente TP - [x] Placar para HC e RHC (separados) nas turmas e plenário; (Ok) - [x] Puxar e analisar os destaques (conversar com Polyane); - [ ] Substituir os dados do PIG pelo SQL (+ ou -) - TP e Turmas - [ ] Destrinchar o ramo do direito "questões de altas complexidade" e verificar qual assunto "secundário" que mais aparece. (Difícil) **Prazo**: 06/10/2021 (Entrega do material) **Reunião**: 07/10/2021 (Reunião se necessário) ## Reunião 08/10/2021 - [x] Incluir os gráficos dos votos com valores absolutos - [x] Atualizar a informação de pedido de destaque com Turmas. - [x] % dos pedidos de destaque em relação a total de decisões - [ ] Conferir com assessoria do plenário sobre o lançamento dos pedidos de destaque (SAE); - [x] Incluir os gráficos dos votos com valores absolutos e relativos - HC/ RHC - [x] Solicitar assunto principal nos períodos da covid; - [x] Solicitar Script de sustentações orais; - [x] Por classe - [ ] Substituir os dados do PIG pelo SQL (+ ou -) - TP e Turmas - [x] Incluir taxa de recorribilidade bruta (sem ser por colegiado) - [x] Destrinchar o ramo do direito “questões de altas complexidade” e verificar qual assunto “secundário” que mais aparece. (Difícil) - [x] ~~Solicitar lista de vistas para STI (Difícil);~~ **Período da pesquisa: Legenda** Pré = 19.6.19 a 19.3.20 Pós = 20.3.20 a 31.12.20 **Pedidos de vista:** 17/09/2021 Suspenso o julgamento MIN. NUNES MARQUES Pedido de Vista Referência: http://portal.stf.jus.br/processos/detalhe.asp?incidente=6111946 --- ## Reunião dia 15/10/2021 - [x] Verificar acesso Amicus Curie nas sustentações orais; (SGE - Lucas) - São só as solicitações feitas pelas partes ou por Amicus Curie? - [x] Lucas (SGE) Substituir: - [x] restam 619 entradas em 348 processos por restam 619 sustentações orais em 348 processos. - [x] incluir gráfico de sustentações orais em processos únicos - [x] incluir no texto de pedido de destaque os agrupamentos feitos em "grupos de classe" Quando advogado solicita "pedido de destaque" o sistema registra o nome do Ministro ou do advogado que solicitou? (SGE -> Assessoria do Plenário) Resposta assessoria do plenário: > [15:47] Maria Silvia Marques dos Santos A Resolução 642 prevê que o pedido de destaque pode ser realizado por Ministro (Relator ou não) ou por advogado. O pedido de advogado, se existir, será analisado pelo Relator, que o deferirá ou não. Esse pedido, se existir, é feito nos autos, pessoalmente, por telefone, etc, não ficamos sabendo. De todo modo, o pedido de destaque é sempre pedido, para fins de sistema, por Ministro (Relator ou não). **E sempre sai, no andamento, o nome do Ministro que pediu o destaque.** > [15:48] Maria Silvia Marques dos Santos **O sistema não aponta pedido de destaque por advogado. Se o pedido de destaque do advogado foi feito e o Ministro Relator concorda e pede, pelo sistema, não ficamos sabendo sua razão de destaque**. - [x] Detalhar a metodologia de taxa de recorribilidade no relatório. - [x] Agregar os dois relatórios (SGE) - [ ] ~~Substituir os dados do PIG pelo SQL (+ ou -)~~ - ~~TP e Turmas~~ --- ## Metodologia e definições Os dados foram extraídos de duas fontes: 1. Dimensões do Sistema de Bussiness Inteligence SAP BusinessObjects (SAP/BO) via Portal de Informações Gerenciais (PIG). 2. Tabelas do banco de dados transacional via consulta na linguagem de programação SQL (Structured Query Language) A primeira fonte trata-se de um pacote centralizado para criação de relatórios e para a visualização e compartilhamento de dados. Nela, os dados brutos já são trabalhados segundo critérios e indicadores pré-definidos e, por isso, as informações podem ser acessadas de forma mais rápida e fácil. Foi utilizada para extração de informações referentes a decisões. A segunda fonte foi utilizada para responder aos questionamentos de pesquisa cujo as variáveis não estavam mapeadas no SAP BO e, portanto, não poderiam ser respondidas via Portal de Informações Gerenciais. Por exemplo, informações sobre votos proferidos por ministros. Vale destacar que há diferença entre os quantitativos das duas bases, porém o quantitativo é não significativo e, por isso, não prejudicou as análises. :::warning :battery: **Lucas**: Acrescentar aqui uma tabela com as divergências. Explicar melhor o porquê das divergências existirem e exemplificar processos que aparecem em uma, mas não aparece na outra. (Atualizando) ::: ### Base de decisões A base de decisões, extraída do PIG, contempla informações processuais referentes a decisões, como: classe e número do processo, assunto, relatoria, ramo do direito, tipo de decisão (monocrática ou colegiada), órgão julgador, indicação de julgamento virtual, andamento da decisão e subgrupo do andamento. O subgrupo de andamento é classificado conforme tabela abaixo: | Subgrupo de andamento | |------------------------------| | Decisão de sobrestamento | | Decisão Final | | Decisão Interlocutória | | Decisão Liminar | | Decisão de Repercussão Geral | | Decisão | | Decisão em recurso interno | O período de pesquisa das decisões foi de janeiro de 2006 a junho de 2021. Foram extraídos, portanto, todos os processos com decisões neste período. Sendo que um processo pode conter uma ou mais decisões. Porém, para as análises foram utilizados apenas os dados de 19.06.2019 até 31.12.2020, em que foram analisados dois períodos: pré-pandemia e pós-pandemia, conforme abaixo: > :calendar: **Pré-pandemia:** 19.06.2019 a 19.03.2020 > :calendar: **Pós-pandemia:** 20.03.2020 a 31.12.2020 ### Base de votos A base de votos, extraída via SQL, traz informações sobre os votos proferidos por cada ministro no julgamento de méritos e recursos, exceto o voto do relator. Vale destacar que a tabela registra apenas votos proferidos em ambiente virtual. No ambiente virtual, a informação é registrada em ata e, portanto, os dados não estão estruturados para análise. A base contempla votos em processos de Repercussão Geral julgados em Plenário virtual da RG (antes de 2016) e os votos de processos que passaram a integrar o Plenário Virtual após 2016 (incluindo Plenário Virtual da RG e votos de mérito). Cada Ministro, no ambiente virtual, pode votar a favor ou a favor parcialmente, contra ou contra parcialmente em relação ao relator do processo. Para este estudo, a fim de facilitar a comparação de forma mais direta quanto à divergência ou à uniformidade dos votos, foi realizada a seguinte parametrização: | Votos | Parametrização | |-----------------------------------|---------------------| | Acompanho a divergência | Acompanho o relator | | Acompanho o relator | Acompanho o relator | | Acompanho o relator com ressalvas | Divirjo do relator | | Divirjo do relator | Divirjo do relator | Situações de impedimentos e/ou suspeição foram retiradas da base por não fazerem parte do escopo da análise. Para análise dos votos, foi selecionado o mesmo corte temporal das decisões: > :calendar: **Pré-pandemia:** 19.06.2019 a 19.03.2020 > :calendar: **Pós-pandemia:** 20.03.2020 a 31.12.2020 Com os votos em ambiente virtual são registrados diariamente, a extração dos dados ficou sujeita às seguintes situações indesejadas: 1. Julgamento ter início antes do período pré-pandemia e terminar dentro do período pré-pandemia; 2. Julgamento ter início dentro do período pré-pandemia e terminar dentro do período pós-pandemia; 3. Julgamento ter início dentro do período pós-pandemia e terminar fora desse período. 4. Estas situações fizeram com que a contagem de votos de alguns processos ficasse dividida em períodos indesejados. Para fins de análise, decidiu-se então utilizar a data do último voto como data final da votação daquele processo. A razão da escolha desse parâmetro foi porque a decisão pode ser alterada até o último minuto do prazo estabelecido para votação no ambiente virtual. Esse critério garantiu que os votos fossem contabilizados integramente em cada período. Porém, trouxe uma divergência quantitativa entre a base de votos e a base decisão, uma vez que a decisão é registrada apenas após a finalização da sessão de julgamento virtual. Então, nos limites dessas datas pode acontecer de contabilizar os votos, mas a data da decisão ser posterior e não ser contabilizado no estudo. A divergência foi mínima, por isso optou-se por seguir com a metodologia. Para mais informações acesse Para mais informações acesse [aqui](https://hackmd.io/@stf/ByZvWuzmY#Resultado-votos---preliminar). ### Base de destaque (*) Os dados sobre pedido de destaque foram retirados da base do Supremo sob a seguinte regra: :::info Foram coletados os processos que tiveram o Andamento **Retirado do Julgamento Virtual** e que continha na observação do andamento (campo textual do andamento) possuia a informação de **Pedido de Destaque**. ::: O período de análise foi também pré-pandemia e pós-pandemia, conforme descrito na base de decisões. ### Base de sustentações orais (*) A base de sustentações orais também foi retirada das bases de dados do Supremo e referem-se aos advogados que fizeram sustentações orais no período da pesquisa. Os dados ali registrados correspondem apenas ao período pós-pandemia. É importante salientar que há muitos processos com mais de uma sustentação oral. Quanto à informação do Estado da OAB do advogado, além dos inúmeros casos sem registro, não foi possível identificar se a atuação do advogado foi efetivamente pelo mesmo Estado da OAB registrado. ### Taxa de recorribilidade (*) A taxa de recorribilidade é um indicador usado para medir o quanto as decisões do Tribunal foram passíveis de recursos. Define-se a taxa de recorribilidade como a quantidade de processos que tiveram algum andamento do subgrupo de recurso, divido pela quantidade de decisões no mesmo período. Veja a fórmula: $$ TR= \frac{Processos \ com \ andamento \ no\ subgrupo\ recursal}{Total\ de\ decisões} $$ Os andamentos do subgrupo recursal são os seguintes: | Andamento | |-------------------------------------------------------| | Interposto agravo regimental | | INTERPOSTO AGRAVO REGIMENTAL | | INTERPOSTO AGRAVO REGIMENTAL E EMBARGOS DE DECLARAÇÃO | | INTERPOSTOS EMBARGOS | | INTERPOSTOS EMBARGOS DE DECLARACAO | | INTERPOSTOS EMBARGOS DE DIVERGENCIA | | INTERPOSTOS EMBARGOS INFRINGENTES | | Opostos embargos à execução | | Opostos embargos de declaração | | Opostos embargos de divergência | | Opostos embargos infringentes | | PET. AVULSA DE AGRAVO REGIMENTAL N. | | Requerida Tutela Provisória Incidental | ## Sugestões do Projeto: 25/10/2021 **Perguntas não respondidas:** * Registro histórico dos votos, de forma a permitir verificar a mudança dos votos; * Registro do estado do advogado que faz a sustentação oral; * Análise dos pontos de melhoria para responder questionamentos interessantes; * Inclusão da taxa de recorribilidade no colegiado; * Criação de uma relatório sumarizado do colegiado com a sugestões de melhoria para apresentação ao Inova/STF. **Sugestões Lívia/SAE:** * Conversas com atores externos sobre a pesquisa; * Conversas com internas com atores do STF; * Melhoria nos processos de pesquisa; Acho que a dinâmica de estabelecer cronogramas semanais achei mais produtivo. **Pontos fortes** - Cronogramas de longo e curto prazo - Reuniões semanais **Pontos de melhoria** - Fazer apenas um projeto por vez; **Inserir na metodologia** - Não considerou os sigilosos; - As datas foram de lançamento de sistemas e não necessariamente a data de decisão, como acontece com a data de julgamento; - [x] Verificar se em Sustentações Orais há amicus curie? --- ## Processos retirados de votos ![](https://i.imgur.com/DkILQns.png) Observe que apesar de haver 5 registros, são apenas 3 julgamentos. O primeiro julgamento indicam que venceu por maioria (empate) na 2ª Turma. O segundo venceu por unimidade na 1ª Turma. O terceiro veceu por maioria na 2ª Turma. Sendo assim, a diferença será de: * 1ª Turma: -1 processo em `unimime com relator`; * 2ª Turma: -2 processos em `maioria com relator`. **Veja abaixo:** ### Relatório antes - 1T ![](https://i.imgur.com/gkWjXgH.png) ### Relatório **depois** - 1T ![](https://i.imgur.com/XaYSj2v.png) ### Relatório antes - 2T ![](https://i.imgur.com/PdVJETb.png) ### Relatório **depois** - 2T ![](https://i.imgur.com/6ZJV7r7.png) [Relatório atualizado](https://euleralencar.github.io/pesquisapv/pages/relatorio_decisoes_votos) ## I Encontro Acadêmico de Pesquisas Judiciárias do Supremo Tribunal Federal Pesquisa Empírica sobre o Plenário Virtual - Como a distribuição impacta as decisões? - Correlacionar os pedidos de destaque com os pedidos de vista. - Termo "Plenário virtual" -> trocar por "Ambiente virtual ou eletrônico de julgamento". Leonardo Cunha - **Parametrização** ```{r} # Inerindo divergencia de relator base_votos <- base_votos %>% mutate(tipo_voto = case_when(descricao_do_voto == "Acompanho o relator com ressalvas" ~ "Acompanho o relator", descricao_do_voto == "Acompanho a divergência" ~ "Divirjo do relator", TRUE ~ descricao_do_voto)) ``` - Não tem como fazer essa diferenciação dos pedidos de destaque; - Quais são os Ministros vencedores na divergência? (Dá pra fazer isso!!!) Dr. Paula - Divergência reverteu o julgamento? - Divergência foi apresentado no início ou no final? Organizar dados de votos no portal - Não temos histórico do voto. O estudo foi realizado com voto final registrado e somente no ambiente virtual. Votos represados - Efeito Marco Aurélio ** Considerações - Pesquisa empírica qualitativa e **exploratória**. Votos dos Ministros - Fazer um painel?