Amostragem insuficiente, conclusões precipitadas: uma crítica aos dados do artigo sobre trabalho não presencial no Judiciário
Por Thomás Vlacic Moraes, analista judiciário na 1ª VF de Cachoeira do Sul/ RS, filiado ao Sintrajufe/RS
Durante o final do ano passado, assim como muitos outros colegas em regime de teletrabalho integral, fui aterrorizado pela ameaça legislativa da infame Reforma Administrativa, que, dentre outras medidas extremamente prejudiciais aos servidores (amplamente discutidas e combatidas por nossos sindicatos), também contém a completa aniquilação do regime de teletrabalho. Digo completa, pois, embora o mantenha formalmente possível, as limitações pretendidas impedem que um servidor resida distante de sua sede, o que é o motivo principal de grande parte dos colegas que laboram neste regime.
Sou teletrabalhador desde meados de 2016, nos primórdios da instituição desta modalidade, e, não fosse isso, pelas dificuldades dos processos de remoção, até hoje não teria conseguido residir na minha cidade natal, próximo da minha família e amigos. E essa é a situação de inúmeros colegas por todo o Brasil e até mesmo no exterior. A melhora na qualidade de vida dos servidores é imensa e indiscutível.
O objetivo deste pequeno artigo não é discutir a lamentável reforma, que, embora tenha esfriado no Congresso Nacional, ainda promete nos assombrar bastante. Fiz essa pequena introdução porque esse fantasma me gerou o hábito de constantemente pesquisar sobre o tema na internet e, há alguns dias, deparei-me com um artigo intitulado “Uma análise institucional do trabalho não presencial e do desempenho no judiciário brasileiro”, publicado na Revista de Administração Pública da Fundação Getulio Vargas e divulgado no site Poder3601.
Coincidência temporal ou não, fiquei curioso com o resultado do artigo e surpreendido com a conclusão divulgada pelo referido site, de que “o trabalho remoto reduziu eficiência dos tribunais federais”, já contida no título da matéria jornalística. Surpreendido porque a minha produtividade pessoal sempre foi imensamente maior com o teletrabalho, e o senso comum entre os servidores é de que o trabalho a distância, além dos inúmeros outros benefícios, não prejudica em nada a execução das atribuições, em tempos de processo eletrônico. Claro, acostumado com o sensacionalismo do jornalismo brasileiro na interpretação de artigos científicos, procedi à sua leitura integral e aprofundada antes de emitir qualquer opinião.
Terminada a leitura, senti-me com o dever moral de apresentar uma dura e minuciosa crítica às suas conclusões, que, na minha visão, são metodologicamente frágeis e politicamente preocupantes. Convido todos a também lerem o artigo na íntegra para tirarem suas próprias conclusões2.
Vejamos. Em seus parágrafos iniciais, os próprios autores, de modo prudente e acertado, estabelecem uma importante distinção entre trabalho remoto, em referência ao regime de trabalho emergencial durante a pandemia da Covid-19, e o teletrabalho, que seria o regime já vigente desde 2016, pela Resolução nº 227 do CNJ.
De fato, não há como comparar a produtividade de um servidor que já organizou sua própria estação de trabalho, com um computador com dois monitores e cadeira adequada, com o trabalho remoto integral e emergencial da pandemia, que obrigou servidores acostumados ao trabalho presencial a situações lamentáveis, como ter que trabalhar em um pequeno notebook, sem qualquer ergonomia, às vezes até sem um mouse.
Os próprios autores concordam, mais adiante, que “diversas questões pertinentes à individualidade de diferentes atores podem refletir na produtividade organizacional dos TRFs, tais como questões de saúde pessoal e familiar, bem como a perda do limite entre o lócus profissional e particular (casa), além de efeitos psicológicos provocados pela situação de isolamento”, e destacam que tais questões não foram avaliadas no estudo.
Dito isso, o objetivo do artigo é nebuloso: visa a analisar apenas a alteração de produtividade decorrente do período pandêmico (“trabalho remoto”) ou do teletrabalho institucionalizado pela Resolução nº 227? A distinção é de suma importância e deveria ter sido mais bem esclarecida pelos autores, pois: (i) se o objetivo é apenas o período pandêmico, é imprudente associar os resultados ao trabalho a distância, visto que o próprio artigo assume a existência de diversos outros fatores de extrema relevância; (ii) no segundo caso, o período de amostragem (2018 a 2023) é parco e insuficiente, justamente por nele estar inserido o período excepcional da pandemia.
Mais adiante, ainda na introdução, menciona-se que “ao questionar os impactos da implantação do trabalho remoto e a flexibilização do teletrabalho (…) o presente estudo contribui com reflexões sobre o desempenho no Poder Judiciário”. Aparentemente, portanto, são dois os objetivos: a análise do desempenho do trabalho remoto (que, reitero, segundo a distinção dos autores, se refere ao período pandêmico) e os impactos da “flexibilização do teletrabalho” ocorrida após a pandemia.
Mas o que seria essa flexibilização? Para compreender esse ponto, é necessário pular para o capítulo 4.3. Nele, os autores iniciam novamente mencionando que a discussão de desempenho seria referente ao período pandêmico, mas depois passam a uma digressão relacionada às maiores flexibilizações pós-pandêmicas no regime de teletrabalho da Justiça Federal (como a autorização a servidores em estágio probatório, por exemplo), que, segundo eles, teriam sido motivadas por estudos que apontavam um aumento na produtividade naquele período, concluindo que “a flexibilização do teletrabalho pode se configurar como um fator institucional decorrente do contexto da pandemia de SARS-CoV-2”.
Isso é de extrema importância, porque, para o período pós-pandêmico, a amostragem é ainda mais reduzida: novembro de 2022 (fim do trabalho remoto obrigatório) ao final de 2023 (visto que os dados são anuais). Ou seja, praticamente não há elementos comparativos na pesquisa para avaliar se as flexibilizações pós-pandêmicas no teletrabalho alteraram em algo a produtividade nos Tribunais Federais.
Acerca da metodologia, o estudo afirma que a taxa de congestionamento, métrica desenvolvida pelo Departamento de Pesquisas Judiciárias do Conselho Nacional de Justiça, “possui limitações em termos de mensuração de produtividade”, e por isso opta pela utilização da taxa de congestionamento líquida, que, segundo os autores, eliminaria as distorções ocasionadas pelos processos sobrestados e em arquivo provisório.
Não faço objeções contra a métrica utilizada, e apresento aqui a tabela utilizada no estudo:
Ocorre que a leitura de tais dados deve ser feita de modo muito cuidadoso, seja pela baixa amostragem, seja pela heterogeneidade dos resultados, se considerado cada Tribunal de forma individual.
A primeira limitação metodológica do artigo ao analisá-los é não considerar o viés de agregação (aggregation bias), que ocorre na combinação de unidades heterogêneas (tribunais com realidades muito diferentes) com sobrevalorização do resultado agregado, gerando a conhecida “falácia ecológica”, aproveitando-me das terminologias de David Freedman3. Por exemplo: denota-se que o TRF4 teve uma produtividade mais estável que os demais tribunais, com uma melhora expressiva de 2019 em relação a 2018 (o que poderia indicar, ao contrário do que conclui o artigo, uma influência positiva do teletrabalho), e uma estabilidade no período pós-pandêmico, não alcançando ainda o nível de 2019, mas com uma tendência de melhora. Por sua vez, os dados do TRF1 são extremamente voláteis: se há algum nexo causal entre o teletrabalho e a produtividade demonstrável por tais dados, o que explicaria a melhora gigantesca no ano de 2022, com índices muito melhores do que em 2018? Já a produtividade do TRF5 também se revela estável, e a grande melhora ocorrida entre 2022 e 2023 poderia sugerir também, ad argumentandum, uma consequência positiva da flexibilização pós-pandêmica do teletrabalho.
Além do problema de agregação, a inferência causal realizada no estudo também é frágil. Como argumenta Judea Pearl4, em análise de dados observacionais, não é possível estabelecer relações de causa e efeito apenas com base em associações estatísticas, sobretudo quando não há controle explícito de variáveis de confusão. No caso em questão, a simples coincidência temporal entre o aumento da taxa de congestionamento e a adoção do teletrabalho não permite concluir que um fenômeno causou o outro, já que fatores externos, como a própria disrupção institucional provocada pela pandemia, podem explicar simultaneamente ambos os movimentos.
Some-se a isso a ausência de um dado absolutamente essencial para qualquer tentativa de inferência causal: a proporção de servidores em regime de teletrabalho em cada tribunal ao longo do período analisado. Sem essa informação, não há como sequer medir a intensidade do fenômeno que se pretende avaliar. Tribunais podem ter adotado o teletrabalho em graus muito distintos, seja em termos de percentual de servidores, seja quanto ao tipo de atividade desempenhada, seja quanto às metas estabelecidas e ao rigor da fiscalização, o que impede qualquer comparação minimamente rigorosa. Em termos metodológicos, trata-se da ausência de uma variável-chave de exposição, sem a qual não é possível estabelecer sequer correlação consistente, quanto mais causalidade.
Portanto, o ponto mais crítico e preocupante do artigo, publicado em uma renomada revista de nível A2 e que pode vir a embasar futuras alterações normativas ou legislativas desfavoráveis aos servidores e ao teletrabalho, é concluir, ao final do capítulo 4.3, que “no caso empírico, o regime de trabalho esteve relacionado a uma tendência de piora no desempenho dos TRFs, isso porque se observou uma tendência de aumento da taxa de congestionamento líquida”.
Aqui, a distinção fundamental, corretamente estabelecida no início do trabalho, foi completamente ignorada. Afinal, qual regime de trabalho esteve relacionado a uma piora? O regime emergencial e precário de “trabalho remoto”, com servidores trabalhando em notebooks e computadores improvisados e despreparados para tanto, ou o teletrabalho regular, com servidores habituados a tal modalidade e submetidos a controles rígidos de produtividade?
Na sequência, afirma-se que “ainda pela análise dos efeitos contextuais, depreende-se que as pressões institucionais demonstraram afetar as práticas vigentes nos tribunais em análise e impactar a flexibilização do teletrabalho, contradizendo o discurso utilitarista funcionalista”. Aqui os autores parecem concluir, ainda que de modo velado, que a queda de produtividade ocasionada pela pandemia deveria ter servido de alerta para os tribunais quanto à flexibilização do teletrabalho. Contudo, essa inferência não se sustenta: confunde-se um cenário excepcional, marcado por ruptura institucional, adaptação tecnológica abrupta e condições materiais precárias, com um regime ordinário e estruturado de trabalho. Ao não distinguir adequadamente esses contextos, o artigo acaba por atribuir ao teletrabalho efeitos que podem decorrer, na verdade, das circunstâncias extraordinárias da pandemia, incorrendo em uma generalização indevida que fragiliza suas conclusões.
Ainda sobre o capítulo 4.3, ele contém um perigoso parágrafo, que vale a pena ser integralmente citado:
Ainda segundo os achados, em contraposição ao princípio da eficiência, tem-se, na institucionalização das flexibilizações ao teletrabalho, trazidas pelas alterações nas Resoluções do CNJ ainda durante a pandemia, uma evidência da mudança institucional ocorrida – isto é, a configuração da nova realidade (novo padrão) vivenciada pelos atores envolvidos. Inicialmente implementado em caráter facultativo e, posteriormente, em caráter emergencial, o trabalho não presencial – seja no regime de trabalho remoto, seja teletrabalho – passou a figurar permanentemente durante e após a pandemia, a despeito de alterações na produtividade.
O trecho citado incorre em uma redução indevida do princípio da eficiência a um único indicador, a produtividade mensurada pela taxa de congestionamento, o que não se sustenta nem do ponto de vista teórico nem prático. A eficiência, especialmente na Administração Pública, envolve uma relação mais ampla entre meios e fins, incluindo não apenas a quantidade de processos julgados, mas também a qualidade da prestação jurisdicional, a economicidade e o bem-estar dos agentes públicos. Nesse sentido, é incontroverso que o teletrabalho reforça o princípio da eficiência ao gerar economia de recursos materiais e logísticos, como redução de gastos com energia, infraestrutura física e deslocamentos, além de contribuir para a saúde física e mental dos servidores, com impacto na sustentabilidade do serviço público a médio e longo prazo.
No início do capítulo 5, o artigo assume novamente uma postura mais contida. Os autores confessam as limitações do estudo, principalmente a ausência de dados posteriores a 2023, os quais seriam fundamentais para uma melhor verificação do nexo causal entre o regime de teletrabalho e o desempenho dos tribunais.
Porém, logo o artigo retorna às suas conclusões precipitadas e ambíguas. Apesar de aduzir, limitando-se ao conceito de trabalho remoto (ou seja, aquele realizado durante a pandemia da Covid-19), que “o regime de trabalho remoto emergencial esteve relacionado a uma tendência de piora no desempenho médio dos TRFs” (o que é incontroverso, mas totalmente justificável e não necessariamente relacionado ao trabalho a distância de modo isolado, como já exposto), conclui na sequência que “a despeito desse resultado, ainda durante a pandemia, efetuaram-se alterações normativas para ampliar a prestação de serviço jurisdicional em teletrabalho, as quais vigoram até o presente momento, ainda que a produtividade média não tenha se reestabelecido aos níveis anteriores”, embora a amostragem não alcance a data de sua publicação (o artigo é, nesse ponto, portanto, falacioso) e seu reduzido escopo torne impossível uma conclusão segura de que as referidas flexibilizações tiveram qualquer impacto negativo na produtividade pós-pandemia.
Na sequência, sobrevém um dos parágrafos mais obscuros da publicação, que também julgo necessário citar na íntegra:
Apesar da limitação da pesquisa em não considerar as diversas questões pertinentes à individualidade de diferentes atores que podem refletir na produtividade organizacional dos TRFs, pelos achados, defende-se que as alterações ocorridas especialmente a partir da flexibilização do trabalho não presencial podem se configurar como um fator institucional decorrente do contexto da pandemia de SARS-CoV-2. Em outras palavras, há fatores para além da eficiência utilitarista que parecem determinar o desempenho da prestação dos serviços jurisdicionais, os quais, por sua vez, devem ser considerados quando da normatização por parte do CNJ.
O trecho evidencia uma ambiguidade relevante na própria conclusão do artigo. Após sugerir, ao longo da análise, uma relação entre a flexibilização do teletrabalho e a piora do desempenho dos tribunais, os autores passam a reconhecer que o fenômeno é influenciado por múltiplos fatores não analisados, inclusive de ordem individual e contextual. Essa inflexão enfraquece a inferência anterior: se há variáveis relevantes não controladas, não é metodologicamente consistente atribuir ao teletrabalho, ainda que de forma implícita, um papel explicativo central.
O grande problema dessa ambiguidade é que um artigo científico, publicado em uma revista de alto prestígio, tem um impacto político e social gigantesco. Ainda que a intenção dos autores tenha sido apenas apontar possíveis correlações e levantar hipóteses exploratórias sobre mudanças institucionais ocorridas no período pandêmico, sem pretensão de estabelecer relações causais definitivas, veja-se quais conclusões a mídia destaca em suas matérias jornalísticas1:
O CNJ (Conselho Nacional de Justiça) já permitia o teletrabalho desde 2016. A Resolução 227 estabelecia regime facultativo para até 30% dos servidores por unidade. Vedava a modalidade para chefes e servidores em estágio probatório.
A pandemia mudou essas regras permanentemente. Em fevereiro de 2021, o CNJ editou a Resolução 371. A norma liberou o teletrabalho para chefes e para servidores depois do 1º ano de estágio probatório.
O CNJ justificou a flexibilização com base no “princípio da eficiência” e na necessidade de motivar servidores. Mas os dados de produtividade não sustentam esse discurso, segundo os pesquisadores.
Cabe destacar, por fim, que, mesmo que fosse demonstrada de fato uma queda de produtividade (em eventual análise de uma amostragem maior e mais detalhada de dados) relacionada ao aumento de servidores em teletrabalho, tampouco haveria qualquer argumento teleológico para atribuir ao teletrabalho em si essa consequência. Isso porque a própria regulamentação do Conselho Nacional de Justiça estabelece, de forma expressa, que os servidores em regime de teletrabalho devem cumprir metas de desempenho superiores às daqueles em regime presencial, cabendo à gestão das unidades a definição, o acompanhamento e o ajuste dessas metas. Assim, ainda que se admitisse, em hipótese, alguma redução de desempenho, tal resultado não poderia ser automaticamente imputado ao regime de trabalho em si ou aos servidores, mas sim à eventual inadequação na fixação ou fiscalização das metas, o que configura, em essência, um problema de gestão, e não uma falha intrínseca do teletrabalho. Em outras palavras, basta aos gestores atribuírem metas claras aos teletrabalhadores e serem rigorosos em sua fiscalização, cobrando e, excepcionalmente, punindo apenas os indivíduos que não se adequarem às normas, em vez de restringir todo um sistema de trabalho já plenamente estabelecido e prejudicar indiscriminadamente milhares de servidores diligentes.
Diante de todo o exposto, o que se revela verdadeiramente temerário não é apenas a fragilidade metodológica do estudo, mas a sua potencial repercussão prática. Em um contexto de constantes ameaças ao servidor público, com uma Reforma Administrativa em discussão que, sem qualquer motivação válida, busca eliminar o teletrabalho, a publicação de conclusões ambíguas, baseadas em dados limitados e inferências não devidamente sustentadas, representa um risco concreto de formulação de políticas públicas equivocadas, ameaçando o bem-estar e a qualidade de vida dos servidores.
A responsabilidade científica, especialmente em periódicos de elevado prestígio, exige rigor na análise dos dados e prudência nas conclusões. Nesse sentido, à luz das inconsistências apontadas, seria recomendável que futuros desdobramentos desta pesquisa ou novas notas técnicas dos autores pudessem delimitar com maior clareza os limites do estudo, evitando que interpretações generalistas e distorcidas sejam utilizadas para retroceder na organização do serviço público e na qualidade de vida dos servidores.
Referências
PODER360. Trabalho remoto reduziu eficiência dos tribunais federais, diz pesquisa. Disponível em: poder360.com.br.
Uma análise institucional do trabalho não presencial e do desempenho no judiciário brasileiro. Revista de Administração Pública (FGV). Íntegra disponível em: static.poder360.com.br (PDF).
FREEDMAN, David A. Ecological Inference and the Ecological Fallacy. 1999. Disponível em: web.stanford.edu (PDF).
PEARL, Judea. Causality: Models, Reasoning, and Inference. 2. ed. Cambridge: Cambridge University Press, 2009. Disponível em: archive.illc.uva.nl (PDF).
Visited 24 times, 26 visit(s) today
Durante o final do ano passado, assim como muitos outros colegas em regime de teletrabalho integral, fui aterrorizado pela ameaça legislativa da infame Reforma Administrativa, que, dentre outras medidas extremamente prejudiciais aos servidores (amplamente discutidas e combatidas por nossos sindicatos), também contém a completa aniquilação do regime de teletrabalho. Digo completa, pois, embora o mantenha formalmente possível, as limitações pretendidas impedem que um servidor resida distante de sua sede, o que é o motivo principal de grande parte dos colegas que laboram neste regime.
Sou teletrabalhador desde meados de 2016, nos primórdios da instituição desta modalidade, e, não fosse isso, pelas dificuldades dos processos de remoção, até hoje não teria conseguido residir na minha cidade natal, próximo da minha família e amigos. E essa é a situação de inúmeros colegas por todo o Brasil e até mesmo no exterior. A melhora na qualidade de vida dos servidores é imensa e indiscutível.
O objetivo deste pequeno artigo não é discutir a lamentável reforma, que, embora tenha esfriado no Congresso Nacional, ainda promete nos assombrar bastante. Fiz essa pequena introdução porque esse fantasma me gerou o hábito de constantemente pesquisar sobre o tema na internet e, há alguns dias, deparei-me com um artigo intitulado “Uma análise institucional do trabalho não presencial e do desempenho no judiciário brasileiro”, publicado na Revista de Administração Pública da Fundação Getulio Vargas e divulgado no site Poder3601.
Coincidência temporal ou não, fiquei curioso com o resultado do artigo e surpreendido com a conclusão divulgada pelo referido site, de que “o trabalho remoto reduziu eficiência dos tribunais federais”, já contida no título da matéria jornalística. Surpreendido porque a minha produtividade pessoal sempre foi imensamente maior com o teletrabalho, e o senso comum entre os servidores é de que o trabalho a distância, além dos inúmeros outros benefícios, não prejudica em nada a execução das atribuições, em tempos de processo eletrônico. Claro, acostumado com o sensacionalismo do jornalismo brasileiro na interpretação de artigos científicos, procedi à sua leitura integral e aprofundada antes de emitir qualquer opinião.
Terminada a leitura, senti-me com o dever moral de apresentar uma dura e minuciosa crítica às suas conclusões, que, na minha visão, são metodologicamente frágeis e politicamente preocupantes. Convido todos a também lerem o artigo na íntegra para tirarem suas próprias conclusões2.
Vejamos. Em seus parágrafos iniciais, os próprios autores, de modo prudente e acertado, estabelecem uma importante distinção entre trabalho remoto, em referência ao regime de trabalho emergencial durante a pandemia da Covid-19, e o teletrabalho, que seria o regime já vigente desde 2016, pela Resolução nº 227 do CNJ.
De fato, não há como comparar a produtividade de um servidor que já organizou sua própria estação de trabalho, com um computador com dois monitores e cadeira adequada, com o trabalho remoto integral e emergencial da pandemia, que obrigou servidores acostumados ao trabalho presencial a situações lamentáveis, como ter que trabalhar em um pequeno notebook, sem qualquer ergonomia, às vezes até sem um mouse.
Os próprios autores concordam, mais adiante, que “diversas questões pertinentes à individualidade de diferentes atores podem refletir na produtividade organizacional dos TRFs, tais como questões de saúde pessoal e familiar, bem como a perda do limite entre o lócus profissional e particular (casa), além de efeitos psicológicos provocados pela situação de isolamento”, e destacam que tais questões não foram avaliadas no estudo.
Dito isso, o objetivo do artigo é nebuloso: visa a analisar apenas a alteração de produtividade decorrente do período pandêmico (“trabalho remoto”) ou do teletrabalho institucionalizado pela Resolução nº 227? A distinção é de suma importância e deveria ter sido mais bem esclarecida pelos autores, pois: (i) se o objetivo é apenas o período pandêmico, é imprudente associar os resultados ao trabalho a distância, visto que o próprio artigo assume a existência de diversos outros fatores de extrema relevância; (ii) no segundo caso, o período de amostragem (2018 a 2023) é parco e insuficiente, justamente por nele estar inserido o período excepcional da pandemia.
Mais adiante, ainda na introdução, menciona-se que “ao questionar os impactos da implantação do trabalho remoto e a flexibilização do teletrabalho (…) o presente estudo contribui com reflexões sobre o desempenho no Poder Judiciário”. Aparentemente, portanto, são dois os objetivos: a análise do desempenho do trabalho remoto (que, reitero, segundo a distinção dos autores, se refere ao período pandêmico) e os impactos da “flexibilização do teletrabalho” ocorrida após a pandemia.
Mas o que seria essa flexibilização? Para compreender esse ponto, é necessário pular para o capítulo 4.3. Nele, os autores iniciam novamente mencionando que a discussão de desempenho seria referente ao período pandêmico, mas depois passam a uma digressão relacionada às maiores flexibilizações pós-pandêmicas no regime de teletrabalho da Justiça Federal (como a autorização a servidores em estágio probatório, por exemplo), que, segundo eles, teriam sido motivadas por estudos que apontavam um aumento na produtividade naquele período, concluindo que “a flexibilização do teletrabalho pode se configurar como um fator institucional decorrente do contexto da pandemia de SARS-CoV-2”.
Isso é de extrema importância, porque, para o período pós-pandêmico, a amostragem é ainda mais reduzida: novembro de 2022 (fim do trabalho remoto obrigatório) ao final de 2023 (visto que os dados são anuais). Ou seja, praticamente não há elementos comparativos na pesquisa para avaliar se as flexibilizações pós-pandêmicas no teletrabalho alteraram em algo a produtividade nos Tribunais Federais.
Acerca da metodologia, o estudo afirma que a taxa de congestionamento, métrica desenvolvida pelo Departamento de Pesquisas Judiciárias do Conselho Nacional de Justiça, “possui limitações em termos de mensuração de produtividade”, e por isso opta pela utilização da taxa de congestionamento líquida, que, segundo os autores, eliminaria as distorções ocasionadas pelos processos sobrestados e em arquivo provisório.
Não faço objeções contra a métrica utilizada, e apresento aqui a tabela utilizada no estudo:
Ocorre que a leitura de tais dados deve ser feita de modo muito cuidadoso, seja pela baixa amostragem, seja pela heterogeneidade dos resultados, se considerado cada Tribunal de forma individual.
A primeira limitação metodológica do artigo ao analisá-los é não considerar o viés de agregação (aggregation bias), que ocorre na combinação de unidades heterogêneas (tribunais com realidades muito diferentes) com sobrevalorização do resultado agregado, gerando a conhecida “falácia ecológica”, aproveitando-me das terminologias de David Freedman3. Por exemplo: denota-se que o TRF4 teve uma produtividade mais estável que os demais tribunais, com uma melhora expressiva de 2019 em relação a 2018 (o que poderia indicar, ao contrário do que conclui o artigo, uma influência positiva do teletrabalho), e uma estabilidade no período pós-pandêmico, não alcançando ainda o nível de 2019, mas com uma tendência de melhora. Por sua vez, os dados do TRF1 são extremamente voláteis: se há algum nexo causal entre o teletrabalho e a produtividade demonstrável por tais dados, o que explicaria a melhora gigantesca no ano de 2022, com índices muito melhores do que em 2018? Já a produtividade do TRF5 também se revela estável, e a grande melhora ocorrida entre 2022 e 2023 poderia sugerir também, ad argumentandum, uma consequência positiva da flexibilização pós-pandêmica do teletrabalho.
Além do problema de agregação, a inferência causal realizada no estudo também é frágil. Como argumenta Judea Pearl4, em análise de dados observacionais, não é possível estabelecer relações de causa e efeito apenas com base em associações estatísticas, sobretudo quando não há controle explícito de variáveis de confusão. No caso em questão, a simples coincidência temporal entre o aumento da taxa de congestionamento e a adoção do teletrabalho não permite concluir que um fenômeno causou o outro, já que fatores externos, como a própria disrupção institucional provocada pela pandemia, podem explicar simultaneamente ambos os movimentos.
Some-se a isso a ausência de um dado absolutamente essencial para qualquer tentativa de inferência causal: a proporção de servidores em regime de teletrabalho em cada tribunal ao longo do período analisado. Sem essa informação, não há como sequer medir a intensidade do fenômeno que se pretende avaliar. Tribunais podem ter adotado o teletrabalho em graus muito distintos, seja em termos de percentual de servidores, seja quanto ao tipo de atividade desempenhada, seja quanto às metas estabelecidas e ao rigor da fiscalização, o que impede qualquer comparação minimamente rigorosa. Em termos metodológicos, trata-se da ausência de uma variável-chave de exposição, sem a qual não é possível estabelecer sequer correlação consistente, quanto mais causalidade.
Portanto, o ponto mais crítico e preocupante do artigo, publicado em uma renomada revista de nível A2 e que pode vir a embasar futuras alterações normativas ou legislativas desfavoráveis aos servidores e ao teletrabalho, é concluir, ao final do capítulo 4.3, que “no caso empírico, o regime de trabalho esteve relacionado a uma tendência de piora no desempenho dos TRFs, isso porque se observou uma tendência de aumento da taxa de congestionamento líquida”.
Aqui, a distinção fundamental, corretamente estabelecida no início do trabalho, foi completamente ignorada. Afinal, qual regime de trabalho esteve relacionado a uma piora? O regime emergencial e precário de “trabalho remoto”, com servidores trabalhando em notebooks e computadores improvisados e despreparados para tanto, ou o teletrabalho regular, com servidores habituados a tal modalidade e submetidos a controles rígidos de produtividade?
Na sequência, afirma-se que “ainda pela análise dos efeitos contextuais, depreende-se que as pressões institucionais demonstraram afetar as práticas vigentes nos tribunais em análise e impactar a flexibilização do teletrabalho, contradizendo o discurso utilitarista funcionalista”. Aqui os autores parecem concluir, ainda que de modo velado, que a queda de produtividade ocasionada pela pandemia deveria ter servido de alerta para os tribunais quanto à flexibilização do teletrabalho. Contudo, essa inferência não se sustenta: confunde-se um cenário excepcional, marcado por ruptura institucional, adaptação tecnológica abrupta e condições materiais precárias, com um regime ordinário e estruturado de trabalho. Ao não distinguir adequadamente esses contextos, o artigo acaba por atribuir ao teletrabalho efeitos que podem decorrer, na verdade, das circunstâncias extraordinárias da pandemia, incorrendo em uma generalização indevida que fragiliza suas conclusões.
Ainda sobre o capítulo 4.3, ele contém um perigoso parágrafo, que vale a pena ser integralmente citado:
Ainda segundo os achados, em contraposição ao princípio da eficiência, tem-se, na institucionalização das flexibilizações ao teletrabalho, trazidas pelas alterações nas Resoluções do CNJ ainda durante a pandemia, uma evidência da mudança institucional ocorrida – isto é, a configuração da nova realidade (novo padrão) vivenciada pelos atores envolvidos. Inicialmente implementado em caráter facultativo e, posteriormente, em caráter emergencial, o trabalho não presencial – seja no regime de trabalho remoto, seja teletrabalho – passou a figurar permanentemente durante e após a pandemia, a despeito de alterações na produtividade.
O trecho citado incorre em uma redução indevida do princípio da eficiência a um único indicador, a produtividade mensurada pela taxa de congestionamento, o que não se sustenta nem do ponto de vista teórico nem prático. A eficiência, especialmente na Administração Pública, envolve uma relação mais ampla entre meios e fins, incluindo não apenas a quantidade de processos julgados, mas também a qualidade da prestação jurisdicional, a economicidade e o bem-estar dos agentes públicos. Nesse sentido, é incontroverso que o teletrabalho reforça o princípio da eficiência ao gerar economia de recursos materiais e logísticos, como redução de gastos com energia, infraestrutura física e deslocamentos, além de contribuir para a saúde física e mental dos servidores, com impacto na sustentabilidade do serviço público a médio e longo prazo.
No início do capítulo 5, o artigo assume novamente uma postura mais contida. Os autores confessam as limitações do estudo, principalmente a ausência de dados posteriores a 2023, os quais seriam fundamentais para uma melhor verificação do nexo causal entre o regime de teletrabalho e o desempenho dos tribunais.
Porém, logo o artigo retorna às suas conclusões precipitadas e ambíguas. Apesar de aduzir, limitando-se ao conceito de trabalho remoto (ou seja, aquele realizado durante a pandemia da Covid-19), que “o regime de trabalho remoto emergencial esteve relacionado a uma tendência de piora no desempenho médio dos TRFs” (o que é incontroverso, mas totalmente justificável e não necessariamente relacionado ao trabalho a distância de modo isolado, como já exposto), conclui na sequência que “a despeito desse resultado, ainda durante a pandemia, efetuaram-se alterações normativas para ampliar a prestação de serviço jurisdicional em teletrabalho, as quais vigoram até o presente momento, ainda que a produtividade média não tenha se reestabelecido aos níveis anteriores”, embora a amostragem não alcance a data de sua publicação (o artigo é, nesse ponto, portanto, falacioso) e seu reduzido escopo torne impossível uma conclusão segura de que as referidas flexibilizações tiveram qualquer impacto negativo na produtividade pós-pandemia.
Na sequência, sobrevém um dos parágrafos mais obscuros da publicação, que também julgo necessário citar na íntegra:
Apesar da limitação da pesquisa em não considerar as diversas questões pertinentes à individualidade de diferentes atores que podem refletir na produtividade organizacional dos TRFs, pelos achados, defende-se que as alterações ocorridas especialmente a partir da flexibilização do trabalho não presencial podem se configurar como um fator institucional decorrente do contexto da pandemia de SARS-CoV-2. Em outras palavras, há fatores para além da eficiência utilitarista que parecem determinar o desempenho da prestação dos serviços jurisdicionais, os quais, por sua vez, devem ser considerados quando da normatização por parte do CNJ.
O trecho evidencia uma ambiguidade relevante na própria conclusão do artigo. Após sugerir, ao longo da análise, uma relação entre a flexibilização do teletrabalho e a piora do desempenho dos tribunais, os autores passam a reconhecer que o fenômeno é influenciado por múltiplos fatores não analisados, inclusive de ordem individual e contextual. Essa inflexão enfraquece a inferência anterior: se há variáveis relevantes não controladas, não é metodologicamente consistente atribuir ao teletrabalho, ainda que de forma implícita, um papel explicativo central.
O grande problema dessa ambiguidade é que um artigo científico, publicado em uma revista de alto prestígio, tem um impacto político e social gigantesco. Ainda que a intenção dos autores tenha sido apenas apontar possíveis correlações e levantar hipóteses exploratórias sobre mudanças institucionais ocorridas no período pandêmico, sem pretensão de estabelecer relações causais definitivas, veja-se quais conclusões a mídia destaca em suas matérias jornalísticas1:
O CNJ (Conselho Nacional de Justiça) já permitia o teletrabalho desde 2016. A Resolução 227 estabelecia regime facultativo para até 30% dos servidores por unidade. Vedava a modalidade para chefes e servidores em estágio probatório.
A pandemia mudou essas regras permanentemente. Em fevereiro de 2021, o CNJ editou a Resolução 371. A norma liberou o teletrabalho para chefes e para servidores depois do 1º ano de estágio probatório.
O CNJ justificou a flexibilização com base no “princípio da eficiência” e na necessidade de motivar servidores. Mas os dados de produtividade não sustentam esse discurso, segundo os pesquisadores.
Cabe destacar, por fim, que, mesmo que fosse demonstrada de fato uma queda de produtividade (em eventual análise de uma amostragem maior e mais detalhada de dados) relacionada ao aumento de servidores em teletrabalho, tampouco haveria qualquer argumento teleológico para atribuir ao teletrabalho em si essa consequência. Isso porque a própria regulamentação do Conselho Nacional de Justiça estabelece, de forma expressa, que os servidores em regime de teletrabalho devem cumprir metas de desempenho superiores às daqueles em regime presencial, cabendo à gestão das unidades a definição, o acompanhamento e o ajuste dessas metas. Assim, ainda que se admitisse, em hipótese, alguma redução de desempenho, tal resultado não poderia ser automaticamente imputado ao regime de trabalho em si ou aos servidores, mas sim à eventual inadequação na fixação ou fiscalização das metas, o que configura, em essência, um problema de gestão, e não uma falha intrínseca do teletrabalho. Em outras palavras, basta aos gestores atribuírem metas claras aos teletrabalhadores e serem rigorosos em sua fiscalização, cobrando e, excepcionalmente, punindo apenas os indivíduos que não se adequarem às normas, em vez de restringir todo um sistema de trabalho já plenamente estabelecido e prejudicar indiscriminadamente milhares de servidores diligentes.
Diante de todo o exposto, o que se revela verdadeiramente temerário não é apenas a fragilidade metodológica do estudo, mas a sua potencial repercussão prática. Em um contexto de constantes ameaças ao servidor público, com uma Reforma Administrativa em discussão que, sem qualquer motivação válida, busca eliminar o teletrabalho, a publicação de conclusões ambíguas, baseadas em dados limitados e inferências não devidamente sustentadas, representa um risco concreto de formulação de políticas públicas equivocadas, ameaçando o bem-estar e a qualidade de vida dos servidores.
A responsabilidade científica, especialmente em periódicos de elevado prestígio, exige rigor na análise dos dados e prudência nas conclusões. Nesse sentido, à luz das inconsistências apontadas, seria recomendável que futuros desdobramentos desta pesquisa ou novas notas técnicas dos autores pudessem delimitar com maior clareza os limites do estudo, evitando que interpretações generalistas e distorcidas sejam utilizadas para retroceder na organização do serviço público e na qualidade de vida dos servidores.
Referências
PODER360. Trabalho remoto reduziu eficiência dos tribunais federais, diz pesquisa. Disponível em: poder360.com.br.
Uma análise institucional do trabalho não presencial e do desempenho no judiciário brasileiro. Revista de Administração Pública (FGV). Íntegra disponível em: static.poder360.com.br (PDF).
FREEDMAN, David A. Ecological Inference and the Ecological Fallacy. 1999. Disponível em: web.stanford.edu (PDF).
PEARL, Judea. Causality: Models, Reasoning, and Inference. 2. ed. Cambridge: Cambridge University Press, 2009. Disponível em: archive.illc.uva.nl (PDF).
