28/04/2022 - 2ª - Comissão de Juristas responsável por subsidiar elaboração de substitutivo sobre inteligência artificial no Brasil

Horário	Texto com revisão

09:12 R	O SR. PRESIDENTE (Ricardo Villas Bôas Cueva) - Bom dia. Havendo número regimental, declaro aberta a reunião da Comissão Temporária Interna destinada a subsidiar elaboração de minuta de substitutivo para instruir a apreciação de projetos de lei aprovados pela Câmara dos Deputados que têm como objetivo estabelecer princípios, regras, diretrizes e fundamentos para regular o desenvolvimento e a aplicação da inteligência artificial no Brasil. A primeira reunião, esta presente reunião que começa agora, se destina à realização da primeira audiência pública, que terá por eixo a compreensão dos conceitos, a compreensão e classificação da inteligência artificial. O painel 1, que será presidido por mim, terá, então, por objeto a inteligência artificial e a regulação, qual é o objeto a ser regulado e os aspectos sociotécnicos da inteligência artificial. Como convidados, nós ouviremos hoje, nesta primeira sessão, que se estenderá das 9h às 10h45, o Prof. Virgílio Almeida, Loren Spíndola, Fabro Steibel, Ig Bittencourt e Tanara Lauschner. Nós teremos, em seguida, das 10h45 às 12h30, o painel nº 2, que tem por título inteligência artificial e regulação, modelos de regulação e abordagem. A Presidência aqui será exercida pela Relatora, Profa. Laura Schertel e também a Profa. Estela Aranha. Os convidados serão Luca Belli, José Renato Laranjeiras, Tainá Aguiar Junquilho, Ana Paula Bialer, Ivar Hartmann. Ainda hoje teremos um terceiro painel sobre os fundamentos e princípios. A Presidência, nesse caso e nesse painel, que será das 14h às 15h45, será exercida pela Clara Iglesias e por Miriam Wimmer. Os convidados aí serão Dora Kaufman, Caroline Tauk, Gabrielle Bezerra Sarlet, Edson Prestes, Paulo Rená da Silva Santarém. E, ainda, amanhã teremos uma nova audiência pública sobre os impactos da inteligência artificial. Teremos um painel 4, dedicado ao contexto econômico-social e os benefícios; um painel 5, sobre experiências setoriais na segurança pública, na execução de políticas públicas, a inovação na indústria, transformação digital nas empresas e na proteção à criança; e um painel 6, sobre a gradação de risco e as hipóteses de riscos inaceitáveis e o princípio da precaução. Nesse último painel de amanhã, a Presidência será exercida pela Profa. Ana Frazão, que é membro da Comissão de Juristas e se encontra aqui, ao nosso lado. Também aqui hoje, presencialmente, o Dr. Fabricio da Mota Alves, que também integra a Comissão de Juristas.
09:16 R	Convém ainda observar que as audiências terão seguimento nos dias 12 e 13 de maio e terão por objeto, então, os direitos, deveres, os atributos do design sociotécnico de confiabilidade da inteligência artificial; a questão da transparência e da explicabilidade; os regimes de responsabilidade civil; os instrumentos regulatórios para inovação. Com isso, nós pretendemos, então, cobrir os diversos aspectos que envolvem essa tarefa difícil de subsidiar os Senadores na elaboração de substitutivo aos projetos de lei aprovados pela Câmara. Eu observo que nós temos por regra aqui, então, depoimentos ou apresentações de 15 minutos para cada um dos convidados. Depois, haverá um tempo de meia hora para debate. Antes de dar início aos trabalhos de hoje, eu queria submeter a todos, já que temos quórum, o Requerimento nº 1, elaborado pelo Dr. Fabrício de Mota Alves, que tem por objeto a realização dessas audiências em formato semipresencial, de modo a ampliar o acesso de todos os interessados a essas audiências. Então, submeto-o à apreciação de todos. Aqueles que concordam com a sua aprovação permaneçam como se encontram. (Pausa.) Aprovado, então, o Requerimento nº 1, de modo a que essas audiências se realizem em formato semipresencial. Como dito, então, no início, hoje o nosso painel, que em princípio se estende das 9h às 10h45, tem por objeto exatamente a delimitação do objeto a ser regulado e dos aspectos sociotécnicos. Os pontos relevantes para o debate seriam fundamentalmente três. Em primeiro lugar, qual o conceito de inteligência artificial adequado para o marco regulatório? Esse conceito precisaria ser explicitado em uma futura lei ou não? Ou poderíamos seguir o modelo que tem sido adotado por outros países que até agora não adotaram uma regulação abrangente da inteligência artificial? A segunda pergunta relevante a ser respondida hoje é: qual deve ser o objeto da regulação? A inteligência artificial, desde a sua concepção, a sua aplicação concreta, ou os riscos para os indivíduos nas decisões automatizadas? Em terceiro e último lugar: como essa tecnologia está em pleno desenvolvimento e ainda distante de sua maturidade, qual seria o papel do legislador em um cenário incerto e marcado pela exigência social de mitigação de riscos? Esses são alguns eixos que talvez ajudem a balizar o debate de hoje e a objetivar esse debate tão importante para as audiências públicas. Hoje, então, nós temos como convidados Virgílio Almeida, Loren Spíndola, Fabro Steibel, Ig Bittencourt e Tanara Lauschner. Como o Dr. Fabro Steibel encontra-se aqui presencialmente, eu vou então pedir a ele que proceda à sua apresentação pelo prazo de 15 minutos. Dr. Fabro com a palavra. O SR. FABRO STEIBEL - Ministro, muito obrigado pela iniciativa, pela palavra. Agradeço à Casa do Senado por estar aberta. Só vou aguardar um minuto para fazer o upload dos eslaides. (Pausa.) Pronto. É um prazer estar aqui. Meu nome é Fabro Steibel, do Instituto de Tecnologia e Sociedade.
09:20 R	Basicamente nós trouxemos dois axiomas para regulação da inteligência artificial no Brasil. Pode voltar para o primeiro eslaide. Não, para trás. Isso. Isso que nós estamos vendo ali é um dos desafios dessa regulação. Aquele uso de inteligência artificial talvez não tenha nada de semelhante com o que estamos querendo regular, mas ele é essencial para o desenvolvimento social, para o combate ao crime, para o combate à pobreza, para o desenvolvimento e outros. Há pelo menos três tipos de aplicação de inteligência artificial naquele robô. Nenhum deles de grande risco, mas todos eles de uma grande necessidade de investimento e desenvolvimento. Por isso uma regulação de inteligência artificial deve partir do pressuposto de que, se de um lado nós temos que endereçar o risco, do outro lado nós temos que endereçar a inovação e o desenvolvimento. Próximo eslaide, por favor. Bom, meu nome é Fabro Steibel, eu sou afiliado da Berkman Klein Center, na Universidade de Harvard, já fiz parte do grupo de pensar o futuro, direitos humanos e tecnologias do Fórum Econômico Mundial, sou um dos membros do conselho do CNPD e Diretor-Executivo do ITS. Talvez a gente possa pensar a regulação a partir do PL 2.120, que teve várias versões eu vou trazer algumas das histórias deles, mas o PL 2.120 é muito desenhado para lidarmos com riscos. E a imagem que está ali atrás talvez seja uma das grandes inspirações para quando a gente pensa o PL 2.120. Esse é do exercício do MIT que coloca um desafio. Há um carro autônomo e ele vai ter que tomar uma decisão entre a pista A e B. E o que acontece? Você tem que decidir se ele atropela a criança ou se ele atropela a pessoa mais idosa. E esse é um enquadramento importante, mas talvez ele deixe de fora o enquadramento da inovação. Próximo eslaide. Então, o primeiro axioma que se traz com proposta é não definir a tecnologia como gênero, ou, se a definir, que se defina também como as espécies delas. E esse é mais ou menos o que o modelo europeu traz como como iniciativa. Então, no PL 2.120, na primeira versão que veio, havia uma tentativa de definir a tecnologia que tinha um erro de interpretação do mesmo referencial da OECD. Ele definia o agente, o sistema, mas não definia o modelo de dados, ele não definia os dados; numa versão posterior já veio. À direita a gente pode ver essa representação da OECD, do que seria esse sistema. Uma inteligência artificial sem o modelo de dados seria a mesma coisa que pensar o Fabro sem todo o conhecimento que ele tem. Então, dados, o produto e a ação são muito conectados. Enquanto definição de gênero, nós estamos próximos: podemos pegar a da OECD, podemos pegar a da União Europeia, podemos pegar outras e adaptar, mas a grande inovação eu acho que vem da União Europeia, de não se limitar a definir a IA enquanto gênero. Então quando a gente olha a regulação europeia, ela vai trazer ali, logo no art. 3º, para definição desse tipo de tecnologia, ela vai colocar: leia o Anexo I. E essa estratégia de definir o gênero e definir espécies no anexo eu acho que é muito importante para a gente conseguir compreender como fazer a regulação. E o que há no Anexo I? Há tipos de tecnologias, algumas delas conhecidas como, por exemplo, a reinforcement learning, o aprendizado assistido; outras menos conhecidas, mas, por certo, há tecnologias que não estão aí e que talvez não mereçam ser regulamentadas nesse momento, talvez possam ser futuramente. Machine learning, que talvez seja o que a gente mais fala nos exemplos, está aí. Então, esses são tipos de tecnologia e inteligência artificial que saem do geral e vão para o específico. Nós podemos pensar no mercado brasileiro e aplicações, quais são as tecnologias que colocaremos aqui ou não, mas essa me parece uma solução legislativa interessante e importante de seguir.
09:24 R	Se a gente faz isso, se isso é seguido, se a gente não define IA enquanto espécie, ou define enquanto espécie, mas não enquanto gênero, nós protegemos a inovação, principalmente aquela de baixo risco ou aquela que vai ser desenvolvida daqui a um tempo. Talvez a experiência do Marco Civil da Internet, quando nós pensamos numa rede de computadores, havia um consenso sobre o que era uma rede de computadores IA. Não creio que haja um consenso do que é essa tecnologia IA; pelo contrário, é bastante dissenso, pelo menos há 30 anos. Não sei se chegaremos tão rápido a esse consenso. Por isso, a ideia é de espécies. Um segundo axioma e problema é pensar numa regulação una, sem escalas. É claro que a legislação que pensamos tem algumas aplicações e outras não, mas isso não é axiomático, isso não está na estrutura de regulação. E aí novamente eu vou puxar o exemplo da União Europeia. Quando a União Europeia faz a regulação dela, ela define pelo menos quatro categorias. A primeira, que já vem no Título II, ou seja, começa a se pôr, são usos, práticas que estão proibidas. E ali estão temas como reconhecimento facial para a segurança pública. Então, pode ser que, ao criar essa escala, tenhamos espaço melhor para pensamento regulatório de acordo com o grau de risco que aquilo oferece. Do outro lado do risco está a inovação. No segundo, o Título III, eles vão pensar em sistemas de alto risco, e é muito interessante a saída estratégica aqui. Primeiro, também é definido pelo anexo, o anexo 3, e do alto risco é feita, primeiro, uma harmonização de legislações - inclusive tem brinquedos e armamentos no mesmo lugar; no caso é um bloco, mas nós temos também essa harmonização a ser feita aqui no Brasil sobre o que já está regulamentado em outras áreas. Depois ele passa para os tipos, identificação biométrica e outros. Essa daqui parece também ser uma boa estratégia. O grau de risco oferecido aqui é alto, não alto a pensarmos em moratórias, mas ele é alto. Portanto, são institutos como certificação, institutos como validação, revogação da certificação, que são necessários para a proteção da sociedade. Se pensarmos em brinquedos inteligentes, por exemplo, eles caem aqui, no alto risco. Na terceira categoria eles vão dar alguns sistemas de AI. É uma categoria vaga, que se descreve basicamente em você fazer uso de dados pessoais em determinada circunstância. E aí nós podemos pensar objetos que não têm regulamentação própria, não precisam ser harmonizados, mas que, talvez, por se tratarem de dados pessoais, possam ter outros tipos de regulamentação. Há uma forte influência da GDPR nessa parte. A última escala é aquela de provedores de pequena escala e usuários, em que há aquele tipo de inteligência artificial que, ao invés de risco, oferece benefícios, e ali você tem banco de dados públicos, facilidade de acesso, redução do custo de documentação, justamente porque eles oferecem menor risco, e aí você incentiva o desenvolvimento desse tipo de tecnologia. Então, talvez o axioma dois seja aplicar a regulação escalável, o que permite separar o proibível do incentivável. O pensamento em risco é importante, mas nós não podemos esquecer o incentivável. A experiência da LGPD é um grande exemplo disso. Já vem nas inspirações essas duas escalas, mas muitas vezes falamos mais do risco. Pensar em escala permite falarmos do risco, mas também falarmos do incentivável. De forma que a contribuição que o ITS traz são esses dois axiomas para a regulação: em vez de pensar a tecnologia de AI enquanto gênero, pensar nas suas espécies, principalmente as espécies enquanto tecnologia, enquanto ciência; em vez de uma aplicação una, pensar em uma escala que tenha proibido, alto risco, alguns tipos específicos e aqueles que são claramente incentiváveis.
09:28 R	E talvez a pergunta final seja: qual a contribuição do sul global? Porque até o momento eu citei bastante a legislação europeia, mas qual seria a adaptação que a gente deveria fazer? Parece-me que a adaptação é total. A lista de tecnologias listadas no Anexo 1, no anexo, é exemplificativa do mercado europeu, mas eu não sei se ela é exemplificativa do mercado brasileiro. A nossa indústria de software é consideravelmente peculiar, principalmente por software aberto. Talvez tenhamos, pela academia e pela ciência, que adaptar esse anexo para as tecnologias que façam sentido. A segunda adaptação é a questão da escala. Não necessariamente o que oferece um risco na União Europeia oferece aqui, e vice-versa. O debate de reconhecimento facial e segurança pública é diferente num país onde você vai ter o racismo mais estruturado e diferente em outros países onde as origens dessa estrutura são diferentes. Então, talvez a escala mereça um debate para saber, em cada caixinha, o que deve ser colocado ou não. Principalmente, a parte de inovação é um elemento em que a gente tem que pensar qual é a natureza da nossa indústria. Talvez o agro seja uma das indústrias que mereça ser incentivada com inteligência artificial. Está economicamente disponível, há uma necessidade associada ao clima, e as aplicações de inteligência artificiais são inúmeras. Então, como finalização, eu volto àquela imagem inicial, que é de pensar numa regulação de IA que tenha os dois polos: de prevenção de riscos, mas também de inovação e pensando nas características nacionais que permitam, seguindo, talvez, esses axiomas, a gente colocar o que de brasileiro, o que de nacional, o que de peculiar nós temos através desse debate e das audiências aqui seguidas. Muito obrigado pela palavra. O SR. PRESIDENTE (Ricardo Villas Bôas Cueva) - Muito obrigado, Dr. Fabro, pela contribuição importante ao debate. Eu agora, então, chamo o Dr. Virgílio Almeida, da Universidade Federal de Minas Gerais, para iniciar a sua apresentação. Bom dia, Dr. Virgílio. O SR. VIRGÍLIO ALMEIDA (Por videoconferência.) - Bom dia a todas e a todos. Obrigado pela palavra. Eu queria agradecer este honroso convite para participar desta audiência pública, mas eu queria fazer um esclarecimento inicial. Eu sou de um departamento de computação, e não da área de Direito. Então, não vou me arriscar aqui a colocar questões relativas ao Direito ou ao processo legislativo. O tom que eu pensei em apresentar e que vou apresentar aqui, nos eslaides que eu gostaria de compartilhar, é: quais são as dúvidas que eu vejo nesse processo? Quais são as perguntas que eu tenho e que talvez possam ajudar os legisladores a formular essa legislação tão desafiadora? Os eslaides estão aparecendo? Estão aparecendo os eslaides? Está ótimo. Bem, eu sou professor do Departamento de Ciências da Computação da UFMG e sou professor associado ao Berkman Klein Center. A primeira pergunta que eu me fiz, ao preparar as ideias aqui, foi por que regulação? E aí eu trago aqui um pequeno ponto elaborado por Norbert Wiener. Ele foi o criador da teoria cibernética do controle, e, num livro publicado nos anos 1950, chamado The Human Use of Human Beings, ele coloca o seguinte: o perigo da máquina - e aí é a máquina representando os algoritmos, as tecnologias - para a sociedade não vem na máquina em sim, mas no que o homem faz dela.
09:32 R	E aí, pensando nesse contexto da inteligência artificial, eu vou colocar rapidamente aqui algumas consequências da inteligência artificial que a gente já vê, seja no uso das plataformas, seja na interação com certos serviços bancários ou de governo. Então, a gente tem como preocupação a questão do surveillance, que é o vigilantismo por governos e empresas; a filtragem e moderação de conteúdo; vieses raciais e de gênero; anúncio direcionado com perfis questionáveis; contratação de candidatos a empregos com viés; reconhecimento facial; decisão sobre benefícios sociais; créditos; acesso a tratamentos médicos; inferências sobre orientação sexual; "diagnóstico" de transtornos emocionais; manipulação de crianças; identificação errônea de grupos vulneráveis e as chamadas unintended consequences. Essas são algumas das preocupações que a gente já vê. Não estamos falando do futuro. Essas são questões existentes no presente, no uso que fazemos de certos serviços e de certas plataformas no dia a dia. Aí a pergunta é: se essas são as preocupações, qual o objeto a ser regulado? Então existem várias definições, e eu acho que elas têm que ser trabalhadas. Por exemplo, um sistema de inteligência artificial é um sistema baseado em máquina que pode, para determinado conjunto de objetivos definidos por humanos, fazer previsões, recomendações ou decisões que influenciam ambientes reais ou virtuais. Os sistemas de IA são projetados para operar com vários níveis de autonomia. Ou uma definição talvez mais formal seria: um sistema de inteligência artificial significa um software desenvolvido com uma ou mais das técnicas e abordagens - como mencionei, há inúmeras técnicas - e que pode, para determinado conjunto de objetivos definidos por humanos, gerar resultados como conteúdo, previsões, recomendações ou decisões que influenciam os ambientes com os quais interagem. Aí a pergunta que eu me faço, olhando como um observador da questão, é... Sem uma definição tão ampla, a Lei de Inteligência Artificial não pode abordar adequadamente todos os sistemas que representam riscos também aos direitos fundamentais e que vão criar brechas perigosas. Vou mostrar aqui um pequeno exemplo. Por exemplo, sobre a regulação de um veículo autônomo: o que é que se está regulando? É o veículo com seus sistemas eletrônicos de controle? Ou se estão regulando os algoritmos de visão, que são usados pelas câmeras para posicionar o indivíduo, ou, por exemplo, os algoritmos de interação por voz, em que o comando do sistema é feito por voz, ou o controle no trânsito, como o veículo se posiciona em relação aos demais aspectos do trânsito? Então, isso mostra a complexidade que seria essa regulação. Aí eu me pergunto: é este o momento para se criar uma legislação para a inteligência artificial? IA refere-se a técnicas que permitem que os computadores aprendam, raciocinem, deduzam e comuniquem decisões que, no passado, eram da competência exclusiva de nós humanos. Então, quais são as preocupações que nós temos, concretas? A tecnologia de inteligência artificial leva a preocupações sobre a precisão dessa tecnologia e sobre aspectos de justiça, sobre como ela é empregada, sobre preconceitos raciais, de gênero e de idade, que podem, por exemplo, determinar candidatos a empregos ou forçar alguns tomadores de crédito a pagar taxas mais altas. E há as demandas da sociedade por regulamentação - a sociedade se sente frágil, vulnerável, nesse contexto - ou por uma maior transparência sobre como os sistemas funcionam e sobre suas deficiências.
09:36 R	A orientação e a regulamentação pelo Governo têm um papel a desempenhar, principalmente no uso comercial da inteligência artificial, que pode prejudicar o indivíduo, seja o cidadão, o consumidor, o funcionário, o empregado ou comunidades. E esses danos devem ser antecipados e evitados pela regulamentação. É o mesmo princípio que se aplica a outros produtos de consumo que têm o potencial de prejudicar as pessoas. A gente vê isso na questão dos medicamentos, a gente vê isso na questão dos alimentos. As empresas que podem ganhar dinheiro com esses produtos não precisam simplesmente se autorregular. Então, é necessário pensar numa regulação. Qual a melhor abordagem para regular a inteligência artificial? O exemplo do contexto médico ou farmacêutico: há necessidade de constante inovação, mas governos e sociedades reconhecem que novos tratamentos ou medicamentos não podem simplesmente ser lançados ao público sem antes satisfazer os padrões regulatórios. O exemplo da Anvisa na questão da covid-19 foi extremamente importante para se entender a importância da regulação. Mas há complexidade também. O impacto que a IA pode ter sobre os consumidores marginalizados ou candidatos a empregos sugere que agências do Governo devem ter um papel para lidar com esse preconceito. A pergunta é: como deve ser implementada uma regulamentação de IA? Deve haver uma agência central para supervisionar a regulamentação? Ou cada agência governamental deve elaborar políticas em sua própria esfera de influência, como as agências de comunicação, a Anatel, ANPD, Anvisa? Lembrando que no Brasil muitas leis não funcionam porque a sua regulamentação ou é difícil de ser feita ou não é compreendida pela sociedade. Então, a implementação de uma lei de inteligência artificial deve ser cuidadosamente considerada. Devido à complexidade, uma possível sugestão seria, por exemplo, um repositório centralizado de experiências em IA que todos os órgãos do Governo poderiam acessar. Existem várias possibilidades. Qual a melhor abordagem para regular? A regulamentação não precisa ser única para todas as situações; não é one size fits all. Então, há uma dependência de contexto. A regulamentação pode levar em consideração áreas em que o risco de dano às pessoas é baixo e as vantagens potenciais são altas, mas, quando há risco para o cidadão, para o consumidor, para a própria sociedade, deve haver um regime regulatório, deixando claro que sem regras o sistema atual deixa os indivíduos ou os cidadãos com pouca ou nenhuma proteção contra o uso de IA, que afeta nossas vidas. As diferentes estratégias que têm sido usadas. Vários governos estão discutindo isso - Reino Unido, União Europeia, Alemanha, China, Estados Unidos -, mas ainda não foram implementadas. Então, esse é um processo lento, que no Brasil tomou uma velocidade que nos deixa preocupados. E estabelecer práticas para auditoria e regras para tornar os sistemas mais transparentes... Os Estados Unidos têm estratégias diferentes. Por exemplo, vários dos municípios e estados estão elaborando legislação para regulamentação de IA. Ou, por exemplo, as agências do Governo americano trabalham muito com as melhores práticas. A agência de responsabilização do governo, a Federal Trade Commission, a Comissão de Oportunidades Iguais de Emprego, cada uma lançou as suas regras ou as suas normas. Isso faz parte também de um processo regulatório.
09:40 R	Alguns pontos a considerar - meu último eslaide aqui. Eu diria que o primeiro ponto a considerar, talvez porque eu tenha também tido uma participação - eu era, nessa época, secretário de política de informática e coordenador do marco civil do Comitê Gestor da Internet quando o marco civil foi aprovado... É um caso de sucesso que deve ser considerado. Primeiro, porque todo processo de consulta à sociedade foi feito, foi longo, feito com cuidado e envolveu todos os setores da sociedade, como o processo chamado multissetorial de construção do projeto do marco civil, e, quanto ao marco civil, a gente pode ver a importância que ele teve desde 2014. A minha pergunta também pode ser: o que mudou desde a aprovação do marco civil? Aqui eu tenho um ponto positivo que eu tenho pensado, sabe? Independentemente das questões políticas e institucionais que nós vivemos atualmente, há um elemento positivo na sociedade brasileira: o aparecimento de organizações da sociedade civil com conhecimento técnico elaborado. É fácil citar: a InternetLAB, a IDS, o próprio Fabro, a Democracia Digital, Transparência Brasil... São think tanks ou organizações da sociedade civil que têm um conhecimento adequado, conhecem o assunto, e eles têm contribuído muito nas discussões. Então, é importante que essas organizações da sociedade civil sejam devidamente ouvidas, e esse é um ponto positivo dos últimos anos. Provavelmente, há um número de empresas, grupos, sociedades e governos reconhecendo a importância de se criar salvaguardas, estratégias de gerenciamento de risco e estruturas de governança para IA, mas estão em discussão ainda. Nós não temos ainda leis - pelo menos até o ponto que acompanho - aprovadas e implementadas por outros países. Evitar legislações - e aqui é um ponto importante - que carregam o risco de criar algo que é chamado em Ciência Política de path dependence, a dependência do caminho; ou seja, criar uma legislação agora que vai dificultar as respostas às novas tecnologias que vão surgir. Então, é importante que a lei abranja os aspectos que a sociedade hoje considera preocupantes, mas não iniba questões que vão surgir de regulação das novas tecnologias. Há uma tendência das discussões de regulações que apontam para medidas para se ter uma inteligência artificial explicável e se ter estratégias mais claras de gerenciamento de risco centradas em IA e monitoramento de sistemas. Há também a discussão sobre ética. Essa discussão sobre ética gera controvérsias. Só na academia, muitos acham que ela é fundamental, outros acham o seguinte: ela, às vezes, lança uma fumaça sobre o papel que as empresas devem cumprir. Estamos aqui com regulamentos éticos. O importante é a formulação e a implementação de políticas públicas e legislações ou normas ou regulamentos que protejam a sociedade. Eu acho que esses são os pontos que eu gostaria de trazer aqui para esta discussão de hoje. Muito obrigado. O SR. PRESIDENTE (Ricardo Villas Bôas Cueva) - Muito obrigado, Prof. Virgílio, por sua contribuição. Agora, então eu chamo a Dra. Loren Spíndola, que é Coordenadora da Associação Brasileira das Empresas de Software (Abes), para sua contribuição. Por favor, Dra. Loren. A SRA. LOREN SPÍNDOLA (Por videoconferência.) - Bom dia, Ministro. Obrigada. Eu gostaria de agradecer o convite em nome da Abes e também do meu amigo Eduardo Paranhos, com quem eu tenho o prazer de dividir a coordenação do grupo de trabalho de IA na Abes. É muito importante a gente estar aqui mais uma vez para poder contribuir com a visão do setor de tecnologia neste debate tão importante que é o do marco legal de IA no Brasil. Eu fico muito feliz de falar depois da fala do Prof. Virgílio, porque vocês não estavam conseguindo me ver, mas eu estava só concordando com tudo que ele estava falando.
09:44 R	Eu vou tentar passar um pouquinho pelo que o setor pensa. Eu vou ser bem breve, porque acho que, ao final, o que vai importar é a gente ter uma troca. Desde o início, qualquer ferramenta pode ser usada para o bem ou para o mal. Como dizem, até uma vassoura pode ser usada para varrer o chão ou para bater na cabeça de alguém. E, quanto mais poderosa a ferramenta, maior o risco e o benefício que ela pode causar. E, sem dúvida alguma, a inteligência artificial é muito poderosa, mas a gente não sabe nem de longe ainda todo o potencial que ela tem. E, quando a tecnologia que a gente desenvolve muda o mundo, nós somos, sim, responsáveis por essa transformação. E a gente aceita esse papel, a gente aceita a responsabilidade. E é por isso que o setor privado desenvolveu melhores práticas, trabalhou junto com inúmeros fóruns para desenvolver princípios éticos, para desenvolver uma tecnologia responsável, robusta, transparente, com investimento em centros de inteligência artificial, em pesquisas... Enfim, a gente assume o nosso papel, só que o setor de tecnologia não consegue endereçar os desafios sozinho. A gente precisa de ajuda. E aí, por isso, a gente acredita ser necessária uma combinação de autorregulação com atuação do Governo. Não dá para desassociar o fato de que a inteligência artificial, como toda e qualquer tecnologia, é global. Ela foi desenvolvida para atuar da mesma forma em qualquer lugar do mundo. E as empresas hoje que operam inteligência artificial são globais, atuam globalmente. E como é que a gente vai fazer isso se a gente tem leis e regulações diferentes entre os países? O Prof. Virgílio já endereçou bem, o Fabro também. O objeto da lei. Não tem um consenso universal sobre a melhor definição de inteligência artificial. A gente tem o consenso, sim, de que ela não deve ser muito enigmática, porque, senão, depois, a gente não vai saber do que é que a gente está falando. E principalmente o conceito do que não é inteligência artificial. Aqui, eu queria fazer uma pausa para dizer que o PL 2.120 foi muito feliz em afastar a automação simples de inteligência artificial, ou, senão, o objeto da lei seria o Excel, que usa inteligência artificial, mas com riscos baixíssimos. Enfim, o Prof. Virgílio trouxe alguns conceitos de inteligência artificial, não vou repetir aqui. O Fabro também mencionou que o PL 2.120, que foi um dos únicos que trouxeram definição de inteligência artificial, se baseou na da OCDE. O.k., ela foi amplamente debatida, acho que, hoje, diante do que a gente sabe, é uma definição que atende bem. Acho que o importante é que os sistemas de inteligência artificial que são usados por todos os setores... E diversos tipos de sistemas de IA oferecem diferentes tipos de benefícios, oportunidades, riscos e desafios regulatórios. Ao se propor um marco legal de IA no Brasil, é preciso ter a dimensão de que os sistemas de IA são diferentes entre si e que tentar agrupá-los sem considerar seu uso ou potencial risco é prejudicial para o desenvolvimento da tecnologia e aplicação no Brasil. E aí é que é interessante observar que a IA força o mundo a enfrentar semelhanças e diferenças em tradições filosóficas. A ética varia, sim, entre culturas. E, apesar de ser desenvolvida globalmente para ser usada em qualquer lugar da mesma forma, quando aplicada em determinado lugar, a IA se transforma. Aí aqui eu pego o gancho para trazer o aspecto sociotécnico da IA. E é muito válido trazer esse olhar, porque, apesar de parecer óbvio, é muito pouco falado e, até aqui no Brasil, tem pouca literatura sobre o assunto. Um colega compartilhou comigo o trabalho do Prof. Henrique Cukierman, da UFRJ, que traz um olhar sociotécnico para o desenvolvimento de software. E aí, sendo muito simplista aqui, entre as várias analogias que ele faz, fica claro que esse olhar é ir além apenas de modelos matemáticos e algoritmos, e juntar o contexto do mundo real. E, para eu fazer isso, para eu juntar o técnico com o social, eu preciso ter um olhar interdisciplinar, multidisciplinar. É isso, por sua vez, a essência para a mitigação de vieses. E, justamente usando o olhar sociotécnico, que os próprios sistemas de IA usam, é importante trazer aqui que não vai ser um grupo homogêneo que vai conseguir esmiuçar toda a tecnicidade do assunto e desenhar uma lei que dá todas as especificidades da tecnologia.
09:48 R	A gente falou do objeto da lei, mas acho que tão importante quanto o objeto é o objetivo da lei. Qual o objetivo de um marco legal de IA no Brasil? Aonde o Brasil quer chegar com a tecnologia? E aqui eu imagino que seja criar um ambiente propício para a inovação, criar um ambiente que ofereça segurança jurídica para as empresas investirem na tecnologia, para que haja pesquisa e desenvolvimento, para que o Brasil se insira nas cadeias globais de valor, para que a sociedade tenha confiança de usar o máximo que a tecnologia tem a oferecer, pois são inúmeros os benefícios da inteligência artificial. Então, eu acho que, em suma, seria beneficiar todo mundo: sociedade, setor privado, Governo, academia, todo mundo tem que se beneficiar de um marco legal de inteligência artificial. Mas o fato é que a IA é uma tecnologia em constante evolução, e a gente não tem como prever como ela vai estar daqui a um ano, nem daqui a um mês; a gente não tem bola de cristal! E parece realmente contraproducente, eu diria até utópico - não é? - a gente pretender que uma lei se sobreponha a realidades futuras, sob risco de prejudicar o desenvolvimento da própria tecnologia, e ainda pior, que se pretendam regular situações ou hipóteses não previstas atualmente, o que vai fatalmente tornar a norma inócua. E, ainda que não tenha uma lei específica sobre a inteligência artificial no Brasil, as empresas estão, sim, desenvolvendo soluções incríveis de forma séria e responsável. Aqui eu adoro usar o exemplo da Linda. A Linda é um exame inteligente que detecta câncer de mama. Então, enquanto a gente tem o nosso sistema de saúde pública precário, sem mamógrafos, com uma fila gigantesca de mulheres tentando fazer o exame de mamografia para detectar câncer de mama, a Linda usa a inteligência artificial para analisar imagens que são capturadas por sensor infravermelho baseado num banco de dados com mais de 5 milhões de informações para auxiliar o médico a dar o diagnóstico, se há ou não a hipótese de câncer de mama, com uma porcentagem de acerto incrível. Enfim, o benefício social para a sociedade, por conta do sistema de saúde, para a própria mulher que está ali angustiada e não consegue fazer o exame é imenso. E a Linda já está sendo usada hoje, em diversas prefeituras, e está na fase final de registro da Anvisa. Então, olha só, a Anvisa analisou o sistema de inteligência artificial que a Linda usa, a acurácia dos dados, a responsabilidade no retorno do algoritmo, inúmeros testes, relatórios de desempenhos, qual a transparência, qual a estabilidade desse sistema. E foram longos e longos testes para provar que sim, que a Linda consegue, sim, ter uma taxa de aprovação alta baseada no banco de dados que eles usam.
09:52 R	Então, olhem só, o Brasil está mais próximo do modelo descentralizado dos Estados Unidos, onde as agências reguladoras exercem seu papel regulador dentro do setor que atuam. E, vejam, o Brasil já é signatário dos princípios da OCDE e de outros tantos princípios de fóruns internacionais. A gente tem uma estratégia brasileira de inteligência artificial. E as nossas agências reguladoras já estão atuando dentro do seu setor com base nos princípios que estão hoje disponíveis. É por isso que a gente defende um texto baseado em princípios, com abordagem de risco, com diretrizes claras para onde e como o Brasil quer chegar, e aí, somente se e quando necessário, o uso da inteligência artificial ser regulado, não a tecnologia em si. Diferentes pontos dos projetos que estão apensados aqui no Senado são positivos, mas eu queria trazer alguns pontos, em especial do 2.120, que traz a questão do risco, que afasta a automação como definição de IA, que foca na proteção de direitos fundamentais, que fala de princípios que norteiam o desenvolvimento ético e responsável da tecnologia e, mais, da tentativa de estruturação de governança, onde o poder público já atua, já age onde deveria agir. Para finalizar, trazendo mais uma vez a importância do olhar sociotécnico, eu queria deixar aqui registrado o pedido para que, quando esta Comissão tiver o relatório, ele seja objeto de consulta pública para que os nossos filósofos, acadêmicos, juristas, cientistas, engenheiros, cientistas políticos, enfim todo mundo, a sociedade inteira possa contribuir com seu olhar específico nesse projeto que é tão importante para o desenvolvimento do Brasil. A IA carece desse olhar multidisciplinar e é isso que vai garantir que a IA atue para diminuir a desigualdade na sociedade, para que a IA não tenha vieses, para que a gente possa usar ao máximo a tecnologia para que ela sirva com o seu propósito, que é aumentar e não substituir a tecnologia humana, é aumentar para nos auxiliar de forma ética, responsável e sempre focada no humano. Bom, é isso. Obrigada. O SR. PRESIDENTE (Ricardo Villas Bôas Cueva) - Muito obrigado, Dra. Loren. É muito relevante a sua proposta de que se faça uma consulta pública. Isso será oportunamente apreciado e submetido à Comissão. Eu agora passo a palavra ao Dr. Ig Bittencourt, Professor da Universidade Federal de Alagoas. Por favor, Dr. Ig. O SR. IG BITTENCOURT (Por videoconferência.) - Bom dia a todos. Para mim, é um imenso prazer estar aqui, com grande honra, com pessoas ilustres. Se alguém puder desabilitar para eu poder compartilhar a tela, eu agradeço, porque eu vou usar alguns eslaides. Quero dizer que a minha formação também não é na área do Direito. Então, para mim, da mesma forma que é para o Prof. Virgílio, é uma contribuição, eu diria, praticamente de um outsider, mas, de certa forma, o que eu quero trazer aqui bastante é uma reflexão sobre escopo, complexidade e implicações. Então, a minha apresentação inicialmente vai se descolar das anteriores e depois vai se aproximar. Meu nome é Ig, eu sou professor da Ufal e, a partir de junho, da Escola de Educação a que vou estar vinculado na Universidade de Harvard. Então, o que eu estou basicamente querendo trazer aqui de reflexão... Para isso daí, eu queria mostrar um pouco como a gente trabalha e como a gente tem trabalhado exatamente em problemas do Brasil. A gente faz pesquisa e desenvolvimento e, de certa forma, tenta promover a geração de spinoffs e políticas públicas, gerando impacto social e reduzindo a desigualdade social. Então, esse é o escopo em que a gente tem atuado, não é?
09:56 R	Dentre as várias políticas eu vou falar um exemplo, o do programa Brasil na Escola, em que a gente tem trabalhado com o Ministério da Educação. Qual é o desafio que a gente tem no país quando a gente fala de educação pública e básica? A gente tem uma desigualdade em diferentes dimensões no país. Uma delas é a da própria infraestrutura. E, às vezes, todas essas tecnologias de que a gente está falando são tecnologias que não necessariamente chegam, talvez, a grupos sociais que mais precisam. Então, a gente está trabalhando em uma solução que consiga chegar, de certa forma, a esse público que é mais vulnerável e às escolas mais vulneráveis. A gente tem aqui um cenário no país em que os estudantes escrevem, produzem texto, mas você não tem professores, nem profissionais qualificados que possam apoiar aquele estudante para superar suas limitações de aprendizagem. Então, a gente desenvolveu uma solução mobile de baixo custo em que a gente extrai esse texto, usa várias técnicas de inteligência artificial, entende cada caractere que está ali, processa isso, gera um feedback e entende como aquilo ali pode apoiar um estudante. Então, em cada coisinha dessa aqui que eu mostro, em cada aspecto desse aqui, você tem de 1 a "n" algoritmos de inteligência artificial trabalhando para dar esse feedback. Só nesse exemplo aqui que eu estou mostrando, a gente já testou mais de 80 algoritmos para gerar esse resultado, essa devolutiva para o estudante. Por que eu estou trazendo isso? Porque é um desafio relacionado - e uma reflexão sobre isto - ao que seria a IA e a como delimitar o escopo da IA e entender o escopo da tecnologia e essa dimensão tão bem falada pela Loren sobre a dimensão sociotécnica. Então, eu vou trazer aqui o que seria de resultado quando você dá um feedback como esse. Você gera um plano personalizado para o estudante. É outro tipo de inteligência artificial, num cenário em que você tem um conjunto de componentes e habilidades descritores, um cenário supercomplexo de muito pouca efetividade. Quando a gente bota para um ser humano pensar em como lidar em qual caminho percorrer, você usa a máquina para tentar ajudar qual seria o melhor percurso de aprendizagem desse estudante. E isso tem vários estudos mostrando - da mesma forma que na área de saúde - os ganhos que se tem em termos de aprendizagem. E aí, com esse cenário, eu trago uma outra reflexão sobre o que também está presente nesse tipo de tecnologia. A gente conduziu um estudo e viu que esses ambientes educacionais muitos inteligentes estão estereotipados por gênero, gerando viés de cor. Isso tem afetado 2 bilhões de usuários registrados nesse sistema do mundo. Então, veja o impacto que isso traz. Só para deixar claro: a gente está falando de estereótipo, mas estereótipo está na dimensão da crença, em como se estabelece na cultura, e isso pode levar a uma discriminação. A discriminação é exatamente a ação já, não é? Já está no campo do comportamento. Mas existe um estereótipo cultural que pode ter levado a essa discriminação ou a gerar preconceito. Então, quando a gente pensa em escopo e complexidade de tecnologia e suas implicações, uma tecnologia que por um lado pode beneficiar também pode gerar um aumento de desigualdade. Então você tem um ganho de aprendizagem em ambos os escopos, porém você tem um ganho desigual - não é necessariamente por você ter uma tecnologia que ela é imparcial. E aí você aumenta a desigualdade.
10:00 R	E quando você pensa sobre isso... Aí é onde eu trago o que está por trás de tudo isso. Eu não vou me debruçar sobre isso, mas eu quero apenas mostrar o que caracteriza e leva a esse tipo de cenário, de situação. Quando você olha uma tecnologia inteligente, você tem que olhar como essa tecnologia é desenvolvida, como esse usuário final percebe essa tecnologia, como ela é usada e quais as suas implicações. Então, vejam, são muitos aspectos e não necessariamente todos esses aspectos estão relacionados a componentes da inteligência artificial. Dentre todas essas dimensões, você tem a dimensão daquelas pessoas que estão no desenvolvimento daquela solução, você tem os componentes que são reutilizados naquela tecnologia - e aí é onde podem entrar algumas coisas relacionadas a IA. Aí você tem um desafio aqui, porque muita coisa hoje em dia na tecnologia você reusa, esse reúso é caixa-preta, então a gente usa vários algoritmos que estão por aí em caixa-preta, ou seja, a gente não sabe como é aquele processo e não necessariamente como ele usou os dados ou quais dados eles usaram para chegar ao seu modelo para a tomada de decisão. Então esses são dois aspectos que envolvem inteligência artificial, mas não necessariamente uma tecnologia se limita a esses aspectos, sem contar que isso daqui é a base para você chegar a uma solução e à interação, em que você vai ter, entre humanos e máquina, um determinado tipo de comportamento que vai gerar essa implicação. Um exemplo que você tenta... A gente pode fazer a reflexão que o Fabro trouxe de carros autônomos, em que você tem um cenário em que uma máquina pode calcular a probabilidade de bater e aí ele tem que tomar uma decisão do que ele fará, se desvia ou não. Será que esse problema que vai levar a bater é exclusivamente um problema da técnica de IA que está sendo utilizada? Por exemplo, isso pode ser um problema da capacidade de processamento da máquina em rapidamente responder a uma situação. Então, isso não necessariamente é um problema exclusivo daquela tecnologia inteligente, daquele componente inteligente que está sendo utilizado, mas, sim, outros aspectos podem estar relacionados e levar àquele problema ou àquela situação ou àquele risco a um determinado indivíduo ou sociedade. Então, perceba, o que dá para se concluir e refletir sobre isso daqui? Você delimitar um escopo e chegar a uma definição do que é IA é um risco muito grande porque não necessariamente uma tecnologia inteligente se limita àqueles componentes inteligentes, não tem como a gente necessariamente ter clareza de todo o percurso e da evolução que aquilo vai ter ao longo do tempo. A gente está na quarta onda. Veja, esses algoritmos que estão sendo utilizados de aprendizados de máquina já foram uma onda da década de 90, depois foram descartados e agora estão voltando. Então a gente não sabe como estarão as próximas décadas, o desenvolvimento da tecnologia e que implicações e potenciais que a IA terá. Ela, como os outros já falaram - não vou também tocar nisso aqui -, é até evasiva, não atinge só essa questão de veículos autônomos. Ela tem impacto na democracia, no bem-estar e na qualidade de vida dos indivíduos e no mercado de um modo geral. Então, quando eu trago isso daí e essa, digamos, transacionalidade do impacto da tecnologia inteligente, eu prefiro trazer um olhar, conectado um pouquinho ao que os demais falaram, principalmente Loren e Fabro, em que olhar por um todo e toda a engenharia da IA pode ser um risco, um perigo muito grande.
10:04 R	Então, eu acredito que a gente tem que ter um olhar duplo, inicialmente, ao comportamento dela e à implicação que ela traz à sociedade. E aí isso se conecta e se aproxima ao que o próprio Fabro trouxe inicialmente sobre um olhar (Falha no áudio.) ... que aquela tecnologia pode causar à sociedade. Então, de nada adianta a gente tentar olhar, na minha visão, toda a engenharia que está por trás, quando a gente poderia focar e delimitar o escopo de uma potencial regulação, caso esse seja o caminho, do comportamento da máquina e no estudo do impacto, ou seja, na implicação que ela traz à sociedade. E aí perceba que isso também se conecta e isso nos livra de um cenário de complexidade em que a gente tem um comportamento de uma máquina, um comportamento coletivo de máquinas, um comportamento híbrido, em que a decisão não é exclusivamente da máquina, mas tem máquinas e humanos. Então, quando você tem o nível de escala e uma sociedade hoje em que você tem um comportamento global que envolve humanos e máquinas, se o olhar está em toda a engenharia disso, é um olhar muito perigoso. Então, por isso que, seja no nível do comportamento individual de uma máquina ou no híbrido de interação entre humano e máquina, num escopo nacional ou global, se a gente tem um olhar em cima de um comportamento dela e de sua implicação na sociedade, a gente consegue um pouco se livrar desse problema e tentar não restringir a própria capacidade potencial da inovação, que a própria inteligência artificial pode trazer. E aí, quando penso aqui, com o que que eu queria finalizar a minha fala sobre essa perspectiva? Pensando um pouquinho no objeto de estudo e até na própria regulação. Eu acredito que, primeiro ponto, quando se tem uma delimitação de escopo nesse olhar duplo entre o comportamento e suas implicações, seu primeiro aspecto, o que é que isso envolve no fim das contas, a gente entender e talvez, se for o caso até, trazer numa potencial regulação? Essas demandas por transparência. Então, a gente tem a dimensão de como aquela tecnologia é desenvolvida e o que é utilizado para aquilo. E aí traz a dimensão sociotécnica, você não está falando só do componente inteligência em si, você não está falando só dos dados que estão sendo utilizados, mas você também está falando das bases epistemológicas que levaram a uma máquina tomar uma decisão, se aquilo está ferindo o direito humano ou não. E você também está considerando os diferentes times que estão associados àquele desenvolvimento daquela tecnologia inteligente que por acaso envolve componentes de IA. A outra é na evolução. Então, a gente precisa também talvez dar transparência a não só como aquela tecnologia chegou, mas como ela foi projetada para evoluir. Então, esse é outro aspecto, porque, se ela evolui usando, por exemplo, dados da web, e a gente tem uma web estereotipada, como é que isso pode ter implicações sociais em um determinado comportamento humano? Então, vejam que eu estou falando no campo da transparência. E o outro é o que já foi comentado, que é a própria explicação da decisão. E, por fim, o que eu já tinha trazido: a questão da função e de sua implicação naquele comportamento. Então, quando você dá transparência, talvez, a essas quatro dimensões e num olhar que não necessariamente independe da escala, você consegue dar clareza àquele grupo que está tomando a decisão sobre o uso ou não de uma tecnologia que pode ter implicações para a sociedade.
10:08 R	Então, a minha fala era nesse sentido. Agradeço mais uma vez o convite e passo de volta a palavra ao Ministro. (Pausa.) O senhor está no "mudo", Ministro. O SR. PRESIDENTE (Ricardo Villas Bôas Cueva) - Muito obrigado. Agradeço ao Prof. Ig por sua contribuição. Antes de passar a palavra à Profa. Tanara... O SR. IG BITTENCOURT (Por videoconferência.) - Eu acho que está no "mudo" ainda, porque eu não estou ouvindo. O SR. PRESIDENTE (Ricardo Villas Bôas Cueva) - Hã? Antes de passar a palavra à Profa. Tanara Lauschner, eu queria reforçar o pedido para que todos... A SRA. CLARA IGLESIAS KELLER (Por videoconferência.) - A gente não está ouvindo. O SR. PRESIDENTE (Ricardo Villas Bôas Cueva) - Não está ouvindo? O SR. IG BITTENCOURT (Por videoconferência.) - Agora se está ouvindo, Ministro. A SRA. CLARA IGLESIAS KELLER (Por videoconferência.) - Agora, sim. O SR. PRESIDENTE (Ricardo Villas Bôas Cueva) - Então, agradeço novamente ao Prof. Ig por sua contribuição. Antes de passar a palavra à Profa. Tanara Lauschner, da Universidade Federal do Amazonas, eu queria reforçar o pedido para que todos os convidados, por favor, enviem os seus eslaides para que eles sejam incluídos no site da Comissão, ou melhor, no site do Senado, na página da Comissão, para que, então, todos tenham acesso a essa informação tão relevante. Passo a palavra, então, à Profa. Tanara. Por favor. A SRA. TANARA LAUSCHNER (Por videoconferência.) - Muito obrigada, Ministro; muito obrigada ao grupo de juristas. Obrigada a todos pelo convite. Bom dia a todos e a todas. Eu também tenho uma apresentação. Acho que já estou aqui com os poderes para compartilhar... Não, ainda não. (Pausa.) Não estou conseguindo. O SR. PRESIDENTE (Ricardo Villas Bôas Cueva) - Ainda não conseguiu compartilhar? A SRA. TANARA LAUSCHNER (Por videoconferência.) - Agora, sim. O SR. PRESIDENTE (Ricardo Villas Bôas Cueva) - Agora já está disponível, não é? A SRA. TANARA LAUSCHNER (Por videoconferência.) - Isso. Agora, sim. Eu sou também do Instituto de Computação da Universidade Federal do Amazonas. Então, da mesma forma que os dois professores de computação que me antecederam, o Prof. Virgílio e o Prof. Bittencourt, eu também vou me ater aqui às questões mais sociotécnicas, aos aspectos mais sociotécnicos do painel do que realmente à parte de legislação do assunto que está sendo tratado. Deixe-me tentar passar... Agora foi. Quando a gente fala por último, é bom, porque tem coisa que a gente não precisa mais falar, porque várias pessoas já falaram. Então, eu acho que a primeira coisa em relação à inteligência artificial - acho que foi bem colocada pela Loren e pelo próprio Prof. Virgílio - é o que é e o que não é inteligência artificial. Há vários artigos que trazem abordagens diferentes, escopos diferentes, definições diferentes para a IA.
10:12 R	Quando a gente fala de IA, a gente normalmente fala que é relativo à inteligência humana, que é uma inteligência artificial relativa à inteligência humana. Então, é processar informações para solucionar problemas ou criar produtos. E há uma definição também de 1955, muito antes de todas as tecnologias atuais com as quais a gente lida, de fazer uma máquina se comportar de um modo que seria chamado de inteligente se um homem tiver o mesmo comportamento; se um humano, corrigindo, tiver o mesmo comportamento. E veja que a gente está falando de inteligência, a gente não está falando de ética, a gente não está falando de moral, a gente não está falando de sabedoria. E é importante que a gente entenda que são conceitos diferentes e que vai ficando cada dia mais complexo dizer o que é IA e o que não é IA. Aqui eu trago um paralelo de um artigo de 2018 de que eu gosto bastante, que é: "Espelho, espelho meu", que é um paralelo com a história da Branca de Neve, em que o espelho conhece todas as pessoas do reino e diz para a rainha todos os dias que ela é a mais bonita. E no dia em que o espelho identifica outra pessoa que é mais bonita do que a rainha, ele informa as características da pessoa - ela é branca como a neve, tem os lábios vermelhos como a maçã -; ele diz a localização, ele diz com quem mora e ele dá as preferências da pessoa, diz que ela gosta de maçã, e o nome da pessoa. Então, imaginemos - e a gente consegue muito bem fazer um paralelo entre o espelho mágico da história da Branca de Neve com algumas tecnologias de IA -, que o espelho melhora a sua imagem refletida, ele deixa a rainha má mais bonita. E nós sabemos que hoje tem vários sistemas que ressaltam certas características do rosto de uma pessoa e amenizam outras características. O espelho é capaz de trazer informações de todo o reino, todos os dias, pela manhã, ou quando ele é perguntado, o que é similar a várias ferramentas que monitoram a internet e trazem notícias de acordo com o interesse do usuário. E é um espelho capaz de olhar profundamente a alma das pessoas e dizer suas preferências, como saber, por exemplo, o tipo de fruta de que a Branca de Neve gosta. A gente também sabe que nós temos hoje produtos que são oferecidos e que se encaixam no perfil das pessoas e os sistemas conseguem identificar não só do que as pessoas gostam, mas com que tipo de mensagem a pessoa será mais bem influenciada de acordo com as suas preferências, com as suas crenças ideológicas. E aí a grande questão: o que a rainha faz com toda essa informação? O que a rainha faz, no conto lá dos irmãos Grimm, com essa informação? E aí é que vem a grande discussão em uma regulação de IA. A gente está falando de mágica e a gente está fazendo esse paralelo com a mágica, vista assim por muitas pessoas, da inteligência artificial. Eu acho que o Prof. Virgílio fez muito bem o paralelo com o Marco Civil na Internet, que é uma lei principiológica. Então, é uma lei que traz os seus princípios, traz algumas partes técnicas também, e quando a gente pensa em regular a IA, a gente sempre tem que pensar pelo bem da sociedade também. Então, uma regulação que melhore o bem-estar do ser humano, que valorize o trabalho humano, que auxilie numa decisão humana, que seja independente de vieses, que respeite a privacidade dos dados pessoais e que promova a pesquisa e possa possibilitar a inovação contínua. Não é uma tarefa fácil, é um desafio muito grande, na verdade, conseguir conciliar todos esses pontos, e não à toa existe um grupo de juristas debatendo isso, existem grupos em vários países e, dentro dos países, vários grupos diferentes debatendo também como seria uma melhor regulação de IA.
10:16 R	Eu aqui vou me ater mais a essa última parte, que é promover a pesquisa e possibilitar a inovação contínua. E aí, no meu campo mais acadêmico, de pesquisa e formação, uma coisa importante é que a gente fala de muitas características que a gente espera que os modelos tenham, que os sistemas que usam IA tenham, mas a gente precisa que existam pesquisas nesse sentido para que os modelos, os métodos sejam explicáveis. Como se conseguiu chegar a determinada conclusão? E essa explicação e esse modelo precisa ser justo também, precisa ser livre de vieses. Como é que eu sei que o modelo é livre de vieses, que ele é justo? Eu tenho que verificar um conjunto de variáveis sensíveis e ver se o modelo está levando em consideração alguma dessas variáveis sensíveis para tomar a sua decisão, e aí eu vou ter que mudar o meu modelo. Da mesma forma é a questão de ser explicável: eu muitas vezes tenho que construir outros modelos que possam explicar o funcionamento do modelo, de um modelo caixa-preta, mas esses outros modelos que são definidos para fazer a explicação da IA também são caixas-pretas. Então a gente entra meio que num círculo, num deadlock em relação a essa questão. Eu fiquei bem feliz porque tem um painel que vai tratar especificamente sobre transparência, sobre modelos explicáveis, que caminham juntos. A gente também gostaria que de alguma forma fosse controlável, mas é muito complicado quando um modelo faz a execução, o conjunto de execuções que ele foi construído para fazer, em que ele toma decisões com base em fatos, com base num conjunto de dados e com base no que ele aprende. Então, aquela decisão, afinal de contas, foi tomada levando-se em consideração qual dessas variáveis? E por fim, responsabilizável. É a grande questão trazida aqui pelos carros autônomos: de quem é a responsabilidade de um sinistro quando acontece um acidente? Como a inteligência artificial fez aquele carro se comportar daquele jeito? Então, como você usa a transparência, a explicabilidade para poder responsabilizar? E, além de tudo isso, essa resposta é confiável? Como eu sei se de fato o modelo está chegando numa decisão ou está me dando uma resposta que não seja mentira? Porque mesmo a mentira não existe no conceito de um modelo de IA.
10:20 R	Então, estamos falando da necessidade de investimento nessas pesquisas e aí falando também na formação, na conscientização dos desenvolvedores, dos pesquisadores, das pessoas desenvolvedoras e das pessoas usuárias desse tipo de tecnologia. E aqui trazendo um pouquinho os Centros de Pesquisa Aplicada em Inteligência Artificial. São centros que têm o apoio do MCTI, do CGI, da Fapesp. Nós temos seis centros hoje, trabalhando com inteligência artificial nas mais variadas aplicações. O Prof. Virgílio, inclusive, coordena o Ciia-Saúde, da UFMG. Temos um edital cujo resultado deve sair em pouco tempo também. E aqui trago mais um outro exemplo, que é o Projeto Super, que é um projeto que eu coordeno, da UFAM. Está aqui a página do Projeto Super. É um projeto financiado pela Samsung Eletrônica da Amazônia, dentro da Lei 8.387, a Lei de Informática, recursos de P&D. Ele tem uma visão de fazer com que a gente forme mais alunos e com melhor qualidade, mais próximo ao que o mercado precisa nas áreas tecnológicas. Ele é, por definição, interdisciplinar, porque nós temos várias lacunas que precisam ser preenchidas, tanto na parte de conhecimento de Matemática, Física, inglês, a parte de habilidades socioemocionais. A gente também, dentro da universidade, tem problemas com alunos em vulnerabilidade social, e os cursos de TI e de tecnologia, de um modo geral, são cursos que têm menos mulheres. Então, a gente também trabalha com inclusão, com a melhoria da infraestrutura, com a formação docente, tendo o aluno sempre como a parte central que vai não só receber o aprendizado, mas que também vai gerar projetos, vai gerar soluções. A gente tem aqui um sistema de acompanhamento acadêmico. E é isto que eu queria ressaltar aqui rapidamente: é um sistema em que a gente usa inteligência artificial, usa machine learning, no intuito de fazer com que a gente tenha uma menor evasão dos alunos na universidade. Então, a gente usa mineração de dados para entender as características dos alunos que evadiram seus cursos, entender as características dos cursos da área que têm mais alunos evadidos, avaliar impactos de decisões administrativas e de eventos externos na evasão. A gente está vivendo uma pandemia que tem implicações muito sérias no número de formados e de evadidos das universidades e do ensino de um modo geral. A gente quer descobrir e propor estratégias que antecipem a evasão dos alunos, propor modificações nos cursos com maior evasão, preparar melhor as administrações de cursos e de universidades para períodos adversos. Aqui é um pouquinho da arquitetura básica. Nós temos os dados, temos a limpeza e a padronização, temos um processo de mineração e aprendizagem de máquina e os relatórios que são analisados. Por fim, a gente também tem, dentro do Projeto Super, uma formação específica em IA para alunos de graduação que já estão mais no final do curso. Então, a gente faz treinamentos, capacitações e cursos em IA, principalmente voltada a aplicações em saúde.
10:24 R	Então, aqui há alguns exemplos: classificação de patologias pulmonares a partir de gravação de auscultas pulmonares; identificação de arritmias cardíacas a partir de dados extraídos de sensores de smartwatches; reconhecimento de pacientes com doença de Parkinson, utilizando redes profundas; predição da mortalidade de pacientes com trauma cranioencefálico; detecção e localização de arritmias cardíacas em sinais de ECG, que é um pouco diferente daquele projeto com os smartwatches; e biometria multimodal com sinais de face e voz. Aqui a gente tem mais coisas sobre o Projeto Super nas redes sociais. Era um pouco isso com que eu queria contribuir aqui, neste momento, nesta audiência pública. Mais uma vez, muito obrigada. O SR. PRESIDENTE (Ricardo Villas Bôas Cueva) - Muito obrigado, Profa. Tanara. Agradeço a todos os convidados pela clareza, pela objetividade das contribuições, que, sem dúvida, vão ser muito relevantes para o debate que se trava aqui, nesta Comissão. Nós temos ainda um tempo até o encerramento do painel. Eu já recebi indicações de que há algumas perguntas que devem ser elaboradas pela Profa. Ana Frazão, pelo Dr. Fabrício e também pela Dra. Clara. Se houver outras, por favor, indiquem. Então, eu passaria a palavra à Dra. Ana Frazão. A SRA. ANA DE OLIVEIRA FRAZÃO - Muito obrigada, Ministro. Eu cumprimento aqui a todos. É um prazer estar aqui, nesta audiência. Parabenizo todos os expositores. Da minha parte, eu gostaria apenas de provocá-los sobre o próprio PL. Estivemos aqui ouvindo discussões que são extremamente interessantes, que são complexas. Mas, na opinião, então, dos nossos especialistas, quando a gente analisa esse PL, quais são os pontos que parecem mais preocupantes, ou seja, que deveriam ser incluídos e não estão presentes lá ou que deveriam ser excluídos diante de tudo que foi aqui mencionado? Então, de uma maneira bem objetiva, Ministro Cueva, acho que seria essa a questão. O SR. PRESIDENTE (Ricardo Villas Bôas Cueva) - Eu vou seguir o seguinte procedimento: vamos ouvir o Dr. Fabrício e depois a Dra. Clara. Se alguém que estiver assistindo por Zoom quiser fazer alguma pergunta, por favor levante a mão. O Dr. Fabrício está com a palavra. Depois, ao final das perguntas, então, abriremos a palavra, para os convidados responderem. O SR. FABRICIO DA MOTA ALVES - Obrigado, Ministro. Primeiramente, quero parabenizar, pela exposição, os nossos convidados. Com certeza, são contribuições extremamente valiosas para a construção dessa massa crítica e da inteligência coletiva aqui dos membros da Comissão, na proposição de um substitutivo futuro a ser entregue ao Senado. Em relação ao que foi exposto, muito me chamou a atenção parte da exposição, da fala do Prof. Virgílio. Eu direciono, portanto, Professor, ao senhor este questionamento, mas ele é extensivo também aos demais especialistas que participaram desta oitiva, no sentido de antecipar um ponto de um debate, que será promovido ainda oportunamente - inclusive, eu serei o moderador desse debate -, em relação à regulação e ao órgão que, efetivamente, vai promover a regulação e a fiscalização. O Professor muito bem falou sobre os aspectos em relação talvez à possível descentralização ou à possibilidade de uma fiscalização e até mesmo de uma regulação por vários e possíveis órgãos no âmbito da nossa administração pública. E, não por acaso, muito pelo contrário, a Profa. Dora Kaufman, em evento do qual participamos, inclusive, o Ministro e eu, antecipou uma opinião semelhante nesse sentido, de que talvez não seja uma boa solução centralizar a regulação e centralizar a fiscalização em um órgão apenas no âmbito da administração pública.
10:28 R	E eu pergunto ao Professor, sobretudo em função da visão que a União Europeia está promovendo no que diz respeito ao ponto, se não tratarmos ao menos de uma fiscalização e uma regulação central, mas possivelmente se haveria uma possibilidade, em sua concepção, de se idealizar algum tipo de trabalho coletivo central, ao menos de harmonização dos aspectos regulatórios? Talvez não a fiscalização promova-se através dessa proposta centralizadora, mas se ao menos uma harmonia central de regulação, interpretação e orientações pudesse ser algo bastante salutar. Então, o meu questionamento, Professor, vai mais nessa direção, já antecipando um debate - até peço escusas por isso; estou me aproveitando aqui de sua presença neste painel já para antecipar um debate que nós vamos promover no painel mais à frente. Muito obrigado. O SR. PRESIDENTE (Ricardo Villas Bôas Cueva) - Obrigado. Eu passo, então, a palavra à Dra. Clara para elaborar sua pergunta. A SRA. CLARA IGLESIAS KELLER (Por videoconferência.) - Bom dia a todos. Cumprimento o nosso Presidente, Ministro Ricardo Villas Bôas Cueva, meus colegas de Comissão. E cumprimento também todos os nossos palestrantes, a quem eu agradeço pelas valiosas contribuições. Eu tenho uma pergunta um pouco mais conceitual, próxima a uma questão que foi levantada pelo Prof. Virgílio Almeida, mas naturalmente convidando todos os palestrantes para endereçar esse ponto, caso assim desejem. O Professor falou sobre a definição, a dificuldade de se definir a inteligência artificial e os conceitos que a circundam, outros conceitos. Eu estive num debate recentemente em que se falava justamente sobre como o conceito de inteligência artificial, principalmente do ponto de vista sociológico ou até filosófico, sempre foi associado a algo que ainda está por vir. Sempre há algo que ainda não existe nesse momento, mas muito ligado ao imaginário de uma tecnologia que está no futuro e que não está presente neste momento. E, nesse debate, considerou-se muito se seria o caso, então, não só de estudos acadêmicos, mas até de propostas regulatórias se focarem mais no conceito de aprendizado de máquinas, de machine learning, que seria um conceito um pouco mais restrito do que o de inteligência artificial. Então, se possível, gostaria de pedir ao Prof. Virgílio e, como já disse, aos demais contribuintes que esclarecessem um pouco mais a diferenciação entre esses dois conceitos e indicassem qual seria o mais adequado de constar como o escopo da regulação de que se trata aqui. Agradeço a todos mais uma vez e fico ansiosa pelas respostas. O SR. PRESIDENTE (Ricardo Villas Bôas Cueva) - Muito obrigado. Há uma última pergunta que eu vejo que ia ser elaborada pela Dra. Estela Aranha. Por favor, com a palavra. A SRA. ESTELA ARANHA (Por videoconferência.) - Bom dia a todos e todas. Enfim, eu vou pegar... A nossa discussão de inteligência artificial às vezes fica um pouco etérea para as pessoas de compreender. Então, eu vou pegar até o próprio exemplo que a Loren colocou aqui de uma aplicação que é muito importante para inteligência artificial, justamente para trazer de volta essas reflexões, em especial esse debate que me pareceu central nesta mesa sobre a necessidade de uma regulação central, única, como o Fabricio colocou, ou então uma regulação descentralizada, como parte dos participantes colocaram.
10:32 R	Um exemplo é um sistema de inteligência artificial para câncer de mama. Como eu não tenho os dados, porque eu não vim para falar isso, eu não vou nem falar qual é o exemplo concreto que houve nos Estados Unidos - é um programa muito famoso, de uma empresa muito famosa -, mas trago os problemas deles para a gente refletir. Foi um programa que foi muito usado, mas foi descontinuado justamente pelos seus problemas de resultados. Alguns pesquisadores levantaram grande parte desses problemas. Alguns questionaram, por exemplo, a maneira como esse programa foi treinado. Ele deveria analisar dados de pacientes reais, mas, na verdade, ele foi alimentado por dados hipotéticos de médicos do maior centro de tratamento de câncer nos Estados Unidos, a partir da recomendação de outros médicos. Então, essa é uma das questões que eu vou colocar. Quando a Loren fala "esse sistema foi aprovado pela Anvisa", por exemplo, mas que critérios a gente tem, por exemplo, para aprovar o sistema? E esse tipo de decisão não é o tipo de decisão, por exemplo, que deve ser geral de sistemas de inteligência artificial, para a gente ter o que a gente chama de confiança de inteligência artificial? Ou cada agência vai fazer o seu e a gente não vai ter um sistema geral em relação à confiança, porque isso é essencial? E aí, continuando isso, além do problema de ser alimentado pelos médicos, os dados também eram de um só hospital de ponta dos Estados Unidos, obviamente com uma população rica. Então, a questão de vieses, tanto no diagnóstico, mas também nos tratamentos... Por exemplo: a maior parte de recomendação de tratamento eram tratamentos superavançados no hospital, que aplicados em outros países... Por exemplo: a Coreia não tinha no sistema público aquele tratamento; então, as pessoas achavam que o tratamento ideal não era acessível a elas, sendo que poderiam utilizar outros sistemas de tratamento. Então, isso na verdade tumultuava, e não é só uma questão de danos ou riscos individuais, mas de danos e riscos sistêmicos no uso desse sistema. E aí, como que a gente vai... Assim, essa regulação geral aponta isso, como é que a gente trata, de modo geral, esses problemas. Entre outras coisas que foram descobertas também, eles usavam, por exemplo, recomendações médicas dentro do hospital, mas que não foram revisadas por seus pares, não eram necessariamente artigos científicos com revisão, como a gente conhece como ciência. E, aí, imaginem a qualidade desses dados. Hoje a gente tem toda essa discussão da covid, o que é a recomendação médica de um corpo de hospital que são estudos científicos revisados por seus pares - mais um problema de qualidade de dados que talvez a gente tenha que olhar. Outra questão - falamos de inputs, de qualidade de dados, vieses, que são questões gerais - é a questão da responsabilização. Algumas pessoas... Inclusive, eu conheço pessoalmente uma pessoa que usou esse tratamento, e ela teve que retirar as mamas, pela recomendação desse sistema, e o médico dela usou a recomendação do sistema, e depois se descobriu que ela não precisava ter retirado as mamas. E como que a gente vai tratar, por exemplo... Hoje nós temos regras gerais de responsabilização que tratam em relação a isso, porque é em relação ao indivíduo sim, também, uma questão de dano, porque... E, aí, qual a responsabilidade desse médico que usa esse diagnóstico - como é que ele funciona? -, do grupo hospitalar que usava, que comprou esse sistema; dele em relação ao paciente, dele em relação ao lugar onde ele comprou? - porque ele comprou achando que ele estava comprando o sistema de última hora do mercado. Então, a gente também fala "a regulação atrapalha o desenvolvimento do mercado", mas o mercado também compra esses sistemas e ele precisa ter segurança jurídica de saber que esses sistemas obviamente têm qualidade, etc. Não é necessário um padrão global para ele, porque, de repente, os hospitais e os médicos vão responder... Até porque o usuário final, o consumidor final está lá. Então, como que trata toda essa cadeia de responsabilização, desde a produção, input de dados, teste, autorizações, isso de modo absolutamente centralizado, absolutamente em cada área?
10:36 R	Então, é só um exemplo concreto para dizer do problema disso e de como é importante a uniformização, tendo regras obviamente unas, que vão ser especificadas em outras áreas. Então, eu queria um pouco que os debatedores colocassem este debate: a gente acha que hoje o sistema jurídico já consegue lidar com isso, e, portanto, nós só precisamos realmente fazer regulações descentralizadas de cada setor, ou a gente tem questões globais e centrais para discutir em relação à inteligência artificial? O SR. PRESIDENTE (Ricardo Villas Bôas Cueva) - Muito obrigado. Antes de passar a palavra aos convidados para suas breves respostas, já que o nosso tempo está escoando rapidamente, eu registro a presença aqui no Senado de um integrante da Comissão que é o Dr. Wederson Advincula Siquiera. Muito obrigado pela presença aqui. Eu passaria, então, a palavra aos convidados. Talvez possamos, já que o Prof. Virgílio foi agraciado com duas perguntas pelo menos, começar por ele. Depois, os outros, obviamente, sintam-se à vontade para responder. Prof. Virgílio. O SR. VIRGÍLIO ALMEIDA (Por videoconferência.) - Muito obrigado, Ministro. Fui agraciado, como o senhor disse, não é? São perguntas difíceis, Ministro. Vamos lá. A primeira questão levantada pelo Fabricio faz todo o sentido. Por quê? Primeiro, porque a inteligência artificial, da forma como estamos falando, não se refere a um setor específico. As agências que controlam são agências que trabalham setorialmente: Anvisa, Anatel, Agência Nacional de Águas... Então, a inteligência artificial é transversal a todas essas agências. Isso dificulta a implementação de um órgão centralizado. Segundo, nós temos visto que as agências têm sofrido problemas práticos da situação brasileira: contratação de pessoal qualificado, dificuldade de implementação de suas funções... A ANPD é um ótimo exemplo disso, com a dificuldade de implementação da ANPD. Então, eu acho que nós temos que pensar que criar uma nova agência para a inteligência artificial, com um quadro de pessoal qualificado numa área tão complexa e tão demandante pelo mercado, é muito difícil. Uma solução, dado o contexto brasileiro, seria pensar realmente em ter funções dessas distribuídas pelas agências existentes. Essa, Fabricio, seria uma primeira possibilidade que eu vejo nessa discussão, sendo realista no que se refere ao Estado brasileiro. Ele não tem feito o papel de fortalecer as agências, como deveria ser feito. A pergunta da Clara é mais complicada ainda, eu agradeço. Há dois aspectos aí que eu acho que eu saberia responder no momento. O primeiro é que alguns países que estão trabalhando com a questão da regulação tentam especificar quais são as tecnologias associadas à inteligência artificial. E aí colocam aprendizagem de máquina, aprendizagem profunda, aprendizagem reforçada, sistemas especialistas... São muitas as tecnologias. Esse é um caminho, por exemplo, que alguns países e a União Europeia têm tomado, de tentar especificar. Eu acho que o ponto que ela levantou aqui, de que a inteligência artificial trabalha sempre com algo que está por vir, pelo imaginário, acontece; eu acho que a gente tem que levar isso em consideração. Eu pensaria que uma possibilidade é pensarmos sempre nos efeitos desses sistemas, porque eles têm efeitos que podem causar prejuízos reais. E esses sistemas não trabalham com uma precisão absoluta, eles trabalham com probabilidades, com limites, que são muitos tênues, daquilo que deve ou não deve ser feito.
10:40 R	Eu talvez, pensando alto com vocês, pensaria em começar a questão de regulação abordando os impactos disso, ao invés de tentar ser muito específico quanto à tecnologia, mas, de novo, acho que isso vai ser discutido e aprofundado nessa Comissão. Obrigado aos dois pelas perguntas tão instigantes. O SR. PRESIDENTE (Ricardo Villas Bôas Cueva) - Eu agradeço. Consulto aos demais convidados se gostariam de se manifestar também. (Pausa.) Acho que o Dr. Fabro aqui movimentou a cabeça; por favor. O SR. FABRO STEIBEL - Muito obrigado, Ministro. Vou ser bastante breve. Talvez, quando a gente pensa numa questão de escala e de tipo, a gente consiga identificar melhor o nome dos bois. Então, por exemplo, reconhecimento facial: ele é superimportante para você identificar bois que estão doentes. Esse é o reconhecimento facial, mas não é de humanos. Portanto, ele não deve ter o mesmo grau de regulação de outros. A China está desenvolvendo tecnologia muito boa nisso; a gente, não. E aí, se nós colocamos uma carga de responsabilidade muito grande para reconhecimento facial, sem associar uma aplicação de alto risco, na verdade, a gente está no médio prazo se tornando consumidores de tecnologia, e não produtores. Outro termo que é exemplificativo são carros autônomos. No exemplo que eu dei, havia um carro autônomo. Ele é um veículo que vai, na agricultura, olhando a terra para ver se ela está úmida para plantar semente. Ele é um veículo autônomo, mas em nada tem semelhança com um carro que a gente veria sendo dirigido por aí. Há exemplos intermediários, como na greve dos caminhoneiros, em que houve experimentos com caminhões dentro de usinas de cana onde poderiam ser dirigidos de forma autônoma. Essas são implementações já bastante avançadas que têm a ver com carros autônomos, mas que não estão necessariamente com aquele carro da rua nem com aquele carro que não está na agricultura, sem efeito nenhum. E, para finalizar, eu acho que tem uma importante agenda de clima associada à inteligência artificial. Eu vou compartilhar um experimento que eu vi quando a gente fez o China Dive; nós levamos um grupo de pessoas para ver a inovação na China. A inovação era bem simples, era uma garagem de ônibus, e criaram duas máquinas robôs. Uma das máquinas olhava o pneu; ela simplesmente tinha uma câmara e fazia reconhecimento de superfície para olhar o pneu. A diferença disso é que, em vez de você verificar os pneus das frotas a cada seis meses, você via toda semana; a economia de combustível era de 40%. Esse é o tipo de startup, iniciativa que a gente deve ver nascer e incentivar no Brasil. Então, pensando na regulação, é importante o alto risco ser protegido, mas também são importantes esses mecanismos de facilitação para esse tipo de tecnologia que pode ter um nome semelhante a outros que oferecem riscos, mas que está no oposto deste espectro. Muito obrigado. O SR. PRESIDENTE (Ricardo Villas Bôas Cueva) - Tenho informação de que também a Dra. Loren e o Dr. Ig querem falar. Por favor, Dra. Loren. A SRA. LOREN SPÍNDOLA (Por videoconferência.) - Obrigada, Ministro. Bom, queria rapidamente também endereçar os pontos, mas corroborando o que o professor e o Fabro já falaram. Ingressando a primeira pergunta: quais pontos dos PLs já existem? Bom, tem inúmeros que são positivos, mas eu queria chamar atenção, até pelo tempo, para os que não o são. E aí aqui, rapidamente, de cabeça, foram apresentadas emendas ao PL do Senado; uma que propõe que todo e qualquer sistema de inteligência artificial deva ter a supervisão humana. Ora, o Fabro acabou de dar um exemplo disso. Nenhum sistema de inteligência artificial deve ser considerado como único, não é? Precisa-se analisar caso a caso. Enfim, tem spam - seja o Excel, o chatbot do WhatsApp - que não precisa de supervisão humana.
10:44 R	Por outro lado e pegando o gancho aqui da Dra. Estela, eu diria que foi até irresponsável o que aconteceu nos Estados Unidos. Não sei em que ano aconteceu, mas um dos princípios básicos que a gente defende para desenvolvimento de tecnologia é a acurácia dos dados. Pegar um sistema e treiná-lo com uma coleção de dados tão enxuta é irresponsável. No caso do Linda, que eu citei aqui, são mais de 5 milhões de informações e não só imagens, estudos, diagnósticos comprovados. No caso do Linda, a Anvisa só autorizou com supervisão humana. A decisão é sempre do médico. De novo, o sistema de inteligência artificial de hoje serve para aumentar a possibilidade, a inteligência do médico, mas a decisão é dele ainda. E, lembrando que saúde, se formos usar a União Europeia como exemplo, é sempre caracterizada como alto risco. Então, é uma abordagem diferente baseada em risco. Um outro ponto que eu acho que vale apontar aqui e que foi apresentado nas emendas é a questão da adoção gradativa da tecnologia. Ora, de novo, não dá para a gente juntar e colocar num bolo só, é preciso analisar caso a caso. Os tipos de sistemas de inteligências artificiais são diferentes, não dá para propor que um sistema de baixo risco tenha uma adoção gradativa. Isso só vai impedir a inovação no Brasil. Bom, a questão da descentralização acho que o professor respondeu muito bem. Eu queria só trazer o exemplo dos Estados Unidos. Os senhores já devem saber que, nos Estados Unidos, a Casa Branca emitiu uma carta de princípios, que são dez pontos que as agências reguladoras têm que seguir. Elas são baseadas ali, são as diretrizes que o Governo americano apresentou. E, com base nisso e no conhecimento que cada agência regulatória tem dentro do seu setor, ela vai agir. Claro, é caso a caso. Não dá para eu pensar em responsabilidade como um todo. Eu preciso realmente de um olhar interdisciplinar aqui para conseguir entender como é que os sistemas vão agir - e, de novo, é uma coisa nova. E por isso aqui, de novo, eu peço: vamos pensar no que a gente está para fazer. Eu acho que foi o professor que colocou qual é o impacto da regulação. É isto: qual é o impacto? Se a gente tomar uma decisão muito drástica agora e começar a regular algo que a gente nem entende, o impacto vai ser: acabou a tecnologia no Brasil, as empresas vão embora, não vamos ter pesquisa e desenvolvimento. Já estamos tendo fuga de cérebros. Isso só vai aumentar isso. Enfim, a gente vai apresentar nossas contribuições. Eu vou fazer questão de colocar, atendendo a pergunta número um, quais pontos que a gente acredita que não são positivos, que foram apresentados nos projetos de leis anteriores. Obrigada. O SR. PRESIDENTE (Ricardo Villas Bôas Cueva) - Muito obrigado. Professor Ig. O SR. IG BITTENCOURT (Por videoconferência.) - Obrigado, Ministro. Eu vou ser breve. Eu só gostaria de tocar em dois pontos. Primeiro, quero fazer coro com os demais sobre a importância de olhar não necessariamente para todo o percurso sócio-histórico-cultural do desenvolvimento da tecnologia em primeira mão, mas principalmente na implicação e nos riscos que o uso e uma tomada de decisão ou o comportamento da máquina podem causar à sociedade. Então, eu acho que esse deveria ser, na minha visão, o olhar e não necessariamente como aquela tecnologia está sendo em si construída. Isso é um segundo momento, mas, em primeira mão, a gente precisa entender qual a implicação e os riscos que aquela tecnologia tem e, depois disso, trazer outros aspectos. Por isso é que eu trouxe a importância da transparência.
10:48 R	Quando a Estela levanta sobre a cadeia de responsabilização, ela deve ser trabalhada e questionada depois de uma implicação sobre um determinado comportamento de máquina, e aí a importância da transparência, considerando como aquela tecnologia foi desenvolvida, como aquela tecnologia evoluiu, como ela tomou uma decisão e qual foi a implicação que ela teve na sociedade. Mas esse era o primeiro comentário que eu queria fazer. E o segundo e último é sobre um olhar para o qual a gente precisa ter muito cuidado. Hoje a gente está com um hype, um olhar muito forte na aprendizagem de máquina, mas nem sempre foi assim. Décadas atrás a gente já teve esse olhar e ele foi desacreditado. E a gente não sabe o que vai acontecer daqui a 20 anos. A gente não sabe o que vai acontecer daqui a 10, 15 anos. Então o que tinha lá atrás, na década de 70... Por exemplo, um caso clássico que a gente tem da tecnologia é o de quando um sistema que fazia aplicação de insulina em diabéticos fez uma aplicação de uma dose errada e o paciente morreu. Então, isso é um exemplo típico de não se fazer nenhum uso de aprendizagem de máquina. Era uma abordagem mais clássica, que fazia uso de um tipo de sistema especialista, com regras de produção, e que o levou a uma decisão que levou à morte de um paciente. Então, o olhar não pode ser reduzir, na minha opinião, à aprendizagem de máquina. E, mais uma vez, eu acho que não deveria ser o olhar para uma concepção de IA em si, mas, de novo, na implicação dela. E só para uma última fala, a gente pode ter dois olhares, que estão muito em voga, não é? Esse dirigido a dados, que leva a esses algoritmos de aprendizagem de máquina, mas também um olhar que não está sendo muito trabalhado hoje - e já está voltando a discussão que já houve no passado - e que é fundamentado em teoria. Então, você usa uma teoria, uma base epistemológica, e isso leva à representação do conhecimento que apoia uma tomada de decisão de uma máquina. Então, o perigo de a gente simplesmente tentar reduzir a um tipo de IA, isso pode gerar um limite muito grande daquela regulação que pode ser construída. Era isso. Obrigado, Ministro. O SR. PRESIDENTE (Ricardo Villas Bôas Cueva) - Eu agradeço novamente a todos os convidados pelas valiosas contribuições, que certamente são muito significativas para o nosso debate aqui no âmbito da Comissão de Juristas do Senado que vai trazer subsídios à elaboração do substitutivo aos projetos de lei já aprovados sobre a regulação da inteligência artificial. Agradeço a presença de todos aqui, de corpo presente no Senado e aqueles que se encontram também virtualmente. Há uma... Eu reforço o apelo aqui para que todos enviem as contribuições que já fizeram, as apresentações, os eslaides, para a página do Senado Federal da Comissão´. Declaro encerrado, então, esse painel, passando já, desde logo, a palavra às Presidentes do Painel nº 2 desta manhã, as Profas. Laura Schertel Mendes e Estela Aranha. Muito obrigado a todos. A SRA. PRESIDENTE (Laura Schertel Ferreira Mendes. Por videoconferência.) - Muito obrigada, Ministro Ricardo Villas Bôas Cueva.
10:52 R	Bom, eu queria, em primeiro lugar, cumprimentar o Ministro, Presidente da nossa Comissão, cumprimentar todos os membros da Comissão e também, nesse excelente painel que tivemos hoje, todos os palestrantes, todos os participantes que se dispuseram a contribuir e a tratar de um tema tão interessante e tão complexo quanto ao que nos cabe aqui nesta Comissão. O nosso tema de agora, de certa forma, está muito conectado com o primeiro tema, que é exatamente a discussão sobre modelos de regulação - inteligência artificial e regulação: modelos de regulação e abordagem. Eu queria cumprimentar a Estela Aranha, que preside e modera este painel comigo, que também está aqui presente online, e já também cumprimentar os nossos palestrantes deste painel: Prof. Luca Belli, da Fundação Getúlio Vargas; José Renato Laranjeira, do Lapin; Tainá Aguiar Junquilho, da Universidade de Brasília e do Instituto Brasileiro de Ensino, Desenvolvimento e Pesquisa; Ana Paula Bialer, do Bialer & Falsetti Associados; e o Prof. Ivar Hartmann, do Insper. Esses são todos os nossos convidados para discutir esse tema da questão da modelagem regulatória. Apenas, talvez, fazendo uma conexão com o nosso primeiro painel, esse primeiro buscou, talvez, um dos temas mais complexos, mais instigantes: exatamente o que é inteligência artificial, qual é o conceito. Será que uma futura lei precisaria tratar desse conceito? O Prof. Virgílio também trouxe algumas reflexões sobre não só o que regular, mas também por que regular. E é claro que, agora, o nosso debate, que também já se iniciou, eu diria, no primeiro painel, não é só o que regular e por que regular, mas também como regular. Então, acho que essa é a grande discussão. Nós já temos... E eu diria que a complexidade desse debate se dá não apenas pela complexidade do tema, pela complexidade dos impactos negativos e positivos que a tecnologia pode trazer, mas também pela complexidade do arranjo institucional que nós já temos hoje. Então é um tema que deverá ser regulado, implementado e aplicado por uma série de agências ou órgãos que já existem ou que, eventualmente, poderão vir a ser complementados por um outro órgão se o modelo centralizado viesse a decidir. Então, o que é interessante é que é uma complexidade não só do tema, mas também do próprio arranjo institucional. Eu acho que essa é a discussão que nós gostaríamos, então, de continuar aqui. Estela, pergunto se você gostaria de dar algumas palavras iniciais ou se a gente já passa para os palestrantes, como for melhor para você. A SRA. PRESIDENTE (Estela Aranha) - Você acha que a gente já coloca... Eu acho que coloca para os palestrantes para a gente ter mais tempo e, depois, a gente traz as provocações. A SRA. PRESIDENTE (Laura Schertel Ferreira Mendes) - Perfeito, excelente. Bom, nós também pensamos em algumas perguntas gerais em relação a esse tema, basicamente: como esse futuro marco regulatório deverá se relacionar com a Lei Geral de Proteção de Dados, considerando que o tratamento de dados é um aspecto essencial para o funcionamento da inteligência artificial? Considerando que a inteligência artificial é aplicada em diversos setores, qual é a modelagem regulatória mais adequada? É possível que se estabeleçam regras e princípios para serem aplicados de forma descentralizada por agências? É possível adotar um modelo de regulação centralizada? Qual é a melhor estratégia regulatória a ser adotada? Deve-se adotar um modelo baseado em riscos ou um modelo baseado em direitos? E qual é a forma mais adequada de se regular a inteligência artificial? Seus reguladores devem usar padrões, regras, princípios ou uma combinação dessas normas?
10:56 R	Com isso, então, já gostaria de passar a palavra para o nosso primeiro palestrante participante desta audiência, Prof. Luca Belli. Você tem a palavra. O SR. LUCA BELLI (Por videoconferência.) - Bom dia. Muito obrigado pelo convite. É uma verdadeira honra estar aqui com vocês hoje. Muito obrigado especialmente à querida Laura Schertel e à querida Estela Aranha pelo convite e pela organização desse debate, que eu acho essencial nesse momento, por causa da complexidade do assunto que estamos tentando entender e talvez regular da melhor forma possível. A minha participação vai ser, acho, um pouco mais original do que as outras, porque eu acho que muitas das observações e comentários que foram feitos e serão feitos baseiam-se nas experiências de ditos países ocidentais, principalmente Europa, América do Norte, especialmente Estados Unidos. A experiência que eu quero trazer hoje é a governança da IA chinesa, cujo modelo regulatório, a meu ver, é extremamente evoluído, estruturado, coordenado e até refinado. Não é necessariamente o melhor, mas é o modelo que precisa ser estudado e ser compreendido, estudado e analisado da maneira mais compreensível possível. Então, eu vou compartilhar uma pequena apresentação, se tiver a permissão para compartilhar. Perfeito. Eu peço desculpas para compartilhar em PDF, e não em PPT, porque o meu computador do escritório é levemente antigo, então, há uma certa alergia ao zoom, ao menos que não seja utilizado o PDF. Enfim, a apresentação de hoje vai ser baseada nos trabalhos do projeto CyberBRICS, que eu coordeno no CTS (Centro de Tecnologia e Sociedade) da FGV, que eu também coordeno. Então, antes de virar coordenador do centro, era coordenador desse projeto, e agora encabeço os dois. Esse projeto para mim é particularmente interessante, porque é o único projeto no mundo que analisa as políticas digitais dos países do bloco Brics - Brasil, Rússia, Índia, China e África do Sul. No âmbito desse projeto, um dos pilares principais da análise é regulação de dados e se tornou também a regulação da inteligência artificial. Caso estejam interessados em entender como esses países gigantes, essas economias emergentes estão regulando não somente a proteção de dados pessoais, mas também a inteligência artificial no âmbito, sobretudo, da proteção de dados, temos no nosso site cyberbrics.info uma ampla gama de publicações em acesso livre e também várias ferramentas interativas, como essa ferramenta de comparação dos marcos regulatórios sobre proteção de dados, que inclui também, desde o final do ano passado, uma seção dedicada à regulação da inteligência artificial. O modelo chinês, a meu ver, é particularmente interessante, porque é o mais estruturado de maneira compreensível, sistêmica e coordenada. Aqui eu destaco alguns pontos principais que são muito interessantes de ver, depois são reproduzidos em novas experiências internacionais e apresentados como se fossem grandes inovações de outras experiências ocidentais, mas que, na verdade, existem na China há quase dez anos.
11:00 R	Primeiramente, combinação. A gente vai ver que é um nível monossetorial, ou seja, simplesmente no Governo, mas também multissetorial. No planejamento, não somente como estudos e consultas multissetoriais, mas também na implementação, em vários níveis, no curto, médio e longo prazo, coisa muito difícil em outros países nos quais a democracia exige mudança de governo a cada quatro, cinco anos, mais fácil na China, porém, pode ser considerado também como algo interessante. Essa experimentação, aqueles protótipos de políticas que são, por exemplo, hoje em dia, adotadas por empresas como a Meta, antigo Facebook, e outros stakeholders na América Latina; esses protótipos de política existem na China há mais de dez anos. Investimentos. Muito importante, porque na China a regulação não é simplesmente por meio de leis, por meio de padrões, mas também por meio de investimento, ou seja, estimular o que é desejável, e não somente proibir o que não é desejável. Esses elementos chegam a uma abordagem sistêmica de regulação, que a gente vai ver, principalmente em três eixos principais. Então, vamos começar com a coordenação. Por que eu estou falando em coordenação em nível chinês? Desde 2014 foi criada a famosa CAC, a Administração do Ciberespaço da China, que é um super-regulador do ciberespaço chinês. Não é fácil compará-lo com outras experiências de autoridades ocidentais, porque é basicamente a consolidação de autoridade de regulação de dados, cibersegurança, conteúdos online e também aplicativos de IA. Então, a CAC também desempenha um papel instrumental na regulação de IA - a gente vai ver no final da apresentação -, mas também o que é muito interessante na China é que ela tem uma abordagem estruturada, baseada em princípios comuns, várias normas e várias regulações setoriais, mas todas coordenadas por meio de um órgão de coordenação de várias administrações. Então, essa coordenação monossetorial que eu estava mencionando é justamente a coordenação entre as administrações. Tudo bem que haja regulação setorial - é uma abordagem -, mas os setores não podem regular de maneira completamente discrepante, diferente e criando uma superposição ou até um conflito de regulações setoriais. Para evitar esses conflitos é criado esse órgão, que é um órgão típico da administração chinesa e muito útil para coordenar as regulações setoriais. Planejamento. Aí algumas... Eu não vou claramente mencionar e analisar todas essas experiências, mas, antes de chegar aos documentos mais estruturados e refinados que foram elaborados no último ano, último ano e meio, já a partir de 2017 o Conselho de Estado da China, que é a maior autoridade administrativa chinesa, começou a criar um plano de desenvolvimento de IA no qual se encaixaram depois todas essas iniciativas que vocês veem aqui, que depois foram consolidadas nos demais instrumentos adotados nos últimos anos. Então, esse plano de desenvolvimento é muito interessante até porque é a estratégia chinesa - basicamente, é como se fosse a Ebia chinesa - a estratégia chinesa de IA. Porém, é muito diferente da estratégia brasileira porque inclui objetivos estratégicos determinados. Não é simplesmente uma descrição do que poderia ser desejável. E é uma indicação de como alcançar esses objetivos desejáveis no curto, no médio e no longo prazo. Até 2025, para os chineses, é curto prazo. Para a gente isso já é muito longo prazo; para eles é curto prazo, já com a criação... O objetivo deles é a criação de um sistema inicial, como vamos ver nos próximos cinco minutos, já extremamente complexo para depois criar um sistema abrangente até 2030, ano no qual a China pretende ser a liderança mundial em inteligência artificial. Então, tem planejamento com objetivos estratégicos, orçamentos - vamos ver também - dedicados, coisa que é raro encontrar - esse tipo de elementos estratégicos - nas estratégias de outros países. A meu ver também, na Ebia (Estratégia Brasileira de Inteligência Artificial) faltam esses segmentos estratégicos.
11:04 R	Os princípios de governança para a nova geração de inteligência artificial foram elaborados em 2019 pelo Ministério da Ciência e Tecnologia chinês, que é um órgão essencial para a definição de princípios, mas também de diretrizes. Foram elaboradas várias consultas multissetoriais para definir quais são os elementos essenciais mais eficientes. Esses princípios incluem também respeito aos direitos fundamentais. Eu sei que vários participantes aqui poderiam ser surpreendidos, mas também a China tem direitos fundamentais, uma constituição, e é essencial considerar o respeito a esses direitos para garantir a estabilidade social, aquilo que eles chamam de segurança social, que também é um princípio fundamental da IA, ou seja, de um lado utilizar a IA para manter a estabilidade social, mas, de outro lado também, desenvolver a IA para o bem-estar coletivo. O que significa? Significa que os chineses estão estudando IA e desenvolvendo IA há mais que uma década. Eles estão considerando IA como uma prioridade nacional, mas estão entendendo também que, junto com os benefícios, tem também muitos efeitos colaterais, como o desemprego maciço, que pode ser criado se não houver uma estratégia. Essa estratégia chinesa de entender quais são os efeitos, os benefícios, mas também a externalidade negativa que a IA pode criar e prever como mitigar esses riscos. Então, a estratégia é muito complexa, muito refinada, também porque almeja o bem-estar coletivo no sentido de eliminar, ou pelo menos mitigar, os efeitos colaterais negativos. Como é que eles estão vendo se essa estratégia, essas ideias e esses princípios na prática podem funcionar ou não? Por meio de experimentação, o que hoje em dia chamam de policy prototypes. Os chineses estão experimentando esses policy prototypes há décadas, por meio de zonas pilotos. Desde 2019, no âmbito do desenvolvimento da IA programado pelo Ministério de Ciência e Tecnologia, foram criadas 23 zonas pilotos, que basicamente são experimentos pilotos em nível municipal, em nível regional de como essas políticas funcionam. Aí vocês podem ver Xangai, várias outras. Basicamente, na prática, as municipalidades experimentam o que depois vão escalar. Então, antes de dizer: "vamos fazer essa lei, está aqui a lei, a gente não pode mais mudar a lei", a abordagem chinesa é muito mais inteligente: Como é que essa lei vai funcionar na prática? Será que essa lei, na prática, vai funcionar ou a gente vai ter que mudar tudo? Para evitar renovar, reformular totalmente a lei dois anos depois, os chineses experimentam a lei em nível municipal, o que, a meu ver, é uma técnica extremamente interessante. Para finalizar, quase, investimentos, que são um ponto essencial. Vou ser muito breve, mas eu acho bastante contundente. Por quê? Porque no 14º Plano Quinquenal do Governo chinês, de 2021 a 2025, nos gastos para pesquisa e inovação, sobretudo em tecnologias digitais e tecnologia estratégicas, como IA, a previsão é de que aumente pelo menos 7% por ano.
11:08 R	Não quero que ninguém passe vergonha nesse momento, mas eu tomei a liberdade de colocar também como comparação a previsão orçamentária brasileira para fundos de apoio à pesquisa científica e tecnológica no Brasil. O que estamos vendo no Brasil é justamente o oposto do que está acontecendo na China. Eu entendo muito bem que a situação econômica seja diferente, porém, é impossível regular somente pela lei, é impossível regular somente pelos padrões; é necessário também incentivar a pesquisa, incentivar a elaboração e o desenvolvimento de IA se a gente quiser que o Brasil desenvolva IA. Se a gente quiser somente proibir... A gente vê o que aconteceu na Europa: eles proibiram e regularam pela regulação, pela lei e pelos padrões por anos, até entenderem que não está dando certo, e agora estão investindo bilhões copiando basicamente o que faz a China, porque eles entenderam que não dá certo simplesmente proibir, senão, se você proíbe simplesmente, os talentos vão para a China, para os Estados Unidos, para outros lugares. É o que acontece talvez, ou o que pode acontecer ou está acontecendo talvez, infelizmente, já no Brasil. Para terminar, a abordagem regulatória sistêmica chinesa nesse momento baseia-se principalmente nesses três eixos, encabeçados pela CAICT, que eu mencionei antes, pelo China Academy of Information and Communications Technology, uma think tank do Ministério da Ciência e Tecnologia, e vamos ver como é que esses três eixos... Basicamente são: princípios, padrões e regulação. Um ponto essencial que eu queria destacar também para comparar com o PL 21, de 2020, é basicamente essa necessidade que é destacada desde o início nas regras de gestão sobre recomendações algorítmicas chinesas, que entraram em vigor em março, em 1º de março de 2022, de criar uma gestão de algoritmos baseada nas legislações procedentes, não somente na lei de cibersegurança de 2017, mas na nova lei geral chinesa de proteção de dados, a PIPL, na nova lei de segurança de dados e nas regras sobre provedores de serviço de internet. Ou seja, desde o início, a lei sobre a gestão de recomendação algorítmica exige que a regulação seja baseada nas leis que existem. É uma exigência. E aí, somente para frisar também as diferenças de abordagem entre o modelo chinês, na substância, e o que está sendo proposto em nível brasileiro, o art. 17 dessas regras impõe a obrigação de explicabilidade - obrigação geral, não é uma obrigação simplesmente em caso de riscos para direitos fundamentais, somente em casos de certos tipos de riscos, não. Qualquer tipo de recomendação que possa criar influência ou ser utilizado para influenciar indivíduos precisa fornecer uma explicação, transparência total sobre o algoritmo. Para implementar na prática essa exigência extremamente, digamos, onerosa para os provedores, a China Academy of Information and Communications Technology, aquele órgão, aquela think tank do ministério que eu mencionei antes, já desenvolveu ferramentas para medir, testar e certificar o sistema de IA para analisar vieses potenciais, para analisar tipos de discriminação. Ao mesmo tempo, o Ministério da Indústria e Tecnologia da Informação criou um livro branco sobre o que é a IA confiável, mais uma vez definindo princípios sobre o que pode ser considerado uma IA confiável, quando é que existe a ausência de viés, quando é que um sistema pode ser considerado como explicável, o que é explicabilidade. Esse livro branco vai ser integrado às novas normas sobre ética de IA, que serão desenvolvidas no ano que vem, pelo MCTI, ou seja, o Ministério de Ciência e Tecnologia chinês.
11:12 R	O foco na ética da IA tem uma enorme sinergia entre esses princípios, o que foi adotado nas recomendações da Unesco, até porque a China é membro da Unesco e cooperou na elaboração dessas recomendações. O que é sugerido, por enquanto, nesses princípios, é a criação de comitês éticos nos centros de pesquisa e nas empresas que desenvolvem IA. Não é ainda uma obrigação, mas é um incentivo. Está feito, último eslaide. Então, para finalizar, o meu ponto principal é que a estratégia chinesa é construída nas três vertentes principais da teoria da regulação: incentivos, obrigações, padrões, todos juntos, na mesma abordagem, que é estruturada, coordenada e sistêmica para criar uma harmonia em uma visão da IA na China. Muito obrigado pela atenção. A SRA. PRESIDENTE (Laura Schertel Ferreira Mendes. Por videoconferência.) - Obrigada, Prof. Luca Belli, pela sua excelente explicação e também por ter cumprido o tempo. Eu já queria passar, então, a palavra para o José Renato Laranjeira, por favor. O SR. JOSÉ RENATO LARANJEIRA (Por videoconferência.) - Bom dia a todas e todos. É um prazer estar aqui hoje. Por isso, agradeço o convite desta Comissão. Estou aqui para representar, por um lado, o Laboratório de Políticas Públicas e Internet (Lapin), entidade de pesquisa e incidência em temas relacionados a direitos digitais, e a Coalizão Direitos na Rede também, que agrega mais de 50 entidades da sociedade civil, centros de pesquisa, para discutir esses temas e também defender uma multiplicidade de pautas. Nos endereçamentos que a gente tem apresentado, desde ainda a época dos debates da Câmara, do PL 2.120, temos ressaltado, por um lado, a complexidade do tema, e, por isso, a nossa preocupação com o tempo de 120 dias da Comissão é grande, dada a complexidade desta discussão, e também a importância de agregar, o máximo possível, visões de diferentes grupos, dados os impactos tão multifacetados dessa tecnologia. Eu divido, então, a minha análise em dois prontos. O primeiro deles fala um pouco sobre o que o PL 2.120 traz, quais são as questões que deixa em aberto e também os problemas que causam. Por fim, também já ensaio uma possibilidade de como pensar numa proposta que vá além dos pontos que ele traz. Inicialmente, foram citadas muitas das questões geradas pelos sistemas de IA, questões de como eles reforçam desigualdades na nossa sociedade a partir de estereótipos que estão incutidos no nosso convívio social como um todo. A partir disso, a leitura que temos defendido, em grande medida, é de que o PL 2.120 não resolve esse ponto. Não só ele não pode ser considerado uma regulação insuficiente, mas, na realidade, o que ele acaba por promover é um projeto de desregulação do setor. Isso porque seus princípios opacos, em geral, não apresentam grandes benefícios da forma como estão postos, e também pelo fato de reduzir direitos. Aqui eu chamo a atenção principalmente às exposições relativas à transparência, à responsabilidade e não discriminação. A partir de uma leitura atenta de seus dispositivos, restringiam escopos de direitos previstos tanto na LGPD quanto no Código Civil, por exemplo, para dizer o mínimo.
11:16 R	Por conta do tempo, eu não vou entrar tanto em detalhes a respeito disso, mas podemos voltar a isso na parte das perguntas. Mas o que se pode perceber é que o cenário que ele coloca tem um potencial muito grande de conduzir a uma automatização do racismo, que já é estrutural na nossa sociedade, e da desigualdade, acompanhada de mecanismos que, inevitavelmente, poderão gerar ainda mais opacidade e impotência por parte de indivíduos a respeito desse tema de inteligência artificial. Indo além disso, é importante chamar a atenção para o fato de que o PL também não prevê nenhum mecanismo de governança. Ele não dá direcionamento de que o implementará e, por isso, tem a capacidade de gerar uma grande insegurança jurídica ao não determinar sequer um órgão regulador ou sequer um mecanismo dialógico que permita um intercâmbio entre os diferentes reguladores, dada a transversalidade desta família de tecnologias sob o nome de inteligência artificial. Se pudermos pensar em um exemplo similar, talvez, nesse ambiente digital relacionado a esse relegamento sem uma centralidade, há as discussões, por exemplo, sobre o bloqueio de aplicativos; até hoje, estamos dependendo de uma interpretação mais clara a esse respeito. Então, esse clima de incerteza aberto pelo PL 21/2020 tem o potencial de afetar gravemente não só, por um lado, o exercício de direitos fundamentais pela sociedade, como também a inovação pelo setor privado, ao determinar que a responsabilidade será predominantemente subjetiva, ou mesmo restringindo que a transparência só funcione quando forem afetados direitos fundamentais, e não interesses do indivíduo, como faz a LGPD, por exemplo. Então, isso vai afetar gravemente o exercício dos direitos fundamentais e, por outro lado, também poderá afetar muito a própria inovação, dada a insegurança jurídica que se vai criar. Com base nisso, como seria interessante haver uma regulação no Brasil, levando em conta nossas particularidades! Aqui, nesse aspecto, não vou focar tanto os investimentos e incentivos, o que é fundamental, mas principalmente nessa parte da supervisão estatal. Em primeiro lugar, é muito importante que o projeto preveja direitos e princípios específicos da inteligência artificial e também, por outro lado, obrigações particulares e bem delimitadas que garantam transparência, explicabilidade, revisão de decisões influenciadas por sistemas de IA e também inferências razoáveis, tudo isso em acerto com dispositivos presentes em outras normas, tudo isso somado a regras distintas para a responsabilização de cada agente no ciclo de vida da inteligência artificial, seja ele um desenvolvedor ou um aplicador, ou até mesmo ferramentas possíveis para que indivíduos afetados por esses sistemas possam recorrer dos efeitos desses sistemas. Com isso, uma mescla de abordagem baseada em direitos com avaliações de risco que assegurem maiores cuidados para sistemas capazes de gerar mais impacto é o que a gente acredita ser o mais apropriado. Então, nesse sentido, seria uma mescla dessa visão que a Profa. Laura trouxe a respeito de uma regulação baseada em direitos e uma regulação baseada em princípios - perdão! -, em riscos. Isso significa que todo o sistema, não só quando ele for de alto risco, deve ser objeto de regulação.
11:20 R	Então, a lei incidirá integralmente sobre todos os sistemas, mas em diferentes gradações, como a LGPD, por exemplo. Lá direitos e princípios incidem sobre qualquer tratamento de dados e, com isso, empoderam o titular a exercê-los independentemente do risco da atividade. Ao mesmo tempo, prevê que tratamentos de maior risco deverão ser objetos de maiores cuidados técnicos e de governança, inclusive devendo ser objetos de relatórios de impacto, por exemplo. Com isso, a estrutura de um projeto de IA é muito importante que faça o mesmo. Análises de risco deverão ser feitas caso a caso, e a resposta de seus impactos deve ser balizada por meio de direitos e obrigações mais específicos à realidade desses sistemas e aos setores e efeitos que eles vão causar. E isso vai ser fundamental para garantir coordenação com direitos previstos em outros diplomas, seja na própria LGPD, Código de Defesa do Consumidor, Código Civil, a própria Constituição Federal, e, com isso, ampliar o grau de proteção dessas normas. E, por fim, esse arcabouço permitirá que a lei garanta meios para o indivíduo ou grupo exercerem maior controle sobre esses sistemas e contestarem seu uso e os impactos que causarem. Passado esse âmbito mais talvez abstrato de quais são os principais mecanismos para existir nessa lei, também é muito importante que ela preveja instrumentos para sua aplicação por meio de modelos e estratégias regulatórias mais dialógicas, inclusive por corregulação. E aqui eu ressalto a importância de teorias como da regulação responsiva, que permite mecanismos de gradação de sanções a partir, visualmente, de uma pirâmide regulatória, que permite uma maior flexibilização da atividade de supervisão e sancionatória do Estado. Isso é fundamental para compreender as especificidades desses temas particulares em diferentes setores, principalmente no sentido de determinar como vão ser colocadas em prática, por exemplo, obrigações de transparência. Será que, por exemplo, num sistema de reconhecimento facial, o acesso a informação, a informação que se que se necessita compreender é a mesma de um sistema de recomendação de conteúdo de uma rede social, por exemplo? Apesar de precisarmos, como o Prof. Luca Belli ressaltou, acessar o funcionamento desse sistema, cada um deles vai ter particularidades específicas, o que é importante que um modelo regulatório mais dialógico acesse. E, por fim, também, esse modelo irá auxiliar a balancear a necessidade de produção de direitos e, ao mesmo tempo, não afetar a inovação responsável e centrada no ser humano a partir dessa interação. E, no que diz respeito à governança, que foi um tema que já foi pouquinho falado aqui, eu acho que o Prof. Virgílio trouxe alguns pontos importantes a respeito da dificuldade de se criar um órgão no Brasil. Ele trouxe o exemplo do NPD, por exemplo. Isso envolve questões orçamentárias, técnicas e políticas. No entanto, acreditamos que, ainda assim, é fundamental existir um órgão regulador central que justamente trabalhe como coordenador desses tantos atores setoriais regulatórios que dividem competências sobre a miríade de setores em que se aplica a inteligência artificial. Não só eles, como também eventuais entidades certificadoras, de padronização e até mesmo auditores, por exemplo. Se não houver essa figura, o risco em que a gente cai é o de ter uma grave insegurança jurídica pela dificuldade de gerir o trabalho desses tantos reguladores, que podem gerar riscos que vão além de suas competências, inclusive gerar efeitos para além delas.
11:24 R	Eu acho que o exemplo que o Prof. Ig trouxe, do sistema de educação que reforça, em grande medida, estereótipos e até mesmo vieses racistas, de gênero, é muito complicado, mesmo que a gente considere que o elaborador de uma política pública não enxergue esses riscos de antemão. Então, por isso a existência desse ator coordenado é muito importante, para evitar conflito de competência, a ausência de agências regulatórias mais concretas e também a existência de decisões regulatórias difusas e por vezes contraditórias. No caso do Brasil, não necessariamente precisamos criar algo novo. Talvez até poderia ser o ideal, apesar de isso não ser um grande consenso... Por exemplo: na Europa, no âmbito da comunidade europeia, houve esse problema. O que se faz, por exemplo, no âmbito comunitário? Jogou-se essa competência para a EDPS, que é a autoridade supervisora, e é o que, por exemplo, na França se debate muito. Então, o que percebemos aqui é que esse ator pode muito bem ser uma oportunidade nacional de produção de dados, apesar de que vai ser necessário obviamente uma mudança considerável na sua estrutura e também a própria revisão, por exemplo, do seu status de autarquia, fora a ressalva técnica de que questões relacionadas à inteligência artificial vão muito além da própria proteção de dados. E, além disso, outros exemplos talvez mais próximos de nós, no caso Argentina e México, têm autoridades que antes eram autoridades de acesso à informação e acabaram agregando competência de proteção de dados. Então, essa agregação de diferentes competências pode ser interessante. Para além desse regulador, a existência de um conselho multissetorial e multidisciplinar, como também existe, por exemplo, o caso do CGI ou do próprio CNPD, a ser consultado em questões importantes como informações a serem consideradas segredos comerciais ou parâmetros para aferimentos de acurácia é muito importante, apesar de ser também fundamental avaliar quais são as questões a serem resolvidas nesse conselho - nesses conselhos já existentes - que ainda ficaram por terra. Por fim, também, passando um pouco desse ponto, vemos como muito interessante a existência de disposições específicas relacionadas ao poder público, critérios específicos para transparência, como os que existem, por exemplo, na lei francesa de digitalização, e inclusive que se apliquem a áreas mais sensíveis, como segurança pública e defesa nacional. Para finalizar, faz sentido também que sempre a gente preveja mecanismos de participação popular nessa norma, assim como mais uma vez ressalto o exemplo da Lei de Proteção de Dados, e também precisamos pensar a existência, assim como existe no plano europeu, de potenciais sistemas que devem ser considerados como inaceitáveis dentro de nossa sociedade. Nisso podemos incluir questões de policiamento preditivo, uso de reconhecimento facial em espaços públicos, que têm já, comprovadamente, acelerado uma automatização da desigualdade, e também, potencialmente, o banimento de sistemas como o social score tanto para o setor público como o privado e também o reconhecimento de emoções, que, apesar da sua adoção comercial, tem sido baseado em padrões não científicos que não têm a fundamentação científica necessária.
11:28 R	Com essas contribuições, eu encerro minha fala. Eu agradeço muitíssimo Aguardo o momento de perguntas e respostas. Obrigado. A SRA. PRESIDENTE (Estela Aranha. Por videoconferência.) - Muito obrigada, José Renato. Agora, a Profa. Tainá Aguiar Junquilho, da Universidade de Brasília e também do IDP, que acho que está no plenário da Casa, vai falar. Profa. Tainá. A SRA. TAINÁ AGUIAR JUNQUILHO - Vocês me ouvem? Sim, não é? A gente sai do Zoom, mas o Zoom não sai da gente. Essa é a pergunta inicial do Zoom. Bom dia a todos e todas. Eu queria parabenizar a iniciativa da agenda de audiências públicas e da constituição desta Comissão de notáveis, o que demonstra que o Senado... A SRA. PRESIDENTE (Estela Aranha. Por videoconferência.) - Nós estamos sem o áudio aqui. Não sei se já liberaram o áudio dela... A SRA. TAINÁ AGUIAR JUNQUILHO - Alô? Estão me ouvindo? (Pausa.) Não? A SRA. PRESIDENTE (Laura Schertel Ferreira Mendes. Por videoconferência.) - Não conseguimos escutar ainda, não é, Estela? Tainá, não escutamos. A SRA. PRESIDENTE (Estela Aranha. Por videoconferência.) - Não, não escutamos. Não estamos escutando. A SRA. TAINÁ AGUIAR JUNQUILHO - Vou falando "som, teste" até... A SRA. PRESIDENTE (Estela Aranha. Por videoconferência.) - Apenas aproximou a sua imagem. Não sei se tem alguém da assessoria aqui que pode ajudar... Senão, qualquer coisa, eu acho que a gente talvez passe para outra pessoa e depois tente chamar a Tainá, por causa do tempo, que é super-restrito aqui. O SR. WEDERSON ADVINCULA SIQUEIRA - Desse microfone, estão ouvindo? A SRA. PRESIDENTE (Estela Aranha. Por videoconferência.) - Agora, sim. (Pausa.) Agora, acho que conseguimos. A SRA. TAINÁ AGUIAR JUNQUILHO - Vocês me ouvem agora? A SRA. PRESIDENTE (Estela Aranha. Por videoconferência.) - Ah, ótimo. Bem-vinda, Tainá. Um prazer. Podemos iniciar sua contribuição. Muito obrigada. A SRA. TAINÁ AGUIAR JUNQUILHO - Muito obrigada. Eu estava brincando que sai do Zoom, mas o Zoom não sai da gente. A pergunta inicial é sempre: "Estão me ouvindo?". E vocês não estavam me ouvindo. Eu queria parabenizar a iniciativa da agenda de audiências públicas e da constituição desta Comissão de notáveis, o que demonstra que o Senado está tratando com a seriedade merecida este tema. Eu gostaria também de cumprimentar meus colegas debatedores e os colegas da Comissão, na pessoa das moderadoras, Dra. Laura Schertel e Estela Aranha, e também todos que estão nos assistindo. Começo agradecendo imensamente também o convite que me foi realizado. Eu participei do projeto Victor, do Supremo Tribunal Federal, que é o primeiro projeto de inteligência artificial aplicado a uma corte constitucional do mundo. Sou Vice-Coordenadora da Legal Hackers Vitória, Espírito Santo; Vice-Líder do Grupo de Estudos e Observatório de Políticas Públicas da UnB. Minha tese de doutorado foi sobre as aplicações éticas da inteligência artificial. Eu falo esse currículo não para me gabar, mas porque eu realmente sinto a minha participação como um retorno cidadão à sociedade das minhas pesquisas e de toda a minha trajetória. Então, para mim, é uma grande honra e um desafio também falar junto a tanta gente boa. Já que eu fui convidada para participar do eixo 1, que trata dos conceitos, compreensão e classificação da inteligência artificial, mas especificamente do painel 2, que trata da inteligência artificial e de regulação, modelos de regulação e abordagens, e eu tenho apenas 15 minutos - o que já é mais do que eu tive na Câmara, que foram 10 -, as minhas contribuições estão divididas aqui em duas partes. Primeiro, eu vou falar sobre o que uma regulação de inteligência artificial precisa conter, a partir de algumas conclusões da minha pesquisa de doutorado, e, depois, eu vou fazer algumas sugestões ao projeto atual.
11:32 R	Bom, vamos começar, então, com a pergunta: o que uma regulação de inteligência artificial precisa conter? Existem atualmente alguns modelos discutidos que é o de autorregulação regulada, a existência de uma legislação geral traçada pelo poder público que trace certificações mínimas vinculantes de governança para a inteligência artificial e posterior regulação dos órgãos de cada setor, que traga as especificidades da aplicação em cada área e realize uma abordagem baseada em riscos, assim como estabeleça formas ou órgãos internos de controle. Existe também um modelo setorial de existência de normas colocadas por cada área em que a inteligência artificial é aplicada e, nesse sentido, nós temos, aqui já no Brasil, exemplos, que é o exemplo da Resolução nº 332, do Conselho Nacional de Justiça (CNJ), e também o modelo norte-americano traçado pela FDA (Food and Drug Administration), que colocou normas sobre a inteligência artificial aplicada na medicina. Nós temos também o modelo geral, que é a imposição de uma norma geral aplicável a todas as áreas, a exemplo da proposta de regulação da União Europeia. O Prof. Luca muito bem explicou aqui o exemplo chinês, mas eu trago alguns outros exemplos. Quanto à China, quais são as pretensões chinesas com esse projeto? Ela tem as pretensões explícitas de se tornar líder em inteligência artificial. Por isso, ela lançou, em 2017, esse plano de desenvolvimento de inteligência artificial de nova geração, que é uma estratégia que delineou claros objetivos chineses em se tornar, no mundo, líder em inteligência artificial até 2030 e emergir como uma força motriz tanto no desenvolvimento tecnológico, como também no desenvolvimento de padrões éticos para a inteligência artificial. Então, ela lançou uma agenda com metas de investimentos e também com adaptações, revisões legislativas e éticas. A União Europeia faz um movimento também e tem essa pretensão de se tornar pioneira na produção legislativa de controle de dados pessoais, primeiro com o controle de dados pessoais e depois agora a mesma pretensão de se tornar pioneira com a regulação da inteligência artificial numa abordagem que, a meu ver, assertivamente é baseada em riscos. E a gente tem um outro exemplo que eu trago aqui que é o exemplo da OCDE, que, além de princípios gerais, criou recentemente um chamado framework para ajudar no mapeamento de riscos e na classificação de sistemas de inteligência artificial. Esse framework leva em consideração os diferentes estágios do ciclo de vida do sistema de inteligência artificial, a identificação de atores de inteligência artificial relevantes para cada discussão, os resultados obtidos e esperados, o que ajuda a vincular a estrutura diretamente à responsabilidade e a esse gerenciamento de riscos. O.k., mas e o Brasil? O sul global precisa se tornar competitivo na produção, na criação e no desenvolvimento da inteligência artificial. Então, como ele pode fazer isso? E o que uma regulação precisa conter? É preciso na regulação a existência de mecanismos de estímulo a empresas que promovam o que vem sendo chamado de AI for social good ou inteligência artificial para a promoção do bem-estar social.
11:36 R	E aí como você traz esse tipo de mecanismos? Previsão desses sandbox regulatórios, que são mais flexíveis, permitem que a tecnologia avance sem desestimulá-la, mas limitando-a. Também é possível fazer estímulos por isenções fiscais, então, projetos de inteligência artificial que resolvam problemas sociais tipicamente brasileiros, por exemplo, dores da coletividade, estímulos a políticas públicas de inteligência artificial para o futuro verde digital. A gente viu a tragédia recente de Petrópolis. Analisando, fazendo uma análise preditiva do clima, isso muitas vezes pode ser evitado por meio do estímulo ao desenvolvimento desse tipo de projeto. A Justiça brasileira tem também promovido muitos projetos de inteligência artificial. Há também a necessidade de preocupação com dados abertos para que se estimulem o uso desses dados e o desenvolvimento desse tipo de pesquisa. Então, é necessária a preocupação com os dados abertos. Deve conter também a responsabilização, a meu ver - não deve ser apenas principiológica -, deve haver regras para o mapeamento de riscos, sob pena de se tornar a legislação em uma carta de princípios, uma carta de conselhos, mas também deve haver o reconhecimento de limitações necessárias às consequências negativas que a inteligência artificial pode trazer. Nesse sentido, um filósofo que provavelmente vai ser muito citado aqui e já foi inclusive, que é o Luciano Floridi, traz sete fatores essenciais para o que a gente chama de design ético da inteligência artificial: a necessidade da falsificabilidade e implantação incremental, que vai envolver a especificação e a possibilidade de testes empíricos ou requisitos mais críticos; uma condição de recurso ou meio essencial para que haja uma capacidade totalmente operacional de forma a saber o que pode funcionar ou não; uma implementação incremental de salvaguardas contra a manipulação de dados nos sistemas preditivos... A terceira condição que ele coloca é que o software intervenha na vida dos usuários apenas de maneira que respeite a sua autonomia. A quarta condição é a explicação e os propósitos transparentes explicáveis, que as operações e os resultados se tornem transparentes. A quinta é a proteção da privacidade com o sentimento do titular de dados. A sexta imposição que ele coloca como necessária e fundamental para o desenvolvimento ético da inteligência artificial é a justiça situacional. Aqui claramente os designers devem higienizar os conjuntos de dados quando treinam uma inteligência artificial, mas há igualmente um risco, como ele coloca, de esse desinfetante usado para limpar os dados ser muito forte, por assim dizer, e então remover importantes nuances contextuais que poderiam melhorar, inclusive, a tomada ética dessas decisões. Então, a preocupação com essa justiça situacional é importante e também o que ele chama de semantização amigável ao ser humano, o respeito ao fato de que a semântica é mutável. Bom, mas isso é colocado pelo filósofo Luciano Floridi. E nós aqui na realidade latino-americana? Na minha pesquisa de doutorado, em analogia aos modelos de aprendizado de máquina que são desenvolvidos atualmente, eu trouxe também três inputs para obter, como output e conclusão, o mínimo ético de limitação e controle da inteligência artificial no sul global. Para isso, o que eu fiz? Eu analisei artigos de 2017 a 2021, produzidos em ética aplicada à inteligência artificial - são mais de mil artigos sobre a temática que eu avaliei -, comparei diretrizes internacionais e nacionais e entrevistei 11 atores ou stakeholders que aplicam a inteligência artificial, que estudam inteligência artificial, para trazer, como output, essa conclusão da pesquisa, que seria o mínimo comum. O que há de mínimo comum trazido pelos stakeholders, pelas diretrizes éticas internacionais e pelos artigos produzidos de 2017 a 2021 para regular eticamente a inteligência artificial. E a conclusão da minha pesquisa foi que o mínimo comum são os princípios.
11:40 R	Que princípios são esses que aparecem tanto na literatura, como nas diretrizes, como trazidos pelos atores? Eu chamei esses princípios de Trepes (a sigla: a transparência, a responsabilidade, a equidade, a prestação de contas, a explicabilidade e a preocupação com a sustentabilidade). Quais foram as principais preocupações éticas mínimas trazidas por esse conjunto aí que eu pesquisei? A proteção de dados e a privacidade, a questão dos vieses discriminatórios, e a opacidade algorítmica. Então essas são as maiores preocupações desses três conjuntos que eu pesquisei. Quando se fala em impor limites éticos à inteligência artificial, mais uma vez a gente parte da premissa de que são, sim, muitas etapas em que o ser humano participa, desde a escolha do ente desenvolvedor, da respectiva equipe, da gestão e escolha da base de dados que será utilizada, até o desenvolvimento, o próprio desenvolvimento do algoritmo, o controle dos riscos e aferição também da acurácia ou da qualidade dos resultados, e medição do modelo produzido. Em resumo, quando a gente fala em regulação, a gente não deve pensar apenas em limitação. Eu até eu sou fã do podcast da Profa. Ana - com a Profa. Kathleen -, e ela sempre fala isto: a gente não pode pensar que a regulação é necessariamente limitação, que vai trazer apenas - como ela fala - um argumento ad terrorem de que a regulação vai trazer coisas apenas ruins, não é? Mas o papel da regulação é, sim, trazer também uma maior confiabilidade, uma maior segurança para o ser humano que participa do desenvolvimento. Nas entrevistas que eu realizei no doutorado, os desenvolvedores brasileiros se sentem atualmente inseguros de serem responsabilizados futuramente porque não têm essa segurança jurídica que pode ser trazida pela regulação. Bom, há limitação? Há, mas quais são? Atualmente, a gente tem um conjunto de princípios. Então, o que eu verifiquei aqui é que existem várias cartas de princípios já, só que elas não são ou não têm sido suficientes nem para dar segurança aos desenvolvedores, não é? Então essa é a primeira parte. Para eu não estourar meu tempo, na segunda parte eu queria trazer aqui algumas considerações sobre o atual PL - algumas notas de que eu senti falta. No art. 3º, eu senti que falta conjugar ali alguns objetivos, conjugar objetivos que trazem a sua íntima relação com políticas públicas de inclusão digital. Sem inclusão digital a gente não pode falar também em desenvolvimento de inteligência artificial. Questão de governo digital, é importante - um incentivo - que isso seja colocado como objetivo para o Legislativo. Diminuição e redução das desigualdades também precisa ser um objetivo da promoção da inteligência artificial. Promoção do bem-estar social, como eu comentei em relação a essa sigla que a gente chama de inteligência artificial para o bem-estar social ou AI for social goods. E também educação. O art. 5º vai trazer alguns princípios. E aí eu dou algumas sugestões. Por exemplo, o inciso I do art. 5º traz a finalidade benéfica, o princípio da finalidade benéfica. Por que não a gente colocar ou trazer esta sigla, inteligência artificial para o bem-estar social, em vez da "finalidade benéfica"?
11:44 R	O inciso IV traz a busca pela neutralidade. E aí eu faço uma crítica: o que seria uma inteligência artificial neutra? A inteligência artificial, ao contrário do que muita gente pensa, não é neutra e nunca será. Então, se a gente coloca na legislação um princípio de busca pela neutralidade, a gente está colocando algo que a gente nunca vai conseguir alcançar. A gente pode reduzir os vieses, mas tornar uma tecnologia neutra que não é a gente nunca vai conseguir. O inciso V do art. 5º traz a necessidade de transparência. E aí eu sugiro também a gente incorporar essa abordagem trazida já pela OCDE, que está brilhante, desse framework que ajuda a classificação em riscos de caso a caso, como já foi falado aqui, que realmente é o que acontece - não é? -, mas não traz o princípio da explicabilidade, que é um dos que eu comentei. Tanto atores quanto legislação atual quanto os artigos científicos mais recentes da matéria trazem a explicabilidade, e ela não está atualmente no projeto de lei, embora esse seja também realmente... A explicabilidade o que é? É um termo de difícil compreensão? Sim, mas se trata também da possibilidade de se questionarem, de se contestarem as decisões, as sugestões e as predições cujo risco seja alto, risco de dano seja alto. Então a explicabilidade é a necessidade de dar essa possibilidade de questionamento, de contestabilidade dessas sugestões, dessas predições, em especial quando o risco de dano da inteligência artificial seja alto. No art. 6º, o inciso II reforça a necessidade de atuação setorial - eu acho interessante isso - e o inciso III traz a abordagem baseada em risco, mas não traz quem classifica. Quem classifica esses riscos? Se for cada órgão de controle setorial, que haja então a sugestão de uso desse framework criado pela OCDE. Na educação e na capacitação humana, eu entendo que o projeto, além da inserção de programação na educação básica, também insira disciplina de ética nos cursos de tecnologia. E, por fim, para eu não estourar meu tempo, principalmente, se o Brasil quer se tornar uma potência em inteligência artificial, ele precisa criar uma governança multissetorial, eu entendo, como é a atual do Comitê Gestor da Internet, com participação dos múltiplos atores, inclusive empresas, que classifique os riscos da inteligência artificial, que estipule ações educativas, que defina essa agenda de investimentos, quais os setores brasileiros que mais merecem investimentos iniciais, políticas públicas e privadas, já que a nossa Ebia, infelizmente, não fez, não é? Então, que haja aí esse órgão multissetorial - eu defendo isso -, garantindo, assim, a preocupação ética e a posição estratégica do Brasil. Eu fico aí à disposição para maiores esclarecimentos e futuras contribuições, repetindo que para mim foi uma honra participar aqui do debate. A SRA. PRESIDENTE (Estela Aranha) - Muito obrigada, Tainá. É uma honra também para nós conhecer o resultado do seu estudo de doutorado, que é bastante interessante. Agora a gente vai ouvir a advogada Ana Paula Bialer, a querida Ana Paula, que também está nas nossas discussões de proteção de dados. Ana, a palavra está com você. A SRA. ANA PAULA BIALER (Por videoconferência.) - Estela, muito obrigada a você e à Laura pela oportunidade e honra de poder participar de um grupo tão qualificado de colegas discutindo a temática de modelos de regulação de inteligência artificial. Antes de procurar responder os questionamentos que a Laura trouxe, eu gostaria de dar um passo atrás para a gente olhar um pouco... O Zé Renato mencionou rapidamente a questão da ideia de regulação responsiva, e talvez esse seja o primeiro exercício a ser feito pela Comissão, que é a premissa regulatória que venha se buscar num marco legal de inteligência artificial, de se olhar efetivamente para uma regulação naquele modelo do carrot and stick, de fato se olhar para um modelo de regulação responsiva, em que a gente tenha uma estrutura de gatilhos da regulação que sejam diferentes na essência.
11:48 R	E me parece, quando a gente vem discutindo a regulação em diversas áreas do setor de tecnologia, que a regulação responsiva tem se adequado melhor por ser muito mais flexível e por permitir uma combinação de modelos legais e regulatórios que consegue evoluir com o tempo ao invés de ficar engessada no modelo regulatório ex ante, no modelo regulatório mais antiquado até. Então, acho que essa é a primeira provocação, de que, de fato, se olhe para o marco legal de inteligência artificial como um marco legal de regulação responsiva e que permita uma combinação de incentivos à autorregulação e eventualmente a algum nível de comando e controle, caso a autorregulação seja frustrada. E aqui talvez uma contribuição que eu acho que a gente não explorou ainda no painel, mas que me parece essencial para que consigamos ter um arcabouço que de fato seja capaz de fazer com que consigamos desenvolver, não é? Os colegas falaram há pouco de uma visão estratégica da China, em termos de um objetivo claro de onde se queira chegar. E daí não só uma política regulatória, mas uma política de fato de pesquisa e desenvolvimento e uma política industrial voltada ao desenvolvimento da inteligência artificial. E, quando nós vemos as várias estratégias nacionais, Estados Unidos, China, Japão, de fato, você tem montantes bastante relevantes que são dedicados ao desenvolvimento do sistema de inteligência artificial, antes que se fale da regulação daqueles sistemas dentro de uma determinada jurisdição. Então, nós temos já a estratégia nacional de inteligência artificial, que é uma estruturação da visão do Brasil, mas de certa maneira tímida quando se compara com a estratégia de outros países. Então, me parece que o olhar, num primeiro momento, para essas iniciativas é importante. E, dessas iniciativas, surgir o incentivo à adoção do soft law, das iniciativas efetivas de autorregulação que o setor privado, em alguns casos em conjunto com a sociedade civil, a academia, poderia adotar para garantir que princípios e preceitos sejam efetivamente seguidos. E aqui acho que é importante também a gente fazer a reflexão em torno do modelo regulatório da inteligência artificial como a adoção de um sistema que se encaixa dentro de todo o nosso arcabouço jurídico brasileiro. Muita da discussão que a gente tem visto em torno de como regular ou se é necessário regular, ela vem dentro de um olhar que por vezes desconsidera todo o nosso arcabouço legal. Uma das provocações da Laura foi no sentido de como é que um marco legal de IA conversa com a LGPD.
11:52 R	E me parece que aqui a gente tem um encaminhamento super-relevante de contornos para o desenvolvimento e a utilização da inteligência artificial. Ainda que não seja verdade que todas as bases de IA vão utilizar dados pessoais, muitas delas utilizarão, e nesses casos nós já temos uma LGPD bastante estruturada num arcabouço principiológico que deverá necessariamente guiar a utilização dessas bases, muito embora me pareça que a adoção em larga escala de dados pessoais no contexto de inteligência artificial talvez nos leve à necessidade de algumas reflexões da largura que alguns princípios da LGPD poderão ter naquele contexto, porque, se nós formos muito puristas ou extremistas quando da aplicação da LGPD no contexto de sistemas de inteligência artificial, a gente pode acabar deparando uma situação em que é absolutamente impossível a utilização de dados pessoais, tanto no momento de treinar o sistema, assim como no momento de utilização efetiva desses sistemas. Então, voltando ao guia mestre, de se olhar para a estrutura de regulação responsiva, parece-me que a gente tem uma oportunidade de aqui considerar um marco legal que seja efetivamente principiológico. E aqui me parece bastante desafiador e não recomendado que se busque nesse marco legal um detalhamento dos direitos, como foi dito anteriormente, por quê? Porque a ideia do marco legal é que se aplique a utilização de inteligência artificial em contextos absolutamente distintos. E a gente costuma discutir muito a questão dos vieses, discutir muito a questão da potencial discriminação, do potencial uso do IA para aumento de desigualdades, mas a gente tem todo um outro cenário de utilização da inteligência artificial em que essas questões são muito distantes: nós temos, hoje em dia, antibióticos desenvolvidos 100% com o uso de inteligência artificial; a gente tem alimentos que são desenvolvidos 100% com o uso de inteligência artificial. Então, eu acho que a gente precisa temperar um pouco os exercícios que se fazem em torno da pergunta de quais os contornos do marco legal e de qual o modelo de regulação considerando essas duas pontas, né? E me parece que, construindo em cima do conceito do soft law, se nós conseguirmos incorporar no marco legal incentivos para a adoção de sistemas de certificação, a adoção de padronizações para o desenvolvimento de sistemas de inteligência artificial, esse pode ser um primeiro passo para que se tenha algum tipo de oversight, em termos do desenvolvimento e do uso da inteligência artificial, sem que a gente dê aquele passo adicional de procurar criar direitos e deveres que sejam muito engessados e que acabem, na prática, limitando o desenvolvimento desses sistemas. Uma outra questão que foi levantada é a questão de se faria sentido ter isso de maneira centralizada ou pulverizada.
11:56 R	E aqui acho que a gente tem que enfrentar a dificuldade, a gente olha muito para uma estrutura de regulação responsiva. A gente tem olhado muito para a Europa como uma referência, mas a gente tem limitações estruturais dos nossos modelos legais e regulatórios que não podem ser desconsideradas. Preocupa-me um pouco, para além das dificuldades de criação de agência específica, dificuldades orçamentárias e realmente de formação de técnicos, conforme o Virgílio havia pontuado, a própria necessidade de se ter uma entidade dentro da Administração Pública brasileira para regulação específica de inteligência artificial. E, nesse sentido, a abordagem mais setorizada parece-me um caminho bastante interessante pelo qual se cria uma pulverização para as agências reguladoras, em específico, para que, dentro dos seus setores possam, de fato, até pelo conhecimento do setor e das implicações, estabelecer medidas específicas e eventuais restrições sobre a utilização da inteligência artificial no setor. Então, caminhando aqui para procurar estruturar uma conclusão, parece-me que o grande desafio que nós temos agora em termos de modelo é uma construção de modelo que consiga trazer um pouco de dentes para a regulação, que eu acho que de certa maneira foi o que foi falado para alguns, mas conseguir incorporar uma flexibilidade tal que códigos de condutas ou guias de melhores práticas sejam incentivados e considerados no uso da inteligência artificial, eventualmente até como pré-requisitos ou condições para acesso, por exemplo, a estruturas de programas de financiamento público para o desenvolvimento de sistemas de inteligência artificial; uma estrutura que de certa maneira se inspira na estrutura que nós já discutimos e já desenvolvemos no âmbito da proteção de dados pessoais, mas que aqui me parece que cria uma relevância e uma robustez ainda maior no sentido de se considerar um arcabouço normativo, principiológico e baseado em risco. E aqui, quando eu digo baseado em risco, é algo que na LGPD a gente tende a trazer pouco, e acho que a discussão aqui com relação à inteligência artificial torna esse ponto mais importante, que é a questão dos relatórios de impacto. E aqui, não só no sentido de que há arrisco, portanto, há necessidade de sujeição a um conjunto de regras mais restritivas ou mais intrusivas. O que eu quero dizer com isso? Não é a mera existência do risco que deveria ser o gatilho para a aplicação de um arcabouço legal mais pesado. Se a gente olha desta forma, a gente desconsidera todas as salvaguardas adotadas por uma determinada organização para mitigação daqueles riscos. Então, a predefinição de determinados setores, determinadas atividades ou determinadas tecnologias como sendo de alto risco é algo que a mim me preocupa bastante como conceito porque é uma maneira em que a gente deixa de considerar eventuais estabelecimentos de comitês internos de governança, critérios para mitigação de vieses ou mitigação de riscos identificados no desenvolvimento de um determinado sistema de inteligência artificial, num contexto de um agente econômico ou até mesmo um setor. Esse é um cuidado que a gente tem que ter até mesmo na discussão de em que medida o ato hoje discutido na União Europeia seja ou deva ser uma referência na discussão do marco legal brasileiro.
12:00 R	E aqui eu queria fazer um comentário, caminhando para o final, para endereçar a questão dos documentos da OCDE, dos documentos da Unesco, que sem dúvida nenhuma acho que são fontes riquíssimas de debates que foram carregados durante meses e anos e que a gente tem que utilizar como referência para a construção do nosso marco legal, mas uma pitada de cautela: muitas vezes nós estamos falando de documentos que trazem conceitos que são amplos demais, e a gente acaba tendo a dificuldade de traduzir esses conceitos para um marco legal concreto que, uma vez adotado no Brasil, vai ser implementado por uma pluralidade de entes regulatórios e futuramente pelo próprio Poder Judiciário. A Tainá mencionou a questão do princípio da explicabilidade e a dificuldade de procurar se traduzir e explicar o que é explicabilidade. A explicabilidade não é necessariamente entender absolutamente todos os caminhos que foram feitos pelo algoritmo. A gente tem a própria utilização da referência do Human-Centered AI, o que não significa que todo sistema de inteligência artificial tenha que ser revisto para um ser humano. Então, eu acho que a gente precisa também, ao fazer esse exercício estrutural, fazer um exercício de como a gente traduzir muitos desses conceitos em princípios que possam ser um pouco mais concretos no âmbito do desenvolvimento de um marco legal. Talvez não seja nem propriamente um marco regulatório, mas realmente um marco legal para o desenvolvimento de sistemas de inteligência artificial no Brasil e que possa ser ou seja necessariamente revisto ao longo do tempo e ao longo dos anos. E por fim, um alerta, uma preocupação é de que muitas das questões que a gente tem discutido acabam sendo muito pautadas em (Falha no áudio.)... viés, em questões que são muito menos decorrentes dos sistemas de inteligência artificial e muito mais decorrentes do ser humano que está hoje balizando o funcionamento desses sistemas de inteligência artificial, o que reforça a preocupação quanto ao arcabouço normativo, me parece, no sentido de se trabalhar muito e se incentivar a adoção de mecanismos de soft law, mecanismos que, de certa maneira, vão acabar sendo cobrados pela própria sociedade e pelas cadeias produtivas.
12:04 R	E eu digo isso até com base na experiência do que a gente tem vivenciado da LGPD: a LGPD incentiva uma estrutura de responsabilidade e prestação de contas, toda uma estrutura de accountability que, muito embora ainda não tenha sido fiscalizada e aplicada pelo ANPD, ela, de fato, vem sendo demandada pelo próprio mercado. Então, o convite é para que a gente realmente considere esse espaço de regulação dentro do arcabouço normativo de que a Comissão tem a honra de participar e propor. Mais uma vez, muito obrigada pela oportunidade de trazer as contribuições para este processo. Parabenizo o ciclo de audiências públicas que está sendo promovido. Obrigada. A SRA. PRESIDENTE (Estela Aranha. Por videoconferência.) - Muito obrigada, Ana Paula. É sempre muito bom contar também com as suas contribuições nos debates. E agora, para finalizar, o Prof. Ivar Hartmann, do Insper, vai fazer a última intervenção. Seja bem-vindo, professor. O SR. IVAR HARTMANN (Por videoconferência.) - Obrigado, Estela. Se puder só permitir o compartilhamento. Então, bom dia a todos e a todas. É para mim também uma satisfação e uma grande honra não só poder contribuir para a discussão sobre esse futuro marco normativo, mas também compartilhar. Eu acho que é uma contribuição para a sociedade que todos nós estamos dando aqui, mas também compartilho este momento e este painel, dentro da audiência pública, com tantos e tantas profissionais que eu conheço e admiro, cujo trabalho precisa ser mais conhecido, precisa ser mais disseminado, especialmente no tema da regulação da inteligência artificial. Eu acho que todos já enxergam os meus eslaides. Correto? Então, seguindo aqui a proposta desse tema específico, nós temos possibilidades múltiplas de recortes. Cada painel, inclusive o nosso, tem um recorte mais específico em relação à inteligência artificial, porque, de fato, a discussão é bastante complexa, é muito rica. Então, no nosso painel, o objetivo era justamente discutir modelos de regulação. Então, é a isso que eu pretendo me ater. Falando, então, sore regulação, modelos de regulação de inteligência artificial, eu separei aqui essa rápida fala em quatro partes. Primeiro, a questão que foi proposta, inclusive, explicitamente, a esta Mesa, a este painel, de uma suposta escolha, ou de preferência, ou de para que lado devemos ir em relação a um modelo focado em riscos e um modelo focado em direitos. Uma segunda parte sobre o timing, questões relacionadas ao timing da regulação e questões relacionadas à regulação por princípios, principiológica, que é o que já foi debatido aqui - eu gostaria de rapidamente retomar. Depois, questões relacionadas a obrigações e boas práticas. Muito já se falou aqui sobre obrigações mais ou menos concretas, e, por último, a questão de uma agência independente, que eu acredito ser necessária, ser a melhor opção no contexto da regulação da inteligência artificial hoje, especificamente no Brasil. A primeira questão diz respeito a uma suposta escolha entre uma regulação focada em risco ou direitos. Talvez não seja uma escolha entre, necessariamente, só um, ou só outro, mas talvez como dosar a presença de características e elementos desses dois modelos. E eu acho que não nos foi apresentada, no painel, essa obrigação de uma dicotomia, mas a gente vê em debates por aí afora, e não só no Brasil. Essa questão é colocada, às vezes, como uma dicotomia. Eu acho que é útil para nós aqui identificar as razões pelas quais ela não precisa e talvez não deva ser colocada como uma dicotomia. Então, nós não estamos diante de uma escolha necessariamente entre o modelo de regulação de riscos ou só via direitos. E me parece que essa é uma aparente dicotomia na versão atual do projeto de lei, e isso me preocupa bastante. Eu tenho diversas reservas em relação à versão atual do projeto e acho que essa é uma das razões pelas quais essas audiências públicas relacionadas à regulação da inteligência artificial são tão relevantes.
12:08 R	Eu acredito que não faça sentido tratar, como eu disse, essa questão como uma dicotomia no Brasil, primeiro porque nós já temos direitos, inclusive constitucionais, já reconhecidos, relevantes nesse contexto. E, portanto, mesmo que não se criem, a partir dessa regulação, novos direitos legais, mesmo na ausência disso, como um direito subjetivo a uma reparação, por exemplo, ainda assim, nós já temos direitos constitucionais, fundamentais e legais que já atuam neste cenário aqui. Portanto, uma escolha que abra mão de direitos já vai estar fora da mesa. Ela não pode sequer ser considerada. Esses direitos já existem aí. O que o PL pode fazer é descrever melhor ou normatizar melhor a maneira como esses direitos se aplicam no contexto da regulação da inteligência artificial. Por outro lado, também o risco é inerente. Portanto, um sistema exclusivamente focado em direitos, parece-me, seria um grande problema. Falo, logo depois, também sobre a questão da responsabilidade objetiva, quer dizer, uma aposta num sistema unicamente de responsabilização posterior, no caso do Brasil, no caso da inteligência artificial, não me parece ser uma boa opção. Vi que nós temos, inclusive, um painel para discutir os problemas do uso, da adoção do princípio da precaução no contexto da inteligência artificial e da sua regulação e normatização no Brasil. Eu gostaria de defender, aqui, neste contexto, se formos para o lado de direitos, algo que já defendi em uma publicação em 2009, que é: o princípio da precaução não se aplica a novas tecnologias que não têm impacto em grandes ecossistemas e não têm impacto, em médio e longo prazo, na natureza. Se nós estamos falando da aplicação de uma tecnologia que tem impacto em grupos da população, não se trata do princípio da precaução. Usar o princípio da precaução aqui para novas tecnologias significaria restrições imprevisíveis e desproporcionais de direitos, talvez, nem sempre dos consumidores, mas, certamente, restrições difíceis de prever e desproporcionais dos direitos das empresas, principalmente, que desenvolvem e colocam no mercado essas aplicações. Depois, ainda, quando nós estamos falando dessa suposta... Como eu disse, e quero reiterar, não acho que nos foi colocado aqui pelos organizadores e organizadoras isso necessariamente como uma dicotomia, não acho que foi isso que foi feito aqui, mas, por aí afora, isso frequentemente é feito. Então, para rejeitar mais uma vez essa possível dicotomia, acho que, independentemente do nível de aposta que um futuro marco adote em termos de responsabilidade civil comum dos elementos desse todo, nós temos que reconhecer que há complementaridade. Então, muito provavelmente, nós precisamos ter alguns elementos de responsabilidade civil, alguns casos específicos de responsabilidade civil reconhecida explicitamente na lei relacionada à inteligência artificial. Porém, não é só isso. Portanto, acho que, mesmo que nós tenhamos elementos de responsabilidade civil reconhecidos, novos e explicitados, essa lei precisa também lidar com regulação ex ante, ela precisa trazer a explicitação de regras de boas práticas, possibilidades de, em alguns setores... Já foi falado aqui também da necessidade de se reconhecer que inteligência artificial não é algo unitário. Existem aplicações diferentes, existem, inclusive, metodologias diferentes de inteligência artificial em setores e em ramos diferentes. Por não ser unitário, em alguns setores, em adição a uma responsabilidade civil que possa ser melhor delimitada na lei, nós talvez precisemos de obrigações de licenciamento prévio. Não em todo e qualquer setor, mas em alguns isso talvez seja necessário. Estou pensando aqui e um exemplo que me parece mais óbvio é justamente dos veículos autônomos. E, no fundo, a minha maior preocupação, pelo menos no meu ponto de vista, é nós termos um cenário de essa regulação não trazer essa complementariedade bem dosada e nós acabarmos com algo que hoje acontece em vários países da América Latina - isso é o resultado que nós encontramos nesse estudo que está aí publicado recentemente na Revista Digital de Direito Administrativo da USP - de que, em relação ao reconhecimento facial e especialmente seu uso para a segurança pública, a base legal que é apontada por órgãos públicos para o uso dessa tecnologia de inteligência artificial é um artigo de exceção, ou seja, um artigo que diz "para efeitos [como é o caso da LGPD] de segurança pública, aqui a lei não se aplica". E isso é usado como base legal, como se fosse uma justificativa explícita - que não é - para o uso de toda e qualquer aplicação de inteligência artificial, por exemplo, nesse caso, na segurança pública. Então, isso eu acho que deve ser considerada uma preocupação. Existem problemas aqui de um vácuo normativo, se ele for continuado, prolongado.
12:12 R	E aí acho que isso também nos leva a esse terceiro ponto, em relação a timing e princípios. Então, em um capítulo no livro Regulação e Novas Tecnologias - inclusive tenho a honra de compartilhar o livro com o Prof. Luca Belli, que já falou aqui; ele tem um capítulo nesse livro, eu tenho também -, eu procuro abordar essa questão do timing da regulação. Quando nós estamos falando especificamente do Brasil e especificamente da regulação de inteligência artificial, está muito claro que nós já temos casos documentados de restrições a direitos fundamentais causadas pelo uso de inteligência artificial. Isso já está documentado, nós não estamos falando de um futuro possível. Nós já temos documentado volume de investimentos nessas aplicações que justifica se pensar em intervenções que não sejam apenas cartas de princípios - e eu volto a isso logo em seguida -, de modo que, sob ponto de vista do timing, me parece que a regulação da inteligência artificial no Brasil hoje já está atrasada. Ela já deveria ter vindo. E certamente o que virá a partir de agora não pode ser algo exclusivamente principiológico. Nós precisamos inclusive ter obrigações para que empresas produzam os dados necessários para pensar a evolução dessa regulação, por exemplo dados em relatórios periódicos sobre o volume de decisões tomadas com inteligência artificial - usuários, pessoas, consumidores, cidadãos afetados e assim por diante. Em relação a timing e princípios, gostaria de dizer ainda que não é mais o momento para um modelo legislativo focado exclusivamente em princípios e diretrizes. Eu não estou dizendo que os princípios não são relevantes, não são necessários; eu estou dizendo que são condição necessária, mas não suficiente. Esse futuro marco não pode ter exclusivamente princípios. Será em detrimento da proteção de direitos fundamentais de brasileiros e brasileiras se for esse o resultado desse processo legislativo.
12:16 R	Nós já vimos uma quantidade enorme nas dezenas de declarações de princípios sobre inteligência artificial, não só no Brasil, mas em outros países. Então, esse caminho em que se aposta exclusivamente no soft law, em questões relacionadas a governança, em que, às vezes, governança não é usada com o rigor com que foi usada aqui, hoje, nos debates, mas é usada diferentemente, como uma forma de dizer ausência de eficácia na norma. Debates sobre ética e inteligência artificial são necessários. Eles já foram colocados, esses estudos já foram produzidos. Nós já temos esse conhecimento. Nós precisamos avançar necessariamente. Já existe uma maturidade das evidências empíricas sobre o impacto da inteligência artificial, inclusive no Brasil. Esse impacto é positivo muitas vezes, mas existem vezes e existem situações em que esse impacto não é positivo, e isso está muito bem documentado. E nós, inclusive, como acho muito bem ilustrado pelo trabalho de tantas pessoas que estão nesses painéis da audiência pública, sob o ponto de vista do desenvolvimento teórico sobre como a regulação da inteligência artificial deveria ou não funcionar, nós também já temos maturidade. No Brasil e afora nós temos milhares de trabalhos científicos publicados sobre esse tema. Então, nós precisamos avançar. Uma parte desse avanço diz respeito a obrigações de boas práticas. Esse futuro marco não pode perder a oportunidade de estabelecer obrigações específicas, concretas, com eficácia, para ir além de qualquer escolha legislativa sobre a responsabilidade civil. Então, não pode ser só sobre responsabilidade civil. Tem que ser posteriormente analisada pelo Judiciário, precisa ser também sobre obrigações e regulação ex ante. Eu falo aqui que a responsabilidade objetiva sozinha, nesse cenário, é o pior caminho porque nós precisamos reconhecer que, no fundo, aqui se trata de lidar com o risco de modo que a regulação sobre as exigências em relação à inteligência artificial devem ser exigências que o legislador faça de obrigações de meio e não de obrigações de resultado, e isso porque essa questão específica, esse objeto específico de regulação tem a imprevisibilidade como algo inerente. Não são casos como um caso de direito ambiental, em que a imprevisibilidade é um resquício, é algo residual que nós gostaríamos de abolir. Aqui, a imprevisibilidade é by design. Ela é necessária e inerente à operação do sistema. Esses sistemas e essas aplicações são desenhados para tomar decisões que nós não temos como prever perfeitamente antes. E aqui, então, falando sobre exemplos de obrigações concretas desde já que são possíveis, mas que devem ser, claro, escalonadas, têm que ser orientadas pelas especificidades de cada setor, como já tinha mencionado, e têm que ser de estabelecimento gradual, mas, para dar um exemplo, no caso da propaganda algorítmica, que já traz impactos inclusive para a democracia, não só no Brasil, mas em diversos países, e um estudo recente, publicado na revista Direito Público, numa chamada especial - inclusive, acho que a Profa. Laura foi uma das coordenadoras, a Profa. Clara também, se eu não me engano... Espero não estar cometendo nenhum engano aqui -, o ponto lá, o argumento lá era: nesse mercado específico, propaganda algorítmica, em que há o uso disseminado de inteligência artificial, nós já temos evidências documentadas de problemas de restrições a direitos, e, no mínimo, já é possível obrigar não a revelação do código, não a revelação de dados, ninguém está falando em código-fonte, mas pelo menos revelar, em relatórios periódicos, os tipos de usos oferecidos no mercado dessa inteligência artificial. Isso já nos traria mais informação e mais informação do que nós temos hoje, sem criar qualquer tipo de obrigação que afete o que que a empresa pode ou não fazer no uso dessa inteligência artificial.
12:20 R	E, por último, eu chego à questão da agência independente. Eu estou convencido de que nós precisamos discutir uma agência específica e independente para regulação de inteligência artificial. Apostar que algo que envolve diversos mercados diferentes e algo que envolve um nível altíssimo de complexidade, como é o caso do objeto dessa regulação, e que envolve um nível altíssimo de especialidades das características... Isso não pode ser tratado por agências diferentes de maneira descentralizada. Aqui, nós precisamos também reconhecer que existe um papel de uma expertise necessária para o jurista ou a jurista que vai atuar na regulação de IA. Então, já foi levantado aqui o exemplo... Falar sobre neutralidade, sobre um modelo ou uma aplicação de inteligência artificial ser obrigatoriamente neutra, falar sobre isso é reconhecer que não se sabe muito sobre o que é inteligência artificial e o que ela pode ou não fazer. Aqui, menciono outro trabalho que foi publicado também recentemente sobre uma experiência tentando juntar as duas coisas e qual é o tipo de expertise que a jurista e o jurista precisam ter sobre tecnologia para ser a pessoa que toma decisões que vão impactar a sociedade e as empresas em relação à inteligência artificial. Assim como quem lida com direito tributário não pode ser totalmente incapaz de abrir uma planilha de contabilidade e falar que não entende nada do que está lá, pois, então, não poderia estar lidando com direito tributário, é a mesma coisa aqui. As pessoas que vão tomar decisões sobre inteligência artificial, provavelmente ou, eu acredito, necessariamente em uma agência independente, precisam ser uma jurista e um jurista que tenham um nível de expertise diferenciado em relação a aplicações de estatísticas em ciência de dados. O último exemplo que eu trago aqui de outra publicação é relacionado a justamente o quanto as pessoas, os estudantes de direito, os juristas podem, por meio de exercício da atuação em projetos de desenvolvimento de inteligência artificial, nesse caso a construção manual de um dataset de treinamento, começar a perceber e entender quais são os problemas, por exemplo, com datasets de treinamento que são enviesados. Então, há certas coisas em que é preciso entender a prática para tomar boas decisões sobre como regular. Vou encerrar, porque acho que, em relação à agência independente, fiz meu ponto em relação à necessidade de expertise. Acho que isso significa uma agência que poderia... E isto não é ideia minha, já são documentadas na literatura estas sugestões. A existência de uma agência específica para inteligência artificial não presume que ela não possa também apoiar, inclusive, como consultoria, a atuação de outros órgãos reguladores quando envolve esse tema. É isso. Vou compartilhar os eslaides depois. E agradeço muito a oportunidade de compartilhar este painel com tantas pessoas que admiro. A SRA. PRESIDENTE (Estela Aranha. Por videoconferência.) - Obrigada, Ivar. As contribuições foram muito importantes neste painel. Dá vontade de perguntar e aprofundar em um milhão de temas, mas, como a gente tem um tempo restrito, vou aproveitar... Depois, a Laura continua aqui, mas eu vou engatar um pouco na sua fala, pois, de certa maneira, é uma dúvida que perpassa por todas as falas, em especial a abertura pelo Prof. Luca e o seu encerramento, que é até sobre uma angústia nossa. Uma das principais críticas, por exemplo, ao principal diploma legal que se debate hoje, amplo, de IA, que é o da União Europeia, é de que as questões relacionadas à ética, principiologia foram, de certa forma, muito bem resolvidas e muito bem estruturadas, até porque tem um debate amplo, mas há um gap imenso entre essas questões principiológicas e a aplicabilidade delas. É claro que tem algumas questões que foram consideradas, como vedações de uso ou ranqueamento de riscos e muita certificação para mercado, mas a aplicação de fato daqueles direitos e daqueles princípios na prática não é resolvida por certificações de mercados e para disponibilidade de produtos.
12:24 R	Então, a pergunta que é para todos os participantes é: o que vocês têm visto, debatido e avaliado sobre essas propostas e debates que consegue resolver melhor essa questão na prática e como fazer para que esses princípios éticos, para que essa garantia desses direitos sejam operacionalizados numa legislação de regulação de inteligência artificial? É uma reflexão para todos. Eu vou passar para a Profa. Laura. A SRA. PRESIDENTE (Laura Schertel Ferreira Mendes. Por videoconferência.) - Obrigada, Estela. Bom, eu também, primeiro, queria agradecer aqui a todos e a todas, acho que as contribuições foram muito interessantes. E eu também vou fazer a minha pergunta já, inclusive, talvez me apoiando um pouco nessa pergunta da Estela. Eu vou fazer uma pergunta um pouco mais sobre governança, mas eu queria também deixar claro que é interessante a gente falar tanto de governança... E falo nesses dois primeiros painéis; a audiência começou agora e, nesses dois primeiros painéis, a gente falou muito de governança, de enforcement, de como isso poderia se dar, se as agências reguladoras poderiam fazer isso, etc. É interessante, nesse ponto que a Estela colocou, porque de fato a grande pergunta é: o enforcement é de que propriamente, é de princípios, é de regras, é de direitos? Então, eu acho que essa é uma questão... Na verdade, primeiro, eu queria apenas reforçar esse ponto, porque eu acho que é um ponto muito importante e, inclusive quando a gente analisa o PL 2.120, eu acho que esse ponto é relevante, entender o que propriamente nele, o que propriamente... E, nos PLs que a gente já tem hoje, o que propriamente neles existe de concreto para a mitigação de riscos? Então, acho que esse é um ponto importante, inclusive, eu diria, para a legitimidade dessas normas ou desses futuros de uma futura norma; ter essa clareza de como isso vai se aplicar concretamente, como isso vai ter um efeito concreto na vida do cidadão, seja na eficácia de direitos, na implementação de direitos, como também na mitigação de riscos. E aí eu já queria partir, na verdade, para a minha pergunta, que é exatamente sobre governança. Como a gente poderia pensar em um modelo de governança? E eu acho que aí vem muito tanto na fala do Luca, como na fala também da Ana Paula Bialer, quando fala de regulação responsiva. É muito interessante, a regulação responsiva hoje, talvez uma das facetas mais interessantes dela seja exatamente a faceta em que ela busca trazer, algumas teorias buscam trazer uma governança entre os diversos órgãos. Então, aqui a pergunta seria: em que tipo de modelo de governança a gente poderia pensar, ou qual seria o modelo de governança mais adequado que permitiria essa coordenação entre esses órgãos ou entre esses diversos órgãos, caso de fato haja um modelo descentralizado? Então, acho que essa é uma pergunta interessante e talvez me parece que acaba se conectando com muitos dos outros pontos também trazidos. Eu acho que o Victor Marcel também tem mais uma pergunta. Por favor, Victor. O SR. VICTOR MARCEL PINHEIRO (Por videoconferência.) - Obrigado, Profa. Laura e Profa. Estela, nas pessoas de quem cumprimento todos os meus colegas de Comissão, os nossos especialistas convidados hoje. Em razão do tempo e de a minha curiosidade também em relação à governança já ter sido plenamente contemplada na pergunta das duas professoras, já pulo esta e vou fazer só um questionamento que acho que perpassou algumas falas de alguns especialistas hoje: a questão da explicabilidade. Nós vamos ter um painel específico sobre esse assunto, mas eu fiquei muito curioso com a fala, especialmente a do Prof. Luca, sobre a nova regulação da nova lei chinesa sobre esse assunto.
12:28 R	Nós, aqui no Brasil, temos a LGPD quando se fala em dados pessoais. Enfim, já tivemos a modificação legislativa recente sobre esse tema e ainda há muita dúvida no Brasil. Na União Europeia, também existe um debate bem intenso sobre o que é a possibilidade de uma explicação em âmbito de decisões ou sugestões algorítmicas. Acredito que... Fiquei interessado em saber se já há alguma prática, alguma regulamentação específica sobre o conteúdo desse direito, até que ponto ele pode ser efetivamente concretizado na prática, o que eu também estendo obviamente aos demais especialistas que quiserem se manifestar sobre essa questão, que acredito que é uma questão central para a gente poder trabalhar, enfim, a explicabilidade, a ideia de inferências razoáveis e, enfim, empoderar as pessoas que são afetadas por essas tecnologias no seu dia a dia a se relacionarem com elas e com os atores que as administram. Eu agradeço. Obrigado. A SRA. PRESIDENTE (Laura Schertel Ferreira Mendes. Por videoconferência.) - Obrigada, Dr. Marcel. Passo, então, a palavra para o Filipe Medon, também membro da Comissão, que gostaria de fazer uma pergunta. O SR. FILIPE MEDON (Por videoconferência.) - Bom dia a todos e a todas. Em primeiro lugar, parabenizo os participantes pelas falas tão esclarecedoras. Dado o avançar da hora, eu tenho apenas duas breves e pontuais questões que eu gostaria de direcionar ao Prof. Ivar Hartmann. Na sua apresentação, o professor pontua que haveria novos elementos de responsabilidade civil a serem explicitados. Então, eu gostaria de pedir que o professor esclarecesse quais seriam esses elementos na sua opinião. Além disso, o professor também pontua que as obrigações deveriam ser de meio. E eu pergunto se esse raciocínio também poderia ser transposto àquelas situações em que nós temos aplicações de inteligência artificial no campo das relações de consumo. Então, seriam basicamente essas as perguntas. Agradeço mais uma vez a participação de todos, parabenizando-os uma vez mais. A SRA. PRESIDENTE (Laura Schertel Ferreira Mendes. Por videoconferência.) - Obrigada Filipe. Podemos seguir a ordem de fala para as respostas? (Pausa.) Sim, excelente. O SR. LUCA BELLI (Por videoconferência.) - Vou começar, então, as respostas para otimizar o tempo. As perguntas são bastante complexas, mas, na verdade, tem uma certa conexão entre elas. Na verdade, o objetivo principal da minha fala é justamente destacar como a abordagem sistêmica chinesa conseguiu considerar essas várias dimensões, justamente partindo de uma consideração muito simples. O item que pretendemos regular e os sistemas de inteligência artificial são extremamente complexos. Eu acho que o que cada palestrante destacou hoje justamente é o enorme nível de complexidade do sistema de inteligência artificial. Portanto, de um lado, demandam competências não somente jurídicas, mas também de ciência de dados para entender o funcionamento e também para regulá-lo. Então, para entender, de um lado, como poderia ser uma estratégia regulatória interessante e palatável também para o Brasil, sem copiar, mas tomando inspiração do modelo chinês, e, do outro lado, como poderia ser um modelo de governança, mais uma vez sem copiar, mas entendendo o que está funcionando, por que está funcionando na China, é importante criar uma conexão entre a regulação e os regulados. É importante que qualquer tipo de regulação seja adotado, qualquer instrumento seja adotado - seja uma lei, seja um regulamento, seja uma regulação setorial ou não -, que isso possa ser utilizado pelos desenvolvedores, pelas empresas, que depois desenvolvem um sistema de IA, pelos pesquisadores que desenvolvem a IA.
12:32 R	Então, a constatação inicial que chega, depois de vários anos de estudos na China, é que simplesmente criar uma lei e uma autoridade independente à maneira francesa, à maneira europeia não resolve o problema. Porque eu acho que, como foi destacado pelos últimos palestrantes, aliás, pelos membros da Comissão, a experiência da regulação dos dados pessoais no Brasil é bastante interessante neste sentido: a gente tem uma lei e uma autoridade, e formalmente o Brasil é como a União Europeia, mas, de fato, a realidade é bem distante. Por quê? Porque é absurdo pensar que um tema tão complexo - estamos falando de proteção de dados que nem é tão complexo como a regulação à inteligência artificial - possa ser regulado e que a sociedade seja moldada imediatamente simplesmente pela aprovação de uma lei e a criação de uma autoridade. O que é essencial é que haja uma interface regulatória entre o que o legislador quiser e o que o regulado precisa fazer. É aí que chega aquela abordagem extremamente interessante, que eu destaquei, multifacetada chinesa, que inclui criação de lei e uma estratégia de curto, médio e longo prazos. Em conformidade, a estratégia de criação de um órgão - aquele Xitong que eu destaquei, aquele órgão de coordenação das várias entidades que vão participar -, criação de leis com princípios, regras e direitos que precisam ser respeitados, e definição de regulamentos e padrões que se encaixam nessa base conceitual inicial explicam também essa base conceitual pelos desenvolvedores. Aquele papel da China Academy of Information and Communications Technology (CAICT), que eu destaquei, aquela elaboração de ferramentas para medir, testar, certificar o sistema de inteligência artificial é essencial para o desenvolvedor entender o que a lei quer. Se você coloca a obrigação de explicabilidade, francamente isso é uma obrigação interessante, mas para o desenvolvedor, que tem 50 mil variáveis no algoritmo e que talvez ele mesmo não saiba como explicar o resultado baseado no funcionamento algorítmico, é impossível cumprir a lei. Então, aí a gente está na frente de uma escolha: ou de uma lei que a gente já sabe desde o início que não vai ter nenhuma importância, somente uma lei, de fato, inútil; ou de uma lei que possa ser traduzida em obrigações, em instruções específicas e inteligíveis, sobretudo, para o desenvolvedor - mas aí não é uma autoridade reguladora. Eu não vejo nenhuma autoridade reguladora neste momento capaz de fazer isso. Talvez por meio de uma nova autoridade que tenha um enorme componente de cientistas de dados e de desenvolvedores, inclusive, e que sejam também bem pagos, senão duas semanas depois vão ser contratados por Google e Facebook, e aí qualquer desejo do legislador se torna impactado. Mas, enfim, fora dessas preocupações orçamentárias, é necessária essa governança que a Laura estava pedindo...
12:36 R	Qual poderia ser um potencial modelo? O modelo chinês é interessante porque conjuga o regulador com o think tank e o órgão de padronização. Aí a tradução dos comandos regulatórios, dos princípios e das instruções específicas, técnicas que podem ser utilizadas, que são utilizáveis para os desenvolvedores se torna mais harmoniosa. O modelo chinês não é perfeito e há, inclusive mesmo na China, muita competição entre reguladores, inclusive cada um quer brilhar e ser aquele que vai desenvolver a regulação, o padrão que vai ser depois o padrão nacional. Eu acho que no Brasil esse tipo de complexidade e talvez conflito pode ser ainda maior devido ao sistema que não é monopartidário, mas é muito mais complexo até em nível político. Então, um sistema de coordenação ou talvez uma agência dedicada, com uma composição multissetorial, não somente para falar que o sistema multissetorial é fantástico, mas também para ter expertise, possibilidade de traduzir comandos regulatórios em comandos técnicos, na minha perspectiva, seriam mais eficientes. Porém, é claramente bastante ambicioso e necessário também dedicar um orçamento relevante. Como eu falei também, um elemento fundamental do Estado chinês, que é totalmente ausente no sistema brasileiro, é a previsão orçamentária considerável para suportar a pesquisa, o desenvolvimento e também a padronização técnica. Obrigado. A SRA. PRESIDENTE (Laura Schertel Ferreira Mendes. Por videoconferência.) - Muito obrigada, Luca. Eu queria passar a palavra para o José Renato. O SR. JOSÉ RENATO LARANJEIRA (Por videoconferência.) - Obrigado. Eu acho que o Prof. Luca vocalizou muito bem também uma boa parte do que eu penso a respeito desse tema de governança e, realmente, da aplicação prática de todos esses princípios éticos, que a própria Estela também mencionou. Como eu falei na minha fala, na minha apresentação, nós não temos de fato esse órgão regulador central para coordenar isso, mas eu acredito que ele seja necessário. São muitas competências distintas em setores particulares que exigem uma coordenação nesse sentido. Então, a ideia de um órgão regulador é que ele talvez - inclusive bem mais do que ocorre, por exemplo, hoje - seja não só multissetorial, mas também multidisciplinar, porque, como o Prof. Luca disse, com o que concordo plenamente, há a necessidade de termos mais funcionários técnicos, cientistas de dados, engenheiros da computação, etc. - isso é fundamental. Então, nesse plano regulatório é necessário, eu vejo uma necessidade de centralização que dinamize essa miríade de atores regulatórios que vão participar disso. Então, esse é o primeiro ponto. Para além disso, eu reforço a ideia de que seria, na realidade, talvez, um steering committee, que tivesse esse plano também de caráter multissetorial e multidisciplinar, um plano consultivo muito importante para auxiliar e apoiar tecnicamente o regulador nessa atividade. Também é necessário um concerto também com o Executivo, com o Poder Executivo aqui, no âmbito de política pública, eu digo, porque acho que todos os participantes aqui reforçamos também a necessidade de fomentar esse mercado para que o Brasil também alcance uma posição em que ele possa desenvolver sistemas não tanto por - agora é o outro telefone que está tocando aqui - seu aspecto econômico, mas também de incutimento dos valores que nós temos no país, nas diferentes regiões, nesses sistemas que a gente está usando. Então, nesse plano de governança, eu acho que isso é fundamental. Então, por um lado, um regulador central; por outro, essa figura de um comitê de apoio técnico.
12:40 R	Eu queria endereçar o ponto que também o membro da Comissão Sr. Victor também trouxe a respeito da explicabilidade. Eu acho, da experiência que nós temos até hoje, que talvez o enfoque na produção de dados seja muito interessante, porque existe uma discussão muito forte na doutrina sobre se existe ou não direito à explicabilidade nesses sistemas - até onde ele chegaria, o que que ele alcançaria e, inclusive, sua utilidade. Eu acho que isso mostra que os dispositivos mais gerais a respeito de como seria esse direito à explicação, à transparência ou até mesmo à interpretabilidade... Existe também uma questão de nomenclatura aí a ser debatida. Eu acho que, da forma como está desenhado, de uma perspectiva muito geral, como estamos nessas normas de proteção de dados, eu acho que ela é insuficiente, por conta dessa dificuldade de concatenação, de interpretação a partir disso. Então, eu acho que alguns elementos que, por exemplo, estão na realidade não necessariamente no texto apresentado inicialmente pela comissão europeia do projeto europeu, mas principalmente nas emendas que têm sido apresentadas, são de uma maior especificação disso, mas ainda com caráter geral que permita que, caso a caso, o regulador possa determinar quais são as informações que ele acha necessárias. Eu trouxe o exemplo na minha fala do reconhecimento facial e do sistema de recomendação de conteúdo, porque eles têm diferentes formas de influenciar a sociedade e eles têm particularidades que podem exigir diferentes informações a serem buscadas neles. Então, talvez de um sistema a gente precise analisar exatamente quais são os parâmetros de peso de cada informação, inclusive por meio do que se chama de contrafactuais. Em outros sistemas, talvez o que a gente precise é ter um acesso mais profundo à base de dados para a gente entender qual é a representatividade que tem nela. Então, são muitas peculiaridades que eu acho que a gente vai conseguir por meio, na realidade, de uma criação de procedimentos que permitam ao regulador, com balizas bem determinadas, avaliar qual é o tipo de informação que deverá ser requerida a cada caso. Bom, espero ter conseguido cobrir todas as perguntas. Obrigado. A SRA. PRESIDENTE (Laura Schertel Ferreira Mendes. Por videoconferência.) - Obrigada, José Renato. Passo a palavra, então, para a Profa. Tainá Junquilho. A SRA. TAINÁ AGUIAR JUNQUILHO - Estão me ouvindo? Só para conferir. A SRA. PRESIDENTE (Laura Schertel Ferreira Mendes. Por videoconferência.) - Sim. A SRA. TAINÁ AGUIAR JUNQUILHO - Bom, é curioso, porque com esse debate de regras, princípios, efetividade dos princípios nós que somos do direito já estamos bastante acostumados, não é? E ele sempre vai surgir. O direito hoje, inclusive, entende que os princípios são vinculantes. Mas como que a gente soluciona esse dilema de como vamos fazer valer esses princípios na prática? De fato, atribuindo e criando mecanismos de governança. Que mecanismos são esses? Então, para além dos princípios que a gente já, por meio de pesquisas que eu comentei aqui e os outros expoentes também comentaram, sabe que existem, essas diretrizes éticas e principiológicas. Para além delas, como a gente cria mecanismos de governança? Determinando pluralização das equipes, determinando a necessidade de confecção de relatórios de impactos, porque, de fato, esses impactos não podem ser previstos a priori, então precisam ser feitos continuamente esses relatórios de impacto e de uso de dados. E também uma governança feita por um ambiente experimental regulatório, sandbox de fato. Mas, principalmente, como eu comentei, há necessidade de um modelo, sim, de criação de uma governança multissetorial, de um órgão que faça uma governança multissetorial e multidisciplinar. Isso se faz necessário. Eu também entendo que se faz necessário.
12:44 R	Bom, então, esses são dados relativos às primeiras perguntas, à questão dos princípios, regras e também à questão dos mecanismos de governança. Por fim, abordo a questão da explicabilidade - ao Prof. Victor, que é um caro colega também, agradeço a pergunta. É curioso, por quê? A explicabilidade... Existem artigos e existe um ramo de pesquisa dos engenheiros de software e de tecnologia da informação que se chama XAI (explainable artificial intelligence) ou explicabilidade da inteligência artificial. Esse é um ramo, portanto. E existe uma grande expoente, uma mulher que faço questão de citar, que é a Profa. Virginia Dignum, que faz inclusive parte da comissão de experts da União Europeia. Porém, todas essas comissões que estudam a explicabilidade concluem que você precisa do pessoal das ciências sociais - mais uma vez, a nossa relevância aí -, e não só do pessoal da engenharia de software e da tecnologia da informação, dos desenvolvedores, mas também de nós, seres humanos, no sentido de entender. E aí, qual é a contribuição das ciências sociais? - e é por isso que o debate multidisciplinar é tão importante. Nós vamos responder o que é que o ser humano espera de explicabilidade, como uma aceitável explicabilidade. A explicabilidade, de fato, não é a mera apresentação do código. Isso não é suficiente. O ser humano é que vai determinar, por meio das ciências sociais, o que é que naquela cultura basta. O que é que basta para a fundamentação de uma decisão judicial? É a mesma discussão aqui. Será que, quando você fala ali no art. 489 do Código de Processo Civil, a mera transposição de um dispositivo justifica a decisão? Da mesma forma aqui na explicabilidade. A gente precisa entender o que é que o ser humano precisa e também espera. Mas o importante é entender que a explicabilidade precisa estar contida na legislação porque ela precisa gerar alguma forma de contestabilidade, ou seja, uma compreensão mínima para que possam ser contestadas essas decisões, essas predições, enfim. Agradeço mais uma vez. A SRA. PRESIDENTE (Laura Schertel Ferreira Mendes. Por videoconferência.) - Muito obrigada, Profa. Tainá. Passo, então, a palavra para a Dra. Ana Paula Bialer. A SRA. ANA PAULA BIALER (Por videoconferência.) - Obrigada, Laura. Essa sua pergunta é excelente, e na prática eu acho que a resposta acaba sendo calcada muito na estrutura de accountability, de responsabilidade de prestação de contas que o marco legal venha a trazer. Na prática, independentemente até do marco legal, as empresas que estão mais na ponta de desenvolvimento de sistemas de inteligência artificial acabam adotando comitês internos, que procuram justamente fazer valer esses princípios - ainda que a gente não tenha na legislação nacional - os princípios da OCDE, refletir as preocupações éticas da Unesco, e por aí vai.
12:48 R	A partir do momento em que a gente tenha um marco legal, esse marco pode não só incentivar ou exigir a existência desses comitês dentro das organizações, sempre com a cautela ou a preocupação de que a existência do comitê talvez não seja necessária para absolutamente todos os desenvolvimentos e usos, e isso vai trazer uma dificuldade, por vezes, do desenvolvimento por empresas menores, e, num segundo momento, em termos de termos de legal, o incentivo a códigos de condutas ou guias de boas práticas, e, daí sim, acho que se caminha para um olhar que pode ser setorial para endereçar as preocupações específicas de setores ou utilização em determinados setores. Parece-me que pode ser um caminho que faz sentido e eu consigo ver como algo um pouco mais palpável. Eu ouço a sugestão da criação de um comitê multissetorial, mas eu tenho uma dificuldade realmente de pensar em como, na prática, isso funcionaria. A partir do momento em que eu estaria olhando para sistemas de inteligência artificial que são desenvolvidos e aplicados no setor de saúde, setor de energia elétrica, setor de telecomunicações, setor de internet, como é que eu consigo, de fato, ter um órgão único, com especialistas que consigam trazer a visão de todos esses setores a ponto de poder entender as questões, propor salvaguardas e entender quais os caminhos de mitigação. É realmente uma dúvida e uma angústia genuína de olhar para isso e ver como é que se conseguiria ter uma centralidade para esse fórum. Talvez se a gente olhar esse fórum de uma maneira mais setorial, então a Anatel vai ter um, a Anvisa vai ter outro, talvez se consiga chegar um pouco mais próximo de um comitê que consiga propor e fazer, de certa maneira, um check and balance de medidas efetivas que sejam adotadas por setores específicos. Com relação à pergunta da explicabilidade, eu entendo a preocupação de que se venha a ter algum tipo de transparência para uma compreensão mínima, mas, de outro lado, preocupa-me, como eu já mencionei, a definição que se venha a trazer - e eu insisto nesse ponto porque eu acho que realmente é um ponto que a gente precisa explorar para além da palavra explicabilidade -, a gente tem já visto hoje, e é inevitável o paralelo com a LGPD, mas a gente tem visto hoje na prática uma série de situações em que titulares exercem o direito de acesso pelo simples exercício do direito de acesso, com uma granularidade de perguntas e de vontade de detalhes a respeito dos dados pessoais que o usuário, o titular comum, o cidadão comum não consegue nem mesmo entender, e, muitas vezes, em situações específicas, vê-se aí algum grau de má-fé a respeito do possível mau uso que se faça dessas informações.
12:52 R	Quando a gente fala isso no âmbito de sistemas de inteligência artificial, eu acho que essa preocupação fica exponenciada na medida em que eu não estou falando de um titular, eu não estou falando de um indivíduo, mas eu estou falando de detalhes técnicos a respeito do sistema como um todo. Eu vou esbarrar em discussões de segredo comercial de negócio e eu vou esbarrar no próprio funcionamento e no grau de transparência e explicação que se dê: isso pode ser usado para medidas de verificação da utilização e das bases de dados, mas também pode ser utilizado como maneira de se procurar by-passar os sistemas que muitas vezes são colocados em uso justamente para garantia de direitos. Então, a minha preocupação e cautela com relação a essa discussão é de a gente conseguir um equilíbrio quanto à explicabilidade, no sentido de transparência a respeito de critérios gerais que sejam utilizados por um determinado sistema, mas que isso não seja um escrutínio detalhado do determinado sistema, porque senão a gente começa a esbarrar em outras questões e outras implicações que me parecem que mais fragilizam do que fortalecem o sistema e a própria discussão em torno do seu uso. Sem dúvida, a discussão é muito complexa e o desafio diante de vocês não é pequeno. Obrigada. A SRA. PRESIDENTE (Laura Schertel Ferreira Mendes. Por videoconferência.) - Obrigada, Ana. Bom, agora eu passo a palavra ao Ivar, e com isso a gente já vai encerrar porque a gente passou um pouquinho do tempo. Por favor, Ivar. O SR. IVAR HARTMANN (Por videoconferência.) - Obrigado. De fato, tem várias perguntas que foram feitas e abertas para todo mundo no painel, mas as pessoas já fizeram um excelente trabalho de endereçar as facetas de cada pergunta e eu acho que em muitos casos eu acabaria chovendo no molhado. Então, eu vou responder à pergunta que o Filipe Medon gentilmente fez, diretamente em relação a algumas das propostas da minha fala, e tem pelo menos duas partes essa pergunta, se eu entendi corretamente, não é, Filipe? Primeiro é o que teria de novo nessa questão da responsabilidade civil envolvendo inteligência artificial. Eu não tenho nenhuma proposta inovadora a trazer aqui. O que eu fiz nesse aspecto foi relatar propostas, conclusões dessa vasta literatura que todo mundo aqui já mencionou que já existe, em relação a como ficaria a questão da responsabilidade e com o que ela é complementada. Então, o que haveria potencialmente de novo no caso da responsabilidade civil, se nós fossemos, no marco, por exemplo, adotar uma regra específica relacionada a responsabilidade civil e inteligência artificial, algo de potencialmente diferente seria nós termos um regime de boas práticas e de obrigações de boas práticas. A empresa que está colocando no mercado e está operando no mercado uma aplicação de inteligência artificial tem duas opções. Ela pode aderir - e obviamente existe uma fiscalização necessária sobre se ela efetivamente aderiu - a um conjunto de obrigações muito concretas, muito específicas de boas práticas, obrigações de meio. E, se ela aderiu, se isso foi verificado - e aí novamente eu não vejo como ser feito por qualquer dos órgãos já existentes hoje, entre agências e órgãos de regulação no Brasil, teria que ser de fato um órgão específico -, se esse órgão específico validou que essa empresa aderiu a essas regras de boas práticas, portanto, no momento em que essa empresa for processada judicialmente, ela está isenta de responsabilidade objetiva.
12:56 R	Portanto, isso seria uma causa de exceção na regra da responsabilidade objetiva. A empresa pode, por outro lado, entender que, naquele caso, naquele setor, no caso da sua aplicação, o melhor caminho a seguir - e aí se dá ampla liberdade, obviamente, para a empresa - é esperar, aguardar, digamos assim, o que vai acontecer como resultado de um processo judicial em que vão se produzir provas. Mas a existência dessa possibilidade... Veja, eu não estou falando que, se ela adira às boas práticas, ela está isenta de qualquer responsabilidade. Não é isso; ela apenas está isenta de responsabilidade objetiva. Obviamente, mesmo que ela tenha aderido a todas as regras de boas práticas e as cumprido, ela ainda pode ser condenada e responsabilizada num regime de responsabilidade subjetiva. Isso me parece que, inclusive, cria muito mais segurança jurídica para empresas desse ramo do que hoje elas possuem no Brasil, mas, de novo, isso não é uma ideia minha; isso é o que vários autores e autoras sugerem que poderia ser um caminho. Existindo ou não uma agência especializada... Quer dizer, um outro cenário é: essas regras e essas obrigações de meio em relação, por exemplo, em nível de explicabilidade, podem ser fiscalizadas por um outro órgão que não seja um órgão específico ou especializado em inteligência artificial. A segunda pergunta eu acho que é absolutamente importante, porque nós temos que reconhecer, nestes debates aqui - acho que é papel depois do legislador também -, quais são os grupos que, majoritariamente, vão sofrer as consequências da boa ou da má regulação. E, obviamente, em termos de volume, nós estamos falando de consumidores. Portanto, há algo aqui profundamente relacionado a direito do consumidor. Em relação a direito do consumidor, eu acredito que, esse regime especial para os casos de inteligência artificial, em que o fornecedor, o seu produto ou o seu serviço envolveu uma aplicação de inteligência artificial - isso é decisivo para uma eventual relação de causalidade entre o produto, o serviço e o dano -, que, mesmo quando se trata de direito do consumidor, essa possibilidade de isenção da responsabilidade objetiva pudesse ser aplicada - eu acho que deveria ser aplicada. Então, veja, eu não estou falando que há ausência de qualquer responsabilidade. O meu ponto é: não haveria responsabilidade objetiva e, de qualquer forma, mesmo no direito do consumidor geral, hoje, a responsabilidade objetiva não é sempre automática em todo e qualquer caso. Então, acho que seria o caso de uma regulação específica, de uma legislação específica, de um microcosmo específico que deveria, em certos aspectos, prevalecer diante do CDC. A SRA. PRESIDENTE (Laura Schertel Ferreira Mendes. Por videoconferência.) - Obrigada, Ivar. Bom, Estela... A SRA. PRESIDENTE (Estela Aranha. Por videoconferência.) - Desculpa. Agradeço a todos. Enfim, o debate é muito longo. Na verdade, o desafio é muito complicado. A gente está falando de regulação na área de uma tecnologia que ainda está em mudança, ainda está em construção. Por isso, sempre é o debate para a regulação sociotécnica, justamente porque é uma tecnologia que está em constante mudança. Ela tem os mais variados usos, e, obviamente, esses mais variados usos trazem impactos absolutamente diferentes, em um mundo em mudança e com um impacto obviamente, que é incomumente amplo e profundo o que a gente tem, em especial para, obviamente, saúde, a integridade física das pessoas, direitos fundamentais e também a democracia.
13:00 R	Então, são desafios bastante grandes. E, obviamente, com tudo isso de que nós estamos falando, o objetivo não é parar o desenvolvimento da tecnologia, mas, sim, fazer com que ele continue com seus benefícios para a sociedade, para o desenvolvimento econômico, para o desenvolvimento dos diversos setores. Enfim, é um desafio hercúleo. E foi muito bom que vocês deram suas impressões e opiniões, para darem alguma ajuda para enfrentar esse desafio, que, obviamente, não se acaba tão cedo. Laura, por favor... A SRA. PRESIDENTE (Laura Schertel Ferreira Mendes. Por videoconferência.) - Excelente! Eu queria só agradecer. Foi uma honra e uma alegria muito grande moderar este painel e obter a contribuição de cada um de vocês, Luca, José Renato, Tainá, Ana Paula e Ivar. Muito obrigada por terem compartilhado o conhecimento, compartilhado as experiências de todos, e por terem ficado conosco apesar de o painel ter se estendido um pouco mais do que a gente imaginava. Então, é isso. Muito obrigada. Declaro, então, encerrado este painel. (Suspensa às 13 horas e 01 minuto, a reunião é reaberta às 14 horas.)
13:58 R	A SRA. PRESIDENTE (Miriam Wimmer) - Boa tarde, senhoras e senhores. Acho que todos os painelistas já estão aqui presentes, então gostaria de declarar reaberta a primeira audiência pública da Comissão de Juristas do Senado responsável por subsidiar o substitutivo ao projeto de lei sobre inteligência artificial. Gostaria de começar, de maneira muito breve, dizendo que para mim é uma enorme satisfação e uma grande honra moderar, junto com a Profa. Clara Iglesias Keller, esse painel de especialistas tão notáveis, que certamente trarão contribuições muito importantes para as reflexões da Comissão de Juristas. Queria, muito rapidamente, explicar como vai ser a dinâmica. Cada painelista terá de 10 a 15 minutos de fala. Eu pediria que todos se atentassem ao tempo para que possamos, depois, ao final, ter ainda um período de 30 minutos de debate após as exposições iniciais. Queria pedir que a Profa. Clara Iglesias também fizesse suas palavras de saudação, de abertura e já podemos dar início às exposições. Por favor, Clara. A SRA. PRESIDENTE (Clara Iglesias Keller. Por videoconferência.) - Muito obrigada, Dra. Miriam Wimmer. Muito obrigada a todos os palestrantes que aceitaram estar conosco neste painel para dar suas valorosas - certamente valorosas - contribuições aos debates que começaram hoje nessa Casa. Partindo para esses debates, eu apresento nossa primeira palestrante, a Profa. Dora Kaufman. A Profa. Dora Kaufman é Professora da PUC-São Paulo, Doutora pela COPPE-UFRJ, colunista da Época Negócios e pesquisadora dos impactos éticos e sociais da inteligência artificial. Professora, muito obrigada pela presença e, por favor, fique à vontade para começar. A SRA. DORA KAUFMAN (Por videoconferência.) - Boa tarde a todos. Só uma correção: eu tenho doutorado pela USP; na UFRJ é pós-doc. Bom, é só um detalhe. A SRA. PRESIDENTE (Clara Iglesias Keller. Por videoconferência.) - Perdão, Professora. A SRA. DORA KAUFMAN (Por videoconferência.) - Sem problema. Boa tarde a todos. Eu não vou mencionar cada um dos nomes porque já come uma parte do tempo e a gente sempre fica aflita. Então, muito obrigada pelo convite. É um prazer compartilhar com os meus colegas aqui que vão também estar participando desse eixo. Eu vou tentar... Tentar não, eu vou cumprir o prazo e vou fazer algumas premissas e depois eu tenho sugestões concretas para a Comissão dos Juristas do Senado que estão com a tarefa tão importante de construir um marco regulatório junto com o Senado e a Câmara dos Deputados para inteligência artificial. Então, as premissas: a transferência de processos cognitivos e decisórios para máquinas, que é o que a gente está vivendo com a inteligência artificial, desafia as bases tradicionais do direito. Ela deixa de ser antropocêntrica e monocausal. Uma outra premissa que eu julgo importante é que qualquer marco regulatório para a IA, para ser eficaz, tem que obrigatoriamente contemplar a natureza da IA, o que é a natureza da tecnologia, a lógica dessa tecnologia, e ser flexível, porque essa tecnologia está evoluindo, assim como grande parte das tecnologias, numa velocidade acelerada. Então, para ter vida longa esse macro regulatório, ou pelo menos relativamente longa, é importante que seja flexível. A opacidade das decisões dessa técnica específica que permeia praticamente toda a implementação de inteligência artificial hoje é inevitável; faz parte, como eu falei, é intrínseca à própria tecnologia, à própria técnica que a gente está considerando. Então, é impossível justificar plenamente um determinado resultado. Então, a legitimação daquele resultado vem muito mais pelos benefícios sociais gerados pela utilização daquele determinado sistema.
14:02 R	As propostas de regulamentação mundo afora contemplam uma modalidade de auditoria, mas, pela minha percepção, elas não equacionam propriamente como concretizá-las. Entre inúmeros obstáculos da auditoria que refletem a complexidade da tecnologia temos o fato de que o sistema de IA se modifica ao longo de um tempo com a entrada de novos dados. Então, na partida, o sistema pode estar em conformidade, e, logo em seguida, deixar de estar em conformidade. Outra premissa que eu julgo importante é que os modelos mais complexos - logo são os que têm riscos potenciais maiores - em geral são desenvolvidos por várias equipes distintas e são treinados também em várias bases de dados distintas. Isso dificulta identificar a origem do dano e, consequentemente, os responsáveis. E, como última premissa, no estágio atual da IA não é possível, eu não vejo como eliminar as externalidades negativas. Acho que todo o empenho do arcabouço regulatório é mitigá-las e contando inclusive com instrumentos legais que já existem. Nós não estamos partindo do zero. Existem regulamentações em relação à responsabilidade civil e criminal, defesa do consumidor, proteção de dados, em suma, uma série de outros instrumentos legais. Então, objetivamente, quais são as minhas sugestões para a Comissão? Primeiro, qualificar e separar as responsabilidades do provedor entre desenvolvedores e fornecedores e entre usuário intermediário e usuário final. Acho que essas qualificações são muito importantes. O fornecedor da tecnologia, particularmente no Brasil, não é necessariamente o desenvolvedor dos algorítimos de IA. Em geral é uma empresa, uma startup, que acessa o sistema de desenvolvimento por terceiro e o adapta e comercializa para o usuário intermediário, que é gestor de escola, gestor de centro de saúde, gestor de empresa, gestor de banco, gestores em geral. Então, essa separação, essa qualificação distinta entre quem é o desenvolvedor e quem é o fornecedor é muito importante. O que a gente verifica, na prática, é muito os fornecedores da tecnologia interagindo com a empresa que vai ser o usuário intermediário e que não foi o desenvolvedor da tecnologia. Aliás, no Brasil, raramente esses intermediários e fornecedores são, de fato, principalmente quando a gente fala de startup. Uma outra sugestão é abordar... É uma sugestão com a qual eu acho que todos estão de acordo, é consensual: a abordagem baseada em níveis de risco, ponderando sobre a probabilidade da criação do risco e a gravidade de eventuais riscos sobre o usuário lesado. Então, a recomendação, como está seguindo a comissão europeia, é o foco nas aplicações de alto risco, privilegiando setores sensíveis. Além do alto risco, também privilegiar setores sensíveis, como educação e saúde. Outra sugestão: rever os princípios jurídicos, responsabilidade subjetiva e responsabilidade objetiva. Isso tem sido uma polêmica, acredito que todos estão acompanhando, mas eu acho que essa discussão sobre responsabilidades objetiva e subjetiva tem que levar em conta a lógica da IA. Eu acho que tem que rever os conceitos tradicionais e os usos tradicionais desses conceitos. Só como inspiração, em 20 de outubro de 2020, o Parlamento Europeu aprovou uma resolução sobre o regime de responsabilidade civil aplicado para IA e justamente ele recomenda a responsabilidade objetiva nas hipóteses de sistema de alto risco e a responsabilidade subjetiva com culpa presumida nas demais. Então, isso é só uma referência de análise se faz sentido ou não a gente replicar no marco regulatório da IA no Brasil. A quarta sugestão prevê auditoria do que é factível auditar. Parte significativa dos danos dos sistemas de IA provém de decisões dos desenvolvedores e de bases de dados tendenciosas. Então, a legislação poderia focar na obrigatoriedade de auditar as variáveis iniciais, que são os parâmetros decididos pelos desenvolvedores, e as bases de dados, sem tentar entender, de uma forma que seria infrutífera, ou enfrentar a opacidade, como eu já falei, intrínseca, técnica de IA. Então, de fato, não dá para ter uma auditoria plena desses sistemas de IA, mas existem duas partes fundamentais que são as variáveis iniciais, que são decisões dos desenvolvedores, e as bases de dados. Eu creio que, se forem feitas auditorias nesses dois conjuntos que compõem o sistema, a gente vai ter uma mitigação bastante significativa dos potenciais danos.
14:06 R	A quinta - são oito sugestões - é referente ao parecer da Relatora do PL 21, de 2020, a Deputada Luisa Canziani, na defesa de uma abordagem reguladora e fiscalizadora setorial. A centralização em um único órgão, agência me gera desconforto, porque eu acho que já tem um desafio para qualquer regulador e fiscalizador lidar com no mínimo dois domínios, o domínio da inteligência artificial e o domínio da aplicação do sistema de inteligência artificial. Então, pelo menos se for setorial, já tem a vantagem, na partida, de o regulador fiscalizador já ter o conhecimento daquele domínio ao qual vai ser aplicado, e, então, ele só precisa se preparar, se capacitar para ter um domínio básico sobre a inteligência artificial. A minha sexta sugestão é incluir os setores públicos e privados. Eu acho isso superimportante. Inclusive, grande parte do uso hoje na sociedade brasileira, abstraindo as plataformas e os aplicativos que, de fato, não são desenvolvidos no Brasil, pois, na sua grande maioria ou quase todas, são empresas multinacionais... O uso no Brasil tem sido muito forte na área pública. Então, eu acho que tem que incluir a área pública e a área privada. A sétima é garantir que tenha um processo de recurso planejado, estabelecido, para um lesado contestar a decisão. Isso é um grande desafio, reconheço. A oitava sugestão é preservar a flexibilidade e observar a adequação da futura legislação brasileira às práticas internacionais, ao que está sendo discutido, inclusive, nas iniciativas de regulamentação internacional, porque, hoje, mesmo com toda a rediscussão da hiperglobalização - acho que já é consenso também que vai diminuir essa hiperglobalização, ela está comprometida, tanto a partir da pandemia quanto com a guerra -, mesmo assim, nós estamos falando de plataformas de dados que têm que ter uma visão global. Essas são as oito sugestões. Eu ainda tenho um tempinho e eu queria só complementar com outros fatores que eu acho que devem ser considerados. Pensar no marco regulatório. O projeto que vai estar sendo avaliado pelos órgãos reguladores é de uma área de intenso escrutínio público em que há litígios frequentes? Então, isso já é uma variável que qualifica. Se está numa área de litígios frequentes aquele projeto, aumenta a probabilidade de ter litígio em função da inteligência artificial.
14:10 R	Os clientes da linha dos negócios relevantes são particularmente vulneráveis? Então, projetos que lidam com usuários particularmente vulneráveis têm que ter uma atenção especial. Os riscos da legislação são muito altos em termos de intensidade e de amplitude, quer dizer, englobam um número significativo de usuários e também com intensidade significativa? Uma outra questão é: o algoritmo usado é protegido pelo segredo comercial? O art. 20 da Lei de Proteção de Dados fala sobre a questão do segredo comercial, relativiza, e eu acho que isso é uma grande discussão, porque em geral quase todos os algoritmos desenvolvidos pelas empresas ou usados pelas empresas estariam protegidos do segredo comercial. Então, seria inócua a fiscalização. Isso aí também sugiro que seja bastante discutido para se encontrar uma forma adequada. O sistema auxiliará ou substituirá o decisor humano? Isso também é uma questão. Eu acho que, com todas as limitações da técnica que é utilizada hoje, que é de redes neurais profundas ou deep learning, tem que ser um parceiro do especialista humano. De alguma forma, a regulamentação poderia, não sei de que maneira, evitar ou minimizar a substituição da decisão pura e simples, as decisões serem implementadas sem nenhum escrutínio, sem nenhuma avaliação de um ser humano. Bom, também outra questão a ser considerada é o impacto é reversível e quanto tempo durará o impacto? Também essa qualificação da reversibilidade ou não do impacto, do tempo de duração acho importante. E a última é sobre a base de dados: quem coletou os dados e formou a base de dados? As quatro ou cinco principais bases de dados que foram usadas, durante uma década, de 2009 a 2019, fortemente, quando elas finalmente foram auditadas, é surpreendente o enviesamento dessas bases sobre vários pontos de vista. Então, a auditoria foi feita dez anos depois, por iniciativa de pesquisadores ou de órgãos da sociedade civil; poderia ter sido feita na partida e teria evitado uma série de danos e alguns com consequências muito fortes, negativas. Então, essas são as minhas - acho que já estourei o meu tempo, não quero desrespeitar - ponderações e sugestões iniciais para a Comissão. Amanhã, a minha coluna da Época Negócios, a coluna de amanhã é absolutamente dedicada... O título começa dizendo isto: "A Comissão do Senado...". Então, essas questões estão lá na coluna de amanhã. Muito obrigada a todos. A SRA. PRESIDENTE (Miriam Wimmer) - Muito obrigada, Profa. Dora, pela sua exposição superobjetiva e dentro do tempo, a senhora respeitou perfeitamente. Eu lhe agradeço muito e também menciono que as contribuições da senhora foram extremamente objetivas, identificando premissas e também sugestões de maneira muito clara. Então, tenho certeza de que teremos um ótimo debate logo em seguida. Antes de passar à próxima palestrante, eu queria registrar, aqui no Senado, a presença do membro da Comissão de Juristas, Dr. Wederson, e também registro que aqui pelo Zoom nos acompanham outros participantes. Então, eu vou citar aqui alguns: Dr. Filipe Medon, Dr. Victor Pinheiro, Dr. Estela Aranha, Dr. Danilo Doneda, Profa. Ana Frazão. Espero não ter me esquecido de nenhum de vocês e espero também que, ao final das exposições, todos possam contribuir com perguntas.
14:14 R	Eu tenho agora a grande satisfação de apresentar a Profa. Gabrielle Sarlet, da PUC do Rio Grande do Sul. A Profa. Gabrielle é advogada; graduada e Mestre em Direito pela Universidade Federal do Ceará; Doutora em Direito pela Universidade Augsburg, na Alemanha, com tese validada pelo programa de pós-graduação em Direito da Universidade Federal do Rio Grande do Sul; pós-Doutora em Direito pela Universidade de Hamburgo, também na Alemanha, e igualmente pela PUC do Rio Grande do Sul. Dra. Gabrielle, a senhora tem 15 minutos. Por gentileza, fique à vontade. A SRA. GABRIELLE BEZERRA SALES SARLET (Por videoconferência.) - Bom, eu queria externar toda a minha satisfação e honra de participar deste momento, um momento do qual acredito que todos nós vamos nos lembrar muito a posteriori, sobretudo pela relevância do tema que está sendo tratado aqui nesta sessão. Agradeço imensamente ter sucedido a Profa. Dra. Dora, a qual eu leio atentamente e tenho acompanhado de maneira muito, muito, muito cuidadosa a produção, inclusive por me parecer uma grande representante nesse cenário que é particularmente um cenário masculino, um cenário que não admite muitas vezes uma fala advinda de uma mulher e, ainda mais, um cenário que muitas vezes exclui certas experiências como essa que a Profa. Dra. Dora vem nos mostrando, que é de percorrer diversas áreas e, por isso mesmo, poder contribuir com essa interdisciplinaridade, que me parece essencial para a discussão de qualquer tema com essa envergadura. Após utilizar essas palavras para saudar a Profa. Dora, que me precedeu, eu gostaria também de agradecer à Relatora desta Comissão, Dra. Laura Mendes, bem como ao Ministro Cueva e a todos que tiveram essa iniciativa, sobretudo as Profas. Clara Iglesias e Miriam Wimmer, que agora fazem a moderação deste painel. Eu entendo que talvez esse meu ponto de vista, ou melhor esse ponto de fala do qual eu não posso renunciar, me obriga necessariamente a lembrá-los de algo que é exatamente aquilo que eu comecei falando, que seria a questão da interdisciplinaridade, que por vezes serve para desmistificar certos pontos mitológicos que acabaram permeando o discurso acerca da inteligência artificial. É com Dostoiévski que eu inicio essa breve intervenção, que diz que a inteligência por si só não é suficiente quando se trata de agir com sabedoria. Esse é um pequeno trecho tirado de Crime e Castigo, no qual nós podemos observar que a palavra inteligência é utilizada muitas vezes de forma um tanto quanto desvirtualizada quando nós tratamos de inteligência artificial, porque, na verdade, a inteligência artificial, como nós podemos dizer, consiste numa criação algorítmica que é destinada a cumprir finalidades determinadas e especificadas com base no recebimento de dados objetivos e estruturados para gerar resultados igualmente objetivos. Portanto, trata-se de um lógos novo, que, na sua categoria principal, muito embora nós tenhamos que fazer menção aos learnings, que são os chamados algoritmos inteligentes, que, portanto, criam outros algoritmos, tornando essa uma verdadeira Torre de Babel para aqueles que não conseguem compreender num primeiro momento, nós temos aí uma visão artificializada que envolve, sem dúvida alguma, primeiro uma nova condição de sujeito; depois, dentro dessa nova condição de sujeito, nos é colocada a ideia ou a noção de que o tempo já não exerce o mesmo peso quando se trata das relações humanas - da mesma forma como o espaço nos foi retirado nessa base necessária para que nós possamos tomar as decisões.
14:18 R	Então, de qualquer sorte, eu gostaria de também fazer basicamente uma premissa ou mencionar uma premissa de que essa visão artificializada da inteligência impende uma funcionalização, uma funcionalização em que, na verdade, ela deva ser uma espécie de abordagem na qual o ser humano deva necessariamente preceder a tecnologia. Por quê? Primeiramente nós podemos advertir que a inteligência artificial, por si só, carece de uma espécie de acordo semântico para que nós possamos saber, num diagnóstico mais profundo, de que se trata, e em razão disso possamos fazer um prognóstico mais factível em relação ao futuro como um tempo da humanidade. Então, na verdade, a inteligência artificial, como esse ramo da Ciência da Computação, se propõe a raciocinar, a perceber, a tomar decisões e a resolver problemas. Daí é que urge, dentro desse contexto que não é de forma alguma inarredável, saber que tipo de problemas os quais nós pretendemos resolver e quais são as medidas e molduras - uma vez que nós estamos numa sociedade informacional -, quais são as formas, quais são os formatos os quais nós utilizaremos para que essa utilização dessa tecnologia possa resultar em mais externalidades positivas do que propriamente externalidades negativas. Alinho-me perfeitamente à posição da Profa. Dora quando diz que é basicamente impossível o afastamento completo das externalidades negativas. Porém, da mesma forma, entendo que se trata, portanto, de uma série de cálculos probabilísticos nos quais nós, principalmente das Humanas - e aqui eu me posiciono como uma jurista que se preocupa não só com o Direito como uma ferramenta, mas também com os efeitos dessa ferramenta sobre a sociedade -, pensamos que 10% de erro ou qualquer tipo de manejo não muito adequado podem vir a causar ou acirrar danos que podem ser de natureza irreparável. De qualquer sorte, o que nós podemos dizer é que, na verdade, este é um momento em que, como dizia Marilena Chaui, se trata de uma grande nervura no real em que as potencialidades parecem estar todas à mão, não é? E, de fato, essa é uma preocupação para a qual nós temos que estar sempre alinhando a ideia de que a tecnologia, muito embora ela pareça ser completamente autônoma ou vá se tornando autônoma, se trata de uma ferramenta. E, nessa medida em que ela é uma ferramenta, ela pode não só trazer recursos novos de resolução de problemas culturalmente já considerados insolúveis, como a miséria, como a guerra e a própria ideia de uma pandemia em curso, mas também ela traz aí a necessidade de se estar muito atento ao contexto. E não é só isso: trata-se da necessidade de se pensar com maturidade em uma transição de um lugar de fala que no Brasil é extremamente departamentalizado e elitista para uma circunstância na qual nós possamos avançar por meio do diálogo, ou seja, da compartimentalização, do compartilhamento, para enfrentar esse tema que é extremamente complexo, hermético e que por isso mesmo alija grande parte da população que sofre de analfabetismo, sobretudo de analfabetismo funcional, sendo também vítima de uma grande e evidente divisão digital, portanto impedindo aquilo que para mim parece ser o ponto essencial que é trazer a Constituição ao seu lugar central, ao lugar em que ela deve se posicionar e deve orientar, portanto, qualquer tipo de regulamentação.
14:22 R	Parece-me que, no momento, nós estamos numa circunstância bastante apropriada para essa discussão, uma vez que nós já temos aí uma espécie de mudança de giro da autorregulação para a autorregulação regulada, sendo que hoje a grande tendência que nos é apontada é de posições mais rígidas, como, por exemplo, essa recente tomada pela União Europeia com o Digital Act., que, portanto, sem dúvida alguma, vai nos levar - nós juristas - a pensarmos sobre a ontologia da inteligência artificial. Portanto, nesse sentido, é importante nós sabermos que o conceito de inteligência artificial parece estar sempre vinculado à ideia de eficiência e ao desenvolvimento a qualquer custo. Ele tem que ser funcionalizado a um custo que necessariamente envolva para o cidadão a minimização de riscos, uma vez que esses riscos, dentro desse contexto atual, que é um contexto de uma guerra cibernética em curso, de uma grande problemática em relação ao aumento dos insumos e, portanto, dos alimentos... Nós temos aí grandes problemas a serem resolvidos num país que tende a ser o verdadeiro caleidoscópio em termos de classes, etnias e muito voltado a esse entusiasmo à importação da tecnologia e ao seu uso irreflexivo. Esses riscos sistêmicos advindos da inteligência artificial, portanto, trazem à tona essa ideia de uma global interconexão, mas também trazem um panorama geopolítico que implica uma tecnopolítica - não é? - e que vai certamente ser gravemente pensado ou vai ter expressões graves se nós não pensarmos bem em relação a essa questão do planejamento do futuro como um tempo do humano. E perguntas como quem tem acesso aos dados, qual é a finalidade da coleta, quais são os modos de tratamento são perguntas que precisam estar uma vez pensadas não só a partir do contexto constitucional, alinhando, por exemplo, os arts. 1º e 3º, as competências do 22 e do 23, com o art. 218, na medida em que nós possamos reconhecer o direito à inovação, bem como o direito ao desenvolvimento, como um direito de matriz constitucional. Perguntas essas que trazem também à tona toda a necessidade de uma harmonia legislativa que não pode ser desconsiderada, na medida em que esse suposto esforço legislativo, essa medida de um esforço legislativo - concordo com a Profa. Dora Kaufman - traz uma necessidade de uma setorização sob pena de se tornar uma letra morta. Então, o meu grande, digamos assim, ponto de vista, ou melhor, o ponto que mais me preocupa é exatamente a utilização ou o emprego da inteligência artificial no contexto do Estado democrático de direito.
14:26 R	E aí eu me projeto, pensando junto com todos os meus colegas juristas, bem como aqueles que se interessam pelo tema, que é necessário enfatizar a separação informacional dos Poderes como um princípio estruturante na Constituição Federal. E, para isso, há de se enfatizar também o devido processo informacional como sendo uma releitura ou uma ressignificação daquilo que nós chamamos de ampla defesa e contraditório, trazendo, portanto, a necessidade de se repensar a transparência como um direito fundamental implícito que só pode ser reconhecido ou melhor, deve ser reconhecido em face desse contexto informacional. Naturalmente, nós podemos dizer que para que esse ponto de vista, ou melhor, essa ideia da separação informacional possa vir a ter uma melhor aplicabilidade, nós temos que pensar que esses processos de inovação, ou seja, os usos dessas novas tecnologias na administração pública têm que ser feitos por meio de medidas preventivas que reforcem não só um novo conceito de interesse público como finalidade pública, mas também reforcem o dever de prestação de contas e a participação cidadã. Nessa medida, é importante reforçar a grandiosa tarefa que foi dada à Comissão de Justiça, que empreendeu um anteprojeto da Lei Geral de Proteção penal, a que se dá a alcunha de LG penal, uma vez que, quando nós falamos de segurança, quando nós falamos de confiança, que é a base para qualquer tipo de utilização democrática da inteligência artificial, nós temos que pensar também que há áreas que são extremamente sensíveis, como segurança pública e saúde pública, que afetam diretamente a população. E afetam de maneira mais radical aqueles que já são naturalmente vulnerabilizados. Portanto, para finalizar, penso que é importante para que a Comissão tenha em mente a ideia da separação informacional de Poderes a ideia do impacto, ou melhor, avaliação de impacto algoritmo que possa necessariamente trazer à tona a questão dos riscos, trazer também, numa composição, medidas de mitigação desses riscos que sejam concretas, e pensando naturalmente, dentro dessa circunstância, na ideia de auditabilidade que seja basicamente vinculada a três grandes eixos - a explicabilidade, a interpretabilidade e a contestabilidade - como partes inerentes àquilo que eu falei que seria o devido processo informacional. Por fim, para dizer que não falei de flores, uma vez que o que assusta do humano é exatamente aquilo que o torna mais sublime, eu diria que esse tema permite alinhavar autores que são absolutamente, ou parecem absolutamente contraditórios, mas que, em razão da complexidade dos tempos vividos, eles se tornam importantes como substrato para projeções. E aí eu penso que nós estamos exatamente no momento em que é necessário alinhavar o princípio da responsabilidade de Jonas com o princípio da esperança de Ernst Bloch. Nesse contexto, aí nós poderíamos pensar exatamente nessa revisão do tempo como o tempo do humano e o futuro - o futuro que nós queremos projetar num Brasil que, embora díspar, tende a se projetar e pode se projetar a partir das suas fragilidades e vulnerabilidades, num novo contexto em que se busca emancipação, sobretudo, em razão dessa separação entre o Norte e o Sul.
14:30 R	Há uma geopolítica, há um lugar a ser ocupado, e talvez nós possamos. E este é um momento, como eu disse, ímpar, não só para mim, como pesquisadora, mas talvez para todos nós como brasileiros. Muito obrigada. A SRA. PRESIDENTE (Clara Iglesias Keller. Por videoconferência.) - Muito obrigada a você, Profa. Gabrielle Sarlet. Foi um prazer escutar as suas contribuições valorosas. Vamos seguir agora para a nossa próxima palestrante, a Dra. Caroline Tauk. Caroline Tauk é Juíza Federal no Rio desde 2012. É Mestre em Direito Público pela Uerj e Visiting Scholar na Columbia Law School. É membro da Comissão de Direito da Propriedade Industrial e Intelectual e Direito Econômico da Escola da Magistratura Federal da 2ª Região. Ex-Promotora de Justiça do MPRJ e ex-Advogada da União. É Juíza auxiliar de Ministro do Supremo Tribunal Federal, Presidente do Comitê Gestor de Proteção de Dados do TRF da 2ª Região e representante do TRF2 para a LGPD no Conselho da Justiça Federal. Dra. Caroline, seja muito bem-vinda. Por favor, fique à vontade para iniciar a exposição. A SRA. CAROLINE TAUK (Por videoconferência.) - Boa tarde a todos. Eu quero parabenizar a Comissão pelo debate e faço isso na pessoa do Ministro Ricardo Cueva. Cumprimento a todos nas pessoas dos meus dois colegas de Uerj, Profa. Clara Iglesias e Prof. Filipe Medon. Com muito carinho, vejo que vocês estão na liderança disso e fico muito feliz por estar com vocês. Como já foi dito, eu sou Juíza Federal. Embora muitos não saibam, no serviço público é o Judiciário que está na vanguarda no uso da tecnologia, à frente do Legislativo e à frente do Executivo, e é certamente um dos Judiciários do mundo mais inovadores nessa área. Nós temos hoje mais de 60 sistemas de inteligência artificial em uso no Judiciário. Eu integro um grupo de pesquisa que estuda tecnologia no sistema de Justiça, conduzido pela Fundação Getúlio Vargas, o Centro de Inovação, Administração e Pesquisa do Judiciário, sob a coordenação do Ministro Luis Felipe Salomão, do Superior Tribunal de Justiça. E nós elaboramos uma nota técnica sobre o PL 21, de 2020, que é um dos que está aqui em discussão, a qual está disponível no site da FGV para consulta pública, dentro da FGV Conhecimento. Então, eu vou só destacar uns pontos que estão aqui, mas todas as informações completas estão lá para quem quiser ver depois com calma. Eu vou destacar quatro pontos principais desse PL 21, de 2020, com foco na regulação, princípios e fundamentos, que é o tema que foi definido para esta mesa. Poderíamos falar de outras coisas, mas eu vou me limitar ao tema da mesa. O primeiro ponto que eu gostaria de ressaltar é a importância de discutir esse tema no Brasil. O Deputado Eduardo Bismarck, da Câmara dos Deputados, foi o autor do Projeto de Lei 21, de 2020, e ele me convidou para participar da redação desse projeto de lei junto com a equipe dele, a quem eu agradeço muito a oportunidade. E, quando nós concluímos, em 2020, e apresentamos esse projeto de lei, a ideia era trazer especialistas, técnicos, pessoas de TI, pessoas da informática, da inteligência artificial para o debate. Então, o primeiro ponto que eu gostaria de destacar, com todo o respeito e admiração que eu tenho por todos os integrantes desta Comissão de Juristas, pelo menos pelo que eu verifiquei, quase todos são advogados, da OAB, a maior parte está relacionada à proteção de dados. Eu sei que é uma Comissão de Juristas, e por isso deve ser formada por profissionais do Direito, mas, como uma das pessoas que participou da redação do projeto de lei, eu me sinto no dever de dizer que a finalidade da criação do projeto de lei, a finalidade do legislador foi dividir o debate jurídico... Foi não dividir, aliás; foi deixar bem próximo o debate jurídico do debate tecnológico. Então, por mais que existam audiências públicas ouvindo os especialistas da TI, como a gente vai ter hoje, teve também na Câmara, o impacto da atuação deles não é o mesmo caso eles tivessem integrando a Comissão.
14:34 R	E, além disso, à exceção do Ministro Cueva e dos consultores legislativos, eu também não vi outros servidores públicos, e eles certamente teriam muito a contribuir. Eu comecei dizendo que o Judiciário está na vanguarda do uso da inteligência artificial no serviço público. O segundo ponto que eu gostaria de destacar é com relação à necessidade de regulação setorial. E aí é um elogio que eu faço ao Projeto de Lei nº 21, de 2020, que, em especial, está sendo debatido aqui hoje. A inteligência artificial não é homogênea, os sistemas de inteligência artificial são diferentes, operam em setores diferentes, geram riscos diferentes. É justamente em razão dessa diversidade que a gente não pode falar em uma regulação feita por um projeto de lei. A regulação é algo muito mais complexo, ela é detalhada, ela não poderia ser prevista em cerca de 10 artigos, 15 artigos, que é a média dos projetos de lei que a gente está aqui discutindo. A única proposta de regulação legislativa que existe hoje é a da comissão europeia, que tem mais de cem páginas, vem de um processo de três anos de discussão e ainda vai ser discutida por algum tempo. Então, o art. 4º, lá no inciso VII do PL substitutivo, que substituiu o PL 21, prevê como fundamento que o poder público tem que observar o contexto regulatório específico de cada setor e fazer uma análise do impacto regulatório. Então, parece-me que o projeto anda muito bem nesse ponto e isso seria algo que me parece também importante ser mantido. Na nota técnica da FGV Conhecimento que nós fizemos, nós defendemos que o PL traga princípios para uma regulação setorial, e não uma regulação genérica para todos os tipos de sistema, porque, por meio dessas regulações setoriais feitas através de atos normativos editados por órgãos competentes, a gente poderia criar uma espécie de autorregulação regulada, e aí sim talvez seja uma boa saída. No Judiciário, por exemplo, o CNJ já tratou da regulação do uso ético da inteligência artificial dentro dos tribunais. Nós já temos a nossa Resolução 332, de 2020, que usa muito do que está contido, inclusive, nesse projeto de lei, mas de forma mais específica para o Judiciário. Da mesma forma a Anvisa, por exemplo, ou a ANS, poderia regular o uso da inteligência artificial no setor de saúde e assim por diante. O terceiro ponto que eu gostaria de destacar é com relação à necessidade de aprimorar o princípio da transparência, que consta no Projeto de Lei nº 21. Quanto à transparência e à explicabilidade, em especial essa parte dos fundamentos que estão lá no art. 5º, no inciso V, o PL associa a transparência à necessidade de fornecimento de informações; é preciso que a pessoa tenha acesso às informações daquele sistema. É basicamente isso que diz lá o PL. O problema é que detalhes sobre essa transparência, sobre o que é transparência, ainda estão em discussão no Brasil e no mundo. E para a gente operacionalizar isso, e eu digo como quem atua na prática, eu não estou falando aqui como pesquisadora, mas, sim, como quem atua na prática, para operacionalizar isso e dar esse direito a alguém para que ele possa exercer isso, é muito complicado, primeiro, por uma dificuldade técnica. Alguns modelos computacionais, como nós sabemos, apresentam a chamada opacidade, não permitem uma explicação completa. Por mais que alguns não gostem de falar em opacidade, de toda forma é muito difícil ter aquela explicação completa. Segundo: existem as dificuldades práticas para implementar isso. Quem é o destinatário dessa transparência? É para fazer uma definição que um leigo entenda ou é para fazer uma definição daquele sistema que só pessoas técnicas possam entender? Então, a princípio, essa parte do PL ainda gera dúvidas para saber como vai ser concretizado esse direito, esse fundamento que está lá previsto. Eu demonstro aqui uma preocupação do ponto de vista prático. E o quarto e último ponto que eu gostaria de destacar é com relação à intervenção baseada no risco. O art. 6º do PL - do PL substitutivo, o PL nº 21 -, no seu inciso III, prevê que o grau de intervenção do poder público deve ser proporcional aos riscos concretos oferecidos por cada sistema. Isso me parece de uma nítida inspiração europeia, trazendo um risco maior quando tiver uma intervenção estatal maior, então o PL anda muito bem nesse ponto, e me parece que é um ponto também que poderia ser mantido, na minha humilde opinião, e isso atende, inclusive, aos pedidos que foram feitos nas audiências públicas anteriores, que foram feitas na Câmara, e diversas pessoas que integram a iniciativa privada, pessoas que trabalham no mercado com o desenvolvimento da inteligência artificial ressaltaram a importância de diferenciar os tipos de risco.
14:38 R	Então, em conclusão, se o objetivo do PL em geral, do legislador, fosse estabelecer um desenho de gerenciamento de riscos conforme a complexidade desses diferentes sistemas de inteligência artificial e consequentemente diversas formas de responsabilidade - eu não vou tratar disso aqui porque não é o tema objeto da nossa mesa -, seria preciso muito mais tempo do que os meses que foram conferidos a esta Comissão e parece também que seria necessária uma composição um pouco mais diversificada do que a composição dos integrantes da Comissão. Na fase em que está hoje a discussão, tendo em vista o tempo curto para formalizar alguma coisa e concluir os trabalhos da Comissão, ao menos no que foi inicialmente previsto, me parece que uma abordagem principiológica e essa abordagem baseada na autorregulação regulada são a melhor saída para evitar o engessamento do desenvolvimento da inteligência artificial do Brasil e um prejuízo para o mercado brasileiro. Com isso, eu encerro e parabenizo a todos os envolvidos na Comissão. A SRA. PRESIDENTE (Miriam Wimmer) - Muito obrigada, Dra. Caroline Tauk, pelo seu uso eficiente do tempo e também pelas contribuições relevantes que foram trazidas. Eu destaco aqui o seu comentário sobre a importância de oitiva de diferentes perspectivas, para além da perspectiva jurídica, e comento que de fato as audiências públicas têm por objetivo, em parte, pelo menos, suprir essa deficiência, sem prejuízo de que esse debate seja aprofundado posteriormente. Comento também que eu fiquei feliz com a referência à Uerj porque não apenas a senhora, o Dr. Filipe Medon, a Profa. Clara Iglesias são oriundos de lá, mas temos também o Prof. Danilo Doneda, que tem doutorado pela Uerj, eu própria tenho mestrado pela Uerj, então, é uma satisfação ver os cariocas aqui bem representados, sem nenhum detrimento das demais universidades aqui também presentes. Dito isso, eu gostaria de passar para o próximo painelista. Eu tenho a grande satisfação de apresentar aqui o Prof. Edson Prestes, que é um orgulho para os brasileiros porque ele tem tido um papel de grande destaque na formulação desses padrões e critérios internacionalmente, por meio do seu trabalho não apenas na Unesco, mas também em outros fóruns internacionais. Prof. Edson Prestes é Doutor em Ciência da Computação, Professor Titular no Instituto de Informática da Universidade Federal do Rio Grande do Sul, líder do grupo de pesquisa em robótica envolvido em diversas iniciativas internacionais relacionadas à padronização e a robótica e ética. Ele foi membro do Grupo de Especialistas Ad Hoc da Unesco, que foi responsável por propor a primeira recomendação internacional sobre IA, aprovada muito recentemente, em novembro de 2021, por aclamação. Prof. Edson, por gentileza, o senhor tem 15 minutos para trazer suas relevantes contribuições. Obrigada.
14:42 R	O SR. EDSON PRESTES (Por videoconferência.) - Muito obrigado, Miriam, pela gentil apresentação. É um grande prazer estar aqui. Saúdo todos os meus colegas. Falar sobre inteligência artificial é sempre muito bom e também é muito bom ver que a área de inteligência artificial está realmente no centro do nosso debate. Eu sou formado em Ciência da Computação, tenho doutorado na área de robótica, trabalhei por décadas na área de inteligência artificial e robótica. Há aproximadamente seis anos, tenho atuado muito na área de ética, inteligência artificial e direitos humanos. Isso se deve ao fato de eu ter a compreensão do impacto da tecnologia na vida das pessoas, porque muito do que nós fazemos como engenheiros é criar sistemas e deixar os sistemas funcionando. Porém, há pouca reflexão sobre qual o impacto é feito na sociedade. Isso dentro do nosso âmbito universitário. Quando você começa a pensar sobre esse impacto, você começa a observar que esse impacto é extremamente amplo. É um impacto em todos os aspectos da nossa vida, ou seja, desde a mais tenra infância até a nossa fase adulta, porque nós podemos ter, por exemplo, sistemas computacionais atuando com os nossos filhos, ensinando os nossos filhos a como estudar conceitos matemáticos. Nós poderíamos ter, por exemplo, sistemas computacionais nos ajudando dentro da indústria, fazendo o nosso trabalho, que ele seja o mais regulado possível. Nós poderíamos ter sistemas computacionais, então, identificando vítimas em caso de terremoto, deslizamento, ajudando os nossos idosos a manter uma vida saudável e assim por diante. Porém, o que nós conseguimos observar atualmente é que esses sistemas, se não forem desenvolvidos de uma maneira responsável, irão afetar imensamente em inúmeros aspectos do nosso dia a dia, ou seja, se nós pegarmos todos os instrumentos de direitos humanos atualmente, nós vamos observar que cada um daqueles princípios vai ser afetado. Basta nós vermos, por exemplo, sistemas que vão impactar no nosso dia a dia, na nossa privacidade, violando nosso direito à privacidade. Vão afetar a nossa vida, ou seja, tomando decisões de vida ou de morte, vão afetar os nossos valores das nossas culturas, porque eles podem simplesmente modificar esses valores, modificar nossos princípios. Podem, por exemplo, afetar nossas escolhas, a qualidade da informação recebida, isso afetando diretamente a democracia. Então, esse tema tem que ser discutido da forma mais ampla possível. Aí vem um pouco de uma das críticas que eu tenho, por exemplo, a alguns trabalhos recentes, que focam muito no aspecto comercial, ou seja, aspecto comercial fazendo com que esses sistemas consigam ser distribuídos, gerar empregos, é um elemento dentro de um universo muito maior, porque os sistemas de inteligência artificial, os sistemas de robótica irão impactar o meio ambiente, já que eles precisam de energia para que consigam funcionar adequadamente. Vão impactar novamente o meio ambiente quando a gente pensa que vai ocorrer uma exploração do ambiente para extrair materiais nobres desse ambiente. Vão impactar as nossas comunidades vulneráveis, porque, se não tiverem capacidades digitais, ou seja, habilidades digitais, eles nunca vão ter um emprego em qualquer área tecnológica ou qualquer área. Vão impactar as pessoas mais pobres, quando nós imaginávamos que a nossa educação era forte na área de Stem. Vão impactar o nosso relacionamento humano quando a gente pensa que a relação humana está ficando objetificada.
14:46 R	Então, a discussão sobre inteligência artificial tem que ser uma discussão ampla. Nós temos sempre que pensar em ter comitês ou organismos que sejam multidisciplinares, multissetoriais. Por que a multidisciplinaridade? Porque a gente precisa avaliar a área de inteligência artificial sob diferentes pontos de vista, econômico, social, psicológico, na área de ciências mais duras, e assim por diante. Por que multissetorial? Porque a tecnologia vai atingir diretamente o cidadão comum, mas vai ser desenvolvida pelo empresariado, vai ter que ser legalizada ou vai ter que ser regulada pelo Governo e vai ter que ser monitorada por organizações não governamentais. Então, é importante que nós tenhamos comitês ou pelo menos observatórios que sejam multidisciplinares, com muitos stakeholders, e que sejam diversos, porque nós precisamos ter diferentes tipos de visões. Esse é um dos pontos iniciais da minha fala, porque é muito importante que a gente tenha claramente essa visão holística sobre a área de inteligência. Outro ponto muito importante é a própria natureza da inteligência artificial. Isso se faz importante porque existe uma conclusão sobre quais são os limites ou até onde devemos ir nessa discussão sobre inteligência artificial. Devemos, por exemplo, considerar sistemas de inteligência artificial com capacidade cognitiva similar à dos seres humanos? Existe muita discussão sobre isso, ou seja, sobre sistemas que vão ultrapassar a capacidade do ser humano. Isso pode acontecer daqui a 200 anos. Essa é uma discussão que não pertence a nós neste momento. O que pertence a nós são sistemas computacionais que têm certa habilidade de processar dados e de fazer inferências, que têm capacidades similares às do ser humano, mas que nunca substituem o ser humano em situações críticas. Esse é um ponto muito importante porque a gente começa a observar que a atribuição de responsabilidade tem que ser dada ao ser humano, ou seja, a atribuição final de responsabilidade sobre falhas tem que ser dada ao ser humano, nunca a uma máquina. Eu destaco isso porque existem grupos que querem que a atribuição de responsabilidade seja dada à máquina, e não ao ser humano. Isso aí está totalmente fora de cogitação. Um ponto muito importante que nós devemos considerar diz respeito ao tipo de sistema ou ao tipo de inteligência artificial que pode ser desenvolvido no país. Existem certos tipos de aplicação que devem ser banidos, ponto. Temos que fazer uma análise de risco? Temos, mas existem certos tipos que têm que ser banidos. Vocês vão querer permitir, por exemplo, o desenvolvimento de sistemas que manipulem pessoas? Isso é algo extremamente importante, porque, além de poder afetar diretamente a democracia, vai afetar, por exemplo, de repente, a educação de crianças. Olhem o caso, por exemplo, do Baleia Azul, que a gente viu um tempo atrás, em que um sistema estava fazendo com que as crianças chegassem a cometer suicídio. São sistemas que tomam decisão de vida ou morte. Será que queremos, por exemplo, que um sistema consiga dizer que uma pessoa deve ou não receber uma vaga na UTI? Quem deve decidir isso é um especialista humano, porque ele tem a visão geral do problema, e não um sistema computacional, que é muito limitado em termos de dados e que pode ser contaminado por uma série de fatores, como, por exemplo, ruídos externos, uma base de dados mal-elaborada, o acesso de um hacker que contamina essa base de dados. Sistemas que não têm um mecanismo de segurança podem ser afetados diretamente por um hacker; esse hacker pode manipulá-lo, e você não tem ideia dessa manipulação.
14:50 R	Então, uma base, ou seja, uma classificação baseada em risco é essencial, e nós temos que definir que tipos de sistemas não podem ser desenvolvidos. Sistemas que matam pessoas, não apenas máquinas letais autônomas, mas sistemas que possam ser utilizados em uso médico que vão decidir se uma pessoa merece ou não viver têm que ser banidos; que manipulam crianças, adultos devem ser banidos, porque essas pessoas são as mais vulneráveis possíveis. Existem, óbvio, sistemas que não precisam de toda uma regulamentação, como chatbots, que, de repente, vão te recomendar qual é o melhor restaurante chinês da sua cidade. Lógico, então, que nós temos que ter classificações diferentes. Então, pontos importantes: temos que ter uma análise balizada em riscos; temos que ter sistemas que devem ser proibidos. Quanto à atribuição de responsabilidade, temos que ter atribuição de responsabilidade ao ser humano, ele tem que realmente ser responsável. Só que, para que nós tenhamos essa atribuição de responsabilidade, é necessário que a gente entenda como é que o sistema é desenvolvido. E isso implica dizer que não somente os desenvolvedores ou a companhia que desenvolveu o sistema são responsáveis, porque existe toda uma cadeia de produção. Por exemplo, uma companhia pegou um módulo que desenvolvido por uma outra companhia que está operando em outro país. Mas a escolha dessa companhia para pegar esse módulo foi, por exemplo, por um terceiro, de repente pelo governo. E esse módulo não foi mais adequado. E, durante todo o ciclo de vida desse sistema, existem alguns componentes que não estão funcionando corretamente, como, por exemplo, um sensor em particular. Não sei se vocês viram o caso recente do carro da Tesla que estava andando na pista do aeroporto e bateu no avião. O carro da Tesla é um dos carros mais avançados do mundo, e não conseguiu detectar a presença do avião. Simplesmente bateu. Isso aconteceu alguns dias atrás. Aí vem um outro ponto muito importante: precisamos de regulamentação? Precisamos. E isso é urgente, porque atualmente, na área de inteligência artificial, como costumo dizer, a gente está no faroeste de inteligência artificial, porque eles estão navegando em uma zona basicamente livre dos direitos humanos. Por quê? Primeiro, as pessoas sabem o que são os direitos humanos, mas não sabem como aplicar os direitos humanos na área de tecnologia. E, se você não sabe como aplicar os direitos humanos na área de tecnologia, você não sabe como aplicar as leis corretamente. Então, é importante que a gente tenha essa regulamentação, mesmo que, de uma certa forma, algumas pessoas digam: "Ah, mas isso vai engessar a inovação". De uma maneira, pode até parecer que está engessando a inovação, mas não necessariamente está engessando, porque você está dizendo o seguinte: "Eu não vou pôr em risco a vida de pessoas". A vida de uma pessoa é muito mais importante do que a inovação por si só. E, se as companhias seguirem o desenvolvimento responsável, elas vão continuar desenvolvendo algo que vai agregar valor à sociedade e não vai simplesmente machucar, ferir, denegrir pessoas. E é muito fácil a gente ver inúmeros casos de sistemas que, por exemplo, são inerentemente racistas, pessoas sendo penalizadas por serem negras; casos de carro autônomos colidindo, matando pessoas; casos de comunidades sendo perseguidas; casos de pessoas ou de mulheres recebendo limites de crédito muito menores do que seus próprios maridos, sendo que ambos têm a mesma remuneração. Então, esse tipo de coisa a gente não pode permitir.
14:54 R	E um ponto muito importante que eu gostaria de enfatizar aqui é que todos nós, sem exceção, estamos expostos a esse tipo de tecnologia. Todos nós, sem exceção. Eu não sei se vocês já caíram em caso de profile, mas eu já caí em caso de profile e eu tive uma certa dificuldade em me justificar, porque esse caso de profile estava errado. Eu tive, sendo um doutor. Imaginem, por exemplo, uma pessoa sem o primeiro grau completo, sem o segundo grau completo. Mas como é que nós fazemos isso? Nós fazemos isso estimulando as companhias, estimulando as pessoas que trabalham na área para desenvolvimento conjunto de softwalls na forma de recomendações técnicas, porque isso baliza o mercado, ou seja, se você tem normas técnicas, como agora a gente acabou de publicar uma norma técnica... Com uma norma técnica inserida num sistema computacional, você tem basicamente um selo de garantia, dizendo: "Olha, esse sistema está operando de acordo com níveis de transparência definidos pelo grupo de padronização tal". Ou citar, por exemplo, uma norma relacionada à privacidade de dados, proteção de dados. Isso adiciona valor, o.k.? E isso rege o mercado. Mas o importante é que o próprio governo crie as suas regulamentações, e, nesse sentido, eu penso que uma das formas muito interessantes é o estabelecimento de sandboxes regulatórios, em que empresas possam experimentar uma tecnologia antes de levar essa tecnologia ao mercado, porque, a partir do momento em que você insere uma tecnologia no cotidiano das pessoas, você não consegue mais retirar, você cria vícios ocultos. Então, é importante que essa tecnologia seja realmente testada adequadamente. Outros pontos que são extremamente importantes: como é que nós vamos monitorar se a tecnologia está sendo mal usada, se a tecnologia está sendo adequada? Nós temos que ter uma avaliação de impacto adequada. Nós temos que ter então planos, mecanismos, para termos uma supervisão do uso dessa nova tecnologia, assim como um mecanismo para reparação em casos de falha. Isso é muito importante que nós tenhamos. Nós temos que pensar que a tecnologia vai embarcar, vai entrar em nosso dia a dia nesses diferentes níveis que eu comentei com vocês. Então, nós temos que fazer com que essa tecnologia não crie estereótipos e não faça com que pessoas vulneráveis se tornem ainda muito mais vulneráveis, porque isso pode ser amplificado facilmente. Outro ponto: qual é o impacto dessa tecnologia no meio ambiente? É um problema global, e nós temos que lidar com esse problema, nós temos que pensar como isso pode ser feito. Outro: como é que nós vamos, por exemplo, fazer com que haja uma igualdade de gênero nessa área tecnológica? A gente sabe que várias profissões vão desaparecer, várias atividades vão desaparecer, e, nesse sentido, existem várias pessoas que vão estar desempregadas, que vão estar muito suscetíveis a perderem seus empregos no futuro. Como é que a gente pega essas pessoas e leva para os trabalhos do futuro? A educação tem que ser realmente priorizada, para que não apenas as áreas técnicas sejam mais valoradas, mas, sim, a aquisição de soft skills.
14:58 R	Há o impacto da tecnologia na nossa saúde física, na nossa saúde mental. Notem que, em toda essa discussão, todos esses pontos que eu levantei têm que ser pensados desde o início para que a gente consiga ter um desenvolvimento nessa área tecnológica de forma responsável. Um ponto muito importante é o seguinte: nós temos que pensar que vivemos num mundo globalizado. Então, nós temos que fomentar a cooperação entre países, em escala regional, em escala internacional, porque, hoje, tudo que nós temos de tecnologia não é desenvolvida aqui no Brasil, é tudo fora. Inteligência artificial é a mesma coisa. Então, nós temos que ter mecanismos de colaboração para que esses sistemas operem de forma adequada, para que, quando algum tipo de problema ocorrer, a gente consiga saber como atuar. Essas são minhas considerações iniciais sobre essa área de inteligência artificial, que é uma área fascinante, mas é uma área que a gente precisa discutir com muita cautela, porque ela é muito complexa, e nós não podemos levar em consideração apenas os aspectos econômicos, já que existem elementos de base que devem ser reforçados. Muito obrigado. Muito obrigado, Miriam. Muito obrigado, Clara. A SRA. PRESIDENTE (Clara Iglesias Keller. Por videoconferência.) - Muito obrigada a você, Prof. Edson Prestes, pela sua contribuição muito valiosa, como as demais. Eu aprecio, em particular, a sua abordagem holística sobre os debates que a gente está tendo aqui hoje e gosto muito de como coloca a questão do engessamento da inovação, para dizer que a proteção de direitos é um dos fatores que devem moldar como essa inovação vai se desenvolver e a forma que essas tecnologias irão tomar. Então, agradeço muito. Seguimos para o nosso próximo e último palestrante da mesa, o Prof. Paulo Rená. O Prof. Paulo é doutorando e Mestre em Direito, Estado e Constituição pela UnB, Professor no Ceub, pesquisador, servidor público federal e representante do Iris (Instituto de Referência em Internet e Sociedade). Prof. Paulo, muito obrigada pela presença. Por favor, fique à vontade para começar. O SR. PAULO RENÁ DA SILVA SANTARÉM (Por videoconferência.) - Olá, Clara. Tudo bem? É uma imensa satisfação poder estar neste momento aqui sendo acompanhado não só pela sua moderação - você como colega -, mas da Miriam, compondo a mesa com tantas pessoas absolutamente gabaritadas. Para falar, neste nosso terceiro painel, fechando este primeiro dia, a respeito dos fundamentos e princípios que a gente precisa olhar para regulação da inteligência artificial no Brasil, quero, primeiro, ressaltar aqui que o Iris é integrante da Coalizão Direitos na Rede, tem a missão de explorar, investigar, entender os desdobramentos da internet na sociedade contemporânea e reconhece a relevância do debate democrático sobre a regulação da inteligência artificial, que é componente da nossa vivência humana no século XXI, como bem colocou o Prof. Edson. Com a crescente relevância dessa pauta, eu quero aplaudir os esforços legislativos que, neste cenário ainda de pandemia e de crise política, buscam obter subsídios diversos a fim de estabelecer um quadro normativo condizente com a importância dos potenciais impactos para indivíduos, empresas e Estado. Toda pesquisa em inovação e desenvolvimento, soluções sejam em nome do mercado, sejam em nome do interesse público, deve sempre priorizar um uso consciente e ético em prol de um futuro melhor das pessoas e do planeta, respeitando o arcabouço dos direitos humano e demais garantias constitucionais, com um desenvolvimento de bem-estar inclusivo e sustentável. Nesse contexto, em vez de correr atrás de soluções, faz-se oportuno, então, fixarmos fundamentos consistentes e listarmos princípios coerentes para a disciplina legal da inteligência artificial, na ideia de anteciparmos as controvérsias jurídicas e viabilizarmos, tanto para atores públicos quanto privados, decisões econômicas, tecnológicas, jurídicas que sejam condizentes com essas garantias do Estado democrático de direito.
15:02 R	Então, venho aqui como pesquisador do Iris, sou também integrante do Aqualtune Lab, que é um coletivo relacionado a direito, raça e tecnologia, ambas ONGs integrantes da Coalizão Direitos na Rede, e Professor de Direito, Inovação e Tecnologia e de Responsabilidade Civil, temática em que milito desde a época dos debates sobre o marco civil da internet; lá se vão já 13 anos nessa área. E o interesse, então, hoje é podermos contribuir apontando basicamente cinco pontos, ressaltando aqui também o louvável esforço do Senado em se abrir para mais participação notadamente pela constituição desta Comissão de Juristas, e especialmente pela convocação das audiências públicas. O Iris, então... Eu, aqui, em nome do Iris, apresento esses cinco pontos de análise. A título, claro, de considerações preliminares, iremos apresentar uma nota técnica até o prazo do dia 13 de maio. O foco, então, são fundamentos e princípios para a regulação em inteligência artificial, mas antes dois aspectos contextuais e depois dois problemas pontuais bem específicos. O primeiro aspecto é a baixa abertura para a participação no debate do PL 21, de 2020, que, embora tenha sido proposto e tenha tido, digamos assim, espaço para que as pessoas fossem ouvidas, o texto aprovado pela Câmara, que substituiu a proposta original, ignorou uma série de riscos e problemas apontados por organizações da sociedade civil e pela academia do direito, da sociologia, da economia, da tecnologia. E é importante verbalizar a centralidade de se assegurar a ampla participação plural e um debate multissetorial tanto antes, quanto durante e também depois da definição dessas normas legais na parte de regulamentação, bem como na mensuração do cumprimento de objetivos e metas, da fiscalização do respeito a essas normas, incluindo a fiscalização do cumprimento de fundamentos e princípios. Portanto, e até em respeito ao melhor desempenho dos mandatos eletivos do Senado, sugere-se que, sem esse cuidado democrático essencial e necessário ao amadurecimento do mérito do projeto de lei, ele não seja votado enquanto esse requisito não for alcançado. Então, para abordar esse problema, além dos valorosos esforços da Comissão de Juristas, sugerimos uma consulta pública pelo Portal e-Cidadania do Senado, a partir do texto que vier a ser apresentado pela Comissão ao Senado. Aí tem um trecho da Estratégia Brasileira de Inteligência Artificial que estabelece a importância, até alinhada a diretrizes da OCDE, de que a norma seja redigida a partir de contribuições múltiplas.
15:06 R	E a dinâmica da Câmara dos Deputados aprovou um texto alheio a parâmetros e referências de países que são líderes no desenvolvimento e no questionamento de inteligência artificial, mas também a nossa própria experiência em abordar essa questão. Então, registro a sugestão de que, para suprir essa falta de um amadurecimento e de um desrespeito até que a Câmara cometeu com a participação pública, o PL possa passar por esse processo que dê sequência ao importante trabalho, à importante constituição desta Comissão. O segundo ponto que eu quero ressaltar é o baixo grau de normatividade do atual texto em análise. Os trechos do projeto de lei contrariam formalmente as melhores práticas legislativas quanto à estrita legalidade, à exatidão de conceitos, à previsibilidade e até mesmo ao mínimo de segurança jurídica. A ementa, que propõe uma previsão mais abrangente, não corresponde exatamente à matéria que se tem no projeto de lei e se limita a uma abordagem quase metalegal, direcionada não exatamente a regular a inteligência artificial, mas é uma norma para futuras normas sobre inteligência artificial, uma orientação para novas normas específicas, sem adentrar, de fato, na necessária disciplina do desenvolvimento da aplicação da inteligência artificial no Brasil. Um destaque que merece ser apontado aqui, por exemplo, é a referência, além da tautologia de se falar em agentes atuantes... Quem atua é agente, quem observa é observador, mas não tem uma definição de quem são esses agentes. É a ideia de agente de tratamento, que foi mal importada da LGPD para cá? São agentes indivíduos, ou são empresas, ou é uma distinção, por exemplo, como bem colocou a Profa. Dora, a respeito de fornecedores e desenvolvedores? Enfim, o texto não deixa claro sobre quem ele está falando, do que ele está falando. É necessário que esse tipo de definição fique claro numa lei que pretenda orientar o desenvolvimento da inteligência artificial no Brasil, um tema que, por si só - todos já repetiram -, é bastante pantanoso, mas, pelo menos, na parte do Direito, a gente tem que avançar com mais segurança. E aí eu entro na questão propriamente dos princípios e fundamentos que se mostram absolutamente abertos a interpretações que são muito limitantes de direitos ou simplesmente omissos com relação a aspectos críticos que são urgentes. E aqui quero destacar, fazendo eco à fala do Prof. Edson e em diálogo com a questão racial, que para mim é absolutamente muito cara, que o Brasil recentemente aderiu à convenção da Organização dos Estados Americanos de enfrentamento ao racismo e outras formas de preconceito. O Brasil tem um compromisso internacional de combater o racismo, que é um tema central hoje no atual debate ético e jurídico da inteligência artificial, notadamente na questão do racismo algorítmico, como é, por exemplo, no reconhecimento facial.
15:10 R	Então, para ter uma fundamentação na lei que permita avançar... É claro que, se a gente olhar para as normas, como, por exemplo, da OCDE, tem um outro propósito que não o de uma lei. Mas até está dito isto no relatório aprovado na Câmara dos Deputados, apresentado em Plenário pela Relatora: que se abriu mão de um vínculo com a OCDE para fazer uma norma mais simples. Isso gerou uma incoerência. A Profa. Tainá Junquilho aqui, doutora, apresentou por exemplo uma lista sintética de princípios que dão alguma coerência - ela os chamou de Trepes (transparência, responsabilidade, equidade, etc.). Nessa simplificação em relação à OCDE, abriu-se mão da referência à equidade, não é? Qual o ganho que se pode ter em não se fazer um texto que faça referência a se ter a equidade como princípio? - quando, na verdade, deveria haver uma afirmação específica de uma proteção contra o racismo, de uma proteção contra qualquer outra forma de intolerância. Que a gente, como pontuou o Prof. Edson, não admita nenhum tipo de inteligência artificial. Não basta falar em mitigação, não é? A gente tem que falar como princípio em termos de eliminação. A medida da cobrança, a instância em que vai ser exigida, a proporcionalidade da exigência do princípio, a gente as discute na prática jurídica, na prática, enfim, tecnológica, econômica e etc. Mas a afirmação de um princípio da igualdade não pode ser na própria afirmação, numa abordagem tão débil, tão frágil. O quarto ponto, que é o regime de responsabilidade, se mostra não só inconsistente: ele se mostra nocivo. A gente vê previsões que, de novo, remetem a outras normas, falam de CDC (Código de Defesa do Consumidor), falam da LGPD, mas não deixam claro em que instância vai se aplicar uma ou outra abordagem. Eu também concordo com o Prof. Edson de que não faz nenhum sentido impor a responsabilidade à máquina, à artificialidade, mas é uma questão importante que haja a definição da responsabilidade das empresas, a responsabilidade das pessoas jurídicas, das instituições e não efetivamente dos indivíduos - a não ser subjetivamente se entre os indivíduos houver de fato culpa. E, aí, como é que se vai fazer? Não é nenhuma novidade a atribuição de responsabilidade objetiva depois no eventual direito de regresso para se avaliar a culpa ou até mesmo para uma redistribuição do ônus entre os integrantes da cadeia ou de desenvolvimento ou de aplicação da IA. Gostei da sugestão da Profa. Dora de que haja uma granulação entre os responsáveis, que é diferente do que a gente tem expresso no CDC, por exemplo. Acho interessantíssimo e enriqueceria a discussão, mas até vendo aqui o Prof. Filipe Medon, que ameaçou rasgar o seu livro no dia da aprovação do PL 21, é importante que a responsabilidade do serviço seja consistente. A gente não pode gerar mais problema na redação de uma lei, num cenário que já é, repito, pantanoso. A gente vai ter dificuldades em dizer quando tem dano, quando não tem dano - mas essa é uma dificuldade clara, que se repete, por exemplo, na LGPD. Mas a quem cabe uma eventual indenização ou a quem cabe efetivamente realizar uma prevenção e assumir o risco? Ninguém é obrigado a atuar no campo da inteligência artificial. Quem está disposto a inovar tem que estar disposto a errar e a aceitar eventualmente a sua responsabilização por violar direitos de outras pessoas. A gente não pode livrar as empresas do ônus, porque isso significa impor o ônus às pessoas. E num país desigual como o nosso a gente sabe quem são as pessoas que irão arcar com esse ônus. A gente não pode ser um país que vai estar disposto a mais uma vez imprimir mais peso para as pessoas que já são vulneráveis a título de promover o avanço. Espero que a gente não avance em direção a um abismo de mais diferença, de mais desigualdade.
15:14 R	E, por fim, a ausência de métodos de fiscalização e a inexigência de análise de impacto para o desenvolvimento e aplicação da inteligência artificial. A gente tem nenhuma previsão de método de fiscalização, como, por exemplo, a análise de impacto. Para a inteligência artificial é interessante que a norma exija essa análise para a regulação por parte do próprio Estado na atividade de criação de novas regras. Isso é absolutamente importante. A gente, enfim, tem uma experiência bastante conhecida de formular normas sem essa preocupação. Mas o desenvolvimento da tecnologia não vai ter essa mesma obrigação? O arranjo regulatório do PL 21, de 2020, não tem, repito, nenhum mecanismo para garantir a efetividade nem de fundamento, nem de princípio, nem de objetivo, nem de diretriz. Ele afirma estímulos, ele aponta o dever de mitigar e não traz nenhum mecanismo que vincule, não traz uma dinâmica para governança. Eu acho importante a gente debater qual o modelo de governança, como foi feito na segunda mesa da manhã, mas o PL não tem nenhum, o texto que a gente tem hoje não tem nenhum. Enfim, confio absolutamente na dedicação desta Comissão, que vai saber traduzir todos esses ricos aportes que foram apresentados neste dia e que serão certamente apresentados amanhã e também nos dias 12 e 13 de maio, além das contribuições que já começaram a chegar por escrito para a Comissão. Então, quero novamente agradecer por esse espaço, não só em nome do Iris, mas também da sociedade civil e também das pessoas negras, que precisam ter a sua voz reconhecida nesse tipo de debate que tanto nos afeta. Era isso. Agradeço imensamente a atenção e fico à disposição para as perguntas. A SRA. PRESIDENTE (Miriam Wimmer) - Muito obrigada, Professor Paulo Rená, pelas suas considerações muito objetivas. Eu conheço o Prof. Paulo já há bastante tempo e destaco aqui o papel que ele teve na construção do marco civil da internet. Então, para mim não foi surpresa ouvi-lo falar que precisamos definir direitos, deveres, responsabilidades, garantias, conceitos, porque foi um pouquinho o processo pelo qual nós passamos também na época do marco civil. Então, prezados, nós concluímos essa primeira etapa de exposições e temos aí ainda 25 minutinhos para debate. O que eu proponho é o seguinte: eu vou abrir aqui a palavra para que os membros da Comissão aqui presentes e que nos acompanham online possam fazer alguma pergunta, alguma consideração; em seguida, nós passaremos de volta aos painelistas, na mesma ordem em que ocorreram as apresentações; e a Profa. Clara e eu também agregaremos uma ou outra questão que tenha suscitado dúvidas ou controvérsias ou interesses ao longo da exposição.
15:18 R	Eu registro aqui a presença do Dr. Fabricio da Mota Alves, também presente aqui no Senado, além do Dr. Wederson, que já tinha sido anunciado. E eu pergunto inicialmente se o Dr. Fabricio ou o Dr. Wederson gostariam de fazer uso da palavra. O Dr. Fabricio já sinalizou que sim. Então, por favor, Dr. Fabricio, por gentileza. O SR. FABRICIO DA MOTA ALVES - Muito obrigado, Presidente Dra. Miriam. É um prazer estar aqui mais uma vez. Estive aqui de manhã, estou acompanhando aqui um pouquinho agora na parte da tarde. Eu queria só fazer um comentário direcionado um pouco à fala do que meu amigo Paulo Rená abordou em relação a um aspecto sobre a consulta pública. Ele sugeriu que fosse feita uma consulta pública e, de fato, eu já ouvi essa contribuição aqui ao longo do dia de hoje. E eu queria só contextualizar essa questão porque ela é muito importante nesse debate na medida em que a Comissão obviamente vai produzir um documento, uma minuta, como foi determinado pelo Presidente do Senado, uma sugestão de minuta de substitutivo e ela encerra o seu trabalho, ela encerra a sua atuação. E, obviamente, Rená, haverá o fluxo normal do processo legislativo em que esse documento será acolhido ou não pelo Relator, que é o Senador Eduardo Gomes. E ele tramitará, a partir dessa acolhida, como parte de seu relatório eventualmente. Evidentemente que há um esforço para que isso ocorra, na medida em que a Comissão foi fruto também do trabalho e do empenho do Senador Eduardo Gomes juntamente com o Presidente Pacheco. Então, na medida em que o fluxo normal tramitará dessa maneira, eu acredito, Rená, que teremos oportunidade de promover, senão essa consulta pública nos moldes em que o amigo sugeriu, mas ao menos uma abertura pública para interpelações que sejam necessárias, inclusive apresentação de emendas, que é o fluxo normal do processo legislativo, ou seja, a partir do momento em que o substitutivo vier a ser acolhido e tramitar como emenda ao substitutivo do relatório do Relator, haverá o escrutínio normal dos demais membros do Senado Federal, inclusive através da participação de emendas e outras sugestões que possam vir a chegar para o Senado Federal. Então, é só mesmo uma contribuição nesse sentido. Se o amigo quiser comentar algo a respeito, fica a critério aqui da Comissão. Mas é só no sentido de deixar claro que realmente haverá ainda o fluxo normal do processo legislativo em relação à matéria. Era isso. Muito obrigado. A SRA. PRESIDENTE (Miriam Wimmer) - Muito obrigada, Dr. Fabrício, pela recordação quanto ao procedimento que nós ainda teremos pela frente, as muitas discussões que ainda existirão ainda após a conclusão do trabalho da Comissão de Juristas. Eu passo, então, a palavra ao Dr. Wederson para que ele também faça os seus comentários ou perguntas aos painelistas. Obrigada. O SR. WEDERSON ADVINCULA SIQUEIRA - Boa tarde a todos. Eu confesso que eu vou me abster de fazer perguntas porque, com o dia de hoje, eu tenho muito mais dúvidas do que eu tinha antes de chegar aqui, tão produtivos foram os debates, não só desta tarde, mas também na parte da manhã. São debates muito profundos. É interessante o antagonismo de posições que algumas vezes estabelece uma regulamentação necessária mais efetiva, mais forte, outras dentro de uma possibilidade de deixar um pouco livre dentro de um campo que favoreça mais a inovação. São questionamentos interessantes que obviamente os Senadores debaterão também, e tentaremos trazer aqui a nossa contribuição. Mas eu gostaria de destacar, principalmente neste primeiro dia, sobre a participação - e foi colocado aqui - das mulheres, o quanto ela foi produtiva para este debate. E aqui eu lembro muito, quando a gente fala em inovação, em tecnologia, os primórdios que nós temos da inovação e da tecnologia surgem exatamente com as mulheres, principalmente com Lady Lovelace, que foi a primeira pessoa que imaginou um computador. Isso, lá no século XVIII. Ela teve essa capacidade de pensar o que seria o computador, e o que ele é hoje, ou seja, em termos de tecnologia.
15:22 R	As primeiras programadoras que nós tivemos no mundo, que trouxeram grande avanço para a tecnologia, foram as mulheres, não é? Infelizmente isso foi se perdendo ali, na década de 70, 80, mas parece que nós estamos retomando aí um rumo interessante, que foi tão exitoso na evolução tecnológica do mundo. São essas contribuições que gostaria de deixar. E parabenizo a todos pelo debate incrível mesmo. A SRA. PRESIDENTE (Miriam Wimmer) - Muito obrigada, Dr. Wederson, inclusive pela recordação quanto ao papel das mulheres neste debate. Hoje temos uma mesa bem feminina também, o que corrobora aí as impressões que o senhor trouxe. Eu queria passar a palavra para minha comoderadora, a Profa. Clara, para que ela colete também as perguntas dos nossos colegas que estão online. Em seguida, a gente passa então aos painelistas. Por favor, Profa. Clara. A SRA. PRESIDENTE (Clara Iglesias Keller. Por videoconferência.) - Muito obrigada, Dra. Miriam Wimmer. Bom, agora passamos então a coletar as perguntas de nossos colegas que estão online. Começo aqui, pela ordem das mãos levantadas, pelo Dr. Filipe Medon, por favor. O SR. FILIPE MEDON (Por videoconferência.) - Muitíssimo obrigado. Boa tarde a todos e a todas. Em primeiro lugar, gostaria de agradecer e parabenizar a todos pelas participações tão ricas. E sendo este painel sobre princípios, eu gostaria de propor uma questão aos participantes, até com maior enfoque ao Prof. Edson Prestes. A carta elaborada pela Unesco traz a equidade e a não discriminação como princípios fundamentais. E a literatura especializada tem apontado que uma das formas de enfrentamento da chamada discriminação algorítmica seria justamente a adoção de uma postura ativa na programação dos algoritmos, para reduzir ou para evitar ditas discriminações. E isso envolveria a diversidade em todo o desenvolvimento e ciclo de vida da inteligência artificial, como já aponta a nossa Resolução 332 do CNJ, por exemplo. Eu destaco também a defesa do Prof. Anupam Chander, da Universidade de Georgetown, sobre as chamadas ações afirmativas algorítmicas. Diante disso, a minha pergunta é no sentido de buscar saber dos participantes se essa poderia ser uma diretriz para o tema em linha de princípios. Agradeço mais uma vez e devolvo a palavra. A SRA. PRESIDENTE (Clara Iglesias Keller. Por videoconferência.) - Muito obrigada, Dr. Filipe. Passo para a pergunta da Dra. Estela Aranha. Por favor. A SRA. ESTELA ARANHA (Por videoconferência.) - Ainda não aprendi a usar o Zoom. Obrigada. E só para reforçar o comentário da importância da equidade de participação também na representação. Essa mesa é muito representativa, tanto na participação das mulheres quanto na questão de equidade também étnica, racial, enfim. Ressalto, até porque nós estamos fazendo uma mesa de princípios e fundamentos, como o Filipe já falou, a questão da igualdade, que é uma igualdade material que nós temos que buscar. E para buscar uma igualdade material, obviamente a gente também fala de reparação e medidas proativas. Eu vou tocar em outro ponto, principalmente a partir da fala da Profa. Dora. Quando a gente está falando de fundamentos e princípios, justamente de regulação, a gente está procurando de um lado mitigar, inclusive, extinguir as externalidades negativas, que têm os impactos que o mercado não pode absorver, com custo ou com outras formas, e também adequar os impactos de uma nova tecnologia, no caso, às diversas garantias que existem de direitos fundamentais principalmente, mas de garantias legais e da própria legislação, da adequação dela na legislação.
15:26 R	A Profa. Dora iniciou falando que, pela própria natureza dessa nova tecnologia... Ela colocou de forma muito definitiva, e é uma questão que eu queria trazer também para discussão. Tem o problema da opacidade. Ela colocou que não é possível trazer essa explicabilidade, não é possível trazer transparência, e isso a gente vai trabalhar só no trade-off. Se você tem uma vantagem para a sociedade, então nós temos de suportar essa característica do sistema. Mas, como a gente está falando justamente dos fundamentos e princípios e, obviamente, de garantias, direitos constitucionais e direitos fundamentais, é justamente isso o que eu queria trazer. Quando a gente está falando, por exemplo, de um processo de decisão automatizada, seja de qual modo das tecnologias, do que a gente chama de inteligência artificial hoje, mas daquelas que têm impacto na vida das pessoas em acesso a direitos, custos de consumo, termos de serviço, disponibilidade de serviços, enfim, de qualquer coisa que afete a vida das pessoas ou então que elas tenham equivalência de acesso a oportunidades, a efeitos legais, a efeitos materiais ou a algo significativo, a gente não pode, simplesmente, dizer que nós vamos ter o trade-off, porque a gente tem um problema de não cumprir garantias e direitos fundamentais e de diplomas legais internacionais e nacionais. Então, eu queria um pouco que os debatedores, como a gente está falando de fundamentos e princípios, discutissem um pouco isto: como a gente consegue fazer esse equilíbrio das dificuldades naturais do sistema, dos designs da engenharia, dos sistemas de inteligência artificial e de como a gente atende, obviamente, os direitos fundamentais que não podem ser simplesmente ignorados. Ou então, na verdade, quando a gente não consegue cumpri-los, a gente não deve permitir o desenvolvimento da tecnologia, como a Profa. Clara já colocou aqui na mesa. Mas eu queria que fossem desenvolvidas um pouco mais essas questões desses princípios de direito: transparência, explicabilidade, devido processo legal, equidade, igualdade material e não discriminação, que o Filipe colocou. A SRA. PRESIDENTE (Miriam Wimmer) - Muito obrigada a todos que formularam perguntas. Profa. Clara, já vou então tomar a palavra aqui para encaminhar a pergunta para a Profa. Dora. Eu queria aproveitar para agregar mais um elemento. Prestei muita atenção a sua fala, Profa. Dora. A senhora, claramente, salientou a dificuldade de identificação de responsabilidades nos sistemas de IA, inclusive falando que esses sistemas, muitas vezes, são treinados com várias bases de dados, com várias equipes, ao mesmo tempo salientando a importância de distinguir responsabilidades de desenvolvedores, de fornecedores, de usuário intermediário, de usuário final. E um dos temas que têm aparecido aqui recorrentemente nas falas, inclusive nas perguntas, diz respeito aos riscos de discriminação injusta, de viés. Eu sei que a senhora tem também debatido muito, academicamente, a questão da importância da diversidade, da importância de que diferentes perspectivas e visões de mundo sejam incorporadas na elaboração, no desenvolvimento e no uso dessas tecnologias. Então, eu queria lhe passar a palavra, Profa. Dora, agregando mais esse elemento. E aqui eu vou ser muito antipática, porque, para que possamos terminar pontualmente, eu vou dar a cada painelista apenas 3 minutinhos para responder, sem prejuízo de que possamos continuar esse debate depois, em outro ambiente. Então, por gentileza, Profa. Dora. Desde já agradeço.
15:30 R	A SRA. DORA KAUFMAN (Para expor. Por videoconferência.) - Vocês me fazem perguntas complexas e me dão três minutos para responder! Eu não tenho essa capacidade de síntese tão incrível, não é? Bom, a primeira coisa. Eu acho que os princípios gerais - eu já escrevi, já falei bastante sobre esses princípios gerais, que eles foram elaborados, a base deles, a origem tem a ver com o evento de 2017 -, eu acho que eles não dão conta. Eu acho que eles são a capa de todas as regulamentações, de tudo, mas eles não dão conta. Aí há toda uma discussão de por que eles não dão conta. Eles não têm aplicabilidade prática. Criar um marco regulatório para a inteligência artificial não é trivial. Se fosse, nós já teríamos vários no mundo, principalmente na Europa. Então, isso é uma constatação; é claro, há dificuldade. Ninguém ainda conseguiu. O que nós temos já aprovado e já em vigência é na China, mas a China não é, na minha visão, uma referência, porque ela tem um sistema de poder completamente diferente. Então, não dá para o Ocidente tomar como referência plenamente o que acontece na China. Essa questão da opacidade que a Estela levantou não é uma visão definitiva, mas, assim, a técnica que existe hoje, que permeia a maior parte das implementações hoje, que é essa técnica com que eu acho que todos vocês têm familiaridade, o chamado, em inglês, deep learning, tem essa característica. A tal da opacidade tem a ver com como é que os algoritmos estabelecem correlações nas bases de dados, mas, como eu disse antes, e isso eu gostaria que fosse considerado com relevância, quando foram citados os principais sistemas utilizados no mundo que causaram os maiores danos, a origem do problema não estava nessa opacidade intrínseca ao sistema. Estava nas decisões, nas variáveis que os desenvolvedores escolheram na elaboração do sistema e na base de dados. Então, são dois elementos que, até agora - a experiência do mercado, a experiência prática, real, tem mostrado -, são os dois originadores de grande parte dos problemas causados pelo sistema de IA, e esses dois são passíveis de auditoria. O meu ponto é assim: nós temos que entender as restrições da tecnologia e focar naquilo que a gente pode resolver. Isso já vai significar uma mitigação das penalidades negativas extremamente significativa. Eu acho que os três minutos já foram... Eu imagino - por isso que eu nem me preocupei em fazer uma crítica ao PL 21/2020, porque já fiz isso numa audiência da Câmara lá atrás -, eu acho, que a Comissão de Juristas vai propor elaborar um substitutivo muito mais completo, contemplando todas essas discussões que estão acontecendo desde julho do ano passado, quando foi feita a primeira audiência pública da Câmara para avaliar o PL 21 de 2020. Então, é esta a minha expectativa: que o Senado, começando pela Comissão de Juristas, traga soluções e propostas muito mais robustas. Para finalizar mesmo: é fundamental saber que já vai ser uma grande contribuição mitigar os riscos, que tem que levar em conta as restrições da própria tecnologia. Se não se entender quais são essas restrições, vai ser inócuo tentar. Não adianta a gente falar assim: temos que reduzir ou temos que eliminar todas as discriminações.
15:34 R	Também é importante pensar no que nós temos. Se a gente não tiver o sistema automatizado por inteligência artificial, de decisão automatizada, o que nós temos? Qual é a opção? Qual é a alternativa? São as decisões das pessoas, e as decisões das pessoas são absolutamente enviesadas. Então, essa comparação também é importante de se ter, senão fica parecendo que nós temos uma sociedade igualitária, sem desigualdade, sem preconceitos, sem pressupostos e, de repente, tem um sistema de decisão automatizada que vai subverter toda essa harmonia que nós vivemos em sociedade. Então, eu acho que qualquer regulamentação tem que focar no que é mais prioritário. Então, tem que ter foco, tem que ter uma perspectiva realista, e eu acho que tem que pensar também que não vamos, nem com esse marco civil, com esse suposto marco civil da inteligência artificial, nem com qualquer regulamentação, nem com qualquer diretriz, resolver os problemas da sociedade. Então, é isso. É só o marco civil da inteligência artificial que crie diretrizes, que crie procedimentos, que balize o que é... Cada agência setorial, cada agência reguladora e fiscalizadora setorial vai propor, vai desenvolver e vai implementar no seu setor específico. Eu acho que isso é muito importante e é uma diretriz. Eu imagino que a gente vá ter outras oportunidades de debater. Rogo que o documento que vai ser proposto pela Comissão de Juristas venha a público também e que a gente possa fazer uma crítica, fazer sugestões a esse documento. Em suma, que a gente fique... Eu espero que o Senado não dê caráter de urgência à finalização desse processo, como foi dado pela Câmara - para mim, não tem nenhuma justificativa esse caráter de urgência -, e que se tenha tempo, tempo para a sociedade discutir. O tempo para discussão é fundamental sob todos os pontos de vista. Primeiro, os legisladores precisam aprender sobre essa tecnologia tão complexa, senão é difícil... Como é que eu vou votar um instrumento de lei se eu não entendo de que trata a tecnologia? Então, é preciso tempo para essa familiarização dos próprios legisladores. E, segundo, quando você tem um amplo debate, ele já contribui em si, independentemente do resultado final. O simples fato de debater na sociedade já cria uma consciência, um conhecimento e uma consciência fundamental. Então, mais uma vez, obrigada. É isso. Boa sorte à Comissão! A expectativa é muito grande sobre o que ela... São 18 juristas. Eu lamentei desde o início - a Relatora Laura sabe disso, falei várias vezes com ela - o fato de que é uma comissão que só tem juristas. Isso contraria a interdisciplinaridade da temática da inteligência artificial, mas, pelo que eu fui informada, faz parte do regulamento do Senado, só podem ser juristas. Também me chamou atenção o fato de que, em geral, as comissões têm 180 dias de prazo e essa tem 120. Quer dizer, é um tema muito complexo, mas foi diminuído até o prazo padrão das Comissões do Senado. Espero que isso não comprometa a qualidade do resultado final da Comissão. Muitíssimo obrigada. Passei dos três minutos... A SRA. PRESIDENTE (Clara Iglesias Keller) - Muito obrigada, Profa. Dora Kaufmann, pelas suas contribuições ao longo de toda a nossa audiência.
15:38 R	Também estamos todos muito empenhados em aproveitar esse tempo, em partilhar também as nossas impressões e escutar todos os especialistas, como estamos fazendo aqui nessas audiências. Parto agora para a Profa. Gabrielle Sarlet. Professora, peço que fique à vontade para endereçar os comentários e as perguntas conforme desejado. Ainda, se possível, eu gostaria de colocar uma pergunta. Se possível, eu gostaria que a Professora aprofundasse um pouco mais o ponto que fez, já na parte final de sua fala, sobre o devido processo informacional como um pressuposto da regulação de inteligência artificial, o que pode ser interpretado como uma tarefa desafiadora, dado que as técnicas de IA operam com base na disponibilidade e tratamento de grandes volumes de dados, inclusive dados pessoais. Então, eu pediria que a Professora elaborasse um pouco mais sobre qual seria a forma de combinar essas exigências de como a tecnologia opera com os pressupostos teóricos de devido processo informacional e até com outros fundamentos da proteção de dados que já constam no LGPD que serão pertinentes para o caso, como o princípio da finalidade, por exemplo. Por favor, passo-lhe a palavra e peço que observemos o limite de tempo de 3 minutos dado o já adiantado da hora. A SRA. GABRIELLE BEZERRA SALES SARLET (Para expor. Por videoconferência.) - Obrigada. Obrigada a todos. Agradeço pela oportunidade de voltar a esse ponto, que, no meu sentir, pode ser um dos maiores desafios, em razão de tudo isso que foi dito e da questão da opacidade e, sobretudo, da forma como nós vamos não só interpretar como manejar esse que me parece ser o direito fundamental implícito à transparência. De fato, um dos pontos que exsurge dessa interpretação dos dias atuais que mais me leva a falar sobre separação informacional por um lado e, pelo outro, falar sobre o devido processo informacional é exatamente essa radiografia do Estado brasileiro, em que a esfera federal tem aderido, de maneira bastante efusiva e até, no meu entender, bastante irreflexiva, às técnicas de inteligência artificial. Notadamente, aqui todos os colegas disseram, de forma brilhante, que há diversos tipos de inteligência artificial e, portanto, em razão dessa grande paleta de tecnologias, as quais nós chamamos de inteligência artificial, até se reafirma a necessidade, talvez, de um acordo semântico principiológico, já no próprio substitutivo, para que nós possamos entender exatamente o que nós estamos chamando de inteligência artificial. No caso da esfera federal, o relatório da transparência digital mostrou que nós temos aí um cenário bastante preocupante. O primeiro cenário preocupante, ou a primeira faceta desse cenário, dá conta, como eu disse, dessa adesão, desse entusiasmo. Por outro lado, nós temos uma estratégia brasileira bastante frágil e ainda um tanto quanto entusiasta, mas sem mostrar, na completude, o que é exatamente essa estratégia, quais são os prazos, quais são os planos e a medida das políticas públicas a serem implantadas. Assim, o grande tema que chegou no radar foi exatamente a ideia de interoperabilidade como sendo o grande desafio. E me parece que, alinhada à interoperabilidade, que vai, sem dúvida alguma, trazer resultados, inclusive nocivos, para adensar a confusão nesse diálogo, há um problema maior, que é, primeiro, a questão da base de dados, que já foi falada por todos, a base de dados que é o retrato do Brasil, o retrato de desigualdade, o retrato de exclusão. O outro lado, que é a grande mitologia que se atrela à inteligência artificial, é que, como num passe de mágica, esse Brasil, essa radiografia, fosse aparecer sem vieses, em exclusão, sem desigualdade. Esse passe de mágica é mitológico.
15:42 R	Então, para que a gente possa entender que o Estado tem-se apoiado em inteligência artificial num Brasil desigual, num Brasil em que, graças à divisão digital e ao analfabetismo, nós temos que pensar também que esse mesmo Estado tem utilizado vários mecanismos, inclusive jurídicos, por meio de decretos, para se projetar como uma unidade monolítica informacional, ou seja, adensando, por meio da utilização da inteligência artificial, mecanismo de vigilância e mecanismo de controle, dando, portanto, ao cidadão, uma mínima condição de atuar como protagonista e, portanto, de atuar até mesmo nos direitos que já são consagrados, como o direito à informação, que é constitucionalmente assegurado, mas também com base no direito à explicação, que hoje foi trazido à tona exatamente em razão da promulgação da LGPD. Parece que o devido processo informacional, Profa. Clara, traz as ideias: 1) da necessidade de se mostrar essa assimetria de modo bem claro; 2) de mostrar a necessidade de se instrumentalizarem a ampla defesa e o contraditório; 3) de se revisitarem alguns pressupostos constitucionais, que, em face do que estamos vivendo na sociedade informacional, parecem não fazer sentido. Parece ser necessário ressuscitar o Darcy Ribeiro para falar um pouco sobre o óbvio, e o óbvio é que a Constituição, bem como o catálogo de direitos e garantias fundamentais, ocupem o lugar central. Então, em 15 segundos, deixo o meu cordial abraço. Como eu disse, na verdade, parece-me que essa ligação entre a responsabilidade e a esperança pode ser um caminho. Eu insisto porque, de fato, parece-me que, ao dialogar, alinhavando Bloch e Hans Jonas, talvez a gente tenha a oportunidade de grandes debates, debates que alinham não só a técnica, mas também a discursividade, que é ínsita e que nós somos provocados a produzir de modo a impactar positivamente a realidade brasileira. Muito obrigada. A SRA. PRESIDENTE (Miriam Wimmer) - Muito obrigada, Profa. Gabrielle. Eu peço desculpas pela antipatia da interrupção, mas, realmente, são muitos temas para discutir. Se pudéssemos, ficaríamos aqui a tarde toda, mas, infelizmente, não é possível Com isso, quero passar a palavra à Dra. Caroline Tauk. Além das questões já colocadas, eu acrescentaria um elemento para sua reflexão, se possível. Na sua fala, a senhora falou muito sobre a necessidade de aprimorar a redação do PL no que tange às ideias de transparência e explicabilidade, ao mesmo tempo em que destacou os desafios técnicos associados a essas ideias. Eu sei, por ser leitora dos seus textos, que a senhora também tem se debruçado sobre questão associadas à propriedade intelectual no campo da inteligência artificial. E a gente sabe, ao mesmo tempo, que, quando se discute propriedade intelectual, muitas vezes isso suscita uma tensão entre as demandas de proteção dos direitos dos detentores de propriedade intelectual e, de outro lado, as demandas sociais por abertura de dados, por abertura de códigos-fonte, de modo a propiciar justamente a transparência e a explicabilidade.
15:46 R	Então, sob a ótica do nosso debate de hoje, que busca justamente explorar fundamentos e princípios de uma futura regulação, a minha pergunta, acrescentando-a às demais, seria sobre qual seria o ponto de equilíbrio entre essas diferentes demandas, esses diferentes interesses. De que maneira a futura legislação sobre IA poderia tratar do tema? Muito obrigado, Dra. Caroline. Por gentileza. A SRA. CAROLINE TAUK (Por videoconferência.) - Obrigada pela pergunta, Profa. Miriam. Eu vou ser bem breve porque quero deixar o Prof. Paulo e o Prof. Prestes falarem. Sendo bem objetiva então: a gente está falando de um projeto de lei que vai ter aplicação prática imediata depois que ele for aprovado, e isso vai, obviamente, desembocar no Judiciário, porque a gente sabe que, no Brasil, mais cedo ou mais tarde, tudo se judicializa. Então a gente tem que tomar cuidado com cada uma das palavras que estão nessa lei, porque, se não conseguirmos ser bem objetivos, a gente vai gerar um problema que vai desembocar no Judiciário, e a gente não vai ter só 80 Senadores decidindo, a gente vai ter 18 mil juízes brasileiros decidindo a questão, e aí vai ser uma insegurança jurídica bastante evidente. Com relação a isso que você falou, esse equilíbrio entre o segredo industrial e comercial de um lado e, de outro, a necessidade de transparência: é um problema para o qual a gente não tem uma resposta ainda, mas o que a gente tem tentado fazer no Judiciário é, por mais que existam sistemas de inteligência artificial no Judiciário, que tenham os seus segredos, portanto que tenham os seus códigos-fonte em sigilo que não queiram ser abertos, uma vez que aquele sistema de inteligência artificial foi inserido no sistema público de Justiça, essa garantia ficaria um pouco mitigada, e aí eles teriam, como dever, fornecer à gente mais informações do que se eles estivessem aplicando aquele sistema na iniciativa privada, por exemplo. Então, ao menos dentro do serviço público, que é onde eu atuo e sobre o qual eu posso dar a minha opinião mais fundamentada, seria isto: iniciativa privada que faz parceria com o serviço público ou com o Judiciário em especial... O sigilo da fonte deles, o sigilo comercial, a fonte mesmo, o código-fonte, a gente os torna abertos para fins de controle, de transparência, de auditoria do Judiciário. É o equilíbrio que a gente encontrou por hora. A SRA. PRESIDENTE (Clara Iglesias Keller. Por videoconferência.) - Muito obrigada, Dra. Caroline Tauk, por todas contribuições aqui hoje e por ter se atido ao tempo nesta última rodada. Passo agora para o Prof. Edson Prestes, mais uma vez deixando-o à vontade para endereçar os comentários e as perguntas já feitas pelos outros membros da Comissão. E aproveito ainda para adicionar e propor que ele aborde o seguinte. Considerando que o senhor participou do processo de elaboração da recente recomendação da Unesco, que trata sobre ética de IA, e que também foi presidente do grupo que criou o padrão, publicado em 2021, sobre ética em sistemas de IA e robótica, eu gostaria de perguntar qual o papel desse tipo de recomendação para o processo sobre o qual esta Comissão se debruça agora e quais seriam algumas recomendações específicas que o Professor gostaria de destacar. Muito obrigada, Professor. Fique à vontade. O SR. EDSON PRESTES (Por videoconferência.) - Muito obrigado. Eu gostaria de começar discutindo equidade e não discriminação, como foi colocado pelo Filipe. Quando a gente fala sobre inteligência artificial, a gente fala do ponto de vista holístico. Isso significa que a discriminação não é apenas relacionada à saída de um sistema de inteligência artificial. A gente está pensando em equidade de administração, em acesso a toda a infraestrutura necessária para que as pessoas consigam usar a inteligência artificial, ter seus valores e seus dados representados, para que ninguém fique de fora. Então é algo muito mais abrangente. E isso está muito presente, muito forte, na recomendação sobre ética e inteligência artificial, ou seja, não é apenas pensando no sistema, mas é como chegar nesse sistema, porque, se nós não melhorarmos nossas escolas, as pessoas não vão conseguir ter acesso a esse novo universo; se nós não melhorarmos a nossa infraestrutura digital, por exemplo, o acesso à internet, elas não vão ter seus dados representados, e isso vai impactar nos sistemas que elas vão utilizar.
15:50 R	Quanto à recomendação sobre ética e inteligência artificial: a ideia dessa recomendação é que ela possa servir como bússola para que os países estanciem suas estratégias nacionais de inteligência artificial, assim como guiar a maneira como as empresas e a sociedade civil devem atuar nesse tema. Por isso é que ela teve um grupo de desenvolvimento bem amplo em termos de conhecimento e ela teve também um escrutínio muito amplo, já que ela recebeu comentários de diferentes partes do mundo. Então, é um documento muito rico nesse sentido, porque nós ouvimos todos. Nós fizemos reuniões aqui, na América Latina, no Caribe, na Europa, na Ásia, e assim por diante, e fomos coletando as diferentes nuances em termos de princípios, de valores, em termos de atuação do governo e da sociedade civil. Então, nesse sentido, eu recomendaria fortemente olhar essa recomendação com muito cuidado e pegar os elementos básicos ou os elementos como transparência, explicabilidade, que é algo que é fundamental para nós, já que alguns sistemas não são todos inteligência artificial, eles são opacos e, devido a essa opacidade, eles têm que ser tratados de uma forma diferente. Por exemplo, eu não posso simplesmente fazer um sistema para fazer uma cirurgia robótica baseado em deep learning. Como eu vou saber se a cirurgia final vai estar 100% correta? Ou, de repente, eu não vou ter um sistema baseado em deep learning que vai tomar uma decisão de vida ou morte, tem que ter humano na atuação desse sistema. E, nesse sentido, existe alguns avanços na sociedade de que eu faço parte e, por sinal, o padrão que eu presidi... Nós publicamos muito recentemente, foi no final do ano passado, um padrão técnico sobre transparências e sistemas autônomos. Transparência não é somente pegar o código e fornecer aos auditores. Existem diferentes níveis de transparência e existem transparências, por exemplo, do nível zero e do cinco, e existem mecanismos para diferentes tipos de audiência. Por exemplo, a informação que você vai coletar e que vai ser fornecida por um auditor vai ser diferente de um usuário final, vai ser diferente de uma pessoa que está fazendo depuração no sistema. Então, esses diferentes níveis foram discutidos dentro de um grupo internacional de padronização e um padrão foi estabelecido. E aí vem aquilo que eu havia comentado sobre utilização de normas técnicas. Você poderia, por exemplo, ter um sistema de inteligência artificial onde tem um certificado de que ele obedece determinados padrões e que ele está seguindo o nível zero, um, dois, três, quatro ou cinco. E, baseado nesses níveis, você pode dizer que esse tipo de sistema não pode atuar nesse tipo de modalidade, nessa situação crítica, nessa situação que não é tão crítica, e assim por diante. Em termos da discussão sobre a nossa sociedade ser enviesada e o sistema ser enviesado, pode-se pensar assim: "Ah, não vou conseguir eliminar o viés do sistema porque a sociedade está enviesada.". A gente tem que pensar também o seguinte: você consegue pegar aquela pessoa que discriminou outra e perguntar por que ela não concedeu determinado crédito ou por que ela julgou aquela pessoa A como sendo mais criminosa do que uma pessoa B, coisas que você não consegue fazer com o sistema. São coisas diferentes, observam? Você consegue questionar, você consegue exigir a transparência, o que é diferente num sistema de inteligência artificial. E como é que se faz esse desenviesamento? Tem técnicas matemáticas para fazer isso. Em termos de como atender os direitos fundamentais, isso é um ponto crítico que, por sinal, está agora em debate no Alto Comissariado das Nações Unidas para os Direitos Humanos. Nós conseguimos, no grupo de que eu participo, fazer com que eles criem uma nova visão sobre direitos humanos no contexto digital. Esta interpretação é muito importante: como é que a gente mapeia os princípios de direitos humanos no ambiente digital? Esse gap não é muito claro, e é por isso que a gente precisa ter esse ambiente multidisciplinar.
15:54 R	Acho que o meu tempo terminou. Muito obrigado. A SRA. PRESIDENTE (Miriam Wimmer) - Muito obrigada, Prof. Edson pelas suas contribuições. Passamos, então, ao nosso último painelista, o Prof. Paulo Rená. Eu queria pedir que ele, além de tocar nos temas que já foram aqui suscitados, abordasse um assunto que ele mencionou na sua fala, que é o tema da discriminação e do racismo algorítmico. Então, a minha questão seria considerando os fundamentos da regulação de IA e, mais especificamente, essas exigências de não discriminação e igualdade social, que são particularmente relevantes aqui no nosso país. Na sua opinião, Prof. Paulo, quais seriam os mecanismos ou os aspectos da operação de IA que precisariam ser contemplados no texto da lei para refletir essas preocupações? Por gentileza, Prof. Paulo, três minutinhos. O SR. PAULO RENÁ DA SILVA SANTARÉM (Para expor. Por videoconferência.) - Obrigado, Miriam. Bom, eu quero destacar, até em diálogo com o Prof. Edson na questão da possibilidade de uma explicabilidade dos limites e também com o que falou a Dra. Tainá Junquilho, que é importante que a gente afirme a explicabilidade. O limite em que ela vai ser aplicada, obviamente, a gente vai discutir depois, tanto quanto a gente afirma a igualdade, e depois a gente discute se a gente vai ter cotas, se a gente vai ter reserva de vagas etc. Mas, se a gente não afirma categoricamente que, mais do que igualdade formal, a gente precisa de igualdade material, a gente fica andando em círculos, reproduzindo diversas formas de exclusão. Então, por exemplo, a garantia do direito à revisão humana de decisões inteiramente automatizadas - acabou ficando a LGPD sem essa garantia - e outra preocupação minha olhando para o 21, de 2020: não tem nenhum limite para a aplicação de inteligência artificial no âmbito da segurança pública. A gente está no debate da LGPD penal e não tem nada no texto que fale que, para a segurança pública, tem que ter qualquer tipo de salvaguarda. A gente tem uma movimentação social pelo banimento do uso de reconhecimento facial na segurança pública, de maneira geral, muito por conta de esse tipo tecnologia ter se mostrado inafastavelmente racista. O Twitter não consegue explicar, de fato, porque que o crop da imagem dele retirava o Obama e deixava até um cachorro branco. Se ele não consegue explicar, ele tem que não oferecer essa ferramenta! É esta a ideia da explicabilidade: se você não consegue explicar porque é que a sua ferramenta comete uma discriminação, ela não pode ser oferecida para o público.
15:58 R	Então, uma proposta que a gente ainda vai amadurecer é, a partir do compromisso do Brasil, não só da Constituição da República e da Lei 7.716, de 1989... Mas, repito, o Brasil sancionou a Convenção Interamericana firmada na Guatemala em 2013 - assinou agora, em 2022, o decreto -, e lá tem os arts. 1º, 3º, 4º e 7º, que definem o que é discriminação racial, o que é discriminação racial indireta, o que é racismo, o que é intolerância. E a gente tem que assumir o compromisso de ser antirracistas, porque, senão, vai se reproduzir o racismo que vai estar nos bancos de dados. Se a gente for pegar bancos de dados de prisão, a gente vai ter racismo. Se for reproduzir esse dado para poder dizer onde tem que ter mais policiamento, a gente vai, invariavelmente, reproduzir o racismo. Então, a proposta que a gente vai apresentar é a ideia de uma proteção contra o racismo, a discriminação racial e as intolerâncias correlatas. Em que termos? Nos termos da convenção: prevenir, eliminar, proibir e punir o uso de sistemas para fins de distinção, exclusão, restrição ou preferência, inclusive com base em raça, cor, ascendência, origem nacional ou étnica que tenha o propósito ou o efeito de anular ou restringir o reconhecimento público ou o exercício em condições de igualdade de qualquer direito individual ou coletivo. É uma abstração, mas, de novo, sendo afirmada, a gente começa a já ter em que limite ela se aplica. E o último ponto é a ideia de incluir, entre os princípios da lei, o antirracismo, expressamente, como obrigação de que sejam identificados e eliminados os vieses que ocasionem desigualdades raciais por qualquer vínculo causal entre o fenótipo e o genótipo de um grupo ou de uma pessoa com o seu traço intelectual, cultural, seu comportamento ou sua personalidade. Um compromisso desse, não afirmado, vira discussão de "se"; com um compromisso desse afirmado, a gente avança para o "como". E acho que a gente já passou da fase de... É sempre bom debater filosoficamente quais são as questões, mas, no processo legislativo, produzir um PL como esse do 21/2020 é desesperador. Mas, de novo, reforço minha plena confiança no trabalho desta Comissão, que, certamente, vai contribuir enormemente não só pelas audiências, mas também pela qualidade de seus integrantes. Muito obrigado, Miriam, muito obrigado, Clara e demais colegas de mesa. A SRA. PRESIDENTE (Clara Iglesias Keller. Por videoconferência.) - Muito obrigada, Prof. Paulo Rená e muito obrigada a todos os contribuintes da nossa audiência de hoje. Foi um prazer escutá-los, assim como suas valiosas contribuições. Agradeço a presença dos meus colegas da Comissão de Juristas que acompanharam este dia de trabalho, em especial a minha co-moderadora, Dra. Miriam Wimmer, com quem é sempre um prazer trabalhar. Boa noite a todos! Muito obrigada. A SRA. PRESIDENTE (Miriam Wimmer) - Boa tarde, pessoal! Com isso, declaramos encerrada a primeira audiência pública da Comissão de Juristas lembrando que amanhã tem mais. Obrigada a todos. Boa tarde! (Iniciada às 9 horas e 12 minutos, a reunião é encerrada às 16 horas e 03 minutos.)

Atividade Legislativa

Notas Taquigráficas

28/04/2022 - 2ª - Comissão de Juristas responsável por subsidiar elaboração de substitutivo sobre inteligência artificial no Brasil