13/05/2022 - 5ª - Comissão de Juristas responsável por subsidiar elaboração de substitutivo sobre inteligência artificial no Brasil

Horário	Texto com revisão

09:04 R	O SR. DANILO CESAR MAGANHOTO DONEDA - Havendo número regimental, declaro aberta a 5ª Reunião da Comissão Temporária Interna destinada a subsidiar a elaboração de minuta de substitutivo para instruir a apreciação dos Projetos de Lei nº 5.051, de 2019; nº 21, de 2020; nº 872, de 2021, que têm como objetivo estabelecer princípios, regras, diretrizes e fundamentos para regular o desenvolvimento e a aplicação da inteligência artificial no Brasil. A presente reunião destina-se à realização de audiências públicas e será realizada da seguinte maneira: das 9h às 10h15, Painel 10, sobre regimes de responsabilidade civil, moderado por Filipe Medon e Danilo Doneda. Convidados: Anderson Schreiber, Professor da Universidade do Estado do Rio de Janeiro; Caitlin Mulholland, da Pontifícia Universidade Católica do Rio de Janeiro; Nelson Rosenvald, do Instituto Brasileiro de Estudos de Responsabilidade Civil (Iberc); e Gisela Sampaio, do BMA Advogados. Cada um dos convidados terá o tempo regimental de 15 minutos. Após, teremos o Painel 11, das 10h15 até 12h30, sobre arranjos institucionais de fiscalização: comando e controle, regulação responsiva e o debate sobre órgão regulador. A moderação será de Fabricio da Mota Alves, que está aqui ao meu lado, e Frederico Quadros Os convidados são: Prof. Fernando Filgueiras, da Universidade Federal de Minas Gerais (UFMG); Andriei Gutierrez, da Câmara Brasileira da Economia Digital (camara-e.net); Raquel Lima Saraiva, do Instituto de Pesquisa em Direito e Tecnologia do Recife (IP.rec); Rafael Zanatta da Associação Data Privacy Brasil de Pesquisa; Rony Vainzof, da Fecomercio; e Paloma Mendes, da Associação Brasileira de Governança Pública de Dados Pessoais. Por fim, encerrando nossa série de audiências, o Painel 12, que será realizado após o almoço, das 14h às 15h45, sobre instrumentos regulatórios para inovação: códigos éticos e melhores práticas; avaliações de impacto; sandboxes e outros. O moderador será Georges Abboud. Os convidados serão: Jackline de Souza Conca, do Ministério da Economia; Marcela Mattiuzzo, do Instituto Brasileiro de Estudos de Concorrência, Consumo e Comércio internacional (Ibrac); Ricardo Campos, da Universidade de Frankfurt e Opice Blum, Bruno Vainzof Advogados; Norberto Andrade, da Meta; Bruno Magrani, da Zetta; e Carlos Affonso, da Universidade Estadual do Rio de Janeiro (Uerj) e do Instituto de Tecnologia e Sociedade (ITS/RIO). Agora, passo à moderação do Painel 10, que como havia mencionado, trata justamente de um dos temas mais comentados, presente inclusive incidentalmente em vários os outros painéis, que são os regimes de responsabilidade civil para inteligência artificial. A moderação será feita por mim e pelo meu colega Filipe Medon, a quem passo a palavra para uma breve introdução. Por favor, Filipe. O SR. FILIPE MEDON (Por videoconferência.) - Bom dia a todos e a todas. Saúdo todos na pessoa do nosso Presidente, Ministro Cueva, e do meu amigo Danilo Doneda, com quem tenho a honra de dividir esse painel na manhã de hoje. Cumprimento também os ilustres palestrantes que falarão nesta manhã, dando prosseguimento a essas audiências públicas que têm sido tão ricas. Pois bem, o tema que nos cabe hoje é de particular relevância. Como pudemos notar ao longo das mesas que nos antecederam, como o Prof. Danilo nos lembra, o tema da responsabilidade civil sempre acabou sendo lembrado de alguma forma. Ainda que não fosse o objeto direto das mesas, a discussão veio à tona dada a sua importância. E hoje nós temos a oportunidade de ouvir especialistas de renome sobre a matéria que tanto nos inquieta. E precisamos tomar o cuidado com os riscos sedutores que o tema apresenta evitando os caminhos mais fáceis.
09:08 R	A verdadeira busca aqui, o norte deve ser a reparação integral das vítimas, porque é este o grande escopo das normas de responsabilidade civil na atualidade. Por certo, precisamos conjugar isso com o necessário e salutar desenvolvimento científico, tecnológico e econômico, que não pode ser deixado de lado, mas o grande foco, por comando constitucional, deve ser a reparação integral das vítimas. Em termos técnicos, precisamos nos questionar sobre a real necessidade de legislarmos nesta seara da responsabilidade civil no Brasil diante da sua interface com a inteligência artificial, sem nos esquecermos de que há muitas inteligências artificiais, o que acarreta riscos distintos e, consequentemente, soluções jurídicas distintas. O desafio é grande. Por isso, devolvo, sem mais delongas, a palavra ao Prof. Danilo, que modera presencialmente os trabalhos deste primeiro painel. O SR. DANILO CESAR MAGANHOTO DONEDA - Muito obrigado, Filipe, pela introdução, contextualização, é sempre bom lembrar que o tema dos riscos na regulação da inteligência artificial tem sido chamado à baila em várias sessões e em várias discussões e está presente, de maneira bastante concreta, em várias propostas que vem se articulando a nível internacional e também nacional. A sua necessária ligação ou não com o regime de responsabilidade civil é tema que ainda necessita, entende a Comissão, de maior aprofundamento, dada a disponibilidade e muitas vezes a pertinência de que outros instrumentos de mitigação e de contemplação do fenômeno do risco sejam também igualmente contemplados com o fim justamente de fornecer uma solução compatível com a tutela e garantia de direitos na sociedade, mediante a introdução cada vez mais aguda de instituições e ferramentas de inteligência artificial. Com base nisso, temos o prazer de abrir o painel, que me permito dizer estelar, de responsabilidade civil chamando, em primeiro lugar, o colega e amigo Anderson Schreiber, da Uerj, para falar pelo tempo de 15 minutos. Por favor, Anderson, a palavra é sua. O SR. ANDERSON SCHREIBER (Por videoconferência.) - Obrigado, Prof. Danilo. A minha fala vai ser muito breve e objetiva. Eu quero, em primeiro lugar, elogiar a iniciativa dessas audiências; em segundo lugar, quero entrar diretamente no tema. O objetivo da minha fala é tentar explicar por que não faz sentido que um projeto de lei sobre inteligência artificial contenha um dispositivo que prevê que as normas sobre responsabilidade civil dos agentes que atuam no desenvolvimento e operação dos sistemas de inteligência artificial devam se pautar pela responsabilidade civil subjetiva. Em primeiro lugar, não faz muito sentido que uma lei ordinária crie uma norma dizendo que há preferência por um certo regime de responsabilidade civil, porque uma lei ordinária posterior naturalmente teria que especificar, concretizar essa preferência - isso tornaria o dispositivo anterior totalmente desnecessário. Segundo, se houvesse alguma preferência dentro do ordenamento brasileiro, não há nenhuma dúvida, de acordo com a nossa doutrina, com a nossa jurisprudência, inclusive o Código Civil, de que a preferência seria pela responsabilidade civil objetiva, que é o regime de responsabilidade civil que tem se aplicado a atividades que apresentam risco superior ao risco ordinário - o 927, parágrafo único, do Código Civil é expresso nesse sentido. A legislação consumerista também adota o regime de responsabilidade objetiva, embora com algumas peculiaridades, de maneira que a introdução de uma nova tecnologia, como é a inteligência artificial, sem dúvida alguma, se enquadraria dentro desse conjunto de hipóteses e atrairia, dentro do nosso sistema jurídico, a responsabilidade civil objetiva.
09:12 R	E, por fim - aqui vai uma opinião muito pessoal -, parece-me que eleger um regime único para todos os usos de inteligência artificial é um equívoco, seria mais ou menos a mesma coisa que a gente produzir uma norma que dissesse que todos os usos das técnicas da medicina seriam regidos por responsabilidade civil subjetiva ou objetiva ou por algum outro regime híbrido que pudesse ser concebido. A inteligência artificial é um instrumento; ainda que dotado de altos graus de autonomia, é um instrumento que atende a determinadas atividades, e são essas atividades e o modo como essas atividades se organizam que geram ou não geram danos e, portanto, atraem ou não atraem um determinado regime de responsabilidade civil. O Código de Defesa do Consumidor, por exemplo, ensinou muito a comunidade jurídica nacional ao distinguir a situação do fornecedor da situação do profissional liberal, por exemplo, que, às vezes, utilizando-se do mesmo tipo de técnica, acabam sendo enquadrados em regimes de responsabilidade civil diferenciados. Então, não acho que seja produtivo a gente pensar em um regime único ou na eleição legislativa de um regime único de responsabilidade civil para a inteligência artificial sem diferenciar essas hipóteses, que, como todos nós sabemos, são tão ricas, variadas, múltiplas. Acho que é preciso muita cautela e muita prudência na eleição desses regimes. Por fim, o fato de que a inteligência artificial é utilizada para determinadas atividades faz com que, no fundo, nosso ordenamento já contenha normas que podem ser aplicadas aos usos da inteligência artificial. O advento da inteligência artificial por si só não produz um gap, uma omissão, um buraco negro de aplicação da responsabilidade civil. As normas gerais de responsabilidade civil já encontradas no nosso sistema jurídico dão conta, a princípio, de novos usos que começam a ser introduzidos. É evidente que é interessante que a gente tenha norma detalhando um pouco mais isso, mas sempre a partir das hipóteses de utilização da inteligência artificial. A gente tem que, talvez, evitar este risco, esta tentação que o Filipe mencionou na sua apresentação, a de querermos agora, de repente, regular de todas as formas a inteligência artificial para torná-la mais segura. A responsabilidade civil é um tema que depende ainda, a meu ver, de alguma reflexão. Com isso, encerro minha participação antes do tempo estimado. Muito obrigado a todos. O SR. FILIPE MEDON (Por videoconferência.) - Muito obrigado, Prof. Anderson, pela sua fala tão rica, técnica, como de costume, e objetiva. Aproveito para registrar a presença virtual dos seguintes membros da nossa Comissão: Profa. Ana Frazão, Bruno Bioni, Clara Keller, Estela Aranha e, agora, também Frederico D'Almeida. Dito isso, passo a palavra para a Profa. Caitlin Mulholland, da Pontifícia Universidade Católica do Rio de Janeiro, pelo tempo regimental de até 15 minutos.
09:16 R	A SRA. CAITLIN MULHOLLAND (Por videoconferência.) - Obrigada, Filipe. Bom dia a todas e todos! Eu teria uma apresentação para compartilhar com vocês, mas eu não tenho acesso ao aplicativo de compartilhamento de tela. Então eu vou, aproveitando aqui o pouco tempo que tenho para me manifestar, dispensar essa apresentação e partir imediatamente para o nosso assunto do dia. O SR. DANILO CESAR MAGANHOTO DONEDA - Caitlin, desculpa, você está com acesso liberado já, me disseram. A SRA. CAITLIN MULHOLLAND (Por videoconferência.) - O.k. Então, vamos lá! (Pausa.) O bom de falar após o Prof. Anderson Schreiber é que nós temos uma visão muito semelhante no que diz respeito à responsabilidade civil e inteligência artificial. Então, muito possivelmente eu vou complementar a fala do Prof. Anderson com algumas informações que podem servir de subsídio para a adoção de um sistema de responsabilidade civil no que tange aos danos ocasionados pela inteligência artificial que tenham como regra geral a responsabilidade civil objetiva, invertendo, muito entre aspas, aquilo que usualmente a doutrina mais tradicional reconhece como regra da responsabilidade subjetiva como sendo aquela que preferencialmente seria aplicada. Então, a gente tem que responder três perguntas fundamentais quando nós estamos diante da aplicação de sistemas de inteligência artificial para que a gente alcance efetivamente o reconhecimento do regime que seria ou que será aplicado caso os danos se concretizem numa determinada sociedade. A primeira pergunta é justamente identificar que inteligência artificial a gente está mencionando. Aqui na Comissão já foi debatido em outras ocasiões qual seria o conceito ou o conteúdo dessa inteligência artificial. E, obviamente, esses sistemas diferenciados vão gerar também formas de olhar para a responsabilidade civil de maneira diversa. A segunda pergunta é: a que danos nós estamos nos referindo? Essa qualificação do dano tem uma relevância prática evidente, considerando principalmente o fato de que o sistema de inteligência artificial trabalha com meio de uso massivo de dados. E, uma vez ocasionado um dano decorrente da aplicação de um sistema de IA, esse dano terá uma natureza evidentemente coletiva. E a terceira pergunta, que é justamente aquela a que se refere este painel, é: qual o regime aplicável a esse tipo de responsabilidade civil? Então, respondendo a primeira pergunta, nós precisamos identificar uma tipologia para a inteligência artificial justamente porque cada um dos tipos de aplicação de inteligência artificial que nós já reconhecemos vai gerar como consequência o reconhecimento também de determinadas características. Hoje, nós temos uma classificação muito aberta. Essa classificação é uma classificação de localização mais do que propriamente um aprofundamento conceitual, em que há uma distinção entre o que nós conhecemos como IA fraca ou limitada e a forte, que eu vou chamar aqui de criativa. A IA forte, criativa, inclusive, não é reconhecida como sendo ainda aplicada na nossa sociedade. Obviamente, nós não podemos desconsiderar que o avanço tecnológico pode levar ao desenvolvimento de inteligências artificiais fortes, mas, a princípio, nós estamos diante de uma realidade que impõe ou em que se verifica a aplicação dessa inteligência artificial fraca.
09:20 R	A distinção entre as duas basicamente diz respeito à capacidade de tomada de decisões com base em determinados insumos. A inteligência artificial fraca vai ser, em tese, caracterizada por uma transparência e capacidade de explicabilidade, ou seja, é possível, na aplicação desses sistemas, que se reconheça a forma como a tomada de decisão na química foi a constituída, permitindo, portanto, aí uma transparência ou relativa transparência em relação à aplicação desse sistema; enquanto a inteligência artificial forte ou criativa vai se caracterizar por uma opacidade e por tomada de decisões erráticas, portanto com uma potencialidade ou probabilidade de desconhecimento da metodologia ou dos critérios que foram utilizados para a tomada de decisão. Ainda em relação ao conceito de inteligência artificial, nós temos ali uma ideia, um componente da inteligência artificial que diz respeito a sua autonomia ou a sua capacidade de aprendizado. E aqui nós temos duas situações ou dois conceitos: a inteligência artificial é supervisionada ou ela toma decisões de forma relativamente independente, ou seja, haveria uma dependência de uma supervisão humana para a tomada de decisão; e a inteligência artificial não supervisionada, que dependeria de forma absoluta e única da própria máquina, ou seja, sem que houvesse aí uma interferência humana. Por que eu estou me referindo a essa classificação? Porque cada uma dessas identificações conceituais da inteligência artificial pode levar ao reconhecimento de determinados riscos diversos que vão eventualmente modular a forma através da qual o regime de responsabilidade civil será identificado. Segunda pergunta: quais são os danos? E aqui obviamente eu trago, exemplificando situações em que já existe a verificação de danos cometidos ou ocasionados em nossa sociedade, dentre eles, danos principalmente de natureza extrapatrimonial, em que nós podemos identificar a aplicação de sistemas que determinam discriminações decorrentes de perfilamentos baseados em sistemas, em base de dados que são mal formuladas ou mal alimentadas, assim como por meio de fórmulas ou algoritmos que geram decisões enviesadas. Temos também exemplos de danos físicos que podem ocorrer principalmente com a aplicação dessas tecnologias em IOT, em instrumentos conectados à internet. A gente tem o exemplo clássico dos carros autônomos, que, imagino eu, está longe de ser uma realidade no nosso país, mas que nós devemos considerar. E, como mencionei no início da minha fala, evidentemente sem desconsiderar a possibilidade de uma atuação individual daquele que sofre um dano decorrente da aplicação do sistema de inteligência artificial, os danos por conta da característica específica dos insumos que são utilizados pela inteligência artificial, que são uma base de dados que nós vamos conceituar como big data, têm uma característica primordialmente coletiva, atingindo os interesses da coletividade da sociedade de uma forma geral. Essa conceituação dos danos traz uma consequência direta na identificação do regime da responsabilidade civil justamente porque hoje, no ordenamento jurídico brasileiro, nós identificamos que as hipóteses em que há danos coletivos concretizados são hipóteses que impõem a responsabilidade civil objetiva.
09:24 R	Dito isso, é importante a gente retomar uma ideia, o conteúdo ou a fundamentação da responsabilidade civil contemporânea hoje, que é baseada principalmente em três princípios fundamentais: injustiça do dano, solidariedade social e os princípios - e aqui eu coloquei no mesmo conteúdo, mas, evidentemente, os conceitos são distintos - da prevenção e da precaução. Todos esses princípios servem como elementos ou fundamentos para alimentar ou proporcionar ao desenvolvedor de sistemas de inteligência artificial uma gestão dos riscos adequada no que diz respeito ao desenvolvimento e à aplicação de sistemas de inteligência artificial. Não vou mencionar, não vou entrar em minúcias a respeito desses três princípios, mas o que eu posso dizer, desde já, é que esses princípios não só são reconhecidos por meio de legislações específicas já em vigor como também são decorrentes do reconhecimento, na Constituição Federal brasileira, da necessidade de atendimento a eles. Em relação, portanto, à gestão desses riscos, é importante, se nós adotarmos, se nós advogarmos por uma modulação do regime de responsabilidade civil que será aplicado, identificar a classificação habitual que está sendo adotada na União Europeia relacionada à classificação dos riscos, que vão desde riscos proibidos ou atividades que seriam proibidas de aplicação dos sistemas de inteligência artificial até aquelas situações em que existe um risco mínimo decorrente da aplicação desses sistemas. A avaliação desses riscos vai se dar principalmente por meio - ou pelo menos eu considero - de dois requisitos. Primeiro, a avaliação da probabilidade de um dano se concretizar, tendo em vista um risco já conhecido. Se o risco for desconhecido, nós teremos aí a aplicação do princípio da precaução, e, portanto, o risco desconhecido passa a ser um risco alto ou até mesmo proibido. O segundo requisito seria a gravidade dos seus efeitos, ou seja, uma vez identificada, a priori, a capacidade danosa, seja em relação à qualidade do dano, seja em relação à quantidade dos danos, ou seja, a capacidade de atingir um número expressivo de pessoas, nós teríamos aí a possibilidade de classificar um determinado risco como sendo ou alto ou proibido. Mas por que eu me refiro, mais uma vez, à classificação desses riscos? Porque, justamente, através dessa avaliação dos riscos, e, sem dúvida nenhuma, em acordo com o que o Prof. Anderson Schreiber já identificou, nós teríamos...
09:28 R	A inteligência artificial, de fato, é uma aplicação, uma tecnologia que impõe, por sua natureza, habitualmente, na sua aplicação, riscos. Portanto, através da análise desse risco - a gente concebe esses riscos -, a gente consegue identificar, via de regra ou regra geral, a responsabilidade objetiva como sendo a preferencial a ser aplicada. Esse termo "preferencial", inclusive, como o Prof. Anderson já mencionou, deve ser evitado. Ou bem nós temos um sistema que adota um determinado regime e outro, excepcionalmente, ou bem nós já utilizamos legislativamente, ou bem nós já utilizamos os sistemas, as regras de responsabilidade civil já identificadas no nosso ordenamento, que é o posicionamento que eu acho o mais adequado. Se nós pensarmos que a responsabilidade subjetiva seria a preferencial, como previsto no projeto de lei de forma bastante equivocada, nós traríamos um problema evidente na responsabilidade civil, que é o fato de que a vítima do dano seria obrigada a identificar a conduta culposa, ainda que objetivamente considerada, do agente desenvolvedor da inteligência artificial, algo que seria demasiadamente gravoso ou pesado para essa vítima, porque geralmente estaríamos diante de uma dificuldade decorrente do ônus da prova, que ficará a cargo da vítima, e também de uma eventual opacidade do sistema, que não permitiria aí a identificação da motivação ou da fundamentação dos elementos que geraram aquele determinado dano. Em relação à responsabilidade objetiva, faz mais sentido a sua adoção, justamente porque nós estamos diante de uma responsabilidade, de uma atividade que gera riscos ou uma atividade que é potencialmente perigosa. E essa responsabilidade objetiva já vem identificada como cláusula geral no Código Civil, no art. 927, parágrafo único, portanto, já teríamos aí uma norma a ser aplicada. Alternativas que a gente teria a essa responsabilidade civil. Nós temos três já reconhecidas: seguro obrigatório, fundo de compensação e um eventual patrimônio de afetação, sendo que seguro obrigatório é uma solução já aventada na proposta de regulação europeia e que eu considero bastante adequada, levando em conta os riscos decorrentes e previamente identificados na aplicação da inteligência artificial. Pois bem, já terminando aqui os meus 15 minutos, a minha opinião é no sentido de considerar a responsabilidade civil da inteligência artificial com base na regra do art. 927, parágrafo único, atividade de risco, permitindo aí, eventualmente, a adoção de uma responsabilidade civil subjetiva, tal como nós temos no Código de Defesa do Consumidor. Muito obrigada, Prof. Filipe, Prof. Danilo. O SR. DANILO CESAR MAGANHOTO DONEDA - Muito obrigado, Caitlin. Passo já a palavra para o Prof. Nelson Rosenvald, do Instituto Brasileiro de Estudos de Responsabilidade Civil (Iberc), instituto que, semana que vem, promove o congresso nacional, que certamente virá a tratar desse e de outros temas. Por favor, Prof. Nelson. O SR. NELSON ROSENVALD (Por videoconferência.) - Bom dia. Danilo, me ouve bem? O SR. DANILO CESAR MAGANHOTO DONEDA - Muito bem. O SR. NELSON ROSENVALD (Por videoconferência.) - Ótimo. Bom dia. Obrigado, Prof. Danilo; obrigado, Prof. Filipe, pela oportunidade. De fato, as falas anteriores, dos Profs. Anderson e Caitlin, facilitam muito minha vida aqui hoje. Deixe-me botar aqui meu acusador de tempo para facilitar.
09:32 R	A responsabilidade civil é e será o repositório de todas as disfuncionalidades do ordenamento jurídico, seja quando há uma violação ao contrato, uma infração à propriedade ou, mais recentemente, a direitos da personalidade, seja na experiência recente com a LGPD, seja, hoje, com a inteligência artificial, que é o nosso tema, porque a grande questão aqui, em sede de responsabilidade civil, é pesar a interação entre inovação de um lado e regulação do outro, um ecossistema no qual o mote é a incerteza. E o PL 2.120, no art. 6º, inciso VI, quando traz a responsabilidade subjetiva para os agentes que atuam nessa cadeia, infelizmente trouxe uma grande simplificação que contradiz a própria complexidade do que se quer regular, porque, como bem dito aqui antes, as tecnologias digitais emergentes são marcadas pela imprevisibilidade, pela opacidade. Muitas vezes o aprendizado se dá sem o controle humano direto, ou seja, os algoritmos são contextualizados, eles demandam soluções específicas para problemas específicos. Então, em matéria de responsabilidade civil não pode haver um "a priori", porque tudo depende, como o Prof. Filipe Medon já colocou em outra situação, da tipologia, da autonomia concreta, da inteligência -smart contracts é um assunto; cirurgia robótica é outro; carros autônomos, um terceiro. Em uma mesma tipologia, como na dos carros autônomos, podem existir diversos graus de autonomia em relação ao condutor. Por isso, eu elogio o processo da União Europeia, que vem, desde 2017, com calma, no sentido de que amanhã a pessoa não deixe de ser indenizada por danos patrimoniais ou existenciais que sofreu. Inclusive, há uma resolução agora, de 3 de maio de 2022, enfatizando esse mesmo caminho sensato, equilibrado. Mas, no Brasil, não. No Brasil, a questão se tornou premente agora. Eu, por coincidência, hoje publiquei, no Migalhas de Proteção de Dados, um artigo com seis argumentos apenas para contribuir para esse debate. E venho aqui hoje como um civilista para falar de argumentos específicos de responsabilidade civil. O primeiro deles: a expressão responsabilidade subjetiva, apesar de ser tradicional, é indesejável. Ela traz uma insegurança jurídica, porque qual responsabilidade subjetiva é essa de que estamos falando? Alguns doutrinadores trabalham com a ideia de culpa, do faute, do código francês. Eu prefiro trabalhar com a noção que vem desde Ihering, que foi assumida no código alemão, no código de Portugal e no código brasileiro, de que o núcleo da responsabilidade subjetiva está no ilícito. E o ilícito não é algo subjetivo, é uma violação objetiva de deveres, conforme está nos arts. 186 e 187, ou seja, existe já dúvida aqui. E, mesmo para os que defendem a responsabilidade subjetiva enucleada na culpa, que culpa seria essa? Poderia ser uma culpa presumida, como diz a resolução do Parlamento europeu de outubro de 2020, que até é interessante, como a técnica de inversão do ônus da prova apenas para atividades de baixo risco. E as incertezas vão aumentando à medida que entramos na responsabilidade objetiva na inteligência artificial, porque, como diz o Ugo Pagallo, aqui é uma zona cinzenta de imputação, porque existem diferentes tipos de tecnologias digitais emergentes na estrutura e na função.
09:36 R	Então, por mais que nós possamos aplaudir a cláusula geral do risco, existem outros nexos de imputação. Podemos aplicar uma responsabilidade civil indireta por fato de terceiro em alguns casos tendo uma relação com a máquina de patrão e empregado; ou, em alguns casos de tecnologia, uma relação de pais para com os filhos menores. Por vezes, o nexo de imputação objetivo estará numa responsabilidade civil pelo fato da coisa, como já há no Código Civil também - a inteligência artificial sendo vista como uma coisa inanimada ou como um animal. Em suma, esses vários nexos de imputação objetiva subvertem a pretensa primazia da responsabilidade subjetiva. E, para vocês verem a dificuldade, apenas na questão do uso das palavras existem caminhos intermediários entre a responsabilidade subjetiva e objetiva. No próprio CDC, o que nós temos é uma responsabilidade civil subjetiva do fornecedor, com alto grau de objetividade, porque se aboliu a discussão da culpa, mas ainda há discussão do ilícito, que é o defeito do produto ou do serviço, que é a desconformidade a um padrão esperado de segurança, o que é diferente do risco da atividade do 927, parágrafo único, onde não interessa se houve uma atividade lícita ou ilícita: basta que aquela atividade de risco seja, por sua natureza, algo que cause uma quantidade numerosa de danos ou danos qualitativamente graves. A própria ideia que eu vejo alguns colegas expressarem do risco da atividade como uma atividade perigosa pode ser algo de outros códigos, de outros países, como o código italiano, mas aqui no Brasil não, pois não há necessidade do perigo da atividade: basta uma potencialidade lesiva, porque nem todo risco indica perigo. Uma inteligência artificial que gere danos por ofensa a direitos fundamentais por discriminação é risco inerente, é responsabilidade objetiva, sem que se use a palavra "perigo". E, mesmo quando o projeto faz uma exceção à responsabilidade civil do Estado como responsabilidade objetiva, o cuidado também é necessário, porque vamos utilizar a teoria do risco administrativo. A teoria do risco administrativo está desatualizada, porque infelizmente alguns tribunais, como o STJ, ainda interpretam a omissão do Estado como responsabilidade subjetiva, quando, na verdade, deveríamos pensar além da responsabilidade do Estado como proteção de direitos fundamentais e sempre uma responsabilidade objetiva. E, como o Prof. Anderson bem colocou, uma outra falha de origem da própria ideia do projeto de lei é querer mimetizar aqui uma pretensa hierarquia abstrata que possa existir do 927, parágrafo único, como se a responsabilidade subjetiva fosse a regra, e a responsabilidade objetiva fosse exceção. Isso não existe. São nexos de imputação distintos. O caput do 927 trabalha com a ideia da antijuridicidade da conduta, enquanto o parágrafo único já trabalha com a ideia de danos causados por atividade de risco inerentes. Mas eu quero ampliar o debate, e o que a Profa. Caitlin me colocou já me atualizou muito. É que vivemos um estado da arte hoje que não é o da responsabilidade civil: é o da gestão de riscos, pensando em prevenção de riscos tangíveis e precaução com relação a riscos hipotéticos.
09:40 R	Então, quando um projeto de lei afunila muito na questão da obrigação de indenizar por uma sentença do juiz, se é subjetiva ou objetiva, a gente fica preso àquela velha ideia da liability, aquele mecanismo Caio versus Tício, onde há uma imputação de danos por um nexo causal entre um dano e uma conduta com base num certo nexo de imputação. Em matéria de inteligência artificial, isso deveria ser só epiderme, a parte visível do iceberg, porque a melhor forma de regular a responsabilidade civil na inteligência artificial é trabalhando com essas camadas adicionais de responsabilidade, que são a accountability e a answerability, porque, quando a accountability traz parâmetros regulatórios preventivos na inteligência artificial e atribui a obrigação a um agente sobre como o algoritmo é criado, qual é o seu impacto social, trazemos, então, uma interação entre a responsabilidade civil clássica, a liability, e uma regulamentação que é capaz de fortalecer todo o sistema com uma governança de dados, e essa governança de dados pode se dar ex ante ou ex post. A governança ex ante é algo que muita gente já falou aqui nessas audiências: é um guia para o desenvolvedor, são padrões de cuidado, como você alimenta seu machine learning, como você treina seu deep learning, como você mitiga danos, ou seja, é uma planificação para o risco de maior impacto negativo, compliance. Mas o que me interessa aqui é como a accountability pode contribuir no debate da responsabilidade civil, mesmo judicial, porque, quando a accountability vem ex post, depois do dano, ela pode servir para um guia para o próprio magistrado. Por que isso? Porque, quando um juiz fixa a responsabilidade civil, mesmo objetiva, ele não pode apenas olhar para a tipologia ou para a autonomia concreta da específica inteligência artificial que está envolvida no dano; não, o magistrado tem que apartar quem é o agente cauteloso daquele que nada faz. Tem que haver um incentivo a comportamentos estratégicos em termos de segurança. E aí que surge a função promocional da responsabilidade civil. Temos que investir em sanções positivas, em sanções premiais, em que haja uma imputação objetiva, mas especial para aqueles agentes com excepcional diligência, ou seja, aqueles que superaram as expectativas de conformidade ao regulamento, aqueles que agem proativamente para mitigar danos. O que eu quero dizer é que responsabilidade civil hoje em dia não é só compensar nem punir ou prevenir; é recompensar virtudes, é estimular a passagem do mínimo ético para o máximo ético. E hoje vocês sabem que o que as empresas mais apreciam é a reputação, é exatamente o grande ativo material. É uma corrida para a ESG. E a governança só faz sentido na imputação objetiva. Ao contrário do que tenho ouvido, não tem nada a ver accountability com responsabilidade subjetiva. Todos os incentivos, mesmo em matéria de análise econômica do direito para accountability, estão na responsabilidade objetiva. E a minha parte final é dedicada a outra camada da responsabilidade, que é a answerability, que é a explicabilidade, que é importante no contexto da responsabilidade civil, porque há uma imensa dificuldade em auditar os algoritmos de machine learning e deep learning. Então, nós temos que ter um procedimento de justificação de escolhas onde haja uma compreensão holística do cenário da inteligência artificial, para que haja previsibilidade.
09:44 R	Então, neste momento, eu já não estou na função compensatória nem na função promocional da responsabilidade civil, mas na função preventiva, porque a answerability traz uma ideia de supervisão. Ela complementa a governança, que é a accountability, e complementa a liability tradicional, ou seja, ela permite verificar o controle sobre um processo - e isso é importante - mesmo quando o comportamento desejável não pudesse ser especificado com antecedência. Então, se há uma entidade de supervisão, mesmo ex post, mesmo depois do dano, passa a ser possível separar os comportamentos aceitáveis daqueles que são inaceitáveis. Então, qual é a minha conclusão sobre tudo isso? Nós não vivemos mais uma época de direito de danos. É um direito além dos danos na responsabilidade civil pela inteligência artificial. A responsabilidade civil aqui não quer apenas conter danos, o que já é importantíssimo, mas também conter comportamentos. Então, para isso é importante que venha um arsenal de instrumentos - como dizem os alemães, um acordo de captura mútua -, em que não apenas entre a responsabilidade civil, essa expandida, que eu coloquei aqui, da liability, da answerability e da accountability, mas que tenhamos também políticas públicas, ações coletivas, um direito administrativo sancionador e, como a Profa. Caitlin colocou, sistemas de seguro obrigatório e fundos coletivos. Portanto, a minha conclusão é essa, não apoiando o PL pelo que ele colocou. Nós precisamos tratar esse tema com muito cuidado e muito carinho. Quero agradecer a atenção de vocês e passar a palavra de volta ao Prof. Danilo. O SR. FILIPE MEDON (Por videoconferência.) - Muito obrigado, Prof. Nelson, pela sua fala tão densa e clara. Passo imediatamente a palavra para a Profa. Gisela Sampaio da Cruz Guedes, da Universidade do Estado do Rio de Janeiro (Uerj) e do BMA Advogados. A SRA. GISELA SAMPAIO (Por videoconferência.) - Filipe, obrigada. Cumprimento todos na pessoa do Filipe e na pessoa do Danilo. É um prazer estar aqui hoje com vocês. Eu pergunto se consigo compartilhar a minha tela. Consigo? O SR. DANILO CESAR MAGANHOTO DONEDA - Consegue, sim, Gisela. A SRA. GISELA SAMPAIO (Por videoconferência.) - Não, não consigo. Está dizendo que o host desabilitou a opção. O SR. DANILO CESAR MAGANHOTO DONEDA - Dizem que agora consegue. A SRA. GISELA SAMPAIO (Por videoconferência.) - Ah, sim. Agora, sim. Estão vendo a minha apresentação? O SR. DANILO CESAR MAGANHOTO DONEDA - Sim. A SRA. GISELA SAMPAIO (Por videoconferência.) - Bom, gente, é o problema de falar por último: eu, na verdade, só me junto aos professores que já falaram antes de mim. De certa forma, o problema de falar por último é que a fala fica um pouco esvaziada, mas vamos lá. A única diferença entre a minha apresentação e o que já foi exposto pelo Prof. Anderson Schreiber, de maneira muito objetiva, mas precisa, e a diferença entre a minha apresentação e a participação da Profa. Caitlin é que eu trouxe aqui alguns exemplos para ilustrar o que a gente está falando, mas a fala no fundo é a mesma. Este é o nosso índice. O que eu acho? Enfim, de tudo o que eu li nesse meio tempo, até para preparar essa apresentação - eu venho estudando esse tema, embora eu não tenha ainda me manifestado publicamente -, é que são tantos tipos de inteligência artificial... O Prof. Carlos Affonso fez um esforço, em um livro coordenado pelo Prof. Tepedino e pelo Rodrigo da Guia, que foi nosso aluno lá na Uerj, de tentar enquadrar esses tipos em dois grandes grupos: aplicações de inteligência artificial que substituem comportamentos humanos, a exemplo dos carros autônomos, dos robôs superinteligentes, que de fato substituem uma conduta humana; e um segundo grupo, que são aquelas aplicações de inteligência artificial que analisam grandes quantidades de dados, mas se limitam a emitir uma recomendação. E aí a gente tem também diversos exemplos: aplicativos de assistência médica, aplicativos que recomendam investimentos financeiros, aplicativos que recomendam determinado projeto de trânsito ou que simplesmente recomendam um bom filme, uma boa bibliografia, um livro, uma música. Enfim, são aplicações de inteligência artificial completamente diferentes, que geram riscos completamente diferentes.
09:48 R	Então, assim, se a gente trouxesse para esse painel não quatro, mas dez, quinze, vinte especialistas de responsabilidade civil, eu acho que a fala seria a mesma porque quem é da área sabe que é impossível colocar a inteligência artificial no mesmo saco, todas essas aplicações no mesmo saco. E aí o que eu queria dizer é o seguinte... Só para ilustrar o que eu estou falando, eu vou pegar esses dois primeiros exemplos do carro autônomo e do aplicativo de assistência médica. Só para pegar um exemplo de uma aplicação que substitui um comportamento humano e um exemplo de uma aplicação de inteligência artificial que, na verdade, só emite uma recomendação. Então os dois exemplos estão aqui. A gente precisa identificar quem são os sujeitos dessas duas relações jurídicas. E eu diria para vocês o seguinte, pegando um pouco carona nessa expressão de que o regime da responsabilidade objetiva seria o regime preferencialmente adotado: eu acho assim que a gente tem aqui claramente situações muito diferentes, mas, sem dúvida, nesses personagens que estão em cinza, nos dois exemplos... E aqui, quando eu estou usando o exemplo do carro autônomo, só para deixar claro, estou me referindo assim àquele carro autônomo nível cinco, em que simplesmente o proprietário vai no banco do carona, e o carro o conduz ao local de destino, sem que o proprietário do carro tenha muita ingerência ou muito pouca ingerência, tá? E no outro exemplo eu estou falando do aplicativo de assistência médica, que recomenda um determinado tratamento, mas, no fundo, no fundo, quem aplica o tratamento e decide no final das contas é o médico. Nesses dois exemplos, se me dissessem assim: "Gisela, você só pode escolher um regime para os personagens em cinza". Sem dúvida nenhuma, eu escolheria, como o Anderson, como a Profa. Caitlin, como o Prof. Nelson, o regime da responsabilidade objetiva, por entender que essas atividades, em maior ou menor grau, não deixam de ser uma atividade de risco. Agora, a pessoa que está por trás, o usuário da inteligência artificial, que é essa bolinha que eu destaquei em vermelho, que é o proprietário do carro, o médico, em relação a esses, sim, eu acho que o buraco é muito mais em baixo. Acho que se já é difícil estabelecer regime único para os personagens que estão em cinza - e, se eu tivesse que estabelecer, eu estabeleceria o regime da responsabilidade objetiva -, para os personagens que estão em vermelho, ou seja, o proprietário do carro e o médico, é impossível, eu acho que, francamente, é mais discutível ainda se a gente poderia ter um único regime. Eu vou entrar agora no primeiro exemplo, o do carro autônomo. Em relação ao carro autônomo, uma outra coisa que eu queria dizer é que as circunstâncias fáticas para a responsabilidade civil são extremamente relevantes. A responsabilidade civil é uma área em que é muito difícil a gente adotar uma solução em abstrato para, na verdade, todo tipo de situação. Então assim, se ocorreu um acidente, o proprietário do carro responde? Em caso positivo, em qual regime de responsabilidade ele responderia? Depende, não é? Qual é o nível de autonomia do carro? É um carro com autonomia nível cinco ou é um carro com autonomia nível um? O proprietário tinha que fazer alguma atualização de software que deixou de fazer? O dano atingiu outro carro autônomo? O dano atingiu o condutor ou o dano atingiu um pedestre? Então, são circunstâncias que vão influenciar também, para a gente aferir o regime de responsabilidade civil do proprietário do carro.
09:52 R	Agora, de modo geral, em relação ao fabricante, ao montador, em relação ao fornecedor de tecnologia, em relação ao comerciante, por que a gente diz que, se a gente tivesse que adotar um regime, a gente adotaria o regime da responsabilidade objetiva? Porque na verdade esses personagens já estariam de certa forma atraídos pelo Código de Defesa do Consumidor. O Prof. Nelson destacou, na fala dele, um ponto que eu também acho importante, que é o seguinte: quando a gente pensa com a cabeça do Código Civil de 1916, onde os doutrinadores da época costumavam dizer que a responsabilidade subjetiva é a regra e a responsabilidade civil objetiva é a exceção, hoje essa afirmação já pode ser colocada em xeque, porque se a gente fosse fazer uma pesquisa, se a gente fosse contratar uma inteligência artificial de jurimetria para fazer uma pesquisa... Vem cá, no final das contas, estatisticamente, existem, no TJ do Rio ou no STJ, no TJ de São Paulo, e por aí vai, mais casos de responsabilidade civil objetiva ou mais casos de responsabilidade civil subjetiva? Eu diria para os senhores que seguramente existem mais casos de responsabilidade civil objetiva, por conta do CDC. Então, não dá mais para dizer que a responsabilidade subjetiva é a regra e a objetiva é a exceção. A gente tem uma cláusula geral de responsabilidade objetiva no nosso sistema, ao lado de uma cláusula geral de responsabilidade subjetiva. Só que a força do CDC trouxe para o nosso sistema uma enxurrada de casos de responsabilidade objetiva. Eu acho que como, na verdade, nós temos tipos de inteligência artificial muito diferentes, para mim a melhor solução não seria adotar um regime único, nem para esses personagens em cinza. Mas, se eu tivesse que adotar um regime único, eu adotaria o regime da responsabilidade civil objetiva. Para o personagem vermelho, como eu disse, eu acho que seria mais absurdo ainda se pensar em um regime de responsabilidade civil único. Pegando agora o exemplo do médico, se o médico usa o aplicativo de assistência médica para, na verdade, respaldar uma decisão dele ou como fonte de pesquisa, no fundo, quando ele aplica o tratamento para o paciente, foi uma decisão dele. Se ele consultou só aquela inteligência artificial ou se ele consultou outras fontes de pesquisa, como ele deveria ter consultado, porque provavelmente essa será a orientação do Conselho Federal de Medicina e de outros órgãos de classe, muito bem. Mas ele não pode chegar e falar: "Olha, eu apliquei o determinado tratamento baseado nesse aplicativo aqui de inteligência artificial, que me disse que o diagnóstico era esse e que o tratamento adequado seria aquele". Não. Ele não pode se valer dessa escusa para se eximir do dever de indenizar. Só que quando a gente olha para o médico, a situação do médico é diferente da situação do proprietário do carro. Por quê? Porque o médico, na maior parte das vezes vai se submeter ao CDC, que, mesmo trazendo como regra a responsabilidade objetiva, previu também uma importante exceção para o profissional liberal. Então, na verdade, o médico, a meu ver, pelo menos numa análise perfunctória, acho que ele continuaria se submetendo a um regime de responsabilidade civil subjetivo.
09:56 R	Agora, a inteligência artificial, os criadores, desenvolvedores da inteligência artificial que está por trás desse aplicativo... Aí vai depender muito. Como aqui nesse caso o aplicativo não substitui a conduta humana, ele só, na verdade, recomenda a adoção de um determinado tratamento, vai depender de quão inofensiva foi essa recomendação. No caso de um médico, ela pode ser muito pouca inofensiva. Agora, um aplicativo que me recomenda, por exemplo, um filme para eu assistir, o potencial lesivo desse aplicativo é muito baixo. Então, assim, circunstâncias fáticas relevam sempre a responsabilidade civil. Falando um pouco do regime, eu diria para vocês o seguinte: mesmo olhando para todos esses personagens que envolvem o carro autônomo, eu diria que hoje, se a gente tivesse uma série de carros autônomos na rua causando inúmeros acidentes, que é uma realidade que hoje a gente não tem no Brasil, a verdade é a seguinte, eu acho que provavelmente a resposta que o nosso ordenamento daria, até mesmo quando ele desse um pitaco para falar da responsabilidade civil do proprietário do carro, que na verdade não é o condutor, embora existam argumentos para os lados, eu acho que provavelmente o que iria prevalecer seria a responsabilidade objetiva. Por quê? Porque, no caso específico de acidentes de veículo, a gente tem uma jurisprudência reiterada do STJ dizendo que o proprietário do veículo automotor - aqui eu estou falando do proprietário do veículo automotor não autônomo - responde solidária e objetivamente pelos atos culposos, até se ele emprestar o cargo para um terceiro condutor. Eu trouxe aqui um acórdão de 2022; poderia ter trazido um acórdão de dez anos atrás, porque esse já era o entendimento, mas trouxe de 2022 só para dizer que continua sendo esse o entendimento. Então, a gente tem responsabilidade civil pelo fato da coisa, teoria da guarda, o parágrafo único do art. 927. Do outro lado, a gente poderia falar numa culpa in eligendo na escolha do software, a gente poderia falar que ele fez uma intervenção ou uma alteração não autorizada no software. Essa realmente seria uma falha humana, mas para eu ter isso aqui eu teria que ter um carro não de nível 5, mas um carro que comportasse mais uma ingerência humana na atividade, e poderíamos falar numa falha da atualização do software, a justificar: "Olha, aqui houve uma falha humana. A gente tem que pensar mais na responsabilidade subjetiva". Mas assim, provavelmente, no caso dos veículos, hoje a resposta que a jurisprudência daria provavelmente seria a resposta da responsabilidade objetiva, tanto para o fabricante, desenvolvedor da inteligência artificial, quanto para o próprio condutor. Agora, no caso do médico não; no caso do médico eu acho que já seria diferente. No caso, se a gente olhar para o médico, eu acho que provavelmente a resposta da jurisprudência seria: "O médico vai responder subjetivamente", porque até a responsabilidade dos cirurgiões plásticos, eu pelo menos me filio à essa corrente, é subjetiva, então o médico estaria enquadrado aqui na exceção do Código de Defesa do Consumidor. O que eu quero mostrar com isso? Por que eu estou comparando esses dois exemplos? Porque, assim, se a gente quiser ter uma lei regulando a inteligência artificial, eu acho que talvez faça sentido, com o desenvolvimento da inteligência artificial no Brasil... Eventualmente a gente ter uma lei, por exemplo, que regulasse o problema dos carros autônomos e diferenciasse o carro nível 5 do carro 4, do carro nível 3, 2, 1. Agora, fazer uma lei que pegue ao mesmo tempo o desenvolvedor da tecnologia do carro autônomo nível 5 e que pegue o desenvolvedor da inteligência artificial que está por trás do aplicativo que só recomenda um determinado tratamento médico e colocar todo mundo no mesmo saco e colocar também, na outra ponta, o proprietário do veículo e o médico no mesmo saco, isso é um absurdo!
10:00 R	Eu acho que o caso do proprietário do veículo e do médico seria um absurdo maior. Mesmo no caso dos personagens que estão por trás da inteligência artificial, ou seja, o desenvolvedor da inteligência artificial do carro e o desenvolvedor da inteligência artificial do aplicativo, eu acho que já é um problema colocar todo mundo no mesmo saco. E, se fosse para colocar, definitivamente não seria para fazer como fez o projeto, colocando como regra a responsabilidade civil subjetiva para todo mundo, porque, na verdade, isso é ir contra a maré, isso é ir contra não só a evolução da responsabilidade civil, mas contra também as soluções que estão sendo dadas em outros ordenamentos. Então, na minha opinião, não tem como esse projeto de lei funcionar dessa forma. Eu acho que esta Comissão tem um desafio enorme. Há pouco tempo, vivi uma experiência parecida, porque fui chamada para fazer parte de um grupo de trabalho para botar de pé um projeto de lei para reformar o direito das garantias brasileiro. Eu posso assegurar para vocês que a gente trabalhou durante seis meses. Tivemos reunião toda quarta-feira - eram reuniões de duas horas, que ocorreram até nos feriados -, e foi superdifícil colocar de pé esse projeto. Tudo bem que era um projeto de uma magnitude grande, que tinha por objetivo alterar quase 200 artigos do Código Civil. Aqui o escopo, talvez, seja um pouco menor, mas, por outro lado, acho que os desafios aqui são até maiores, porque ou a gente vai ter leis setoriais, como uma lei para regular os veículos autônomos e outra lei... E aí a gente vai ter um retalho, um conjunto de leis, porque aplicar uma solução única para todos esses personagens, na minha opinião, é definitivamente impossível. Já estou me encaminhando para a conclusão. Só para corroborar as falas anteriores, a minha conclusão é que há a impossibilidade de se estabelecer um regime único de responsabilidade civil para tantas formas de aplicação de inteligência artificial. Mesmo considerando uma única forma de aplicação isolada de inteligência artificial, eu acho que é muito difícil aplicar uma solução abstrata sem considerar as nuanças de cada caso. E eu acho que a gente tem hoje uma responsabilidade civil no Brasil que tem elementos sólidos, doutrina especializada. Tenho dúvida se a gente precisaria ter um projeto de lei nesse sentido. Com isso, encerro a minha fala, respeitando o prazo regimental. O SR. DANILO CESAR MAGANHOTO DONEDA - Muito obrigado, Profa. Gisela. Agradeço, na pessoa da Professora, todos os painelistas, que cumpriram extremamente bem o tempo atribuído e que foram extremamente substanciosos, visto que temos agora 40 minutos para os debates e que esse é um tema que, desde sempre, acarretou dúvidas e questionamentos. Então, eu vou propor... Eu e o Filipe vamos propor algumas perguntas, para depois passá-las diretamente para os membros da Comissão. A primeira pergunta que eu faço a todos - é claro que alguns temas já foram tocados, mas eu a faço agora de uma forma mais direta, talvez - é: o ordenamento jurídico brasileiro confere uma resposta adequada à questão da responsabilidade civil pelos danos causados pela inteligência artificial, ou é necessária uma intervenção legislativa? Em outras palavras, é ou não é o caso de o PL tratar de responsabilidade civil? Se a resposta for "sim", a responsabilidade civil deve ser um instrumento central ou residual e supletivo?
10:04 R	Passo a palavra para o Filipe Medon, porque ele tem perguntas certamente. O SR. FILIPE MEDON (Por videoconferência.) - Obrigado, Prof. Danilo. Bom, de forma bastante objetiva, as perguntas que dirijo aos painelistas são as seguintes: o eventual estabelecimento por via legal de regimes diferenciados de responsabilidade civil, caso a primeira pergunta seja positiva, em função dos riscos representados por cada tipologia desta, seria coerente com o ordenamento jurídico brasileiro? Uma tipologia desse gênero deveria abranger somente as gradações de alto e baixo risco, ou seria necessário estabelecer uma maior variedade de níveis de risco? E mais: deveríamos prever abstratamente quais atividades são de alto ou baixo risco, como num anexo, a exemplo daquilo que tem sido defendido na União Europeia, num tom harmonizador entre os países que compõe o bloco? E a segunda pergunta é sobre a prática da adoção de seguros de responsabilidade civil obrigatórios ou os fundos complementares a que aludiu a Profa. Caitlin. Será que estes seriam uma solução regulatória adequada? Quais seriam as vantagens e os eventuais problemas da adoção de seguros e fundos? Dito isso, eu passo a palavra para a Profa. Clara Iglesias. O SR. DANILO CESAR MAGANHOTO DONEDA - Filipe, desculpa interromper, mas a gente podia fazer... São três perguntas. Vamos passar pelos painelistas para depois passar para a Comissão? Desculpe-me aí a mudança de ordem, mas passo a palavra, na ordem de apresentação, para o Anderson Schreiber. Por favor, Anderson. O SR. ANDERSON SCHREIBER (Por videoconferência.) - Obrigado, Prof. Danilo. Começando sobre a primeira pergunta, sobre ser ou não o caso de o PL tratar de responsabilidade civil, a minha opinião é que de jeito nenhum. Acho que o PL, para poder tratar de responsabilidade civil, teria que necessariamente passar por uma especificação das várias hipóteses e situações de responsabilidade civil, e isso acabaria por desnaturar o PL, não é? O PL tem um caráter um pouco mais geral, é um PL de um primeiro momento da inteligência artificial, e ficaria impossível fazer esse tipo de especificação. A responsabilidade civil acabaria engolindo o PL. Então, a minha opinião é de que de jeito nenhum. Isso por diversos motivos. A Profa. Gisela já bem expôs aqui uma série de hipóteses diferentes. O Prof. Filipe Medon aqui, que é um dos moderadores do painel, tem um livro fabuloso sobre inteligência artificial e responsabilidade civil, que eu tive a honra de orientar. E o processo de orientação, como o Filipe sabe, foi justamente nesse sentido. Quer dizer, é difícil partir de uma definição geral e abstrata de responsabilidade civil para a inteligência artificial. Então, toda hora a gente ficava ali: " Mas qual é o grau de autonomia do condutor, não é? Ah, é um acidente com um carro autônomo... Bom, mas quem é a vítima? É o próprio condutor? É o condutor de outro veículo? O outro veículo também é autônomo? Não é autônomo? É o pedestre que é atropelado?". Quer dizer, as situações lesivas são muito variadas. E o regime de responsabilidade civil e regras específicas de responsabilidade civil se alteram conforme a hipótese. Eu acho que a responsabilidade civil hoje, no Brasil, sofre de um mal enorme que é a generalidade, a erva daninha da generalidade. Todo mundo acha que sabe responsabilidade civil, porque é um setor do Direito Civil que tem poucas normas, muitas cláusulas gerais. Todo mundo acha que entende disso, e a gente tem pouca especificação. O projeto de lei é uma intervenção legislativa, a meu ver, que só seria útil se fosse muito específico, o que foge do escopo deste PL em particular.
10:08 R	Sobre a segunda pergunta - se a tipologia seria coerente -, eu acho que depende um pouco da tipologia. É difícil analisar isso de novo em abstrato, genericamente. A gente teria que trabalhar sobre essa tipologia, e esse é um trabalho lento, gradual, que depende de uma interação entre o conhecimento jurídico e o conhecimento técnico, e que, de novo, teria que ser muito específico. A meu ver, foge também do propósito do PL. Por fim, sobre os seguros e fundos de responsabilidade civil, eu tenho defendido essa ideia há muitos anos, mas também é algo que depende de amadurecimento. Dentro do campo dos seguros obrigatórios, a gente também tem uma série de espécies diferentes. Vai ser um first party insurance, vai ser um third party insurance? Que tipo de seguro é mais eficiente no campo da inteligência artificial? Se são fundos, quem contribuirá para esses fundos, quem será o gestor desses fundos? Também é uma regulamentação altamente específica. O PL, a meu ver, se for tratar disso, vai acabar tendo que delegar essa especificação para alguma entidade ou, enfim, por algum caminho aí. Eu acho que a autorregulação também tem um papel aí, e outros sistemas de prevenção de danos precisam atuar. Portanto, acho que é um caminho, mas também precisa ser mais específico. O que me preocupa é um projeto de lei que traz diretrizes gerais, o que é muito importante - isso é muito importante neste momento -, acabar entrando por iniciativas muito específicas que demandem uma disciplina muito detalhada e isso acabe por dificultar o trabalho da Comissão. Essa é a minha opinião. O SR. DANILO CESAR MAGANHOTO DONEDA - Obrigado, Prof. Anderson. Profa. Caitlin, por favor. A SRA. CAITLIN MULHOLLAND (Por videoconferência.) - Obrigada, Prof. Danilo. As minhas palavras vão ao encontro do que o Prof. Anderson já ponderou na sua fala, na sua resposta. De fato, o projeto de lei tem uma natureza principiológica fundante, e qualquer outra matéria que fuja a essa principiologia seria neste momento muito equivocada pelo vício da antecipação, ou seja, uma falta de maturidade em debates. Por mais que nós estejamos aqui e a Comissão tenha sido instituída para possibilitar esse diálogo, de fato nós temos aí uma falta de amadurecimento sobre o debate, enfim, sobre responsabilidade civil e outros institutos que a gente possa considerar como adequados para fazer frente aos danos. Então, eu diria que nós já temos, no ordenamento jurídico brasileiro, algumas soluções que já são maduras. A gente pode começar pelo Código de Defesa do Consumidor. No Código de Defesa do Consumidor, quando estabelece a responsabilidade civil objetiva baseada na falha, no dever de segurança e, portanto, no defeito do produto, já há um critério bastante específico e maduro no que diz respeito a essa responsabilização, ou seja, se a gente imaginar que a inteligência artificial defeituosa pode... Primeiro, se a gente imaginar que o sujeito a quem a inteligência artificial está sendo destinada e aquele que desenvolve a inteligência artificial estão dentro, são partes de uma relação de consumo, não há nenhuma dúvida de que a gente estaria diante aí de uma aplicação direta do CDC, conforme o projeto de lei mesmo menciona em um dos parágrafos do art. 6º.
10:12 R	Da mesma forma, nós temos já o reconhecimento, na Constituição Federal, da responsabilidade civil do ente público. E aí eu concordo com o Prof. Nelson: o risco administrativo está absolutamente ultrapassado, mas o fato é que a Constituição Federal reconhece também uma responsabilidade objetiva. Então, se a gente está diante de uma aplicação de um sistema de IA pela administração pública ou por algum órgão da administração pública, a gente já teria uma solução legislativa, mais uma vez, reconhecida, madura, aplicada. Portanto, a gente não teria, pelo menos em duas áreas que são bastante amplas, a necessidade de uma legislação específica. E, para complementar, nós ainda temos uma lei geral, que é o Código Civil, que previu essa cláusula geral no parágrafo único do art. 927, bastante desenvolvida pela doutrina, mas muito pouco aplicada pela jurisprudência, que diz respeito à cláusula do risco, à cláusula geral de risco, que impõe uma responsabilização objetiva caso estejamos diante de um dano ocasionado por uma pessoa, por um agente que atue habitualmente numa atividade que traga riscos desproporcionais. Então, os elementos já existem, a legislação já existe. Já existe um amadurecimento e um respeito em relação a esses requisitos. Portanto, concordo com o Prof. Anderson Schreiber que seria muito maléfico - vou usar essa palavra - tratar, nesse projeto de lei, de qualquer aspecto relacionado à responsabilidade civil. Respondendo à segunda pergunta, os regimes alternativos, se a gente puder falar dessa forma sobre o seguro - na verdade, é a terceira pergunta, sobre a adoção de seguros -, eu acho que a gente tem uma solução que é bastante possível e eu acho que é muito bem-vinda. Tanto seguros, contratação de seguros, como também haveria uma seguridade, acho, necessariamente, obrigatória quanto à constituição de fundos coletivos que já existem e já são maduros, como os fundos relacionados ao direito do consumidor e os fundos ambientais. E a gente teria uma limitação ou a necessidade aqui, sem dúvida alguma, de uma regulação. Aí a necessidade da identificação de critérios que determinariam como será realizado o aporte a uma seguridade obrigatória. Para mim, é evidente que isso ficaria a cargo daqueles que se beneficiam da implementação, do desenvolvimento e da aplicação dos sistemas de IA. Em relação aos fundos de compensação, a gente tem aí já, de uma forma bastante robusta, a atuação do Ministério Público no que diz respeito a ações coletivas que possam ser intentadas, principalmente ações civis públicas que possam permitir uma constituição desse fundo. Sobre regimes diferenciados de responsabilidade civil para inteligência artificial de acordo com os riscos, essa é a proposta que está sendo aventada na comunidade europeia, a constituição de gradação de risco, essa gradação de risco impondo também níveis diferentes de responsabilidade civil: riscos proibidos, identificados previamente, as atividades proibidas, enfim, estariam proibidas, e, portanto, a gente não estaria falando de uma responsabilidade; responsabilidade por riscos altos de IA, a gente teria responsabilidade objetiva; responsabilidade por riscos medianos, a gente teria a adoção de uma responsabilidade por presunção de culpa e, eventualmente, constituição para todas elas, constituição de seguros; e, riscos mínimos, a gente teria que avaliar também de uma maneira subjetiva.
10:16 R	Acho o projeto muito interessante para um amadurecimento que existe na comunidade europeia, que não é o nosso caso. Portanto, acho que questões... Essa classificação agora seria também precipitada. Obrigada, Filipe. Obrigada, Danilo. O SR. FILIPE MEDON (Por videoconferência.) - Muito obrigado, Profa. Caitlin. Passamos, em seguida, a palavra para o Prof. Nelson Rosenvald. (Pausa.) A SRA. GISELA SAMPAIO (Por videoconferência.) - Você está no mudo, Prof. Nelson. Você está no mudo. O SR. NELSON ROSENVALD (Por videoconferência.) - Então, vamos ver... Agora está bom? O SR. DANILO CESAR MAGANHOTO DONEDA - Está bom, sim, Nelson. O SR. NELSON ROSENVALD (Por videoconferência.) - Bacana. Muito obrigado. Vamos à primeira pergunta então. Essas tecnologias digitais emergentes, de fato, são dificilmente conciliáveis com os pressupostos normativos que exigem estabilidade, constância dos fatos jurídicos. Por isso é tão difícil para a gente fazer enquadramento, porque as soluções são casuísticas. E o que sobra? Um tratamento assistemático da matéria, porque, a meu ver, não cabe hoje um microssistema de robótica com princípios e linguagem própria. E o próprio PL sobre o qual a gente está discutindo parte da ideia de uma inteligência artificial, mas qual o conceito de inteligência artificial? Porque isso é um gênero terminológico que abrange um tanto de coisa. E os especialistas sabem muito mais do que eu que nós não chegamos à época da singularidade tecnológica, nós estamos apenas no nível da eurística. Então, o que eu penso, dentro do Direito Civil, é que, numa perspectiva unitária de ordenamento jurídico em sociedades plurais como a nossa, nós não devemos procurar solução por setores, e, sim, por problemas, ou seja, além da responsabilidade civil, trabalhar com a responsabilidade administrativa, com seguros obrigatórios, eventualmente, com outras áreas do Direito. É esse arsenal instrumental que é importante. Eu reconheço que a proteção que nós temos hoje é fragmentada. Eu tenho o Código Civil, CDC, o Marco Civil da Internet, a LGPD. E é aquilo que eu coloquei na minha fala: há um continuum entre a responsabilidade subjetiva e a objetiva, com hipóteses, inclusive, de culpa presumida que são interessantes e podem funcionar em alguns casos, principalmente onde se necessita de uma estrutura pericial para se identificar falhas. Mas nós voltamos aos problemas. E qual é o problema? É a insegurança jurídica, ou seja, como mensurar a responsabilidade civil? Então, sempre, quando eu trato desse assunto, procuro lembrar o Hans Jonas, quando ele diz: a lógica não é a eurística do medo, é o princípio da responsabilidade. É que a ética na nossa civilização tecnológica é aceitar riscos, gerir procedimentos, ou seja, trabalhar com accountability e answerability. Eu sempre bato nisto: tem que ter um devido processo legal para essa história toda, garantias legais, estabelecimento de padrões. Então, a gente tem que amadurecer bastante essa discussão. Quanto à pergunta do Filipe - e aqui também, agora, eu vou colocar o contador do tempo -, o regime subjetivo limita as nossas ferramentas, porque nós já temos proteções mais interessantes, não apenas o parágrafo único do 927, o CDC, mas outros métodos de imputação dentro do Código Civil mesmo.
10:20 R	O Prof. Ugo Pagallo fala de uma coisa que eu tenho a convicção de que a gente pode aplicar aqui no Brasil: aquele princípio da equivalência funcional. Então, quando a gente fala de responsabilidade civil indireta, já existe no Código Civil. Por quê? Um humano responde pelo que o algoritmo decide fazer, um robô pode ser visto como empregado, e a gente pode aplicar a responsabilidade objetiva do 932 e do 933 do Código Civil, basta que o exercício da função tenha contribuído para causação do dano. E não importa se o patrão teve culpa na seleção ou na supervisão do auxiliar, porque a chamada vicarious liability é uma responsabilidade objetiva. O importante é que a máquina seja identificada, rastreada. Daí a explicabilidade. Então, se, hoje em dia, eu sou responsável pela irregularidade de um ajudante B que é um humano, por que também não serei responsável ao terceirizar deveres para um algoritmo, já que eu também me beneficio dessa delegação? E mais ainda: se o hospital utiliza um robô para uma cirurgia, um da Vinci, que é controlado por algoritmo, mesmo apesar do cumprimento do dever de cuidado, ele será responsável se o paciente sofrer danos quando o robô funciona de maneira imprevisível. Então, tudo isso já está no Código Civil. E, mesmo quando a gente sai da inteligência artificial como meio de indústria e vai para a tecnologia assistiva inteligente, pense em um dano causado por uma babá robô: a gente pode utilizar, como comparação, a responsabilidade civil dos pais por danos causados aos filhos menores ou do curador por danos causados por um curatelado. E são hipóteses de responsabilidade objetiva. E, quando vêm aquelas questões ainda que são duvidosas: "Mas quem treinou? Quem tratou a inteligência artificial?" Ou: "Quem é o responsável? Quem projetou ou quem vendeu?". Só a responsabilidade objetiva é capaz de permitir uma resposta com base na solidariedade passiva, porque a discussão de culpa só vem depois no regresso. E, Filipe, a sua pergunta é tão interessante que ela me permite uma continuação com base no que a Profa. Caitlin já disse: que a Comissão Europeia verdadeiramente apresentou essa proposta com quadro regulamentar em 2021. Fizeram o risk based approach, uma risquificação para cada situação, independentemente de um regime prefixado em lei. Então, tem riscos inaceitáveis, que seriam proibidos; tem atividades de alto risco, que seriam autorizadas, mas diante de uma série de obrigações; e tem os sistemas de baixo risco, que estariam sujeitos à responsabilidade por culpa presumida e obrigações de transparência muito leves. Mas a realidade deles - eu só quero abrir esse parêntese - é que eles querem unificar sistemas jurídicos distintos. Então, às vezes pode ser um pouco delicada essa importação do sistema europeu, até porque nós já temos a nossa cláusula geral do parágrafo único, a responsabilidade do CDC. Então, para evitar - e é essa a minha preocupação - discricionariedade dos magistrados, é compatível, a meu ver, que, além do 927, parágrafo único, tenhamos um rol mutável para as atividades de alto risco, que sempre ele seja dinâmico, seja alterado conforme o nosso desenvolvimento. E, como eu estou falando muito já, eu creio que o Prof. Anderson e a Profa. Caitlin já falaram muito bem das questões relacionadas ao seguro obrigatório e aos fundos compensatórios. Obrigado.
10:24 R	O SR. DANILO CESAR MAGANHOTO DONEDA - Muito obrigado, Prof. Nelson. Passo a palavra para a Profa. Gisela Sampaio. A SRA. GISELA SAMPAIO (Por videoconferência.) - Bom, só para fazer coro aos demais, eu compartilho mais ou menos da mesma opinião. Mas indo na ordem das perguntas, Danilo, quando você me pergunta se a gente precisa de um PL sobre inteligência artificial, eu não sei se a gente precisa de um PL. A gente precisa, de fato, discutir o assunto. Talvez tenha alguma vantagem em se ter um PL sobre inteligência artificial. Agora, para mim, a segunda pergunta é mais fácil de responder: a responsabilidade civil deve estar nesse PL? Na minha opinião, o Prof. Anderson Schreiber respondeu: "De jeito nenhum"; a Profa. Caitlin falou que seria maléfico; o Prof. Nelson, em outras palavras, foi no mesmo sentido. Eu diria que é assim temerário. E eu tenho uma opinião muito particular sobre esse assunto, porque... O que acontece? A responsabilidade civil é uma área do Direito Civil, uma subárea do Direito Civil, que se espraia para outros campos. E a verdade é a seguinte: toda vez em que a gente tem uma lei - e aí eu vou excepcionar o CDC, porque eu acho que o CDC é um diploma muito bem feito -, de modo geral, quando a gente analisa as leis especiais brasileiras e analisa aquelas leis que pretendem ser uma espécie de microssistema e acabam tratando também de responsabilidade, normalmente essas leis cometem pequenos ou grandes pecados. Por quê? Porque o especialista do setor não necessariamente é um especialista de responsabilidade civil. Então, eu falo para os meus alunos da graduação assim: "Se você quer desaprender responsabilidade civil, vá estudar responsabilidade civil pelos livros de Direito Ambiental, pelos livros de propriedade intelectual, pelas áreas específicas". E eu não estou falando mal desses profissionais, não. O que eu estou querendo dizer é o seguinte: o sujeito que é especialista em Direito Ambiental pode saber muito sobre o Direito Ambiental, mas não necessariamente ele sabe sobre responsabilidade civil, que é uma área muito difícil, não é? O sujeito que é especialista em propriedade intelectual pode saber tudo sobre marcas e patentes, mas a lei lá de propriedade intelectual, no art. 210, quando foi falar de lucros cessantes, confundiu enriquecimento sem causa com responsabilidade civil. Então, assim, se é para tratar de responsabilidade civil, eu acho que é uma área muito sensível que exige, de fato, uma especialidade, e a responsabilidade civil acaba sendo muito maltratada nesses microssistemas. Para além disso, como todos nós já explicamos, a gente tem hipóteses de inteligência artificial muito diferentes, aplicações muito diferentes. Então, eu diria que é temerário a gente ter num projeto de lei uma regra única que se aplique para todas as aplicações de responsabilidade civil. E aí não sou eu, Caitlin, Filipe, Nelson e Anderson que estamos falando isso: eu acho que é qualquer estudioso de responsabilidade. Se for um estudioso que se dedique a algum aspecto mais setorial da inteligência artificial, talvez ele não tenha a mesma opinião, mas quem estuda responsabilidade civil não tem como pensar de uma maneira muito diferente. Quanto à terceira pergunta, da gradação de risco, eu estou junto com a Profa. Caitlin. Eu acho a ideia inteligente e interessante, e precisaríamos de critérios, e infelizmente estamos num estágio muito menos avançado do que os europeus, não é? Então, a Europa, que é formada por vários países desenvolvidos, que têm tecnologias já na prática muito mais avançadas do que a que a gente tem no Brasil... Porque, no fundo, aqui no Brasil, a gente está discutindo qual é a responsabilidade do fabricante do carro autônomo, qual é a responsabilidade do condutor do carro autônomo, mas a verdade é que a gente não tem ainda muitos carros autônomos em circulação, não é? Assim, eu tenho até dúvida: a gente precisaria ter um diploma específico para regular essa situação? Tudo bem que o direito não precisa vir sempre a reboque das transformações sociais, ele pode exercer uma função promocional, sem dúvida, mas me parece que a gente não tem muita maturidade ainda para tratar disso, de estabelecer essa graduação de risco, essas tipologias.
10:28 R	Vamos assistir, como sempre fazemos, ao que a Europa está fazendo e, claro, com os devidos cuidados de importar soluções que às vezes funcionam num país e não funcionam em outro. Eu neste momento esperaria a discussão evoluir na Europa para depois começar a tratar disso no Brasil, sem prejuízo de a gente discutir o tema no meio acadêmico, nessas sessões de audiência pública etc. E finalmente, sobre seguro obrigatório, eu acho que todo mundo reconhece que esse é o caminho. Já estamos falando isso há algum tempo. O direito securitário se desenvolveu. Se a gente for ver hoje o leque de seguros - eu até advogo para algumas seguradoras -, a gente tem hoje um leque de tipos de seguro muito maior do que a gente tinha há 20 anos, mas, assim, o Anderson chamou a atenção para um problema também importante: a gente vai estabelecer o quê, um fundo? Quem vai gerir o fundo? Também essa é uma discussão que merece uma grande atenção e também não é um problema que a gente vai conseguir resolver rapidamente. Enfim, é só para me filiar aí às respostas anteriores. O SR. DANILO CESAR MAGANHOTO DONEDA - Muito obrigado, Profa. Gisela. Passo a palavra imediatamente para o membro da nossa Comissão Clara Iglesias Keller. Por favor, Clara. A SRA. CLARA IGLESIAS KELLER (Por videoconferência.) - Obrigada, Prof. Danilo Doneda. Cumprimento a todos os meus colegas de Comissão na pessoa dos moderadores, Prof. Danilo e Prof. Filipe Medon; agradeço imensamente aos palestrantes pelas contribuições excelentes. Acho que o Prof. Danilo definiu melhor do que eu poderia quando disse que de fato é um painel estelar em responsabilidade civil, e a minha pergunta é a pergunta de uma operadora do direito público para esse painel estelar de civilistas e se refere à questão de prova de dano no âmbito das operações das tecnologias. Qual é a minha preocupação? Independentemente do regime, seja ele de responsabilidade subjetiva, seja de responsabilidade objetiva, a gente tem uma questão de aferir os danos possivelmente causados por essas tecnologias. E qual é a minha preocupação aqui? É que em geral os efeitos das tecnologias, principalmente as tecnologias digitalizadas, são extremamente difíceis de serem computados, provados e apurados empiricamente. Eu sinto essa dificuldade muito grande em pesquisas empíricas, por exemplo. Imagino que esse desafio também se reflita no âmbito do próprio processo judicial, que precisa apurar esses efeitos. Então, um exemplo fora da inteligência artificial é quando a gente fala em polarização política advinda de dinâmicas de fluxo de informação e atenção em redes sociais. Existe toda uma discordância aí sobre a pesquisa empírica, sobre como de fato aferir esses efeitos, se de fato esses efeitos acontecem etc. E, no âmbito da inteligência artificial, que é o que a gente está falando aqui, hoje, a gente tem tecnologias que são em geral opacas, que, ainda que transparentes, têm um ônus, carregam um ônus técnico, quando a gente fala em entender e como elas funcionam etc., e, pela própria natureza coletiva desses danos, nem sempre eles são tão evidentes e fáceis assim de serem apurados. Então, resumindo essa minha inquietação, que talvez tenha ficado um pouquinho longa demais, a minha pergunta é se vocês teriam recomendações para a Comissão em relação a possíveis dispositivos. Já ficou claro que não devem constar regras de responsabilidade civil no PL, mas existe alguma sugestão em relação a como tratar esses possíveis efeitos danosos? Ou, então, se não para o PL, para uma futura operação dessas regras quando essas tecnologias estiverem já implementadas.
10:32 R	Agradeço mais uma vez a todos e peço desculpas se a pergunta ficou um pouco confusa. O SR. DANILO CESAR MAGANHOTO DONEDA - Está ótimo, Clara. Muito obrigado. Peço licença para, antes de passar aos painelistas, agradecer perguntas enviadas ao Portal e-Cidadania por Guilherme Cézar, da Bahia; Gabriel Ayupp, de Goiás; Pedro Lincoln, de São Paulo; Guilherme Gilson, de São Paulo; e Angélica Maria, do Maranhão, tratando de vários temas que foram incidentalmente tratados, como processo democrático, combate a fake news com inteligência artificial e outros. E, numa última rodada de respostas que teremos dos nossos painelistas, eu somente passo a palavra antes ao meu colega Filipe Medon para acrescentar uma última questão. Por favor, Filipe. O SR. FILIPE MEDON (Por videoconferência.) - Obrigado, Prof. Danilo. Bom, são duas perguntas bastante objetivas. A primeira delas é: responsabilidade civil objetiva significa necessariamente um efeito resfriador à inovação? Então, em matéria de compatibilização de regulação e inovação, será que nesse sentido nós podemos pensar em soluções intermediárias que comportem regras atuais para os desafios futuros? E uma segunda pergunta é mais específica do direito do consumidor: será que os atos autônomos da inteligência artificial, especialmente no contexto do machine learning, representam um defeito do produto à luz do Código de Defesa do Consumidor, ou, como dizem alguns especialistas, como o Prof. David Vladeck, da Universidade de Georgetown, nós teríamos aqui uma presunção de defeito que se comprova pela própria ocorrência do dano? Dito isso, devolvo a palavra imediatamente à Profa. Caitlin. A SRA. CAITLIN MULHOLLAND (Por videoconferência.) - Obrigada, Profa. Clara, como sempre com perguntas e provocações tão instigantes, e Prof. Filipe, por essas últimas duas perguntas. Profa. Clara, eu vou ousar ampliar a sua pergunta para tratar de um tema que eu e a Profa. Gisela tanto amamos, que é o tema do nexo de causalidade. Nós temos dois problemas. Na verdade, nós temos três problemas, que são justamente os elementos da responsabilidade civil: dano, quais danos, como descobrir esses danos; fator de imputação, afinal de contas, de atribuição de responsabilidade civil, culpa, risco, defeito; e, por fim, acho que o mais difícil nesse caso específico, que é a causalidade. Então, a partir da sua pergunta, pensando em fundamentos já existentes, eu vou também ousar fazer uma comparação entre aplicações de inteligência artificial e direito ambiental - a Profa. Gisela já sorriu, provavelmente já imaginando aqui que a resposta seria semelhante. A gente já tem todo um arcabouço legislativo e um amadurecimento também doutrinário e jurisprudencial que identificam a responsabilidade civil por dano ambiental com fundamento no princípio da precaução, ou seja, danos vão acontecer, danos ocorrerão necessariamente, danos previsíveis e danos imprevisíveis. Quando a gente fala de inteligência artificial ou de danos decorrentes da inteligência artificial, nós já conseguimos perceber que esses danos poderão ou não ser a priori identificados, ou seja, aquilo que o Prof. Nelson Rosenvald já comentou a respeito de accountability ou gestão de riscos, como eu falei, vai considerar a priori situações que já são identificadas, identificáveis. E aí os danos vão ser identificados também como consequência desses riscos verificados através desses estudos de relatórios de impacto ou de gestão de riscos decorrentes da inteligência artificial. Então, eu diria que os danos vão ser identificados toda vez em que os riscos que são usualmente reconhecidos na aplicação da inteligência artificial se concretizarem.
10:36 R	Evidentemente eu estou dando uma resposta à Profa. Clara, que é uma resposta absolutamente abstrata, porque a gente está se referindo a danos que podem ser a priori identificados por conta de um relatório de impacto e de gestão de riscos realizados pelo desenvolvedor e aplicador da inteligência artificial, mas nós também podemos pensar, com base no princípio da precaução, em algumas situações que dizem respeito aos danos futuros ou situações que sejam verificadas a posteriori mesmo, que hoje nós não temos a condição de identificar, mas futuramente poderíamos verificar, como sendo consequência da aplicação da inteligência artificial. Então a gente pode falar, por exemplo, de situações em que o dano venha a se espraiar não só socialmente, mas também pelo tempo, e que, portanto, a gente vai ter uma possibilidade tipicamente reconhecida no Direito Ambiental, que é a possibilidade de verificação no futuro de um dano que ainda não é verificável nesse momento. Então, a minha resposta, Profa. Clara, é uma não resposta, ainda é uma resposta muito em abstrato, mas pensando nos fundamentos que a gente tem hoje da responsabilidade civil. Como provar os danos? Acho que o principal problema não é só a identificação do dano que é tipicamente associado à atividade desenvolvida na implementação dos sistemas de inteligência artificial, mas é a causalidade. Como provar a relação de causa e efeito entre a aplicação da inteligência artificial e o dano que se pressupõe como consequência desta aplicação? Isso para mim vai ser o problema. Portanto, não é recomendável... Eu diria, mais uma vez vou usar essa palavra: é maléfico falar de responsabilidade civil num projeto de lei quando a gente tem elementos que são tão dificultosos de identificar diante de uma aplicação de inteligência artificial. Prof. Filipe, a responsabilidade objetiva resfria a tecnologia? Eu retorno a pergunta dizendo o seguinte: com a defesa do consumidor, quando entrou em vigor em 1990, tinha um grande debate a respeito de: "Nossa, a responsabilidade objetiva do fornecedor vai acabar com o desenvolvimento das tecnologias de produção, de produtos e serviços!". Muito pelo contrário, a gente hoje vê que não só não acabou como se desenvolveu. Eu acho que a gente está confundindo aqui um conceito... Nós, não, mas se confunde um conceito de responsabilidade objetiva com um conceito de excludente de responsabilidade. A responsabilidade objetiva não impede que seja argumentado ou seja levantada uma excludente de causalidade que afaste a responsabilidade civil daquele que desenvolve o sistema de inteligência artificial. Não exclui; muito pelo contrário, existe a possibilidade do afastamento. Então, a responsabilidade civil objetiva eu acho que inclusive estabelece um parâmetro previamente reconhecido pela indústria que vai permitir a ela, indústria, desenvolver produtos e serviços que já tenham antecipadamente reconhecido aqueles riscos. Acho que facilita, não resfria. Permite, na verdade, o reconhecimento antecipado. E a última pergunta é: a falta de explicação ou de explicabilidade, a inexistência da explicabilidade é um defeito? Eu diria que sim. Se a gente está diante de um sistema opaco cujos requisitos, cujo procedimento de tomada de decisão não é justificado, ou é impossível de ser explicado por conta da opacidade dos sistemas, a gente está diante de um defeito. E aí é algo para se identificar se esse defeito ultrapassa aquilo que é razoável, ou se essa potencialidade, se essa falta de explicação ultrapassa o que seria razoavelmente esperado, sopesados os direitos daqueles que eventualmente sofrerão danos. Há de se identificar e investigar se essa aplicação de inteligência artificial deve ser permitida. Eu acho que, enfim... Eu trouxe mais dúvidas, não é? Mas, enfim, é o que eu consigo explicar nesse momento.
10:40 R	Obrigada, Profa. Clara, Prof. Filipe. O SR. DANILO CESAR MAGANHOTO DONEDA - Muito obrigado, Profa. Caitlin. Passo a palavra para o Prof. Nelson Rosenvald, para responder no prazo exíguo de dois minutos. Nelson, por favor. A SRA. GISELA SAMPAIO (Por videoconferência.) - Nelson, você está mudo. O SR. DANILO CESAR MAGANHOTO DONEDA - Sem som. O SR. NELSON ROSENVALD (Por videoconferência.) - Se me der quatro minutos, vai ser ótimo, sabe por quê? Porque eu queria responder as duas. À primeira, da Profa. Clara, Sr. Danilo, eu só queria acrescentar a ótima resposta da Profa. Caitlin, porque esse seu exemplo que é a questão da prova é mais um argumento em prol das ações coletivas. Por quê? Porque teve um caso, no Rio de Janeiro, do Ministério Público, em que dois colegas nossos ajuizaram uma ação contra uma empresa da qual eu não vou dizer o nome, por geopricing e geoblocking. E aí tem uma ponderação, uma colisão de direitos fundamentais, porque se de um lado existe a necessidade da transparência e da explicabilidade, de outro lado havia ali o segredo comercial, ou seja, havia propriedade material daquela empresa. Então, uma ação coletiva é um instrumento capaz de transpor essa fronteira e essas dificuldades de uma forma muito mais eficiente do que em ações individuais. E, respondendo à pergunta do nosso Prof. Filipe Medon, eu aposto muito naquilo que o Prof. Frank Pasquale fala, que são soluções intermediárias para compatibilizar as regras que a gente já tem e os desafios futuros. Porque, olhem bem, se nós pensarmos apenas na lie ability como temos hoje, o juiz decidindo Caio versus Tício, o fornecedor vai dizer amanhã que não tem obrigação nenhuma de indenizar porque o dano foi causado de uma maneira imprevisível, ou seja, o robô causou dano no exercício regular da tarefa dele, já que aquele dano não decorreu de um defeito, mas justamente do perfeito funcionamento da máquina, ou seja, a lesão não decorreu de um desvio à segurança, mas foi da autonomia criativa da máquina. Então, o que isso causa, Prof. Filipe? Uma lacuna de responsabilidade, porque as formas tradicionais de atribuição da responsabilidade já não servem mais. E é por isso que eu defendo aquela ideia do Prof. Jack Balkin de que, diante dessa inédita interação da inteligência artificial com o ambiente social, a gente não olhe mais o defeito do CDC pela lie ability, mas pela accountability, ou seja, façamos guidelines abstratos dizendo: "Fornecedor, independentemente disso ou não, você tinha que fazer um backdoor obrigatório no seu algoritmo, um recurso de desligamento automático, um shutdown, um botão de pânico", ou seja, isso já é um defeito algorítmico do design. Da mesma maneira, hoje o fornecedor diz assim: "Ah, isso não é mais defeito". Por que não é mais defeito? "Porque passou do prazo de garantia contratual, já é exaustão pelo uso normal". Mas, se nós pensarmos na ideia de defeito pela accountability, o desenvolvedor do software vai ter que atualizar o algoritmo durante o tempo em que a tecnologia estiver no mercado. Então, a ideia é: quem assume uma melhor posição horizontal hierárquica tem esse ônus, esse múnus de fazer escolhas e justificá-las. Então, é isso que eu defendo, Prof. Filipe.
10:44 R	O SR. DANILO CESAR MAGANHOTO DONEDA - Muito obrigado, Prof. Nelson. Passamos a palavra para a Profa. Gisela Sampaio, para a resposta no menor tempo possível. Por favor, Gisela. A SRA. GISELA SAMPAIO (Por videoconferência.) - Bom, no menor tempo possível, concordo com as exposições anteriores. Eu só queria acrescentar o seguinte: na pergunta da Clara, eu concordo com a Caitlin, você tem um problema muito maior de nexo de causalidade do que propriamente de identificação do dano em razão de dois fatores. Primeiro, porque não é qualquer circunstância que interfere na produção do dano que pode ser considerada a causa do dano e, segundo, porque eu acho que na inteligência artificial vai se pôr muito o problema das concausas, especialmente quando a conduta humana tiver alguma interferência na inteligência artificial. Então, acho que vocês vão ter um problema. Tem que pensar nesse aspecto das concausas. Em relação à pergunta do Filipe, Filipe, é claro que não freia, óbvio que não; na verdade, eu acho que o fato da responsabilidade ser objetiva só traz para primeiro plano a importância do nexo de causalidade, sem querer puxar a sardinha para a gente - não é, Caitlin? E, sobre a terceira pergunta, eu concordo também com o que a Profa. Caitlin e o Prof. Nelson já responderam. O SR. DANILO CESAR MAGANHOTO DONEDA - Muito obrigado, Profa. Gisela. Agradecemos muito a todos os painelistas: Prof. Anderson Schreiber; Profa. Caitlin Mulholland; Prof. Nelson Rosenvald; Profa. Gisela Sampaio. Imediatamente encerro, com muito êxito, esse primeiro painel do dia, passando para o Painel 11, moderado por Fabricio da Mota Alves e Frederico Quadros. Muito obrigado a todos. A SRA. GISELA SAMPAIO (Por videoconferência.) - Muito obrigada. (Pausa.)
10:48 R	O SR. FABRICIO DA MOTA ALVES - Bom dia a todos! Declaro aberto, então, o Painel 11: "Arranjos institucionais de fiscalização: comando e controle, regulação responsiva e o debate sobre órgão regulador". Estará aqui na moderação, além de mim, o colega membro da Comissão Frederico Quadros. Os nossos convidados são: Fernando Filgueiras, da Universidade Federal de Minas Gerais; Andriei Gutierrez, da Câmara Brasileira da Economia Digital; Raquel Lima Saraiva, do Instituto de Pesquisa em Direito e Tecnologia do Recife (IP.rec); Rafael Zanatta, da Associação Data Privacy Brasil de Pesquisa; Rony Vainzof, da Fecomercio; Paloma Mendes, da Associação Brasileira de Governança Pública de Dados Pessoais. O tempo dedicado aos painelistas é de 12 minutos. Vamos iniciar, então, com o primeiro expositor, Fernando Filgueiras, por gentileza. Seja bem-vindo! (Pausa.) Pode falar daí mesmo. O SR. FERNANDO FILGUEIRAS - Olá! Bom dia a todas e todos! A discussão sobre o órgão regulador é uma discussão importante na construção do PL de inteligência artificial porque, de alguma forma, será o meio a partir do qual nós vamos organizar a maneira pela qual a regulação, de fato, vai tomar efeito, principalmente no âmbito da sociedade. É muito interessante nós observarmos algumas questões anteriores, para discutirmos a composição desse órgão regulador e especificarmos as questões relativas a esse órgão regulador. Se nós observarmos algumas experiências internacionais... Por exemplo, nos Estados Unidos, essa discussão sobre a regulação da inteligência artificial tem avançado. E ela tem avançado muito também no processo de convergência internacional gradativa, que é o de regular a partir da avaliação dos riscos da inteligência artificial. No caso norte-americano, por exemplo, eles criaram agora... Estão discutindo no Congresso norte-americano a Lei de Responsabilidade Algorítmica, que atribui à Federal Trade Commission (FTC) a regulação de algoritmos, em particular dos algoritmos de inteligência artificial, nessa perspectiva de riscos, da avaliação dos riscos desses algoritmos para a sociedade, estabelecendo uma responsabilidade e dando à FTC poder para aplicar regras e criar procedimentos específicos para a regulação da inteligência artificial. Nos Estados Unidos também, associada a isso, há uma discussão já também avançando no Congresso norte-americano, que é a discussão sobre uma carta de direitos relacionados a uma sociedade algorítmica. Então, de alguma forma, o que se propõe no Congresso norte-americano hoje é a criação de uma carta de direitos específica para as questões do mundo digital. Eu acho que isso é um avanço, considerando, inclusive, a perspectiva que eles dão para a regulação de inteligência artificial baseada nos problemas de cibersegurança e de proteção de direitos. Por isso eles apostam muito na avaliação de impacto dos algoritmos de inteligência artificial. E, de alguma maneira, o que está acontecendo nos Estados Unidos hoje é a definição dos requerimentos para a avaliação de impacto dos algoritmos baseada em determinados princípios que estão sendo fixados na lei, como, por exemplo, acurácia, robustez, confiança nos algoritmos, impacto na produção da equidade no âmbito da sociedade, como também temas relacionados à privacidade, segurança, segurança pessoal e pública, eficiência, intemporalidade, relação custo-benefício, transparência e explicabilidade.
10:52 R	Já no caso europeu, a mesma perspectiva dessa questão dos riscos também se coloca, mas o que na lei de inteligência artificial da União Europeia está sendo proposto é exatamente essa avaliação dos riscos da inteligência artificial, estabelecer já de cara algumas proibições, como o caso, por exemplo, de sistemas de reconhecimento facial aplicados na área de segurança pública - pelo menos no projeto, tal como está sendo discutido na Comissão Europeia, já estabelecer como uma proibição, não é? -, e estabelecer procedimentos para a avaliação do impacto dos algoritmos e os seus efeitos na sociedade como um todo. Eles estabelecem categorias de risco e também, num sentido muito principiológico, estabelecem os princípios a partir dos quais essa questão vai ser realizada. E é aí que entra a discussão sobre o órgão regulador, porque, se nós compararmos, por exemplo, a experiência norte-americana e a experiência europeia tal como ela está sendo construída agora na regulação da inteligência artificial, são duas maneiras diferentes. No caso norte-americano, um processo mais policêntrico em que já se atribui a regulação às agências reguladoras existentes, como é o caso, por exemplo, da FTC, da FDA e de uma série de outras agências reguladoras, num modelo mais descentralizado e coordenado - certo? - para a realização do processo de controle, auditoria e da própria regulação e certificação de algoritmos de inteligência artificial; diferentemente do caso da União Europeia, que cria o Conselho Europeu de Inteligência Artificial, cuja função é exatamente harmonizar e facilitar estratégias regulatórias nos Estados-membros da União Europeia. E, no caso do nível nacional, caberá a cada Estado-membro na União Europeia designar uma ou mais autoridades competentes e uma autoridade supervisora nacional, ou seja, criando quase uma estratégia não propriamente de descentralização, como no caso dos Estados Unidos, mas uma estratégia um pouco mais centralizadora e policêntrica. Essas são as tendências que se apresentam na questão da criação dos órgãos reguladores da inteligência artificial. Primeiro, a internacionalização de padrões e boas práticas para governança de inteligência artificial, considerando que seus impactos muitas vezes não se restringem apenas à questão territorial. Então, a criação desses padrões internacionais tem se tornado uma discussão muito importante. E lembramos aqui, que acho que é uma questão que já foi dita aqui várias vezes nas audiências públicas desta Comissão: regular a inteligência artificial não é igual regular uma coisa, como um carro, por exemplo, em que o Estado pode estabelecer determinados parâmetros de segurança ou aquilo que ele quer regular, passar isso para a indústria e de alguma forma criar uma relação de comando e controle com a indústria para estabelecer esses padrões e regular, portanto, essas coisas. Nós estamos falando de uma tecnologia de propósito geral que tem diversas aplicações, as mais variadas, que tem sido crescentemente ubíqua em diversos modelos de negócios, os mais variados. Então, eu penso que essa discussão sobre o órgão regulador deveria partir da premissa das capacidades já existentes no Estado para poder exercer esse tipo de regulação e esse tipo de controle das atividades que são realizadas a partir da inteligência artificial.
10:56 R	Eu acho que, nesse sentido, seria um modelo mais descentralizado do órgão regulador que pudesse, de alguma forma e ao mesmo tempo, exercer uma série de atividades coordenadas, ou seja, um modelo mais policêntrico da regulação. Em vez de criarmos uma agência reguladora específica, estabelecermos um modelo mais policêntrico que possa ser coordenado a partir de um conjunto de parâmetros, de critérios, de requisitos que estejam presentes na lei, ou seja, uma série de princípios que orientem esse processo regulatório, e criarmos então um modelo organizacional mais policêntrico que possa ser coordenado como algo, talvez, na direção de um conselho nacional de inteligência artificial. Essa coordenação, portanto, trabalharia com as capacidades já existentes no Estado para exercer o processo regulatório em diferentes modelos de negócios. Então, por exemplo, no caso de inteligências artificiais que, de alguma forma, estejam produzindo algum tipo de conluio e prejudicando a concorrência, cabe ao Cade exercer ações regulatórias nessa inteligência artificial. Em inteligências artificiais aplicadas na área da segurança pública, cabe ao Ministério da Justiça exercer mecanismos regulatórios e relações de comando e controle sobre essas inteligências artificiais. Na área de saúde, a mesma coisa. Exatamente por ser uma tecnologia de propósito geral, nós temos diversas aplicações, as mais variadas, o que torna a criação de um órgão único de regulação de alguma forma até descabida, porque vai lidar com temas dos mais diferentes, vai lidar com questões das mais diferentes com impactos dos mais diferentes. O que é necessário nesse sentido para a criação do órgão regulador? Eu acho que é exatamente esse modelo de uma natureza mais policêntrica que possa trabalhar com as capacidades já existentes, porque regular a inteligência artificial não é propriamente regular a tecnologia em si, sejam modelos de machine learning, de deep learning, ou de visão computacional. O que nós estamos regulando são modelos de negócios que usam essas tecnologias para atingir determinados fins, para atingir determinados propósitos. Nesse sentido, a regulação de uma inteligência artificial na área de saúde é muito diferente da regulação de uma inteligência artificial aplicada, por exemplo, na regulação de mercados e no combate a conluios, exercido pelo Cade, por exemplo. Nós precisamos lembrar que a inteligência artificial não é uma coisa em si. Ela é uma ferramenta que pode ter diferentes usos, diferentes propósitos, mas o processo regulatório deve se ater a esses modelos de negócio. Um PL de inteligência artificial, portanto, pode avançar se definir uma série de princípios, uma série de parâmetros regulatórios dessa tecnologia de propósito geral, definir um órgão regulador, que, em vez de concentrar esse processo de agencificação numa única organização que vai exercer o processo regulatório em si e essas relações de comando e controle do Estado com os desenvolvedores de software... Nós podemos falar aqui muito mais no modelo policêntrico, em que as questões se atêm aos modelos de negócios que os algoritmos dessas soluções incorporam para atingir determinados objetivos. Então, volto a frisar, só citando como exemplo, que acho que regular uma inteligência artificial que estabeleça relações de mercado, cria conluios, por exemplo, no mercado financeiro, ou na definição de preços, e prejudica a concorrência... (Soa a campainha.)
11:00 R	O SR. FERNANDO FILGUEIRAS - ... é muito diferente de regular uma inteligência artificial que usa, por exemplo, imagens ou dados biométricos para poder estabelecer algumas políticas e algumas ações na área de saúde. Então, são questões muito diferentes que se atêm a princípios e formas de responsabilização muito diferentes. Então, o debate sobre o órgão regulador não é criar uma agência reguladora específica para inteligência artificial, mas criar capacidades no âmbito das agências já existentes - e aí a gente pode falar tanto das agências reguladoras ou, no caso, de ministérios - para lidar com esse tema da inteligência artificial, criar capacidades regulatórias para, então, esse órgão regulador poder atuar muito mais em direção a um processo de coordenação junto aos diferentes ministérios do que propriamente uma agência singular. É isso, pessoal. Muito obrigado. O SR. FABRÍCIO DE MOTA ALVES - Obrigado, Prof. Fernando. Passo a palavra agora ao convidado Andriei Gutierrez, da Câmara Brasileira da Economia Digital. O SR. ANDRIEI GUTIERREZ - Bom dia! Bom dia a todos! Muito obrigado pelo convite. É um grande prazer estar aqui com vocês para poder conversar um pouquinho, a gente amadurecer um pouco mais esse tema. Eu fico muito feliz de estar aqui, na presença de vários colegas, inclusive com todo o debate que a gente teve sobre privacidade, proteção de dados pessoais, em que a gente avançou muito no Brasil, criou muita massa crítica, e acho que é um pouco isso que a gente está fazendo agora também com a inteligência artificial para buscar o consenso, para buscar o amadurecimento para o melhor não só para a preservação de direitos fundamentais, para a segurança jurídica para as organizações, mas o melhor para o país. Nesse sentido, vou fazer minha intervenção aqui. Eu queria fazer cinco considerações iniciais e depois farei meus comentários em torno aqui do objeto da audiência pública de hoje. Como considerações iniciais, eu acho que é muito importante... Tendo muito orgulho e sendo membro dessa comunidade de privacidade e proteção de dados pessoais, eu faço reflexão de que a inteligência artificial, diferentemente da privacidade, é uma tecnologia e não um direito fundamental. Eu acho que essa é uma primeira baliza que a gente tem que ter em mente quando a gente for olhar para esse objeto de regulação que é a inteligência artificial. Nesse âmbito, eu diria que talvez, não necessariamente, esse modelo que foi adotado, que foi muito bem-sucedido, inclusive, aqui no Brasil, para olhar, regular e trazer segurança jurídica no âmbito da privacidade e da proteção de dados pessoais, não seja o melhor modelo para a gente traçar um marco legal para a inteligência artificial, que é uma tecnologia. Como terceira consideração, eu acho muito importante a gente ter sempre em mente que a inteligência artificial vai ser muito importante para o desenvolvimento econômico e social do Brasil no século XXI, seja para a nossa competitividade, seja para o ganho de escala e produtividade da economia brasileira, mas também para o desenvolvimento econômico e social. A gente tem que sempre lembrar que não são só as empresas, não é só o setor privado que vai usar a inteligência artificial, mas também o setor público, na melhoria da gestão, na melhoria da qualidade dos serviços oferecidos. Então, é sempre muito importante a gente ter isso em mente quando a gente for olhar o nosso objeto de regulação.
11:04 R	Tão importante quanto é olhar e ter em mente que a regulação da inteligência artificial não vai tratar só dado pessoal e viés. O que sair aqui deste debate, do Congresso Nacional, vai regulamentar a maneira como as organizações brasileiras estão usando inteligência artificial dentro dos seus sistemas produtivos. A gente, às vezes, fala muito da IA, mas eu queria lembrar que a inteligência artificial é, muitas vezes - e vai ser cada vez mais -, uma camada de aplicação dentro de um sistema produtivo. Dou uns exemplos bem diferentes e diversos em que a gente não necessariamente usa dados pessoais: prospecção de petróleo em águas profundas, eventualmente na automação de prospecção de petróleo em águas profundas; na agricultura, em plantios e colheitas mais inteligentes, que usam inteligência artificial, como, por exemplo, na seleção de um tomate, se deve ser colhido ou não, se deve ser descartado ou não. Então, o objeto do nosso estudo aqui é muito maior, o que aumenta ainda mais a responsabilidade deste nosso debate, a responsabilidade aqui da Comissão. Por fim, nessas considerações iniciais, eu tenho mais duas considerações. A primeira: é importante que a gente tenha um marco regulatório. Eu vi no painel anterior a pergunta: será que precisamos de um projeto de lei para discutir isso? Acreditamos que sim, para trazer segurança jurídica não só para os cidadãos, mas trazer segurança jurídica para o Estado, trazer segurança jurídica para o setor privado, para o setor produtivo. Uma última consideração que eu trago aqui, que eu acho que é muito importante a gente ter em mente, é que o debate vem avançando. Pessoalmente, confesso que, ano passado, eu fiquei muito impressionado, muito bem impressionado com como o debate avançou, sobretudo na Câmara dos Deputados. Eu acho que o Projeto de Lei 21, que vem da Câmara dos Deputados, traz elementos muito importantes de avanço para este debate que eu acho que deveriam ser levados em consideração por esta Comissão. Certamente há muita coisa para se aprimorar, mas eu acho que ali a gente já tem um bom modelo para começar esse debate, para avançar ainda mais, aprimorar e, na linha da minha fala inicial, buscar o consenso, buscar a harmonização e buscar, sobretudo, um ponto de equilíbrio que traga segurança jurídica para o país, para os cidadãos e para as organizações no médio e longo prazo. Agora, entrando no objeto específico, eu tendo a concordar aqui com a fala do Prof. Fernando. Eu observei algumas audiências públicas, sobretudo a primeira, a fala do Prof. Virgílio, as perguntas que houve. E eu tendo a concordar: a gente olha aqui a importância de se ter um modelo descentralizado de regulação para inteligência artificial - eu diria descentralizado, setorial e especializado. E acho que, nessa linha, falando dos avanços do Projeto 21, do Deputado Eduardo Bismarck, que foi relatado pela Deputada Luisa Canziani, ele foi muito feliz em trazer esta perspectiva: olhar a partir de um modelo descentralizado. Mas aí a gente debate: o que poderia ser aprimorado? Eu vi muito o debate que ocorreu na primeira audiência pública e acho que ele trouxe algumas pistas muito interessantes de, talvez, onde a gente pode avançar a partir de onde o Projeto de Lei 21 parou. Eu acredito que, no modelo de governança da inteligência artificial no Brasil, a gente pode avançar. Qual é o modelo ideal? Certamente a gente ainda tem que amadurecer. Eu teria algumas pistas. Talvez, um comitê intergovernamental com essas diferentes agências regulatórias e com outros órgãos ministeriais, para conseguir fazer essa harmonização regulatória. Talvez isto seja muito importante: a gente ter esse elemento.
11:08 R	Por exemplo, a gente que vem do setor privado vê um modelo centralizado. Tem o risco de uma autoridade regulatória subir a barra demais, a outra subir a barra de menos. Tem o risco de a gente não ter, por exemplo, uma preocupação, um olhar para a interoperabilidade, não só interoperabilidade técnica, mas também interoperabilidade provavelmente de boas práticas, de eventuais medidas de mitigação de riscos. Então, acredito que tem espaço para um comitê intergovernamental, mas que deve ter a participação da sociedade civil. E aí eu acho que esse comitê intergovernamental deveria ter como parte um conselho da sociedade, um conselho multissetorial, porque aí a gente teria uma participação - como a gente já criou uma tradição no Brasil - rica do setor privado, da sociedade civil, da academia e do Governo, é lógico, que já vai estar nesse comitê. Então, acho que esses são os dois pontos iniciais que eu traria aqui, defendendo o nosso modelo regulatório, o nosso debate que a gente está trazendo aqui. Primeiro, regulação descentralizada, setorial e especializada. Segundo, é necessário que a gente avance em um modelo de governança. E é importante a gente ver isto: os órgãos de poder que já existem já têm poder sancionatório - e não só setoriais, mas também a gente pega, como o professor mencionou, o Cade. Eu traria aqui a ANPD. A ANPD eu acho que tem um papel muito importante, sobretudo amparada não só pela LGPD, mas, pelo art. 20 da LGPD, ela tem um papel importantíssimo no debate sobre vieses por qualquer tipo de sistema que vai usar a inteligência artificial. Mas é preciso essa harmonização, esse debate no âmbito governamental, enfim, das diversas agências. Terceiro elemento que eu trago - e é superimportante: por que esse elemento descentralizado é eficiente? Aí eu pego aqui um pouco o gancho do debate da primeira audiência pública de hoje, quando a gente começou a discutir - e, em algumas audiências públicas atrás, também a gente tem discutido - como é que deve ser a classificação de riscos. Deve a legislação brasileira já ter uma categorização de riscos logo de saída? Um anexo, como foi defendido em algumas audiências públicas, como fez a União Europeia? E eu acredito que esse modelo descentralizado tem que vir também com uma regulação baseada em risco, mas ex post. A gente já discutiu isso um pouco antes. E eu acho que tem limites. A legislação tem um mérito fundamental de traçar as balizas: quais são os riscos que estão na mesa? Riscos a direitos fundamentais, risco à vida, risco ao meio ambiente... Quais são os limites e os parâmetros lá em cima, numa baliza mais alta. Eu imagino que esse comitê intergovernamental vai ter a importância, o papel de fazer uma categorização de categorias de níveis de risco. E as agências regulatórias, os poderes constituintes, que são empoderados para fazer a regulação, esses poderes vão descer na definição dos riscos, na aplicação dos riscos. E aí eu pego esse... Já entro no último ponto: a aplicação e a definição de risco têm que ser contextuais e, mais importante, elas têm que ser proporcionais às medidas de mitigação de riscos que são propostas àquele risco. Então, eu vou trazer um exemplo aqui para vocês de medida extrema de mitigação de risco.
11:12 R	Por exemplo, os aviões - trago aqui um exemplo - já são automatizados há muito tempo. Um avião faz muita atividade que não necessariamente exige uma pessoa natural ali no controle. Mas, mesmo assim, a gente entende que é uma atividade de altíssimo risco, que envolve não só as vidas ali, mas também envolve as vidas de uma cidade, das pessoas, porque pode cair o avião, e que exige que aquele sistema seja tutelado em tempo real por um piloto e um copiloto, não é? Então é uma medida extrema de mitigação de risco, para não proibir, no caso, um sistema automatizado de ser aplicado num eventual modelo. Mas, enfim, você tem diversas medidas. (Soa a campainha.) O SR. ANDRIEI GUTIERREZ - E é importante que a gente tenha este olhar: a aplicação do risco, a definição do risco pela agência lá na ponta tem que ser proporcional às diferentes medidas de mitigação de risco. E um último ponto que eu acho importante a gente trazer aqui é que, quando eu falo de sistemas produtivos que vão usar a inteligência artificial, é importante a gente ter em mente que não necessariamente a inteligência artificial é de alto risco; pelo contrário, a maioria dos usos de inteligência artificial no Brasil vão estar em soluções, em produtos que não necessariamente são de alto risco - são de baixo risco ou, às vezes, de médio risco. O que a gente está falando aqui, entendo eu, são de casos extremos de alto risco. Então é muito importante que o legislador, no caso aqui a Comissão técnica e depois o legislador, tenha isto em mente: que é importante esse equilíbrio para regulamentar não só esse alto risco, esse altíssimo risco, e trazer segurança jurídica, mas não inviabilizar o desenvolvimento econômico e social e a competitividade do Brasil nesse novo cenário, nessa nova era digital que vai ser, sobretudo, impulsionada por inteligência artificial. Obrigado. Mais uma vez agradeço o convite e agradeço aqui a possibilidade de estar participando pela camara-e.net. O SR. FABRÍCIO DE MOTA ALVES - Obrigado, Andriei. Vou passar a palavra agora a Raquel Lima Saraiva, do IP.rec. Por gentileza. A SRA. RAQUEL LIMA SARAIVA - Bom dia. Bom dia a todas e todos. Eu gostaria de cumprimentar os integrantes desta Comissão de Juristas, na pessoa do Dr. Fabrício de Mota Alves, que é um dos moderadores deste painel, já agradecendo a oportunidade de estar aqui e contribuir com essa discussão. Eu falo em nome do IP.rec (Instituto de Pesquisa em Direito e Tecnologia do Recife), um centro independente e multidisciplinar de estudo sobre direito, tecnologia e sociedade, que produz pesquisas e trabalha ainda nas frentes de incidência política, comunicação e capacitação sobre diversos temas, entre eles a inteligência artificial. O IP.rec também é parte da Coalizão Direitos na Rede, entidade formada por mais de 50 organizações da sociedade civil e da academia que se dedicam também aos temas dos direitos digitais, entre acesso à internet, liberdade de expressão, privacidade e proteção de dados pessoais, e inteligência artificial. E, a partir desse espírito de coletividade, eu preciso pontuar que o debate da regulação de tecnologia aqui, em referência à inteligência artificial, precisa ser aberto, plural, interdisciplinar e diverso, respeitando a diversidade regional e o caráter multissetorial. A inteligência artificial é uma tecnologia transversal - afeta diversos setores -, e é por isso que é importante que todos tenham sua vez de intervir no debate e expor suas ideias. No caso da coalizão e do IP.rec, nós temos acompanhado de perto esse PL, desde o início das discussões, e para nós é uma satisfação enorme estar aqui fazendo esta exposição hoje. O tema desta audiência pública em específico são os arranjos institucionais de fiscalização, mas eu queria iniciar estabelecendo algumas bases, sem as quais a gente não pode sequer iniciar o debate de tratamento da regulação de IA e muito menos sobre aspectos da sua governança.
11:16 R	Primeiramente falando, a inteligência artificial é um conceito extremamente amplo, que abarca diversas técnicas, ou seja, não existe uma inteligência artificial, como já foi falado aqui por diversos convidados antes. Existem técnicas diversas que são classificadas tecnicamente dentro do arcabouço de modelos de inteligência artificial. Do ponto de vista científico, a ausência de uma definição específica é um dado que merece ser levado em consideração pelo legislador no contexto desse debate. Não por acaso essa foi uma questão repetidamente apontada em contextos de definições internacionais de valor normativo ou referencial, como no caso das recomendações do Conselho de Inteligência Artificial da OCDE, das recomendações da Unesco e também no debate em torno da proposição do AI Act na União Europeia. Os textos dos projetos de lei sobre inteligência artificial em tramitação não são exitosos em estabelecer uma definição funcional para fins legais. A definição proposta no art. 2º do PL 21, por exemplo, tem relação direta com uma parte do conceito proposto pela OCDE, mas inclui elementos que prejudicam sua precisão e compreensão. É o que ocorre, por exemplo, ao estabelecer como critério a capacidade ampla e pouco objetiva de - abro aspas: "[...] aprender a perceber e a interpretar o ambiente externo, bem como interagir com ele [...]". Perceber como? De que forma? Interpretar como? De que forma? E também essa interação: de que forma se dá? Isso não está claro, e essa definição do objeto a ser regulado deve ser prontamente revisitada, avaliando-se inclusive os benefícios de incluir uma definição do tipo em primeiro lugar e quais elementos e enfoques devem tomar parte dela em caso afirmativo. Se a gente não sabe que evento a gente está regulando, como pensar mais à frente? Como pensar em cenários possíveis de governança se nem sequer temos definido e delineado qual o objeto da regulação? Nesse sentido também a gente precisa mencionar que as noções científicas sobre inteligência artificial não podem ter como referência, como alguns querem fazer supor, o futuro distópico de obras ficcionais criadas por Isaac Asimov ou Philip K. Dick. As três leis da robótica, de Asimov, nada mais são do que pura ficção, sem nenhuma conexão com a realidade, e a própria confusão entre inteligência artificial e robótica já põe numa vala comum coisas completamente diferentes, já que nem toda IA é um robô com forma humanoide, como tratado nos livros. E, ainda sobre esse ponto, a IA não é uma inteligência, como faz crer esse título que lhe foi dado. Há uma enorme discussão na literatura de diversas áreas da computação, como neurociência, linguística, ciências cognitivas, que também - pasmem - estudam inteligência artificial sobre o que seria de fato uma inteligência, tendo duas correntes representadas pelos estudos de Chomsky e Vygotsky como as mais expressivas. Por isso que o debate precisa ser interdisciplinar, precisa envolver as mais diversas áreas do conhecimento numa discussão tão importante quanto esta que estamos travando agora. Um outro ponto que eu gostaria de mencionar, pois tem relação íntima da forma como vemos, é a questão de governança aqui tratada. O PL 21, da forma como está redigido, não traz qualquer consequência ou sanção, a não ser um modelo de responsabilidade civil, que se mostra, na nossa opinião, no mínimo temerário. Por enquanto, vale comentar que, sem qualquer sanção num modelo de regulação principiológica, como é o que está posto hoje no texto do projeto, o PL não abarca a miríade de problemas que podem ser causados no uso de ferramentas de inteligência artificial, como já apontado brilhantemente por falas nos painéis anteriores.
11:20 R	Mas, apenas para estressar também esse ponto, a gravidade do tema exige que a legislação estabeleça um arcabouço legal robusto, que vá além da prescrição de recomendações de ética e boas práticas, que se restrinja a uma abordagem principiológica, como a utilizada pelo texto do PL 21, da forma como saiu da Câmara dos Deputados. Se há a compreensão de que é necessário firmar um marco específico para o objeto em questão, ele deve servir para suprir as lacunas e insuficiências de outros regramentos já consolidados, que podem servir de fonte normativa em determinados casos, como o Código de Defesa do Consumidor ou a própria Lei Geral de Proteção de Dados. Por isso, também consideramos que a centralidade do ser humano não está suficientemente afirmada e operacionalizada na versão atual do PL 21. E esse diagnóstico se expressa no modelo de responsabilidade sugerido e na ausência de prerrogativas bem definidas quanto ao direito à intervenção humana, por exemplo. A própria Alta-Comissária da ONU para os Direitos Humanos, Michelle Bachelet, em suas recomendações sobre o uso de ferramentas baseadas em IA, expressa que regulações robustas, que deem conta da mitigação dos riscos dessas ferramentas, são necessárias para a proteção de direitos humanos; uma discussão que deve ser feita no âmbito desta Comissão, de pôr o ser humano no centro dessa discussão, já que é quem de fato sofrerá os efeitos das referidas ferramentas. Então, eu chego ao tema mais específico deste painel, que é o de governança. Muito se debate sobre se seria necessária uma autoridade específica de fiscalização em matéria de inteligência artificial, mas uma autoridade administrativa fiscalizatória, como eu já falei, nesse modelo de regulação principiológica que ora se põe é um contrassenso. Afinal, o que será fiscalizado se não há previsão de sanções para o descumprimento das obrigações ou se não há sequer obrigações, parâmetros e boas práticas metrificadas a serem cumpridas pelos agentes de inteligência artificial? Ademais, a discussão sobre autoridades específicas de fiscalização vem sendo posta em todas as tentativas de regulação de novas tecnologias desde a LGPD e a criação da ANPD, como por exemplo, no PL 2.630, que é o PL de fake news. Mas será que seria realmente necessário esse empilhamento de novas autoridades para tratar de cada matéria que passa a ser regulada no país? Na nossa opinião, não. Não é necessário, porque o Judiciário pode e deve dar conta dessas demandas advindas de descumprimentos legais, seja qual for a matéria tratada. Nesse sentido, o Judiciário precisa também ser habilitado e capacitado a tratar desses novos temas da melhor forma possível. Especificamente nesse caso, entre as hipóteses já levantadas em diversas instâncias de debates nesse sentido, entendemos que em governos anteriores houve experiências positivas de conselhos setoriais que tratavam de matérias específicas. Assim, talvez o melhor modelo legislativo para o caso da inteligência artificial seja, para além de uma autoridade reguladora ou coordenadora - que por questões orçamentárias, por exemplo, pode ser muito difícil de ser implementada -, a existência de um conselho multissetorial e interdisciplinar de profissionais com notório saber sobre diversas disciplinas que envolvem a inteligência artificial. Dentro desse conselho, é preciso que haja paridade nos critérios de representação setorial entre governos, empresas, sociedade civil e acadêmicos. Ainda que seja uma estrutura que tenha segurança legal, mas que, onde quer que ela esteja alocada, não seja subserviente, ou seja, que caiba a ela dar concreção às decisões.
11:24 R	Em última nota, acho que a gente deve refletir ainda sobre algumas outras sugestões que apareceram nesse debate sobre a autoridade, sobre a governança, de vinculação dessa estrutura a outras estruturas já existentes, como a própria ANPD ou mesmo o Comitê Gestor da Internet, mas eu acredito que em relação à ANPD é preciso destacar que a matéria de inteligência artificial é muito mais ampla do que as questões de proteção de dados que lhes são inerentes. Há interseções, claro, óbvio, e há noções importantes que a gente deve estabelecer quanto ao uso de dados para a alimentação das ferramentas de inteligência artificial. Mas a discussão da IA é muito mais ampla do que somente esses dados de que ela precisa para funcionar. E quanto ao CGI, não só, mas principalmente pelo conjunto de atribuições relevantes não relacionadas à inteligência artificial que o CGI presta ao Brasil, com a organização e o favorecimento do ambiente multissetorial de governança da internet, talvez também não seja a melhor alternativa. E para finalizar, eu queria enfatizar e pedir a esta Comissão e a esta Casa que não repitam a forma apressada de análise de um projeto de lei tão importante como aconteceu na Câmara dos Deputados. Esse debate precisa e merece ser mais aprofundado, mais bem colocado do ponto de vista da interdisciplinaridade, da diversidade de gênero, de raça e regional e entre os setores. (Soa a campainha.) A SRA. RAQUEL LIMA SARAIVA - Como eu já mencionei no início, não só as empresas produtoras de tecnologia, mas a sociedade civil e especialmente a academia têm muito a dizer e vêm dizendo há muito tempo, mas precisam ser ouvidos para que essa seja uma regulação realmente efetiva na nossa sociedade. E por aqui eu encerro. Nós do IP.rec certamente contribuiremos de forma escrita a esta Comissão, com outros apontamentos sobre essa proposta de regulação, mas eu novamente agradeço e agora eu me coloco à disposição para os debates. O SR. FABRICIO DA MOTA ALVES - Muito obrigado, Raquel. Vou passar a palavra agora ao Rafael Zanatta, da Associação Data Privacy Brasil de Pesquisa, que se encontra virtualmente. Obrigado, Rafael. O SR. RAFAEL ZANATTA (Por videoconferência.) - Obrigado, Fabricio. Muito obrigado pela oportunidade. Eu queria saudar os membros da Comissão de Juristas, fazer um agradecimento enorme pela oportunidade desta discussão democrática e também apresentar rapidamente a posição do que é o Data Privacy Brasil, o que nós somos, antes de iniciar propriamente as contribuições substantivas aqui nesta audiência pública. Então, o Data Privacy Brasil é um espaço de articulação entre duas organizações que são distintas. Existe uma escola, chamada Data Privacy Ensino, fundada 2018, e existe uma associação sem fins lucrativos, focada em pesquisa, fundada em 2020. Eu sou Diretor dessa organização civil, junto com o Bruno Bioni, que também compõe a Comissão de Juristas. Nós somos uma organização que produz pesquisa; uma organização de 25 pesquisadores de diferentes áreas das ciências humanas, sociologia, relações internacionais, direito, economia, sempre com um enfoque na produção de diagnósticos e pesquisas de interesse público que possam contribuir com discussões regulatórias. Por isso que eu fico muito contente de estar aqui nesta manhã, porque é precisamente esse o espírito da junção entre a Comissão e a nossa ONG. E nós temos uma visão muito clara também de que o eixo de análise tem que ser centrado em direitos nessa discussão sobre os direitos digitais. Então, nossa perspectiva é uma perspectiva focada em questões que são muito notórias no Brasil, assimetrias de poder profundas, uma situação de desigualdades aguda. O Brasil é um país semiperiférico, com uma centralidade do eixo social na sua visão normativa constitucional. E acreditamos, temos trabalhado para que os direitos digitais sejam direitos fundamentais de todas e todos. Então, esse é o nosso objetivo institucional.
11:28 R	Nós produzimos uma série de materiais e notas técnicas. Eu vou explicar um pouco como que é essa trajetória do debate de IA está relacionada com produções prévias da Data Privacy e como nós temos nos posicionado sobre esse assunto. O ponto de partida, Fabricio e caros membros, é um posicionamento muito claro que a Data Privacy tem feito de que é preciso ir além de um debate de autorregulação, de um discurso meramente principiológico. Isso é um consenso também acadêmico e científico no nosso campo. O Brent Mittelstadt, que é do Oxford Internet Institute, tem um paper muito conhecido em que ele faz uma grande varredura das produções de princípios sobre ética e IA e contrapõe justamente a precariedade de outros mecanismos de junção profissional, de histórico fiduciário que, por exemplo, na medicina existe e que no campo de IA não existe, de modo que a mera produção de valores éticos ou normativos é absolutamente insuficiente para lidar com o tamanho da complexidade do problema regulatório que se apresenta em IA. Há também um debate grande sobre uma certa captura, por meio de uma grande influência da indústria, do setor privado e de agentes econômicos tentando transformar o que seria uma discussão jurídica, uma discussão regulatória, numa discussão meramente de formulação de princípios éticos abstratos, fragilizando, fazendo uma desidratação do que seria uma capacidade normativa relevante nessa discussão. Então, a gente tem falado isso bastante. Inclusive, na primeira contribuição feita na consulta pública pelo Ministério da Ciência, Tecnologia e Inovação, no final de 2019, na qual a Data Privacy apresentou um texto em 2020, esse posicionamento já foi muito claro por parte da organização, com uma ideia de que é preciso a incorporação de obrigações positivas com relação aos direitos humanos e a incorporação de modalidades de due diligence em aspectos discriminatórios, em especial com enfoque em grandes grupos populacionais. Os aspectos discriminatórios foram muito bem apresentados na audiência de ontem. Eu acompanhei algumas apresentações, e esse foi um dos grandes enfoques do debate de ontem, nas audiências públicas. O que também se tem na literatura científica sobre o problema dos princípios frouxos é que eles se mostram absolutamente insuficientes, eles não dão conta de uma análise compreensiva da dimensão dos riscos que se apresentam hoje na expansão massiva de sistemas de aprendizado em máquina e IA e há um enfoque datado de uma certa perspectiva de um consumidor individual e as escolhas que ele pode fazer nesse mercado. Isso tem sido amplamente criticado, em especial por um texto que nós traduzimos, da Prof. Julia Black e do Prof. Andrew Murray, que são professores de ciência política na London School of Economics. As críticas que eles formulam, com as quais nós também concordamos, são justamente sobre o problema de uma centralidade somente em princípios ou de autorregulação, que é incompatível com a inexistência de características-chave de uma certa profissão em IA, que não se apresenta hoje de forma bem estruturada. Portanto, a mera dependência em códigos de conduta seria uma espécie de muleta. E hoje o debate que se coloca governamental... E há um certo consenso em centros como a OCDE, no Centro de Inteligência Artificial e Democracia, fundado pelo Marc Rotenberg, de uma necessidade de uma virada de página para que os estados nacionais enfrentem a complexidade desse desafio regulatório e possam encará-lo à sua altura. Essa orientação da complexidade se relaciona a um segundo ponto da minha fala, que é objeto também do debate hoje. Como encarar essa complexidade de uma perspectiva de um estímulo à policentralidade? - uma perspectiva de regulação policêntrica, como foi dito pelo colega professor da Federal de Goiás, anteriormente. Então, o que significa de fato estruturar uma visão de estado e de regulação onde atores inter-relacionados podem agir conjuntamente para endereçar problemas e valores normativos compartilhados?
11:32 R	Esse é um grande debate colocado hoje no campo e se relaciona também a uma visão policêntrica. O Don Tapscott tem um livro famoso sobre global solution networks, em que ele vai identificar a centralidade de agentes que geralmente não são muito teorizados, não são muito discutidos na literatura: centros de produção de pesquisa, think tanks, coalizões de advocacia de interesse público, como a própria Coalizão Direitos na Rede do Brasil, centros de formulação de policy. As próprias empresas e associações privadas que também se posicionam como delivery network se comprometem com algumas condutas e modificações de comportamento e executam. Essa teia é muito mais complexa do que uma coisa bidirecional, digamos, entre um regulador e um regulado. Essa visão muito míope do começo do século passado de que a regulação era só o Estado e os agentes regulados numa relação de comando e controle tem sido amplamente questionada nessa literatura sobre regulação. E como é que ela eventualmente pode ajudar a proteger direitos? Um ponto central é uma pactuação sobre quais comportamentos que devem ser modificados. Regulação é fundamentalmente um processo de influência de organizações sobre outros grupos de organizações. Que tipo de comportamento que deseja ser modificado? Regulações é sobre isso fundamentalmente. Então, um dos debates colocados aqui é justamente quais são os valores normativos em jogo e quais são os objetivos pactuados para uma regulação? Sem isso, é impossível, talvez, aprofundar uma discussão sobre como executar. O que nós temos defendido é que esses valores precisam estar bem claros no modelo de IA. É preciso encarar o desafio de assumir um compromisso normativo com a mitigação de discriminações por negligência ou sub-representação em dados, uma garantia de testes dinâmicos, participativos, a garantia de inclusão de grupos potencialmente afetados e especialistas, como a cara colega Raquel comentou, e a submissão de sistemas, a revisão por especialistas independentes. Tudo isso faz parte do conjunto de valores que nós podemos assumir, valores esses que estão relacionados tanto a uma perspectiva de valores constitucionais, como o devido processo, como antidiscriminação, que no Brasil é um valor constitucional claramente posto a Constituição, valores normativos que são consensualizados na sociedade, mas também valores democráticos, de diálogo, de participação da própria autodeterminação informativa, vista por um prisma coletivo de valores democráticos, e também de performance funcional. Nós não podemos cair no erro de um enfoque simplesmente em performance funcional, de tratar esse problema simplesmente como problema de efetividade, eficiência e expertise. Há três outros campos valorativos muito importantes aqui. E como que é a regulação policêntrica poderia funcionar? Acho que um ponto rápido, para sintetizar a minha fala, é que é preciso muito cuidado com os chavões e com as importações de conceitos de regulação responsiva. Esse é um tema que nós estudamos há muitos anos, e a própria dinâmica de como a regulação responsiva se apresenta em redes de governança que são mais complexas são difíceis de operação em países periféricos, porque nós temos uma sociedade civil muitas vezes pouco financiada, precarizada, um próprio combate ao discurso científico, problemas de financiamento em universidades públicas e quem faz pesquisa no Brasil, instrumentos regulatórios ainda pouco porosos a essa pressão pode ser exercida pelas redes transacionais de advocacia e também processo de captura e influência do dinheiro por meio de lobby corporativo, formas sutis de corrupção, influência, organização de eventos, junto com agentes decisórios, uma série de problemas que o John Braithwaite, que foi quem cunhou esse termo, já identificou num paper muito famoso escrito em 2004.
11:36 R	Isso nos coloca também este duplo desafio: acho que é um desafio enorme de identificação de quais são os objetivos normativos - eu não vou entrar nesses pontos agora; nós temos um posicionamento claro sobre quais são esses objetivos normativos, na perspectiva da Data Privacy -, mas também o desafio de uma estruturação de regulação policêntrica que esteja à altura do enfrentamento deste desafio de inclusão dos atores civis nessa teia mais complexa de pressão, de advocacia de interesse público. Então, não dá para falar sobre esse assunto... Antes de entrar especificamente na questão de qual é a autoridade, acho que há problemas mais cruciais em jogo, como o apoio à pesquisa científica. O Brasil vive hoje o problema de um discurso anticientífico, de precarização do conhecimento interdisciplinar e científico do país e de políticas públicas de fomento à ciência. Há o problema de fortalecimento da estrutura de direitos difusos - nós já temos uma tradição forte do Fundo de Direitos Difusos, que precisa se direcionar para esse tipo de projeto - e da inclusão e fortalecimento dessas redes de advocacia de interesse público. É preciso procedimentalizar essa participação; é preciso pensar também as avaliações de impacto pelo prisma dos direitos de participação; é preciso pensar nos inquéritos civis colaborativos entre um sistema de Justiça forte e entidades civis especializadas, como muitos falaram aqui; e desenvolvimento de capacidades institucionais para essas perícias técnicas, auditorias civis e due diligence centrada em direitos humanos e discriminação abusiva. Então, caros, acho que esse é um pacote muito mais complexo da discussão do que simplesmente a definição de qual autoridade entra em campo. Acho que a nossa contribuição é trazer esses elementos para a discussão. É algo que pode ser, sim, endereçado numa perspectiva jurídica. Encerro por aqui, Fabricio, e agradeço pela oportunidade de fala. O SR. FABRICIO DA MOTA ALVES - Obrigado, Zanatta. Vou passar a palavra agora a Rony Vainzof, da Fecomercio. O SR. RONY VAINZOF - Olá! Bom dia a todos e a todas! Cumprimento todos e agradeço à Comissão de Juristas, na pessoa do seu Presidente, Ministro Cueva; da sua Relatora, a Profa. Laura; e dos colegas aqui presentes, os Profs. Fabricio, Frederico e Danilo. Também cumprimento os demais painelistas e o público que está assistindo a esta audiência pública. Começarei falando aqui sobre a importância da IA e da regulação baseada em risco. A inteligência artificial tem se tornado essencial para a sobrevivência e a competitividade de países e dos negócios, e, logicamente, não é diferente a importância dela no Brasil para o setor de comércio e serviços, trazendo maior eficiência, com redução de custos e aumento da qualidade no atendimento dos consumidores finais, e melhorias em seu controle de estoque e nas práticas de reabastecimento, na celeridade das entregas, nos sistemas de transporte inteligentes, no atendimento ao cliente por meio de chatbots e assistentes virtuais, no marketing e na publicidade, apenas para citar alguns exemplos. Entendo que o ponto-chave de atuação regulatória e jurídica deve se voltar à modelação de níveis escalonados e à criação de salvaguardas proporcionais para a mitigação de riscos a depender da aplicação da IA. Tem sido palavra comum que o risco é substancialmente diferente se considerarmos um chatbot de atendimento para uma autenticação de clientes por reconhecimento facial, para um score de crédito, para uma cirurgia assistida por robô, para carros autônomos ou para inteligência artificial em infraestruturas críticas, por exemplo. Ou seja, o nível de risco deve ser baseado numa abordagem setorial e casuísta. O marco legal pode trazer balizas gerais de governança, em especial em torno do uso de IA que traga alto risco, para que os órgãos reguladores setoriais possam aplicá-las em seus contextos específicos e práticos, uma vez que há uma dinâmica intensa das aplicações e usos da inteligência artificial.
11:40 R	Cito alguns casos em que certamente requisitos de governança poderiam auxiliar na mitigação de vieses. O estudado e conhecido caso Compas, nos Estados Unidos, utiliza inteligência artificial para avaliar a possibilidade de reincidência criminal, no qual vieses indiretos das variáveis dos dados utilizados, como endereço, grau de escolaridade, prisões, em vez de condenações, têm o potencial de trazer vieses prejudicando pessoas negras. Um outro caso, mas agora de IA no recrutamento de candidatos, discriminava mulheres por uma falha no treinamento do sistema. Por quê? A base de dados para treinamento do algoritmo era formada por currículos enviados durante a década anterior, quando a maioria dos candidatos era formada por homens. O algoritmo, então, aprendeu a favorecer homens e penalizar mulheres, considerando, diante desse viés, os concorrentes do sexo masculino mais aptos para o cargo. Na Nova Zelândia, citando um outro exemplo, um sistema de passaporte teve um problema de sub-representação no treinamento para checar a autenticidade das fotos. Quando alguns descendentes de asiáticos foram tirar o passaporte, não foram aceitos, pois o modelo considerou que eles estavam com os olhos fechados. Na Itália, um aplicativo de gestão de entregadores de alimentos não garantiu procedimentos para contestar as decisões automatizadas adotadas, incluindo a exclusão de alguns dos entregadores de oportunidades de trabalho. Segundo a autoridade, não garantiu a exatidão e correção dos resultados utilizados para avaliação dos usuários entregadores. O aplicativo, conforme a decisão, terá que modificar o processamento de dados dos seus entregadores e verificar se os algoritmos de reserva e atribuição de encomendas de alimentos produzem formas de discriminação, além de pagar uma multa de 2,5 milhões de euros. Já na Hungria, a autoridade sancionou um banco por utilizar IA para análise de fala e voz que determinava quais clientes deveriam ter prioridade no retorno, de acordo com o seu estado emocional. Aqui o problema, segundo a autoridade, foi de falta de transparência e de ausência do direito a oposição, além de uma discussão sobre a necessidade de consentimento para tal finalidade; ou seja, vieses podem estar presentes não apenas no algoritmo, mas também nos dados usados para treinar o algoritmo. As partes interessadas, inclusive, especialmente os programadores e desenvolvedores de IA, devem aplicar ética by design e mitigar preconceitos desde o início do desenvolvimento de uma tecnologia de IA. Ao lado de um approach regulatório baseado em risco, devemos ter também o accountability; ou seja, idealmente, legislações que envolvem a dinâmica de tecnologias de dados e algoritmos devem abordar elementos de accountability e governança de forma flexível para uma organização conseguir adaptar cada um deles aos seus riscos e requisitos específicos, por meio de seus próprios processos de avaliação que fazem parte dos seus programas de desenvolvimento de novas tecnologias baseados em prestação de contas. Somado ao approach regulatório baseado em risco e ao accountability, eu defendo também a corregulação. Por quê? É cada vez mais relevante para o Estado contar e admitir a contribuição especializada e prática dos mais variados setores da iniciativa privada e do seu conhecimento inerente à dinâmica de constante revisão de conceitos, de forma a absorver melhor incertezas e desenvolver parâmetros de eficácia legal. Segurança jurídica e proteção de direitos fundamentais podem se dar por meio do instituto da autorregulação regulada. A lei, nesse caso, traz parâmetros mínimos de governança no desenvolvimento, emprego e monitoramento dos sistemas de inteligência artificial que são capazes de balizar o dever de cuidado a ser tomado tanto para o trabalho de conformação pelos agentes quanto para a atividade judicante do Poder Judiciário.
11:44 R	Esses parâmetros mínimos orientarão instituições de autorregulação no desenvolvimento de códigos de conduta específicos para diferentes setores de atividade econômica e de possível emprego da tecnologia, podendo ser reconhecidos posteriormente por autoridades públicas setoriais competentes. Inclusive, como acontece na União Europeia para o tema de proteção de dados, códigos de conduta podem contar com supervisão e para entidades privadas com um órgão de monitoramento para aplicá-los de forma que as autoridades competentes passem a agir como metarreguladores, avaliando a eficácia dos códigos de conduta e os órgãos de monitoramento setoriais por elas aprovados. Sobre a questão do órgão regulador, considerando a inteligência artificial como tecnologia, podendo ser utilizada em diferentes contextos e setores, entendo que a normatização e fiscalização serão mais eficazes se forem realizadas por órgãos reguladores já constituídos e que detenham competência para a regulamentação setorial, como mencionado anteriormente por outros colegas: Autoridade Nacional de Proteção de Dados, Senacom, Cade, Bacen, Anvisa, ANS, CFM, entre outros órgãos e autoridades. Também considero pertinente a criação de um conselho composto por integrantes das entidades reguladoras setoriais existentes, com representatividade também multissetorial pela iniciativa privada, academia e sociedade civil. Tal conselho poderia ficar vinculado ao Ministério da Ciência, Tecnologia e Inovações, que tem a responsabilidade pelo tema no Governo Federal. O referido conselho teria algumas funções, e uma delas seria a de facilitar diretrizes para uma aplicação eficaz e harmonizada da legislação, contribuindo para a cooperação entre as autoridades setoriais e prestando aconselhamento e conhecimentos especializados a elas, incluindo coletar, compartilhar conhecimentos técnicos e boas práticas. Para concluir, em que pese haver aplicações de IA de alto risco, a grande maioria das aplicações de IA têm riscos baixo ou médio de causar danos físicos ou psicológicos, violação a direitos fundamentais ou danos ao meio ambiente. A opacidade e resultados imprevisíveis, até mesmo para desenvolvedores, se observam em algumas metodologias mais complexas, como a aprendizagem de máquina profunda ou deep learning. Mesmo essas metodologias não impedem os envolvidos de mapear riscos presentes no seu ciclo de desenvolvimento e emprego e de adotar medidas proporcionais para a mitigação de riscos. A escolha da estratégia regulatória deve ser consistente com o comportamento apresentado pelos agentes regulados e permanentemente adaptadas e otimizadas, ou seja, defendo uma regulação responsiva. Medidas de persuasão e autorregulação usualmente são menos custosas tanto no sentido do custo econômico da sua implementação e manutenção como no sentido do custo social da criação de um ambiente de vigilância e desconfiança. Assim, mantêm-se comandos regulatórios, mas oferecendo, como primeira opção, a tentativa dialogada da solução do problema, buscando entender as razões do mercado agente regulado com a possibilidade de controle por parte dos demais administrados. A regulação também deve impulsionar investimentos IA, sempre preservando direitos e garantias fundamentais, e evitar intervenções ex ante que possam limitá-la ou inibi-la.
11:48 R	A abordagem baseada em graus de risco e accountability, complementada por códigos de conduta setoriais e autorregulação regulada, limita os riscos de violação a direitos fundamentais e promove a supervisão e a execução eficazes, ao associar requisitos aos sistemas com riscos elevados nos casos setoriais práticos. Um dos parâmetros relevantes, como eu já disse, é o da ética by design, para mitigar vieses desde o início do desenvolvimento da tecnologia de IA. Isso pode ser alcançado, por exemplo, pela atuação multidisciplinar. Os desenvolvedores precisam ir além de buscar a precisão da aplicação de IA para atingir a sua finalidade, precisam refletir e incorporar aspectos éticos e legais nela. Do outro lado, profissionais da área humana precisam também entender mais como as aplicações de IA são desenvolvidas para conseguirem ajudar a incorporar preceitos éticos e jurídicos. Assim, somando todas essas sugestões, penso que reforçaríamos a confiança, a aceitação em investimentos... (Soa a campainha.) O SR. RONY VAINZOF - ... em inteligência artificial e, ao mesmo tempo, geraríamos proteção a direitos e garantias fundamentais. Muito obrigado. O SR. FABRICIO DA MOTA ALVES - Muito obrigado, Rony Vainzof. Passo a palavra agora à Profa. Paloma Mendes, representando a Associação Brasileira de Governança Pública de Dados Pessoais. Eu vou fazer apenas um reforço de um alerta: todos aqueles que, porventura, tiverem utilizado PowerPoint ou qualquer outra apresentação que encaminhem para o e-mail da Comissão. A gente agradece. Obrigado. Profa. Paloma. A SRA. PALOMA MENDES - Bom dia a todos e a todas. É um prazer imenso participar de um debate tão importante e necessário em nosso país e uma responsabilidade enorme falar depois de tantos profissionais parceiros e competentes, engajados com essa temática. Como eu já fui apresentada, sou Paloma Mendes Saldanha, professora e pesquisadora da Universidade Católica de Pernambuco. Carrego comigo vários outros chapéus, mas hoje estou aqui representando a Associação Brasileira de Governança Pública de Dados Pessoais (GovDados). Quero, desde já, agradecer ao Ministro Ricardo Cueva, na pessoa do nosso moderador, Fabrício da Mota Alves, pelo trabalho que vem sendo realizado por esta Comissão. Cumprimento ainda o Prof. Danilo Doneda e o Prof. Frederico Quadros. Vamos ao conteúdo. O nosso painel traz um título bastante reflexivo, no meu ponto de vista, e bastante pertinente para juntarmos todas as falas que foram trazidas e coletadas aqui, para tentar falar, de fato, sobre qual seria o arranjo institucional de fiscalização mais adequado quando o assunto é a regularização de sistemas apoiados em inteligência artificial. E aqui eu não entro no debate sobre a necessidade ou não de uma regulação por entender que esse é um ponto que não se trata mais de um debate; isso, para mim, é um fato posto. Então, estamos lidando com uma tecnologia de inúmeras aplicabilidades e com impacto direto e relevante nas relações jurídicas, políticas, econômicas, mercadológicas e sociais. Portanto, estamos falando de uma tecnologia que não pode ser desenvolvida unicamente sob a perspectiva da autorregulação, além de que precisamos entrar no cenário cibergeográfico da corrida regulatória para começar a participar da construção dos limites tecnológicos e da construção de uma ampla governança democrática sobre essa temática. Então, é importante iniciar atentando ao fato de que, ao colocarmos a debate os modelos de comando, controle e regulação responsiva, não estamos apenas falando ou querendo falar sobre os sistemas apoiados em inteligência artificial, estamos trazendo à tona não só uma realidade brasileira de legislação baseada unicamente na punição, mas também estamos promovendo a reflexão sobre se o nosso contexto atual e a temática atual permitem, solicitam e desejam a continuidade desse modelo exclusivamente punitivista.
11:52 R	Enxergo, então, que, num contexto em que, cada vez mais, como foi dito aqui pelos demais colegas, a construção colaborativa e os parâmetros e interesses multissetoriais são corretamente levados em consideração para a criação do design inicial e do desenvolvimento propriamente dito de uma estrutura, seja ela arquitetônica, econômica, política ou jurídica, no âmbito nacional ou internacional, falar em uma regulação, comando e controle, a meu ver, é retroceder, é dar seguimento a uma antiga hierarquia de gerenciamento tradicional baseada numa execução de processos organizacionais executados de forma verticalizada dentro dos quais não cabe qualquer tipo de questionamento por parte de quem está cumprindo a sua obrigação. E eu digo isso por perceber e entender que a figura de quem regula deve adotar estratégias regulatórias que levem em conta as mais variadas assimetrias de informações existentes entre os mais diferentes atores na cadeia de produção, aplicação e uso da tecnologia no Brasil, ou seja, é necessário que não só a gente pense numa regulação que respeite a diversidade cultural e o contexto do povo brasileiro, os valores e os princípios da nossa Constituição e os direitos fundamentais devidamente tutelados, mas que a gente pense também numa regulação que assegure o desenvolvimento amplo de novas tecnologias em prol do nosso desenvolvimento econômico. E, aí, pensar numa regulação responsiva cai muito bem por se tratar de um modelo regulatório que dá ênfase a questões principiológicas sem deixar de trazer obrigações ou regramentos necessários para garantir a efetividade de questões éticas que devam ser observadas no desenvolvimento de sistemas apoiado em inteligência artificial, porque é isso que a gente está regulando. Diferentemente do sistema exclusivamente punitivista, na regulação responsiva, encontramos punição e conscientização caminhando juntas, porém separadas. E o que eu quero dizer com isso? Antes de punir por ter violado uma regulamentação, enquanto órgão regulador, eu preciso conscientizar para gerar um senso de responsabilidade que vai relevar o regulado para um caminho da autorregulação e da autoavaliação. A ideia da teoria - porque, sim, estamos falando de uma teoria - é trazer uma menor intervenção estatal para quem tem o senso de responsabilidade pelo cumprimento do que foi determinado na regulação e um aumento dessa mesma intervenção naqueles atores que são movidos unicamente pela racionalidade econômica, desconsiderando qualquer linha do contexto regulatório. Por isso é que a teoria traz a figura da pirâmide como padrão para entendimento dela em todas as suas vertentes: conceito, aplicabilidade, penalidades, como muito bem colocou aqui o eslaide do Rafael Zanatta, ou seja, quanto mais correto, do ponto de vista regulatório, for um ator corporativo, por exemplo, menor seria o grau de intervenção estatal em suas atividades. Eles ficariam num nível mais baixo da pirâmide, trabalhando numa perspectiva de autorregulação regulada, ou seja, a gente teria uma adoção de regras privadas como forma de gerenciamento de riscos, evitando o descumprimento de uma legislação aplicável àquele setor que está em discussão, no nosso caso: sistemas apoiados, inteligência artificial. Inclusive, é importante dizer, mencionar que a teoria ainda traz a possibilidade de inclusão de mecanismos de recompensa aos regulados pela adoção de medidas que vão além do cumprimento do que foi regulado, do que está descrito naquela legislação e, aí, também já foi citada aqui, a questão das certificações tanto no âmbito da proteção de dados pessoais quanto no âmbito dessa questão da inteligência artificial.
11:56 R	E esses que estariam ali na base da pirâmide só subiriam ao topo dessa pirâmide se houvesse uma violação das normas legais de forma recorrente. Então, o regulador, caso isso viesse a acontecer, teria legitimidade para agir num grau intervencionista mais avançado, de modo a impor sanções a partir de instrumentos mais coercitivos, mais onerosos para que aquilo que foi regulado, a obrigação que foi regulada se tornasse efetiva, cumprida. E aí o grande desafio para implementação desse design regulatório não seria nem o topo, nem a base, porque a gente já teria isso muito bem definido sobre autorregulação ou punição discricionária. A grande questão seria o meio dessa pirâmide, onde a gente encontra os regulados em negociação, digamos assim, com o regulador e a presença de, por exemplo, cartas de aviso ou responsabilidade civil, responsabilidade penal, criminal, entre outras possibilidades que poderiam entrar e estar estabelecidas já dentro desse instrumento regulatório. Um exemplo mínimo e bem simplificado de penalidades construídas com base na teoria da regulação responsiva - e aí, quando eu falo mínimo, é mínimo mesmo, é uma percepção minha - seria a nossa LGPD, que traz desde advertência e multas até a proibição de atividades de processamento de dados, podendo todas as penalidades serem aplicadas de forma gradativa, isolada ou cumulativa. E, para implementar esse modelo, precisaríamos também esclarecer alguns itens e organizar a nossa estrutura. Como foi dito aqui, a gente não tem como falar sobre um modelo regulatório que a gente não tem como aplicar de forma efetiva, mas a gente tem como construir essa aplicabilidade. Então, a gente teria que definir quais seriam as soluções consensuais, como se daria o monitoramento dos compromissos assumidos, como seriam tratadas as infrações reiteradas, como se justificaria o escalar da pirâmide da regulação responsiva, qual seria o grau da publicidade das informações dos processos de fiscalização, entre outras questões que eu poderia deixar para vocês de forma escrita posteriormente. A Anac (Agência Nacional de Aviação Civil) - e aí pegando o que o nosso querido Andriei colocou - tem um projeto que começou em 2020 e que tem como meta repensar o seu atual modelo de regulação a partir da construção de um modelo regulatório totalmente responsivo e inteligente até 2026. Acredito que esse seja, sim, um exemplo brasileiro interessante que poderia ser observado por esta Comissão. E, do ponto de vista do conteúdo propriamente dito da regulação para sistemas apoiados e inteligência artificial, penso que podemos olhar para o regulamento do Parlamento europeu - apenas olhar -, que estabelece regras harmonizadas em matéria de inteligência artificial a partir de uma proposta que tem uma abordagem regulamentar horizontal e que se limita aos requisitos mínimos necessários para dar resposta aos riscos e aos problemas associados à IA, sem restringir ou prejudicar indevidamente a evolução tecnológica ou aumentar desproporcionalmente o custo de colocação no mercado de soluções de inteligência artificial, ou seja, uma proposta que atende ao modelo colaborativo da regulação responsiva trazida aqui em minha fala nos moldes do atendimento aos direitos individuais, direitos coletivos, sem criar restrições ao desenvolvimento econômico, que está necessariamente atrelado ao nosso tema, trazendo ainda a percepção da necessidade de inserir uma gradação de risco, como também já foi falado aqui, quanto a implementação e uso dos sistemas apoiados em inteligência artificial. E aí eu passo para a estrutura - estou finalizando já. Teríamos um glossário? Sim. Precisamos esclarecer, como bem colocou Raquel Saraiva, o que estamos falando, o que estamos regulando. A gente tem visto muitas dúvidas e a adoção de termos incorretos, que podem prejudicar o entendimento do que de fato está sendo regulado. Teríamos princípios norteadores? Com certeza. E já temos isso dentro do nosso PL 21. Teríamos indicação de medidas de governança? Sim. As oito principais características da boa governança precisam estar presentes: Estado de direito, transparência, responsabilidade, orientação por consenso, igualdade, inclusão, efetividade, eficiência e prestação de contas. Teríamos um texto abrangente? Ou um texto com regras técnicas detalhadas? Bom, se não quisermos limitar o desenvolvimento tecnológico e se não quisermos colocar em vigor uma regulação já desatualizada, o texto deve ser abrangente. Mas isso não significa um texto unicamente principiológico, como também não significa um texto vazio de regramento, que despreza os mais variados tipos de tecnologias digitais ou as mais variadas aplicabilidades ou tipos de inteligência artificial.
12:00 R	(Soa a campainha.) A SRA. PALOMA MENDES - Que seja um texto que também visualize a existência atual de diplomas legais, que já tratam e resolvem questões de responsabilidade civil e administrativa, mas que também seja um texto que incentive e provoque a necessidade de um modelo organizacional de gestão de riscos e que regulamente, desde já, a avaliação de impacto algorítmico - trazido pelo professor na primeira fala -, que não é mencionada nem na LGPD nem na RGPD, mas que funciona como ferramenta para obter responsabilidade algorítmica ao avaliar o impacto dos sistemas apoiados em inteligência artificial nos direitos individuais e coletivos. E para que isso tudo aconteça - já me encaminhando para o final -, ao contrário de algumas falas aqui já postas, precisamos pensar num órgão regulador e fiscalizador independente e com formação multissetorial e multidisciplinar que atue em parceria com as diversas agências existentes no país. Como é que eu consigo isso? A partir de um engajamento em prol de uma regulação responsiva que vai me garantir uma regulamentação de caráter participativo, regramentos, penalidades em formato piramidal, um uso de ferramentas de governança e a presença de um órgão regulador e fiscalizador multissetorial e multidisciplinar que dê conta de toda a complexidade que a temática demanda. Encerro minha fala por aqui e fico disponível para o debate. Obrigada. O SR. FABRICIO DA MOTA ALVES - Muito obrigado, Profa. Paloma. Vamos passar agora à rodada de questionamentos. Temos uma relação de membros da Comissão interessados. Vou passar primeiramente a palavra ao membro da Comissão Frederico Quadros e, em seguida, nesta sequência: Prof. Danilo, Prof. Bruno Bioni, eu farei um questionamento, Clara Iglesias e Estela Aranha. E aí peço a gentileza dos convidados painelistas... (Pausa.) O Victor também? Bom, então, o Victor também. Bom, vou restringir o tempo para dois minutos, tendo em vista a quantidade de questões e de membros que irão questionar; e para dois minutos para resposta também. Peço desculpa aos painelistas, para que a gente não avance muito no tempo, o.k.? (Pausa.) Muito obrigado. O SR. FREDERICO QUADROS D'ALMEIDA - Bom dia. Várias pessoas aqui colocaram esta questão de uma fiscalização mais descentralizada, e eu acho que realmente é procedente em certa medida porque, como já foi dito em outros painéis inclusive, nós temos várias aplicações e vários graus de risco diferentes. Então, de fato, tratar tudo unicamente, de uma única forma, não é muito fácil. Mas eu fiquei com uma dúvida. Eu queria que quem se sentisse apto a responder... Não teríamos o risco, nesse caso de uma regulamentação muito fragmentada, de o próprio órgão que estaria regulamentando... Não digo nem ser capturado, mas ele tem interesses naquela área. Por exemplo, vamos falar sobre aplicações na medicina: então, ele não poderia acabar invadindo um pouco demais em questões de privacidade ou em outras questões para ter um desempenho melhor na medicina? Ou na segurança pública, não é? Então, poderia haver uma tendência de aquele órgão regulador não estar tão vinculado ao interesse coletivo, mas mais a um interesse daquele setor específico. Eu queria ver como vocês pensam sobre essa situação e como a gente poderia dar para ela uma solução.
12:04 R	O SR. DANILO CESAR MAGANHOTO DONEDA - Obrigado, Fabricio. Estamos debatendo sobre sistemas de regulação, informações regulatórias, porém, como bem apresentou o Prof. Rafael Zanatta, ainda não definimos quais direitos estão sendo afetados, como isso vai afetar a nós como sociedade e qual a forma regulatória ideal. Estamos perscrutando tudo isso. E, quando falamos em risco, quase sempre, tratamos do termo no sentido lato, quando, na verdade, esse sentido lato inclui também risco sobre saúde, segurança, direitos fundamentais. Então, vou comentar, muito rapidamente, algumas das falas aqui por uma pergunta, na verdade, transversal. O Prof. Fernando Filgueiras mencionou a desejabilidade de uma regulação setorial, porém, calcada, com vetores de princípios e diretrizes que seriam comuns. Aí eu pergunto para ele: de onde adviria isso, de formulações de soft law? Teríamos regras vinculantes? E haveria um grau de organização entre esses órgãos? Isso porque a gente já vê, hoje em dia, por exemplo, inclusive no Brasil - desculpe... (Soa a campainha.) O SR. DANILO CESAR MAGANHOTO DONEDA - ... sistemas, por exemplo, de diagnóstico médico, funcionando com inteligência artificial, com certificações que não são de inteligência artificial, que nos trazem preocupações quanto a isso. Em relação, muito rapidamente, ao que o Andriei colocou aqui, em relação à desejabilidade de segurança jurídica, com regras procedimentais e um comitê interministerial, eu pergunto para todos e para o Andriei também: esse modelo, com os riscos que nós temos aqui nessa acepção mais ampla que eu coloco, não seria até um risco de ser uma inclusão sobre competências do Congresso Nacional com o risco de fulminar, justamente, a segurança jurídica que se pretende? Os grupos de trabalho com interesse são úteis, necessários para tantas coisas aqui, mas, enfim, essa definição de objeto é um ponto muito importante. E, só terminando, o Andriei até começou fazendo uma menção que eu achei muito pertinente à construção conjunta, coletiva que foi muito exitosa em passos anteriores e faço votos de que ela continue nesse projeto de lei. Muito obrigado, Fabricio. Desculpe quanto ao tempo. O SR. FABRICIO DA MOTA ALVES - Bruno Bioni, por favor. O SR. BRUNO RICARDO BIONI (Por videoconferência.) - Obrigado, Fabricio. Eu queria, antes de mais nada, agradecer a todos os painelistas pela generosidade nas contribuições, que foram excelentes. A minha pergunta, de maneira bem breve. Pareceu-me que, durante as falas, tem convergências em algum sentido, por exemplo, a própria questão de uma regulação descentralizada, algumas divergências quando se fala em corregulação ou autorregulação regulada, e aí eu não vou entrar muito nas questões de terminologia e no refinamento teórico por trás de todos esses jargões do campo da regulação, mas a minha questão principal em que me parece que há uma possível divergência ou não convergência é a seguinte: é possível ter uma regulação descentralizada na visão dos painelistas, ainda que conte com uma possível autoridade, caso ela venha a existir? E me parece que uma outra questão é: como haveria a repartição e a definição de competências e atribuições por parte dessa autoridade? Como isso, ao final, pode ser agregado com o que foi mencionado sobre um possível conselho multissetorial, que é algo muito parecido, no final do dia, como está posta a questão do arranjo institucional na Lei Geral de Proteção de Dados Pessoais, que conta com uma Autoridade Nacional de Proteção de Dados Pessoais, conta com um conselho multidisciplinar e se tentou, minimamente, dividir e repartir competências dessa autoridade frente a outras, como, por exemplo, de produção e de defesa do consumidor?
12:08 R	Então, para sintetizar mais uma vez a minha fala: regulação descentralizada é compatível com uma nova autoridade? Sim ou não? E, se sim, como se daria a eventual repartição de competências? O SR. FABRICIO DA MOTA ALVES - Obrigado, Bruno. Eu mesmo farei uma formulação. Bom; uma das panelinhas, mais especificamente a Dra. Raquel Lima Saraiva, colocou questões que eu achei bastante interessante, e é nesse sentido que eu formulo para todos os painelistas em relação especificamente à necessidade de previsão de um regime sancionatório. Evidentemente, falamos muito em órgão regulador, mas eu gostaria de dar o enfoque para o poder fiscalizatório desse órgão. De fato, fiscalizar o que especificamente? Vamos construir que tipo de regime sancionatório nessa legislação? Vamos trabalhar tipos infracionais abertos? Vamos desenhar tipos infracionais específicos? Vamos delegar para uma possível autoridade o mecanismo de detalhamento desses tipos infracionais? Há aspectos a serem vencidos, os aspectos constitucionais. Precisamos especificar também os limites do nosso processo legislativo. Podemos prever essa autoridade? Podemos discutir novas atribuições legais às autoridades existentes? O próprio conselho, que foi dito quase que por unanimidade entre os painelistas, ficaria vinculado a que órgão especificamente? O Dr. Rony mencionou o Ministério da Ciência e Tecnologia e Informação, mas eu questiono aos demais também quais as suas visões em relação a esses aspectos, aspectos estruturantes da administração pública, direito administrativo em sua essência, e aspectos relacionados ao regime sancionatório, à definição de obrigações. Muito obrigado. Próximo membro a questionar seria a Dra. Clara, que está virtualmente. A SRA. CLARA IGLESIAS KELLER (Por videoconferência.) - Muito obrigada, Dr. Fabricio. Cumprimento a todos e agradeço imensamente aos palestrantes pelas contribuições. Sendo bem breve e o mais objetiva possível, eu tenho duas perguntas. A primeira delas se refere a um ponto levantado pelo Prof. Rafael Zanatta, quando ele fala dos muito importantes limites da regulação principiológica. Aqui, vem sendo usada muito mais como um subterfúgio para a não regulação, como uma parte do que, na verdade, deveria ser um mix de estratégias regulatórias que se complementam, certo? Então, deixo essa pergunta para todos os palestrantes que quiserem sobre ela se posicionar. E a minha pergunta é: em que grau deve o regulamento já indicar, favorecer algumas estratégias regulatórias ou se cabe a ele apenas consagrar os direitos protegidos e deixar essa escolha de estratégias a cargo do regulador? E a minha segunda pergunta é sobre essa sugestão de um conselho. Eu, particularmente - e não cabe aqui a minha opinião -, tendo a concordar com a ideia de centralização, em algum grau, de um órgão que possa dar diretrizes gerais, além, é claro, de guardadas as competências específicas. Mas a minha questão com a sugestão de um conselho - e sobre isso eu gostaria de ouvi-los a todos - é que, tradicionalmente, os conselhos, na administração pública brasileira, têm funções consultivas não vinculantes de elaborar políticas públicas e não de executá-las. Então, se estamos aqui preocupados com uma regulação que tenha dentes, como diz o título de um dos artigos que o Prof. Rafael Zanatta trouxe, até ponto seria útil termos um conselho, como esse órgão centralizador, ao invés de um órgão que execute políticas públicas? Esses são os meus pontos. Muito obrigada pelo tempo e a todos os palestrantes mais uma vez. O SR. FABRICIO DA MOTA ALVES - Obrigado. Passo a palavra à Dra. Estela Aranha. A SRA. ESTELA ARANHA (Por videoconferência.) - Bom dia a todos. Enfim, muitas questões, e a gente tem que ser breve aqui.
12:12 R	Então, a gente está falando, sempre para lembrar, de uma tecnologia que ainda está sendo desenvolvida - há mudanças -, variáveis em mudança, mas ela tem um impacto profundo e enorme, que precisa de uma perspectiva, em geral, em relação a esses impactos tão amplos na sociedade. Isso que é muito importante entender, porque a gente... E acho que tem um consenso aqui da necessidade de uma regulação policêntrica. E uma regulação policêntrica obviamente não exclui regulações setoriais ou mesmo uma autoridade central para tratar de alguns temas. Quando a gente fala de regulação, estamos falando de uma regulação garantidora, que, no mercado, quando você joga para o mercado, ela está garantindo resultados, seja por meio dessas agências que tratam de risco, como questões de saúde, meio ambiente ou de mercado mesmo, de infraestrutura, para regular. Mas são essas agências também garantidoras de efetivação de responsabilidade pública, de garantias do Estado em relação aos cidadãos. Como colocaram até os membros da última mesa, o poder público tem a obrigação e a responsabilidade objetiva em relação à garantia de direitos. E quando a gente está falando de inteligência artificial, a gente tem algumas questões em que o Estado teria obrigação de garantir a efetividade, uma questão de garantia de direitos e assimetrias de poder. Como o Zanatta falou, é muito importante você ter um órgão que faça esse contrapeso. E outra coisa é o chamado trustworthy em AI, a confiabilidade. Se a gente não tiver confiança, inclusive o desenvolvimento do mercado não é possível. E para ter confiança, obviamente, a gente precisa cuidar de uma série de requisitos básicos, técnicos, em especial saúde, segurança mesmo, a nossa, e os direitos humanos. E aí, em várias agências descentralizadas, a gente não tem primeiro em todos os âmbitos de regulação obviamente. Alguns setores que são regulados. Então a gente não tem essa amplificação. Também falaram muito de regulação responsiva. E quando a gente está falando de segurança, de saúde, de direito humanos, a gente está falando inclusive de não colocar produtos no mercado. Não é só da vedação de risco, como de alto risco, como de características técnicas mínimas para que aquele produto chegue ao mercado e funcione, como tenha que funcionar, com segurança, que garanta a saúde e que o consumidor, seja ele de business ou seja ele consumidor final, tenha confiança e garantia de que aquele produto vai alcançar. Isso é importante para o desenvolvimento econômico, para o desenvolvimento da tecnologia. Se a gente não tiver confiança, isso não existe. E aí se são somente diretrizes sem ter ninguém para acompanhar, eis a minha pergunta: como é que a gente consegue garantir essa fiscalização da confiança na inteligência artificial? Porque senão o mercado não desenvolve. Como que a gente consegue fazer também essa garantia de direitos em outros setores que não são os regulados? E aqui os setores regulados vão tratar das regulações obviamente super específicas para as áreas, mas que não vai ter expertise em relação à inteligência artificial... Concluindo, que não vai ter expertise em relação à inteligência artificial. Essa discussão é no mundo inteiro e diz de uma questão extremamente técnica. A gente não consegue democratizar tão fácil esses conhecimentos, questão de fiscalização, etc. E também tem a questão obviamente - de alguma forma, foi colocado aqui no início - de algum conflito de interesses. Uma coisa é querer um produto melhor para a aplicação na saúde e outra coisa é ver todas essas garantias de segurança, de direitos humanos, etc, em relação a isso. Então, a minha pergunta para os debatedores é esta: nesse cenário, essa alta descentralização, sem nenhum órgão executivo que centralize a garantia de direitos e a garantia de confiança principalmente, e o papel do Estado como garantidor, se só responsivo, como é que você garante que esses produtos não teriam que ter um cardápio maior de regulação? Como é que esses produtos que não deveriam estar no mercado, por exemplo, a gente consegue regular numa regulação responsiva?
12:16 R	O SR. FABRICIO DA MOTA ALVES - Obrigado, Dra. Estela. Prof. Vitor Marcel Pinheiro. O SR. VICTOR MARCEL PINHEIRO - Bom dia a todos. Cumprimento meus colegas de Comissão, na pessoa do Dr. Fabricio e do Dr. Frederico, que fazem a moderação do painel, todos os convidados, que gentilmente compareceram hoje, presencial e virtualmente ao nosso debate. Para ser bem sintético, em dois minutos, eu tinha três perguntas. Uma sobre uma possível organização da governança em órgão, em autoridade, mas acho que a pergunta já foi tratada e colocada. Então fico em duas perguntas. A primeira delas, nós tínhamos em um dos painéis, de manhã, uma discussão muito interessante sobre responsabilidade civil, e acredito que um dos debates foi para mecanismos ex ante, talvez, de padrões de conduta, regras mais rígidas de hard law, de auditoria, de certificação de sistemas e gostaria de questionar, a primeira pergunta, no seguinte sentido. Qual pode ser, enfim, uma articulação de um sistema de certificação para fins de definição de responsabilidades e governança dos sistemas de inteligência artificial? (Soa a campainha.) O SR. VICTOR MARCEL PINHEIRO - Nós temos a proposta europeia, que articula um conselho europeu nacional e entidades certificadoras privadas e, se os senhores e as senhoras enxergam algum espaço para certificação como um dos elementos na articulação do sistema de governança. E a segunda pergunta, endossando um pouco o que o Dr. Fabricio colocou, é se, vamos dizer assim, nessa pirâmide regulatória que a Dra. Paloma trouxe, há algum espaço para o Direito Administrativo Sancionador. Eu acho que é um dos temas que está na mesa e que nós temos que, enfim, fazer uma reflexão se temos algum espaço para isso, ou se caminhamos para a responsabilidade civil e talvez, em via judicial, como colocado de manhã por alguns palestrantes e para a autorregulação regulada e outros modelos. Mas são essas as duas questões que eu trago. Muito obrigado. O SR. FABRICIO DA MOTA ALVES - Muito obrigado. Tendo em vista que temos ainda uma boa condição de tempo, vou conceder três minutos então aos painelistas, até por que foram muitos questionamentos, muitos membros, e vou seguir a mesma ordem de suas apresentações. Passo a palavra primeiramente ao Prof. Fernando Filgueiras, por três minutos, Professor. Obrigado. O SR. FERNANDO FILGUEIRAS - Vou ser bastante sintético aqui. Muitas vezes a impressão que eu fiquei ouvindo as perguntas e alguns comentários... e eu queria muito insistir num ponto que eu coloquei na minha fala. A gente tem que pensar em inteligência artificial como uma ferramenta para alcançar determinado objetivo, ou seja, um determinado propósito. Ela é uma ferramenta de propósito geral, que pode servir para várias coisas diferentes. Então, ela não é algo específico. E muitas vezes o que me parece aqui é que a gente quer... Vou fazer uma homologia aqui com a indústria automobilística, a gente não quer regular o carro que um conjunto de ferramentas produziu, que a indústria automobilística produziu, mas a gente quer regular a chave de fenda que foi utilizada para apertar os parafusos, e eu acho que isso não vai funcionar. Certo? Eu acho que isso não vai funcionar. Então, como ela é uma ferramenta de propósito geral, eu acho que é muito difícil imaginar um único órgão regulador que pudesse assumir toda essa função de regular as questões relacionadas à inteligência artificial. Quando se fala num modelo policêntrico, portanto, o que é necessário regular são os modelos de negócios, diferentes modelos de negócios, aplicados a diferentes setores da economia e da sociedade, que são otimizados e realizados a partir de inteligência artificial. Então, por exemplo, nós já temos vários instrumentos. Hoje já se sabe que inteligência artificial aplicada em relações comerciais produz muitas formas de definição de preços que são organizados a partir de conluios; já literatura demonstrando isso.
12:20 R	Agora, cabe ao Cade regular essas relações no sentido de atingir os benefícios da concorrência preços... (Soa a campainha.) O SR. FERNANDO FILGUEIRAS - ... cabe à saúde regular diversos mecanismos que podem utilizar a inteligência artificial para alcançar os objetivos da política de saúde. Então, eu acho que a regulação policêntrica tem esta característica: ela precisa olhar, sobretudo, para os modelos de negócios que são otimizados pela inteligência artificial, mas é necessário um mecanismo de controle - perdão -, um mecanismo de controle e de coordenação dessa regulação. E aí eu acho que um conselho ou uma autoridade nacional pode cumprir bem com esse papel no sentido de definir diretrizes para a regulação da inteligência artificial, definir parâmetros que estejam presentes na lei, definir requisitos da avaliação de impacto dessas inteligências artificiais aplicadas em diversos setores e uma autoridade ou um conselho que tenha, portanto, a representação de vários setores da sociedade. Eu não vou conseguir avançar na pergunta do Dr. Fabricio, mas eu acho que aí, sim, também atuando, inclusive, com as sanções já existentes no ordenamento jurídico e nos mecanismos de regulação existentes. O SR. FABRICIO DA MOTA ALVES - Obrigado, Professor. O Sr. Andriei Gutierrez, por gentileza. O SR. ANDRIEI GUTIERREZ - Vou ligar aqui o meu tempo para eu não me perder. Depois dessa quantidade de perguntas, a gente fica até meio perdido por onde começar. Mas, enfim, eu acho muito rico este debate e, pela quantidade de pessoas, de especialistas e de juristas que quiseram se manifestar, eu acho que está explícita a importância central desse tema para o nosso objeto aqui, para a nossa regulação. Quando a gente discute sobre o debate até agora - e eu mencionei que achei que o PL 21 avançou muito nessa visão descentralizada, mas tinha elementos em que era necessário a gente avançar, sobretudo na governança -, eu acho - e aí concordo com a fala do Prof. Frederico -, que a gente tem, sim, esse risco de ter uma regulação fragmentada; de ter, por exemplo, agências regulatórias em que setores tenham um poder mais forte de influência do próprio setor privado, em que a régua vai ficar baixa demais, ou de outros em que a régua vai ficar alta de menos ou alta demais. Então, eu acredito, sim, que é importante que a gente tenha um comitê centralizado, um comitê interministerial com essas agências, intergovernamental - eu mencionei -, porque tem que fazer parte, é técnico - eu acho que a fala do Professor foi muito feliz -, é algo técnico, tem que ter os especialistas que estão trabalhando nas agências regulatórias, tem que ter, eventualmente, Ministério da Justiça, especialistas que estão olhando, defesa do consumidor, sim, com um conselho multissetorial. Aí eu concordo que tem que ter também a participação multissetorial. Não é ausência de sanções - não é ausência de sanções -, o que eu acho que a gente vai ter que discutir aqui e entrar é: quais são as atribuições em lei desse comitê interministerial? Na minha opinião - e aqui com caráter extremamente pessoal -, talvez a classificação das categorias de risco, não a definição e a aplicação que eu acho que vão ficar lá na ponta pela agência regulatória, enfim. (Soa a campainha.) O SR. ANDRIEI GUTIERREZ - Interoperabilidade. Poxa, por que esse comitê não pode trabalhar numa base de dados nacional de sotaques para a gente evitar vieses regionais tão importantes? Isso não tem que ficar a cargo de uma empresa ou de outra, de uma organização; isso é importantíssimo para a política pública nacional. Por exemplo, um eventual poder de você buscar padrões de medida de mitigação de riscos para essas agências regulatórias e, talvez - eu estou aqui especulando, em caráter pessoal -, até discussão sobre dosimetria de sanções que, eventualmente, podem ser aplicadas pelas agências regulatórias.
12:24 R	E digo aqui, é um tema extremamente complexo, quando você vai ter, por exemplo, saindo completamente do campo de produção de dados pessoais, um acidente de perfuração de petróleo em águas profundas, como já aconteceu aqui em Frade, em que o sistema automatizado, eventualmente, teria uma camada de inteligência artificial. Quem vai regular isso? Você tem reguladores já, você vai ter Ministério Público, você tem diversas autoridades que estão ali; ou, então, um acidente com uma barragem como a de Mariana ou de Brumadinho que tem, eventualmente, um sistema automatizado que tinha uma camada na gestão ali de inteligência artificial. Então, eu acho muito importante que o olhar seja especializado, mas concordo com vocês, a gente tem que ter essa governança, a gente tem que ter essa centralidade, até para a própria segurança jurídica para o setor privado. Obrigado. O SR. FABRICIO DA MOTA ALVES - Muito obrigado, Sr. Andriei. Passo a palavra, agora, à Dra. Raquel Saraiva. Por gentileza. A SRA. RAQUEL LIMA SARAIVA (Por videoconferência.) - Obrigada pelas perguntas. Acho que o tempo é muito curto para a gente responder todas. Eu vou eleger algumas aqui que eu posso responder, que eu posso endereçar, mas, certamente, a gente vai levar em conta esses questionamentos que foram feitos, aqui hoje, na contribuição escrita que o IP.rec vai enviar posteriormente. Em relação à pergunta do Dr. Frederico Quadros sobre o risco de a fiscalização não estar vinculada ao interesse coletivo, mas ao interesse setorial específico, eu acho que é por isso que a gente precisa defender a representação multissetorial nesse conjunto, nesse eventual conselho que venha a ser, talvez, o centralizador da fiscalização desse PL e que esse conselho tenha, realmente, paridade de representação setorial entre o setor público, o setor privado, a academia e a sociedade civil, formada por especialistas nesse âmbito - eu concordo com o que o Andriei comentou antes -, formada por técnicos especialistas no assunto e que eles, de fato, representem interesses sociais, porque a gente pode ter também um problema que se dá por outro lado, uma autoridade única que, por ventura, não possa invadir o limite das competências temáticas setoriais de outros órgãos que já existem e que vão implementar essas medidas e fazer uso também de ferramentas de inteligência artificial nas suas atividades. Então, no nosso entendimento, esse conselho deveria ser o mais diverso possível... (Soa a campainha.) A SRA. RAQUEL LIMA SARAIVA - ... para representar todos esses interesses e evitar que se caia nessa questão, talvez, de captura de interesses. Em relação à vinculação desse conselho, o MCTI também foi uma opção que a gente considerou válida. Eu acho que vale um pouco de discussão ainda sobre até o contexto político em que a gente vai implementar, talvez, essa medida futuramente, mas também foi uma opção que a gente ventilou nos debates internos. Bem, acho que, pela exiguidade do tempo, eu fico por aqui, mas a gente vai enviar contribuições posteriormente. Obrigada.
12:28 R	O SR. FABRICIO DA MOTA ALVES - Muito obrigado, Sra. Raquel. Agora, o Prof. Rafael Zanatta. Por gentileza. O SR. RAFAEL ZANATTA (Por videoconferência.) - Obrigado. São muitas questões relevantes, então eu quero fazer alguns esclarecimentos conceituais básicos para fechar bem esta discussão. Primeiro, regulação responsiva não é desregulação. Nunca foi. Regulação responsiva sempre foi pensada como uma estratégia de combate a movimentos do "reaganismo", do "thatcherismo", de eliminação das funções estatais de regulação. É uma regulação vista em outro prisma, de forma colaborativa, dialogada, mas sempre com capacidade sancionatória. Sempre. Então, respondendo ao segundo ponto, é claro que há espaço para o direito administrativo sancionador. Deve existir. Não deve existir nenhuma dúvida sobre isso. Nenhum grupo de policymakers ou de reguladores do mundo, sério, está pensando nesse debate somente pelo prisma de uma regulação ex-post, civilista. Isso não existe. Os grupos que estão articulados e produzindo estão, todos, pensando num conjunto de obrigações que devem ser assumidas, obrigações ex-ante, especialmente relacionadas às atividades de alto risco em sistemas de IA e um compromisso com condutas e obrigações de mitigação desses riscos. Infelizmente, eu não pude entrar nisso na minha fala hoje porque tínhamos um direcionamento mais específico, mas isso está na contribuição da Data Privacy Brasil e das principais ONGs do mundo que estão trabalhando nesse tema. Nós fazemos parte também de um centro da OCDE, de ONGs que assessoram a OCDE nesses temas, e isso é um consenso muito grande. E é preciso, então, olhar isso dessa perspectiva. Infelizmente, o PL original, o PL colocado à discussão, colocou a discussão num patamar muito frágil - uma discussão, como disse Clara, absolutamente principiológica, fraca, incompatível, inconsistente com tudo que há de debate sério feito nas principais universidades do mundo, nos principais centros de pensamento sobre isso -, então não tem que ser tomado como referência para uma discussão renovada que pode ser feita agora sobre esse assunto. Eu espero ter esclarecido esses pontos, mas também coloco todo o material do Data Privacy e de outros centros de pesquisa, porque esse é um trabalho fundamentalmente coletivo, de várias organizações, como disse a Raquel, que são dedicados ao tema, à disposição. Espero ter esclarecido esses pontos básicos para a gente concluir. Obrigado. O SR. FABRICIO DA MOTA ALVES - Muito obrigado, Prof. Zanatta. Dr. Rony Vainzof. O SR. RONY VAINZOF - Dr. Fabricio, Dr. Frederico, Dr. Danilo, demais colegas das Comissão de Juristas, que debate rico e importante, não é? Eu acho que é muito relevante a gente pontuar aqui que a discussão da regulação de inteligência artificial é uma regulação de uma ciência, de uma tecnologia, de uma ferramenta. A gente não pode se esquecer de que é uma discussão diferente do que foi a LGPD, por exemplo, que protege um direito, uma garantia fundamental, que é a proteção de dados pessoais. Eu olho aqui para os colegas e vejo todos eles no debate que a gente teve do marco civil da internet, como foi dito anteriormente. Eu acho que a gente tem que analisar a perspectiva regulatória do debate da inteligência artificial muito mais no âmbito do que foi o marco civil da internet, que foi comemorado, aplaudido nacionalmente, multinacionalmente, globalmente, com mérito, do que de uma legislação parecida com a LGPD, por exemplo, como o Andriei comentou aqui. Então, eu acho que esse é o ponto de partida. Muito relevantes aqui os comentários de todos, principalmente do Prof. Danilo, em relação a como garantir, na prática, então, a questão aqui da proteção dos riscos. Eu acho que aí é uma carência mesmo que se tem no PL original de garantias mínimas na legislação, como foi comentado aqui por alguns colegas, acerca de governança. Creio que precisamos ter, sim, garantias mínimas de governança. Mas por que garantias mínimas de governança? Porque somente com a aplicação prática, somente com os órgãos reguladores setoriais em conjunto com as entidades públicas e as entidades privadas que desenvolvem, aplicam e utilizam as ferramentas, é que se vai conseguir não só destrinchar a questão do risco como mitigá-lo utilizando esses requisitos mínimos de governança.
12:32 R	Então, respondendo às perguntas, partindo dessa introdução, em relação a eventuais conflitos de órgãos reguladores setoriais, que acho que foi a questão do Dr. Frederico. Eu acredito, primeiro, que a gente já tem os órgãos setoriais e acredito que, tendo eles requisitos mínimos de governança e também diretrizes por meio do conselho que foi conversado aqui, a gente supriria uma eventual questão bem colocada como esta. Em relação à proteção dos riscos na prática e à interlocução das autoridades, acho que a ANPD é um belo exemplo de interlocução com autoridades e de como isso pode se dar na prática, e vejo que esse conselho pode motivar também essa interlocução das autoridades em relação a casos que envolvam proteções de direitos de forma multissetorial. A pergunta do Bruno, em relação à regulação descentralizada ser compatível com uma nova autoridade: como eu disse, não é o que eu defendo, uma autoridade central para isso, mas, obviamente que, se a legislação caminhar para uma autoridade central, você tem mecanismos de descentralização, como o instituto da autorregulação regulada. Então isso é possível. Pergunta do Dr. Fabricio, sobre a previsão do regime sancionatório: eu acredito que a gente deva seguir as sanções já previstas setorialmente, além, obviamente, do Poder Judiciário em relação à responsabilidade civil. Enfim, basicamente é isso. Eu tinha anotado outras questões, mas acho que eu fiz um resumo de todas. Muito obrigado. O SR. FABRICIO DA MOTA ALVES - Muito obrigado, Dr. Rony. Profa. Paloma. A SRA. PALOMA MENDES - Agradeço as perguntas. Também vou tentar ser breve, vou tentar abarcar o máximo possível das questões. Corroboro a fala do Prof. Rafael Zanatta e, já atendendo aqui a pergunta do Dr. Frederico sobre a descentralização da fiscalização, se não traria um direcionamento para o interesse de cada agência, eu respondo: eu entendo que sim, eu entendo que sim, por isso é que eu reforço o que disse na minha fala inicial quanto à visualização da necessidade de um órgão específico que dê conta da complexidade do nosso tema, mas que consiga, ainda assim, interagir com as demais agências, de modo a ele ser colocado como um órgão efetivamente responsável por definir e fiscalizar o uso, a aplicabilidade e as sanções atreladas ao descumprimento das obrigações que fiquem designadas dentro daquela norma regulatória. E, assim como o próprio Rony colocou aqui, se apresenta a nossa ANPD, que consegue, como um belo exemplo, trabalhar de forma muito colaborativa. Quando a gente fala de obrigações a serem designadas, eu penso que a gente precisa ainda amadurecer muita coisa. Apesar de já termos várias questões definidas dentro do nosso ordenamento jurídico, precisamos olhar no contexto do desenvolvimento da tecnologia, especificamente da inteligência artificial, para o que vem sendo aplicado no nosso cenário brasileiro, mas também no cenário internacional. E aí, quando a gente fala de obrigação, a gente pode trazer como exemplo uma coisa que o professor aqui já colocou, que eu trouxe na minha fala e que eu acredito que alguém já tenha falado aqui também, no sentido de a gente tentar documentar a avaliação de impacto algorítmico, materializar essa avaliação de impacto, que não está regulamentada nem pela LGPD nem pelo RGPD, nem em nenhum outro documento a que eu tenha tido acesso, por exemplo. Para quê? Para que a gente possa ter, a partir desse documento em mãos, a realização de uma auditoria, por parte desse órgão fiscalizador, no intuito de entender ou perceber...
12:36 R	(Soa a campainha.) A SRA. PALOMA MENDES - ... qual é o grau de risco de violação aos direitos individuais e coletivos que já estão tutelados em nosso ordenamento jurídico e aí começar a adentrar o que a gente chamou, durante todo este debate, de categorização dos riscos, como algo extremamente necessário para fins de mitigação, como o Andriei colocou para cá. Houve perguntas sobre como criar regulação responsiva, que acho que vou trazer na contribuição escrita; se cabe no Direito Administrativo sancionador, com certeza cabe - aí eu reitero e corroboro a fala do Prof. Rafael Zanatta -; e teve também a questão de se esse poder sancionador ou se essa punição, na verdade, esse poder punitivo, deveria estar restrito ao Poder Judiciário ou não, que eu acredito que não, porque a gente estaria trazendo para o Poder Judiciário uma questão muito além do que entra no seu poder e na sua necessidade de atuação enquanto poder. É isso. O SR. FABRICIO DA MOTA ALVES - Muito obrigado, Profa. Paloma. Temos ainda alguns membros, e eu estou incluído entre eles, com pequenos, breves comentários. Eu vou passar a palavra à Dra. Clara e, logo em seguida, eu falarei, se a Dra. Estela não quiser se posicionar. Eu falo então após a Dra. Clara. Muito obrigado. A SRA. CLARA IGLESIAS KELLER (Por videoconferência.) - Muito obrigada, Dr. Fabricio. Muito brevemente, o meu comentário é até como agradecimento pelo debate a todos os participantes de hoje, meus colegas de Comissão. Eu gostaria apenas de ecoar as palavras de alguns dos participantes, principalmente do meu Prof. Danilo Doneda, que fez referência ao histórico de processos regulatórios de construção de políticas públicas para tecnologia, que nós temos no Brasil, especificamente falando do marco civil, e lembrar principalmente que foi um debate que levou muitos anos de amadurecimento, muita participação, e não foi à toa que se tornou uma lei realmente de vanguarda, mas que de fato tomou todo um processo de amadurecimento. Acho que nós então temos um desafio talvez tão grande quanto ou maior que este e me sinto muito honrada de estar aqui ao lado de todos vocês, pegando os inputs de todos os participantes tão ricos destas audiências, para fazer uma pequena parte desse processo. Muito obrigada a todos. É isso. O SR. FABRICIO DA MOTA ALVES - Obrigado. Dra. Estela. A SRA. ESTELA ARANHA (Por videoconferência.) - É só um comentário que o Fabricio pediu para colocar aqui da angústia do debate. É muito importante este debate multissetorial, mas, sobre essa solução de centralização, nós temos só dez setores da economia com agências reguladoras no Brasil, é um ínfimo espaço. Por exemplo, toda relação de consumo que não seja de infraestrutura não está dentro de agências reguladoras, então, quando se pensa nesse outro modelo que foi majoritariamente defendido aqui nas mesas, a gente fica angustiada para entender o que fazer com quase todo o resto em relação a isso. Só esse comentário. O SR. FABRICIO DA MOTA ALVES - Muito obrigado. O que eu teria a acrescentar seriam apenas alguns pontos que foram trazidos aqui pelos convidados.
12:40 R	Penso que temos que enfrentar de fato essa questão, e esse painel foi um dos painéis em que mais me empenhei, com a anuência dos demais colegas, do Ministro Cueva e da Profa. Laura, para que fosse de fato formatado, porque vejo aqui, até pelo interesse dos membros e pela participação dos painelistas, como esse assunto é extremamente relevante para se pensar um modelo de regulação jurídica dessa questão. O marco civil da internet, que foi trazido por alguns convidados, eu não enxergo como um modelo adequado em relação a esse ponto. Por quê? É uma lei espetacular, muito bem construída, um debate democrático excepcional, talvez o único, ímpar, até um pouco mais interessante do que foi a própria LGPD, na sua formatação. Mas o modelo final, o modelo sancionatório final do marco civil é um modelo falho, justamente por não ter a previsão específica do órgão com as atribuições legais para a sua aplicação. Nós temos um regime sancionatório, no art. 12, que hoje o Judiciário entende que deve aplicar por sua própria conta, o Executivo não define se deve ou não aplicar. O decreto de regulamentação se esforça, de alguma maneira, mas não chega a lugar algum em relação a esse aspecto. Então, nós temos uma lei magnífica, mas que não traduz a eficiência, a aderência necessária em vários aspectos. Então, isso é bastante preocupante. Trazendo um pouco do que a Raquel nos colocou em relação ao PL 2.630, lá existe ou existia... Não me lembro como está, confesso que não li o atual substitutivo do Deputado Orlando, posso estar equivocado, mas eu me recordo do debate, quando passou aqui no Senado, em que havia o intuito - e particularmente acho isso bastante preocupante - de atribuir ao Judiciário o poder de polícia, o poder de aplicar as sanções - é claro, através do seu mecanismo jurisdicional -, o que eu acho um modelo também bastante preocupante. Eu me recordo de que - mais uma vez - eu participei de um debate em Lisboa, a convite da Profa. Laura, do Ministro Gilmar. Nesse debate, o Prof. Domingos Farinho, que é da Universidade de Lisboa, trouxe a preocupação de, no momento da formulação da política legislativa, nós exercermos a opção institucional de definir esse aspecto na construção do modelo de regulação, e não deixar para que o Judiciário, posteriormente, faça o seu enforcement, substituindo, muitas vezes, aquele órgão de regulação e de fiscalização, sob pena de não se permitir a própria definição, inclusive em caráter técnico, a quem de fato deva exercer esse papel. Enfim, são apenas alguns comentários. Já avançamos em nosso tempo. Adoraria conceder mais palavras e mais tempo aos painelistas, mas eu acredito que o nosso painel deva, então, se encerrar. Vou suspender, então, a nossa sessão. Voltaremos, posteriormente, com mais um painel, moderado pelo membro da Comissão Dr. Georges Abboud, e com convidados já relacionados pelo Prof. Danilo, no início dos nossos trabalhos. Está suspensa a nossa reunião. Retornaremos às 14h. Muito obrigado. (Suspensa às 12 horas e 43 minutos, a reunião é reaberta às 14 horas.)
13:56 R	O SR. GEORGES ABBOUD - Boa tarde. Estamos dando reinício aqui à nossa audiência pública, declarando-a reaberta, referente à Comissão de inteligência artificial. O nosso painel é o 12º, Instrumentos regulatórios para inovação: códigos éticos e melhores práticas; avaliações de impacto; sandboxes e outros. Eu serei o moderador, Georges Abboud. Temos os nossos convidados, e eu seguirei uma ordem aqui que eu preestabeleci.
14:00 R	Comunico que temos um prazo de até dois minutos de exposição para cada moderador e moderadora. Então, dito aqui uma boa-tarde a todos e a todas, daremos início com a manifestação do Carlos Affonso, que requereu uma antecipação, inclusive por questões já explicadas e já deferidas pontualmente aqui. Caríssimo Carlos, a palavra está com você por até 12 minutos. O SR. CARLOS AFFONSO (Por videoconferência.) - Agradeço o gentil convite da Comissão de Juristas do Senado Federal para esta exposição e pergunto se todos conseguem ver a minha a minha tela. (Pausa.) Sim, que bom. Então, antes de mais nada, agradeço muitíssimo este convite, especialmente para este painel em que se procura investigar instrumentos regulatórios para a inovação, muito no espírito do que já consta do PL 2.120, e procura explorar derivações desse dispositivo. Fico muito feliz em poder fazer parte deste debate com colegas, com amigos queridos e fico à disposição depois para qualquer questionamento. Infelizmente tenho que sair um pouquinho mais cedo. Basicamente, o que eu gostaria de trazer para essa discussão, de início, é um olhar sobre como a regulação de inteligência artificial se comunica com a experiência brasileira de regulação da internet, e me parece que aqui temos algumas lições que foram aprendidas nos últimos 20 anos que podem ser úteis para mapearmos os caminhos que vão ser seguidos em termos de regulação de inteligência artificial. Acho que um primeiro ponto que chama a atenção aqui é entender como o Brasil tem uma tradição importante de experiência multissetorial na construção de uma regulação para tecnologias, mas, em especial, para a internet na figura do Comitê Gestor da Internet, e, em especial, aqui eu trago a edição da sua Resolução nº 3, que trata dos princípios para a governança e uso da internet. Então, acho que aqui é importante a gente entender o papel que o Brasil já desempenha nesse cenário, como isso é fundamental no seu aspecto interno e como o Brasil é reconhecido internacionalmente, justamente por essa natureza, por esse DNA da iniciativa brasileira para a regulação de internet. Ao mesmo tempo, precisamos compreender que as transformações tecnológicas são simplesmente centrais. Nós estamos falando aqui de transformações que impactam a maneira pela qual será o nosso futuro compartilhado a partir de aplicações, de desenvolvimentos, de inteligência artificial e, também, de uma percepção, que eu acho que é algo que a gente consegue extrair bastante da experiência brasileira sobre internet, que é a ideia de que nem toda nova tecnologia necessariamente vai demandar uma nova lei. Acho que aqui temos um ponto também de destaque que a Comissão de Juristas traz para essa seleção dos temas das audiências públicas, que é justamente pinçar essa noção de instrumentos regulatórios para que possamos pensar aqui numa verdadeira caixa de ferramentas que podem ser adotadas para diferentes setores, diferentes momentos, diferentes ferramentas, e acho que esse é um ponto bastante importante. Eu vou utilizar, para o tempo que tenho na minha fala, esses últimos dois pontos colocados nesse eslaide, que me parecem bastante importantes. O primeiro é entendermos que uma regulação sobre inteligência artificial no Brasil precisa estar conectada ao contexto brasileiro: é importante entender como experiências internacionais servem de inspiração, apontam caminhos, mas, ao mesmo tempo, é importante entender o contexto brasileiro no qual elas se inserem. E, adicionalmente, é importante conectarmos princípios à prática, especialmente com a explosão que nós tivemos, nos últimos anos, de cartas, de declarações sobre princípios éticos para a inteligência artificial.
14:04 R	Nesse ponto, chamo a atenção de que o PL 21, de 2020, já traz no seu art. 7º, inciso também VII, a ideia desse "estimulo à adoção de instrumentos regulatórios que promovam a inovação". Este me parece um ponto bastante positivo: que você tenha na própria redação do projeto de lei uma ligação entre a regulação e a promoção de inovação no fim da linha, e com os exemplos trazidos no próprio inciso VII, de ambientes regulatórios experimentais, como sandboxes, análises de impacto e autorregulações setoriais. Então, esse me parece um ponto muito feliz do PL 21, de 2020. Justamente em cima dessa redação, eu gostaria de trazer esses dois pontos que comentei. O primeiro, então, é um olhar para o contexto brasileiro. E por que isso me parece importante? Eu trago aqui, inclusive, um artigo da Profa. Chinmayi Arun, uma Professora indiana, atualmente Diretora-Executiva do Centro para a Sociedade da Informação da Faculdade de Direito de Yale. A Profa. Arun, olhando para questões de desenvolvimento de inteligência artificial para o sul global, destaca muito uma preocupação sobre o desenho de ferramentas para mundos, para realidades que não são necessariamente aquelas nas quais vão ser efetivamente aplicadas - então, aqui, a importância de se fazer uma avaliação de impacto no desenvolvimento e na aplicação de ferramentas de inteligência artificial ganhando bastante destaque. E é importante que essas análises de impacto regulatório e as análises de desenvolvimento de algoritmos de aplicações de inteligência artificial não sejam simplesmente análises em abstrato, mas que possam efetivamente produzir resultados que levem a transformações da própria ferramenta. Por fim, essa noção de importação de tecnologias que não são apropriadas necessariamente ao contexto local. De nada vale, aqui, pensarmos em aplicações de inteligência artificial que não funcionam, por exemplo, em dispositivos mais baratos, mais simples, que talvez sejam aqueles mais acessados pela população brasileira. Ao mesmo tempo, não vale também importar tecnologia que, no final das contas, possa reforçar desigualdade, criar novos danos, tornando-se não apenas imprestável ao objetivo alcançado, mas também, quando a gente olha em especial a adoção de tecnologias pelo setor público, criando uma certa situação de aprisionamento àquele conhecimento que é detido muito mais pelo fornecedor do que pelos agentes públicos que vão utilizar essa tecnologia na ponta. Acho que, com isso, partindo aqui para o final da minha exposição, percebemos que, nos últimos anos, tivemos uma verdadeira explosão de cartas de declarações sobre princípios éticos com relação à inteligência artificial. E essa não é uma fala que gera um efeito detrimental a esse movimento; ao contrário, esse movimento me parece bastante importante.
14:08 R	E este daqui é um gráfico desenhado pelo pessoal do centro de pesquisa Berkman Klein, de Harvard, que faz um mapeamento de alguns dos principais documentos sobre princípios éticos de inteligência artificial, e nesse eslaide nós temos alguns desses princípios mais importantes, como privacidade, accountability, transparência e explicação, não discriminação, um controle humano da tecnologia, promoção de valores humanos. Então, é importante a gente, olhando esse eslaide, entender que existe verdadeiramente uma constelação de princípios e, debaixo deles, as suas derivações, os seus detalhamentos, que são encontrados em cartas, em declarações que são publicadas por empresas, por governos, por conjunto de associações do terceiro setor, também por centros acadêmicos. Mas estamos num momento, em 2022, passados pelo menos cinco anos de exploração dessas cartas, de dar mais concretude a esses princípios. Esse é o verdadeiro momento de levar à prática os princípios que constam de todas essas declarações. E como é que esse caminho dos princípios à prática acontece? Olhando pelo viés do Estado, isso se dá a partir das estratégias nacionais, como no Brasil nós temos a Ebia, mas também, olhando pelo viés das entidades, na aplicação de relatórios de impacto de inteligência artificial. E aqui nós temos vários modelos, nós temos várias situações em que esses relatórios de impacto vêm sendo desenvolvidos, mas eu gostaria de destacar que um relatório de impacto de inteligência artificial deve mapear os benefícios dessa tecnologia, identificar os valores e os interesses aplicáveis a essa aplicação de inteligência artificial, trabalhar com a questão de confiabilidade, segurança e transparência e principalmente identificar os riscos. E por que me parece que isso é importante? Eu queria encerrar aqui trazendo alguns exemplos de como isso pode ser aplicado na prática. Chamo a atenção para um relatório recente do Centro para a Quarta Revolução Industrial, do Fórum Econômico Mundial, que, olhando especificamente a experiência brasileira, olha como o Estado em si pode não apenas servir como a entidade reguladora de questões ligadas à inteligência artificial, mas também dar o exemplo, através dos mecanismos de contratações públicas. E por que isso aqui é importante? O Estado tem um papel de formatação de um mercado, na medida em que tudo que a gente está aqui discutindo sobre avaliações de risco e relatórios de impactos de inteligência artificial vale para as empresas, mas vale também para o poder público, e justamente por isso é importante prestarmos atenção em como, quando o Estado, quando o poder público se preocupa com essas questões, ele dá o exemplo. E aí, vou encerrar com dois exemplos muito rapidinhos. Esse relatório do Centro para a Quarta Revolução Industrial trata de dois casos em São Paulo em que foram adotados expedientes que mostram a complexidade de o Estado contratar aplicações de inteligência artificial e como isso deve, de certa maneira, aterrissar os princípios sobre os quais nós estávamos discutindo. Esses são casos em que se valeu de um instrumento presente em especial na Lei de Inovação, a chamada Encomenda Tecnológica, que foi utilizada.
14:12 R	Eu vou detalhar mais só um dos exemplos, porque estamos apertados já no tempo, que é o caso do Metrô de São Paulo, mas esse aqui não é o caso do Metrô de São Paulo para discutir reconhecimento facial, que talvez seja o caso mais conhecido de aplicação de inteligência artificial e as suas repercussões, já, enfim, bastante discutidas na imprensa. Esse é um outro caso, esse é um caso em que o Metrô de São Paulo tinha interesse em contratar uma solução de inteligência artificial que mapeasse e gerasse um mecanismo de manutenção preventiva da qualidade dos trilhos. Só que não existia uma aplicação no mercado software de prateleira que pudesse resolver essa questão. Então, aqui nesse eslaide a gente tem um ponto desse exemplo que detalha como, através de instrumento desenhado a partir da entrega tecnológica, se criaram condições para que fosse experimentado com os riscos de aplicação de uma tecnologia de inteligência artificial para esse cenário, criou-se uma equipe multidisciplinar para avaliar os resultados, com o engajamento do mercado e a construção de um conselho independente de especialistas para avaliar como essa ferramenta terminaria sendo aplicada. Eu queria, então, só encerrar, dizendo que esse é um exemplo. Nós temos outros exemplos também que são tratados, inclusive, nesse relatório do Centro para a Quarta Revolução Industrial, que é o exemplo do Hospital das Clínicas, mas eu deixo aqui os eslaides e as referências desses exemplos para a continuidade desse debate, e desde já agradeço a oportunidade de trazer aqui essas manifestações, e que elas possam ajudar nesse debate para a construção de um marco, não só um marco legal, mas um componente regulatório como um todo no Brasil, que possa justamente levar adiante esses debates tão importantes sobre a aplicação de princípios éticos para o desenvolvimento de inteligência artificial no país. Agradeço mais uma vez. O SR. GEORGES ABBOUD - Muito obrigado, Carlos Affonso, que falou aqui representando a Universidade Estadual do Rio de Janeiro e o Instituto de Tecnologia e Sociedade. Agora, pelo Instituto Brasileiro de Estudos de Concorrência, Consumo e Comércio Internacional (Ibrac), Marcela Mattiuzzo. A SRA. MARCELA MATTIUZZO (Por videoconferência.) - Boa tarde a todas e todos. Primeiro eu pergunto se conseguem me ouvir. O SR. GEORGES ABBOUD - Perfeitamente. A SRA. MARCELA MATTIUZZO (Por videoconferência.) - Ótimo, muito bom. Eu queria agradecer, inicialmente, o convite para participar da audiência pública e dessa discussão, nas pessoas do Presidente da Comissão de Juristas, Ministro Ricardo Vilas Bôas Cueva, e também do nosso moderador aqui desse painel, Georges Abboud. Muito obrigada. Já considerando o nosso tempo um pouco exíguo aqui na exposição, queria começar a minha intervenção mencionando que eu vou falar sobre três temas particulares: primeiro, um pouco da relevância dos mecanismos regulatórios alternativos e da regulação assimétrica baseada primordialmente em risco, para fins de desenvolvimento e inovação; segundo, sobre as especificidades dos instrumentos de boas práticas, avaliação de impacto, sandboxes e outros; e, por fim, da necessidade de compatibilização desses mecanismos com uma estrutura de enforcement adequada. Então, primeiro comentando sobre esse primeiro ponto, da regulação assimétrica baseada primordialmente em risco e os mecanismos alternativos de regulação, como todos sabem, a gente está aqui no contexto dessa Comissão discutindo projetos de lei que têm uma pretensão de transversalidade, ou seja, a gente não está falando de discussões setorizadas. Consequentemente, quando a gente pensa nessa temática, a gente, automaticamente, entende a necessidade de uma flexibilidade dos instrumentos regulatórios para lidar com essa complexidade. Afinal de contas, a gente está falando de sistemas que são muitos diferentes entre si e cuja característica incomum seria basicamente o uso da inteligência artificial. Isso quer dizer que atribuir a todos esses sistemas ônus regulatórios idênticos não parece uma alternativa adequada, muito menos razoável.
14:16 R	O objetivo de adotar instrumentos regulatórios e mais flexíveis é exatamente evitar que as regras se tornem, em primeiro lugar - quando a gente está falando de uma regulação de tecnologia que se desenvolve muito rapidamente -, obsoletas muito rapidamente e que a gente precise passar por um novo processo legislativo, que tem toda a sua complexidade; de outro lado, também, obviamente, a gente pensa na preocupação de garantir que o próprio desenvolvimento tecnológico não fique engessado por conta da regulação que está colocada por meio daquelas regras. Os mecanismos de regulação alternativa, de regulação responsiva, são formas de criação de regras que permitem um diálogo mais constante e perene entre os reguladores e os regulados, exatamente para tentar atingir esses objetivos e, de alguma maneira, fugir dessas armadilhas. Mas, como o Prof. Carlos Affonso já falou na intervenção dele, anterior à minha, não é trivial pensar nessa alternativas e muito menos desenhar, em concreto, como elas poderiam funcionar. Então, esses mecanismos que esse painel tem o objetivo de discutir hoje são alguns caminhos que vêm sendo apontados, mas eles mesmos precisam, ainda, de um nível de concretização maior para a gente conseguir aplicá-los de fato. Um ponto que eu queria passar, antes de falar efetivamente sobre cada um dos mecanismos, é que pensar em qual instrumento utilizar, no caso concreto, implica, necessariamente, como dito, reconhecer a multiplicidade do uso da inteligência artificial e, talvez mais importante, reconhecer que essa multiplicidade gera diferentes níveis de risco. A gente já teve painéis aqui, no âmbito das audiências públicas, para discutir esse tema em maior profundidade, mas eu queria enfatizá-lo. Parece bastante evidente imaginar que um passo anterior a considerar qual mecanismo regulatório efetivamente vai ser adotado é entender que você precisa fazer uma avaliação preliminar de risco que seja, e que atividades de maior risco vão comportar uma carga regulatória possivelmente maior enquanto atividades de menor risco uma carga menor. Não precisa de nenhuma grande elucubração técnica para a gente saber que um sistema de inteligência artificial cujo objetivo último é, por exemplo, mostrar um anúncio num site para um usuário na internet implica um nível de risco diferente de um sistema de inteligência artificial que visa a fazer uso do reconhecimento facial, por exemplo, para identificar possíveis suspeitos do cometimento de um crime. Então, a gente precisa ter essa noção muito bem sedimentada quando vai fazer uma discussão sobre essas ferramentas regulatórias. Partindo, então, mais propriamente, para as especificidades dos instrumentos que a gente pode debater e começando pelos instrumentos de códigos de ética e boas práticas, como também o Prof. Carlos Affonso já comentou, a gente tem uma infinidade de iniciativas mundo afora do desenvolvimento de guias nesse sentido, especificamente voltados para a inteligências artificial.
14:20 R	E eu acredito que hoje a gente tem um consenso, provavelmente uma unanimidade na comunidade acadêmica, de que essas iniciativas são importantes e, em alguns casos, talvez, elas até sejam essenciais para essa área. A lógica desses códigos de ética e desses guias é sempre tentar fornecer parâmetros mínimos, ainda que não necessariamente vinculantes, para o desenvolvimento dos sistemas e eles partem da premissa de que, necessariamente, a gente tem muito para aprender com os agentes que se engajam nos processos de desenvolvimento e, portanto, uma troca contínua e uma atualização contínua desses materiais é também uma forma de disseminar conhecimento e manter a comunidade engajada. A gente também tem uma outra perspectiva importante de considerar que é a perspectiva setorial. Existem, como já dito, especificidades do desenvolvimento dos sistemas em setores variados. Pode ser muito diferente fazer um sistema de inteligência artificial para diagnosticar doença e um sistema de inteligência artificial para encontrar falhas no sistema de distribuição, por exemplo, de uma grande rede de varejo. Os códigos de ética e os guias de boas práticas permitem que essas diferentes subcomunidades dentro do grande ambiente da inteligência artificial troquem experiências e busquem atualizar os seus sistemas para estarem em linha com as melhores práticas, mantendo-se conectadas com, digamos assim, a grande comunidade. Mas, obviamente, até porque a lógica desses guias e desses códigos é, via de regra, de que não existe uma obrigatoriedade - eles não são cogentes propriamente -, o impacto concreto depende muito do nível de engajamento dos diferentes atores. Isso vai desde o nível de consciência sobre a relevância em aplicar aqueles eventuais princípios na prática até questões, como, por exemplo, sinalizações de autoridades reguladoras de que a observância do guia vai ser levada em consideração, por exemplo, na análise de um processo sancionador ou algo do gênero. Pensando, então, num outro elemento, que são as avaliações de impacto, acho que tem um ponto bastante importante para ser destacado. Quando a gente fala de avaliação de impacto, no mais das vezes, a gente está falando de algum tipo de documento, algum tipo de instrumento em que os agentes regulados teriam de explicitar tanto os riscos trazidos pelo sistema de inteligência artificial, quanto os benefícios trazidos por esses sistemas, quanto, ainda, as formas de mitigação desses eventuais riscos, e, assim, ajudar na análise sobre como aquela ferramenta pode, eventualmente, vir a ser regulamentada de uma forma mais específica. Uma das principais vantagens da adoção desse tipo de mecanismo do ponto de vista do regulador é que ele coloca no agente que pretende desenvolver o sistema o ônus de trazer essas informações, o que, quando a gente fala nesses desenvolvimentos tecnológicos complexos, é muito relevante, inclusive pensando do ponto de vista de economia de recursos públicos, porque pode ser muito difícil obter essas informações de maneira precisa. Mas é evidente que, exatamente porque o custo não é trivial, desenvolver um ferramental como esse não é trivial, não parece ser algo que faz sentido para absolutamente todo e qualquer uso de sistema de inteligência artificial. De novo, se o objetivo central é avaliar um impacto, então, uma premissa mínima da adoção de uma ferramenta como essa é pensar em algum tipo de critério por meio do qual a gente pode concluir que o impacto potencial é suficiente para justificar a análise ela mesma. Acho que o tema de sandboxes vai um pouco na mesma direção. Então, quando a gente está falando de sandboxes regulatórios, no mais das vezes, a gente está falando em utilizar um grupo de empresas como teste para desenvolvimento de projetos inovadores dentro de determinadas regras que estão colocadas naquele contexto e que, não necessariamente, vão valer para outros agentes econômicos. E o objetivo costuma ser avaliar o desempenho para, eventualmente, construir regras com base na forma concreta, como aquelas empresas, aqueles agentes desempenharam as suas atividades. Isso tem sido usado em muitos setores intensivos em inovação, no Brasil inclusive. Temos exemplos do Bacen, da CVM, da Susep, entre outros.
14:24 R	Para funcionar aqui, no contexto da inteligência artificial, provavelmente, a gente teria algum desafio de categorização e segmentação. Então, como já falei várias vezes, a gente está falando de uma regulação transversal. Então, se a gente quiser fazer uso de uma ferramenta de sandbox, o que, em si, faz sentido, a gente precisa dizer o que propriamente a gente quer endereçar com essa ferramenta, o que ela é capaz de endereçar e o que ela não é. E, talvez, também faça sentido aqui uma discussão, por exemplo, de parcerias com agentes, autoridades específicas que tenham essas especificidades setoriais. Passando para o final da minha intervenção já, eu queria partir para essa questão da compatibilização do enforcement. Acredito que, como ficou claro, essas ferramentas regulatórias ensejam, todas elas, em níveis distintos, uma interação muito relevante entre o público e o privado e um diálogo constante para que a gente consiga mobilizar o desenvolvimento das ferramentas de controle na direção desejada, permitindo a inovação. A questão que fica muito evidente, portanto, é que, para que elas funcionem e façam sentido, é muito necessário que exista um interlocutor ou um grupo de interlocutores que esteja apto tecnicamente e empoderado a fazer esse diálogo e concretizar eventualmente essa regulação. Pensando especificamente nos desafios desta Comissão e da proposta de substitutivo, parece-me que esse é um ponto central. Para além de discutir quais ferramentas são adequadas, como mobilizá-las, como adequar o grau da carga regulatória, tendo em vista os riscos concretos, enfim, a gente precisa necessariamente debater como estabelecer um mecanismo de enforcement efetivo; caso contrário, a gente vai fazer um esforço bastante considerável para construir uma regulação e, provavelmente, isso não vai ser aproveitado da melhor maneira. E, por fim, eu acredito que isso se conecta bastante com o tema que, enfim, não é o foco aqui desta audiência, mas que é a necessidade de discussão, em nível de política pública no Brasil, sobre os rumos da inteligência artificial no país. Esse movimento está acontecendo em todas as nações que têm algum nível de expressividade nessa discussão. A gente poderia entrar aqui em detalhes enormes sobre Estados Unidos, China, União Europeia, Europa, mas é inexorável que esse debate está se colocando em todas essas nações. Os Estados Unidos têm um plano ousado e complexo, que vai desde a política migratória até questões de política industrial, sobre esse tema. A mesma coisa na China, que tanto tem um investimento enorme no próprio desenvolvimento quanto uma mobilização regulatória muito importante sobre esse tema, quanto na Europa, que, como todos sabem, tem hoje uma discussão de uma possível regulamentação do tema da inteligência artificial muito desenvolvida e que está consumindo muitos recursos da Comissão Europeia. Então, a gente precisa ter isso no horizonte brasileiro também. A gente precisa entender que essa é, eminentemente, também uma discussão de política pública e que a regulação precisa andar pari passu com esse desenvolvimento; caso contrário, provavelmente, a gente não vai chegar muito longe. Eram essas as minhas considerações iniciais. Agradeço novamente o convite para participar e fico à disposição. Obrigada.
14:28 R	O SR. GEORGES ABBOUD - Muito obrigado, Marcela. Dando aqui continuidade à nossa audiência pública, representando a Meta, eu chamo o Norberto Andrade. Por gentileza, está com a palavra. O SR. NORBERTO ANDRADE (Por videoconferência.) - Muito obrigado. Em primeiro lugar, muito obrigado pela oportunidade de participar desta audiência pública. É uma honra poder falar sobre o trabalho que na Meta estamos a desenvolver na área de inteligência artificial, regulação e políticas públicas. Obrigado também pela oportunidade de muito civicamente poder contribuir para este painel sobre instrumentos regulatórios para a inovação. O meu nome é Norberto Andrade. Trabalho na Meta como Líder de Política Global para a Governança de Inteligência Artificial e tenho tido a oportunidade de seguir esses trabalhos regulatórios de inteligência artificial também através do grupo de peritos da OECD para inteligência artificial e dentro da empresa Meta eu lidero uma equipe que se ocupa precisamente em analisar e propor soluções aos desafios consignados a revolução e governança de novas tecnologias, nomeadamente com inteligência artificial. Nesta minha intervenção, irei me debruçar sobre, em primeiro lugar, a necessidade de governança experimental, e, como através de processos de experimentação regulatória, em nossa opinião, podemos alcançar melhores maneiras de governar e regular esta tecnologia. A inteligência artificial, como todos sabemos, está a se transformar em uma área de crescente atividade regulatória e, como tal, apresenta questões importantes em torno, por exemplo, de diferentes abordagens regulatórias, em torno do âmbito de aplicação, da definição de certos conceitos, mas também em termos de coexistência e interação com estruturas jurídicas e normativas existentes. A inteligência artificial apresenta também desafios novos e complexos a essas estruturas jurídicas existentes. Portanto, decidir que tipo de regulamentação será a mais apropriada, viável e equilibrada não é tarefa fácil. E uma futura regulação terá que entender a complexidade da tecnologia, antecipar os seus efeitos, tanto em nível individual como coletivo, terá que produzir os direitos dos usuários e de populações impactadas no campo da privacidade, da autonomia digital, da segurança e da não discriminação, pelo menos citar alguns, e isso num mundo possivelmente automatizado. Terá também que promover inovação tecnológica e terá que coordenar e encontrar o seu espaço num universo de leis existentes, evitando duplicações contra decisões ou mesmo tensões jurídicas. Em nível técnico, como tecnologia em inteligência artificial, também apresenta desafios adicionais devido à sua complexidade intrínseca, opacidade, à sua natureza dinâmica, às dificuldades em avaliar o seu impacto. Então, para responder a todas essas perguntas e enfrentar esses desafios, nós acreditamos que é necessário mais experimentação e inovação regulatória no campo da inteligência artificial. Novas regras serão necessárias, mas tais normas deveriam ser testadas antes de serem promulgadas. É por isso que defendemos que a regulação da inteligência artificial deve ser baseada em evidências, em programas e em metodologias específicas, como os sandboxes regulatórios, mas também como programas de prototipagens políticas, do inglês Policy Prototyping, que providencia um campo-teste seguro para avaliar diferentes abordagens e modelos regulatórios de inteligência artificial. Isso para entender o seu impacto real e para antecipar como funciona a prática. E tudo isso antes da sua implementação e promulgação em lei. Foi com esse espírito de experimentação normativo que nós criamos o Projeto Open Loop. Trata-se de um programa experimental de governança, conduzido por um consórcio global de atores, que conecta formuladores de políticas e empresas de tecnologia, ou seja, aqueles que constroem e desenvolvem a tecnologia com aqueles que a regulamentam, mas também com acadêmicos e membros da sociedade civil, e o objetivo é propor recomendações pragmáticas e empíricas baseadas em conhecimento e evidências técnicas.
14:32 R	O Open Loop é uma espécie de laboratório de inovação regulatória que desenvolve e testa ideias normativas. Essas podem ser baseadas em propostas de lei, mas também em códigos de conduta, em propostas acadêmicas no campo de tecnologias novas e emergentes. Trata-se de exercícios de governança experimental onde utilizamos diferentes metodologias. Por meio de sandbox regulatórios, o plano é contribuir para a avaliação e melhoria de estruturas jurídicas existentes enquanto que, por meio desses programas de prototipagem de políticas, apoiamos a cocriação e teste de novas estruturas de governança. Antes de entrar um pouco mais nos estágios do programa Open Loop, convém distinguir essas duas metodologias: o sandbox regulatório por um lado e o programa de prototipagem de políticas pelo outro. Ambos pertencem à família de governança experimental, mas realizam tarefas distintas e operam em contextos diferentes, ou seja, em ambientes regulatórios diferentes. Sandboxes regulatórios operam no contexto da legislação existente e permitem o teste de inovações tecnológicas sob a supervisão de um regulador. Os sandboxes regulatórios são úteis ao tentar reformar as regras existentes para acomodar novos avanços tecnológicos. Por exemplo, muitos têm conhecimento que os sandboxes regulatórios foram usados no campo financeiro das fintechs para experimentar mudanças nas normas regulatórias financeiras existentes. Por outro lado, a prototipagem de políticas opera na ausência de legislação existente e direta e permite a experimentação normativa de uma nova estrutura regulatória, ao invés de simplesmente atualizar uma estrutura jurídica existente para acomodar uma nova tecnologia, enquanto que os sandboxes regulatórios são mais formalistas por natureza e operam dentro dos limites de uma legislação existente, os programas de prototipagem são, em si, menos formalistas e fornecem, além do mais, uma plataforma de governança experimental mais holística. Ou seja, permite-nos examinar e testar diferentes instrumentos regulatórios e não regulatórios. Portanto, dada a dificuldade em avaliar o equilíbrio mais apropriado e viável entre diferentes instrumentos de governança, leis, regulamentos, princípios éticos, standards, códigos de conduta e muitos outros, num tópico complexo como a inteligência artificial, esses programas de prototipagem podem fornecer uma plataforma de teste para explorar diferentes combinações entre esses instrumentos. Sendo um pouco mais concreto sobre esse programa Open Loop, esse projeto comporta quatro etapas fundamentais. Primeiro, reunimos um grupo de empresas de tecnologia, nesse caso empresas que forneçam produtos ou serviços baseados em tecnologias de inteligência artificial, que são os participantes. Em segundo lugar, criamos, em colaboração com esses participantes, assim como com acadêmicos, reguladores, legisladores e membros da sociedade civil, criamos o que nós chamamos de protótipos normativos sobre tópicos específicos relacionados com a inteligência artificial. Por exemplo, imaginem um quadro normativo sobre transparência e explicabilidade em sistemas de inteligência artificial. Tais protótipos normativos poderão ser desenvolvidos do zero ou baseados em quadros normativos existentes meramente em propostas legislativas, e isso vai depender, obviamente, da jurisdição e da região em que desenvolvemos esse tipo de programa. Em terceiro lugar, temos já os protótipos e os participantes, solicitamos aos participantes que apliquem e cumpram as normas dos protótipos no contexto das suas próprias aplicações específicas de inteligência artificial. Ou seja, pedimos que apliquem as regras e os requisitos que fazem parte desse quadro normativo, desse protótipo, nos seus procedimentos internos de desenvolvimento dos seus produtos e serviços. E, durante esse processo, testamos e avaliamos esses protótipos em condições do mundo real, recolhendo informações dos participantes enquanto eles aplicam esses protótipos aos seus produtos e serviços.
14:36 R	Trazemos perguntas sobre, por exemplo, em que maneira esses protótipos são claros, em que maneira são tecnicamente viáveis, em que maneira são operacionais e eficazes. E, através desse feedback que vamos recolhendo, aprendemos os efeitos desses protótipos no mundo real, tanto os pontos fortes como as suas limitações. Em quarto lugar, continuando com a sequência de passos importantes que normalmente caracterizam esses tipos de problema, utilizamos essas informações recolhidas para melhorar as propostas normativas desses protótipos e para emitir recomendações empíricas aos formadores de políticas, com base nas conclusões do programa e do feedback analisado. Tentamos, também, que esse programa seja o mais transparente possível, publicando tudo o que analisamos e escrevemos, em Creative Commons, incluindo os próprios protótipos. Falando em protótipos, só para vos dar uma ideia, em programas anteriores, mormente num programa que analisamos na União Europeia sobre a avaliação de risco de inteligência artificial, estruturamos esses protótipos em duas partes: uma é a parte normativa; a outra é a parte operacional. A parte normativa é basicamente um documento base utilizado, neste caso, para abrir uma exceção dos riscos, escrito como se fosse uma lei, um regulamento, com artigos e incisos. Trata-se, obviamente, na realidade, de um documento riquíssimo, privado de qualquer vinculação à normatividade jurídica, mas cujo objetivo é obter o feedback de um conjunto dos participantes sobre o seu conteúdo para avaliar os méritos e os deméritos desse documento. Depois temos a parte operacional. Esta é uma espécie de manual que complementa a parte normativa. Trata-se de um documento de orientação que fornece detalhes práticos sobre como, neste caso específico, conduzir uma avaliação de risco. Essa parte operacional contém uma lista, por exemplo, de valores volventes para a inteligência artificial, uma taxonomia de danos que podem ser causados por esses sistemas, mas também exemplos de medidas mitigadoras. E, sobre o que o Prof. Carlos Affonso estava comentando, dos passos, dos princípios para a prática, esse tipo de manual é um passo nesse sentido de ajudar a operacionalizar esses princípios através de exemplos, de taxonomias, de procedimentos específicos. Como programa global estamos ativos em diferentes partes do mundo, na Ásia e na América Latina. Estamos a colaborar, por exemplo, com o Governo de Singapura e com o Governo do México, também com as autoridades de proteção de dados pessoais e com empresas de inteligência artificial em cada uma dessas regiões para testar, com sete processos específicos, sobre - no caso desses dois programas - explicabilidade e transparência da inteligência artificial. Na Europa, como referi, onde também desenvolvemos um programa, estabelecemos parcerias com dez empresas de inteligência artificial para cocriar e testar um processo de avaliação do risco de inteligência artificial semelhante às avaliações de impacto de proteção de dados, do regulamento geral de proteção de dados. Cada um desses programas termina com a publicação de uma série de recomendações empíricas sobre como aperfeiçoar esse quadro normativo que propusemos e analisamos como protótipo. Para terminar, penso que os governos, os legisladores e as autoridades reguladoras, por meio de suas agências, dos seus próprios mecanismos, devem explorar a implementação desse tipo de metodologia, tanto sendo observatórios, como programas de prototipagem políticas, como métodos para testar ordens futuras, assim como outros instrumentos de governança, no campo da inteligência artificial. Penso que isso é uma oportunidade para o Brasil, que aliás tem mencionado, em documentos estratégicos, como na Estratégia Brasileira de Inteligência Artificial, a necessidade de promover abordagens inovadoras para a supervisão regulatória, como, por exemplo, os tais sandboxes regulatórios. Termino agradecendo, mais uma vez, a oportunidade de poder falar sobre esse trabalho e fico à disposição para a fase de perguntas. Muito obrigado.
14:40 R	O SR. GEORGES ABBOUD - Muito obrigado, Norberto Andrade. Agora, eu vou chamar o James Marlon Azevedo, Chefe de Divisão de Economia 4.0, representando aqui o Ministério da Economia. Então, James, por favor. O SR. JAMES GÖRGEN (Por videoconferência.) - Boa tarde. Vocês estão me ouvindo, Georges? O SR. GEORGES ABBOUD - Perfeitamente, perfeitamente. O SR. JAMES GÖRGEN (Por videoconferência.) - Boa tarde a todos e a todas, meu nome é James Görgen, como o Georges falou, eu represento aqui hoje a Subsecretária de Inovação e Transformação Digital do Ministério da Economia, Jackline Conca, que, em virtude de alguns compromissos de última hora, não pôde comparecer. Nós trabalhamos, já há dois anos, acompanhando o debate sobre inteligência artificial no Brasil e no mundo e temos uma compreensão dos caminhos que precisamos seguir, já estamos formando essa compreensão há algum tempo. Para isso, a gente acompanha, dentro do país, muito a discussão em torno da estratégia brasileira de inteligência artificial, criada pelo Governo e dirigida, liderada pelo MCTI, e também desse debate que se acelerou nos últimos meses do marco legal no Congresso Nacional. A gente entende que ambas as iniciativas vão ajudar a definir os princípios para o estabelecimento das diretrizes e também vão nos ajudar a trabalhar de forma mais não açodada sobre uma agenda pública que possa conseguir consolidar uma legislação. Eu acho que o Carlos Affonso foi feliz ao falar sobre um pacote regulatório. A gente não pode só trabalhar numa lei; neste caso, isso tudo deriva para uma quantidade enorme de normas infralegais que vão precisar ser desenvolvidas e, como o Norberto falou, de experiências, de protótipos de políticas públicas e de sandboxes que a gente vai precisar criar nesses espaços e nesses ambientes de inovação, de governança pública no Brasil. A gente vem acompanhando de perto, o Ministério da Economia vem contribuindo internamente no Governo com notas técnicas, com comentários sobre os PLs, tanto o 21 quanto o 872, e a gente já tem um pouco de massa crítica acumulada para contribuir, inclusive agora na consulta que o Senado está fazendo. A gente, com isso, gostaria de saudar a iniciativa do Senado, do Presidente e desta Comissão de Juristas, na figura do Ministro Cueva, também do próprio Georges e dos demais colegas, porque é importante, nessa agenda pública da inteligência artificial no Brasil, a gente abrir os canais de escuta, tanto do Legislativo quanto do Executivo, como a gente vem fazendo na Ebia, para receber essas contribuições de todos os setores da sociedade e sem decidir de uma forma açodada sobre um tema que ainda está em construção no mundo todo. Então, a gente está trabalhando para, antes de regulamentar a matéria - e eu acho que a Casa agora, o Senado vai trabalhar nesse sentido, deu para perceber que se tirou um pouco o pé do acelerador e isso é importante nessa discussão e em discussões de tecnologia no geral - acompanhar o amadurecimento das tecnologias associadas à disciplina de IA e também os seus impactos na sociedade. Eu acho que é um bom momento para que a gente comece a fazer essa reflexão - e esses painéis todos que estão ocorrendo, essas audiências são fundamentais para isso, para acumular esse conhecimento, para se poder produzir algum substitutivo, uma proposta legislativa um pouco mais consistente -, e a gente quer contribuir para isso de todas as formas possíveis. A nossa principal preocupação nessa regulamentação, no que está se buscando, é garantir que o país proporcione às nossas empresas e à sociedade as condições ideais para que as empresas sejam competitivas, se desenvolvam, acelerem a geração de bons empregos e de renda e também inovem, mas, ao mesmo tempo, protegendo o cidadão dos impactos negativos que essas tecnologias podem acarretar.
14:44 R	A gente entende, nesse sentido, que o trabalho precisa ser feito de um ponto de vista muito detido em relação a todo o arsenal que a gente já tem - o Carlos Affonso mostrou aquele eslaide gigantesco de cartas, de princípios, de todo o material de conhecimento acumulado que os outros países já nos propuseram e já nos viabilizaram -, levando em consideração tudo isso que já foi feito. No caso da Sepec (Secretaria Especial de Produtividade e Competitividade), do Ministério da Economia, a que a nossa subsecretaria está vinculada, a gente já tem uma visão geral sobre o que precisaria ser feito sobre a regulamentação de IA no Brasil. Antes de tudo, é essa discussão sobre o que fazer, quando fazer e como devemos fazer isso. Eu acho que, além da discussão do marco legal, a gente precisa ver como o Estado vai regulamentar tudo que vem abaixo disso, o que deriva disso e também qual o momento adequado para que cada coisa seja feita. A gente entende que a regulação, obviamente, deve levar em conta o nível, a natureza do risco e questões éticas quanto aos direitos humanos, à privacidade dos dados pessoais, ao empreendedorismo, à inovação e a outros valores e princípios considerados fundamentais pela sociedade. Deve entender, também, qual é a dose regulatória apropriada - isso é difícil, mas é essencial na nossa opinião -, sob pena de inibir a inovação e o aumento de bem-estar ou de gerar frustração e resistência social em relação ao avanço tecnológico. Nós precisamos ser suaves nessa implementação para que isso não gere resistência de parte a parte de todos os envolvidos. E acho que a Marcela já mencionou e a gente concorda que tem que haver uma distinção entre sistemas de IA que não incidem diretamente sobre as relações humanas, como sensores de IOT, por exemplo, e aqueles que são fundamentais para a vida e a democracia, como carros autônomos e redes sociais. Então, esses níveis de risco que a maioria dos países estão adotando para analisar o impacto precisam ser bem construídos no caso do Brasil, porque a gente tem a peculiaridade de uma sociedade que já tem muita experiência sendo posta em prática no varejo, de várias empresas, multinacionais principalmente, e, ao mesmo tempo, a gente não tem um ecossistema formado. Então, a gente tem essa carência de informação, mas também de descobrir os níveis dessa futura avaliação de impacto algorítmico, avaliação de impacto de risco. A gente também crê que é importante observar a regulação setorial pelas agências e entidades que tenham competência técnica sobre o objeto de IA, mas é importante, também, que, por ser uma tecnologia, uma disciplina transversal, a forma como ela impacta cada setor da atividade humana pode ser muito distinta. Só que, ao mesmo tempo, o Estado precisa ter um guarda-chuva, digamos, um arcabouço regulatório suficientemente horizontal para tratar os desiguais de forma igual quando for necessário, algumas medidas que são passíveis de serem analisadas e implementadas para um setor que afeta em outros, de forma a não criar dispersão normativa, a não criar problemas do ponto de vista da concatenação e coordenação de todos esses setores que vão explorar o desenvolvimento de soluções de IA. Então, eu acho que o trabalho forte vai ser feito nesse sentido do sandbox e da prototipagem de políticas públicas. Eu acho que esse é um papel que o Estado brasileiro, neste caso, o Governo, o Poder Executivo vai ter, a partir do que o Poder Legislativo nos enviar. Nós vamos ter que colocar à prova essas futuras normas para cada segmento de aplicações, não tem como escaparmos disso, e aí a discussão da regulação setorial versus autoridade nacional para cuidar do tema se impõe, se coloca de forma bastante forte, e nós precisamos ver como vamos tratar: se o melhor é uma ou outra, ou se um modelo híbrido, como alguns países já cogitam. Eu acho que isso é importante a gente também ter em mente nesse debate.
14:48 R	Tem também a questão dos direitos autorais da propriedade intelectual. Nossa subsecretaria cuida da Estratégia Nacional de Propriedade Intelectual do Governo, então isso é algo muito importante, muito caro para nós. A gente tem esse estudo recente do Núcleo de Inteligência em Propriedade Intelectual, que analisou as patentes nos segmentos de máquinas e equipamentos que tenham IA (Falha no áudio.) O SR. GEORGES ABBOUD - James? Eu acho que perdeu a conexão. O SR. JAMES GÖRGEN (Por videoconferência.) - ... e concluiu que apenas... Vocês estão me ouvindo? O SR. GEORGES ABBOUD - James, nos últimos 30 segundos, caiu o vídeo. A gente perdeu a conexão com você. Assim, se você puder retomar... O SR. JAMES GÖRGEN (Por videoconferência.) - Bom, eu acho que eu vou retomar da parte do estudo do Núcleo de Inteligência em Propriedade Intelectual. O SR. GEORGES ABBOUD - Perfeito. O SR. JAMES GÖRGEN (Por videoconferência.) - Porque isso é muito caro para nós. Nós somos a subsecretaria que lidera a Estratégia Nacional de Propriedade Intelectual. Então, esse estudo do núcleo de inteligência analisou patentes nos segmentos de máquinas e equipamentos que tenham IA embarcada e concluiu que apenas 10% do total dos pedidos foi depositado por residentes. E, desses, os dez principais depositantes residentes são universidades, mais precisamente seis são universidades e instituições de ensino públicas, o que sinaliza uma lacuna de participação das empresas brasileiras no desenvolvimento e patenteamento de tecnologias nesse setor. Então, a gente acha importante, nesse sentido, trabalhar de uma forma mais principiológica, que a gente consiga incentivar e fomentar essas áreas todas que precisam da inovação, para que a gente comece a produzir conhecimento local, para que isso possa ser regulado. Então, essas coisas meio que andam em paralelo, mas a gente acha importante que as experiências sejam mais concretas dentro do país, para que isso possa começar a ser regulamentado. Dou o exemplo do próprio AI Act, já citado, da Comissão Europeia, que foi precedido, neste ano, por um profundo debate em um ambiente de consultas públicas que eles fizeram, e, mesmo assim, vai ter um custo de compliance bem alto, dado o rigor e a robustez desse dispositivo, dessa regulamentação. Depois, eu queria encerrar com duas questões. Primeiro, a discussão do ambiente regulatório experimental, então do sandbox. No ano passado, o Governo aprovou o marco legal de startups, em que uma das grandes inovações da legislação é a implementação de sandboxes regulatórios para essas questões ligadas à estrutura financeira das startups. E a gente trabalhou com um modelo que tem algumas referências importantes que eu acho que podem ser usadas, de alguma forma, nesse substitutivo que se venha a trabalhar. Principalmente, os programas devem ser bem estruturados e monitorados pelos reguladores, sem que isso os autorize a deixar de zelar pela segurança social e estipular medidas de fiscalização e prevenção de riscos; trata-se de afastamento ou modulação de incidência de regulação, e não de uma mera desregulamentação ou revogação de normas de qualquer natureza; aplica-se sempre a um conjunto de atores, serviços ou produtos específicos, selecionados ou qualificados por critérios objetivos em bases colaborativas, com obrigações e deveres claros dos envolvidos, mas não tendo efeito erga omnes nem criando expectativa de direito - acho que isso é importante também; é uma ferramenta de testagem real das soluções inovadoras, mas também das próprias regulações, devendo ser encarado como mecanismo de aperfeiçoamento da ação estatal - isso, para nós, é fundamental -; e também, obviamente, tem que ter essa delimitação no tempo e o seu escopo, como a Marcela já mencionou.
14:52 R	No caso de IA, exatamente, a gente não se debruçou sobre isso no marco legal das startups. Bom, eu ia dar o exemplo do C4, mas eu acho que vou encerrar por aqui. Então, no caso de IA, a gente corrobora um pouco a discussão que está sendo feita na União Europeia e nos Estados Unidos sobre o regime de responsabilidade objetiva aplicada à proteção de dados, em que a suspensão temporária dos efeitos das zonas vigentes é interessante para atingir o equilíbrio entre a proteção das pessoas e da sociedade em geral, para evitar esses impactos negativos, mas, ao mesmo tempo, fomentar a promoção da inovação. Então, eu acho que isso resume. Eu queria dar um exemplo também, de dentro do C4IR, desse trabalho que, no caso, o Affonso mencionou. A gente teria alguns comentários a serem feitos. Mas talvez, se tiver oportunidade mais adiante, eu complemento. Muito obrigado. Muito obrigado, Georges. O SR. GEORGES ABBOUD - James, se você quiser, pode complementar. Você está no embalo de raciocínio, e um minuto a mais, dois, três não é um problema. Fique à vontade. O SR. JAMES GÖRGEN (Por videoconferência.) - Perfeito, então. Que bom que a gente tem um pouco de flexibilidade nesse sentido. Citando novamente o estudo que o C4 lançou agora em maio - também a gente participou desse trabalho, porque a gente faz parte do comitê executivo que monitora e que ordena o C4IR -, houve essa aplicação aos casos de uso. Aqui, num deles especialmente, que é o do metrô também, e vou mencionar, a aplicação da avaliação de impacto do algoritmo, para a organização do planejamento da fase interna de contratação. Então, no modelo canadense, foi aplicada essa avaliação - a IA, como a gente chama em português - para tentar ver os diversos riscos envolvidos, e são quatro níveis de riscos envolvidos, dentro do questionário para melhor tipo de contratação dessas soluções de compras públicas. Foram considerados critérios como: impactos positivos de automatização, a sensibilidade do debate público sobre o tema, a vulnerabilidade dos usuários, o impacto nas relações de trabalho, a diversidade da representação da equipe de desenvolvimento da solução de IA, a existência de divisão responsável por zelar pela governança da solução, a existência de proteção do algoritmo por direito de propriedade intelectual, a dificuldade de interpretar ou explicar a tomada de decisão do algoritmo, se o sistema de IA substituirá decisões humanas, a possibilidade de reverter decisões tomadas pelo sistema, a duração e natureza dos seus impactos e a utilização de dados pessoais como fonte dos dados que alimentam o sistema. Eu acho que daqui também se podem retirar algumas noções importantes para a regulação do Estado, baseado nesse modelo de compras públicas. Então, é justamente essa necessidade de criação de capacidade interna dos órgãos para a regulação, a questão da capacidade de absorção do conhecimento para a disseminação, em várias das áreas que vão ser reguladas, todo esse trabalho de proteção dos dados e não só de limpeza, da coleta de informações das bases de dados, mas de proteção de tudo isso, principalmente em relação à saúde, a dados sensíveis. Então, existe toda uma preocupação em relação a isso também; a coordenação integrada das equipes - e aqui volta a discussão de regulação setorial ou autoridade nacional: até que ponto uma agência reguladora precisa falar com outra, que precisa falar com a proteção do consumidor e com a própria ANPD, para que isso possa ser desenvolvido de uma forma bastante equilibrada e concatenada. Então, é importante essa coesão das equipes, de elas serem multidisciplinares e a gente ter forças-tarefas dentro desses sandboxes ou dessa prototipagem das políticas, para que elas possam atuar de uma forma concomitante em soluções que vão ser pertinentes a mais de um setor da economia, para que não haja nichos de especialização e outras áreas descobertas. Então é importante a gente ter um corpo, no Estado brasileiro, capaz de dar conta, mesmo considerando toda a flexibilidade, toda a celeridade com que a tecnologia vem evoluindo, mas é importante a gente contar com uma massa crítica interna bastante robusta, para acompanhar os desdobramentos desse processo.
14:56 R	Queria agradecer, Jorge, mais uma vez, aos colegas de mesa também, e dizer que o Ministério da Economia está aberto para contribuir a qualquer momento. E fico também disponível para as perguntas. Um abraço. O SR. GEORGES ABBOUD - Muito obrigado, James. Agora, falando pela Zetta, Bruno Magrani. O SR. BRUNO MAGRANI (Por videoconferência.) - Muito obrigado, Georges. Obrigado a todos pelo convite para participar. Estou tentando projetar aqui minha tela. Um segundo. Prontinho. Creio que vocês estejam vendo a minha tela. Eu trouxe uma apresentação rápida, mas começando aqui já. Eu estou aqui representando a Zetta. Sou Presidente da Zetta. A Zetta é uma associação que foi criada, no ano passado, para representar empresas nacionais e latino-americanas de tecnologia que atuam no setor financeiro. Aqui eu trago alguns exemplos das empresas que são representadas pela Zetta, como Nubank, como o Mercado Livre, como a Cora, a Acesso, a Creditas, enfim, várias outras. São empresas então, como eu falei, que oferecem produtos que vão, desde contas transacionais, através de aplicativos, empréstimos, serviços financeiros no celular, de maneira geral, mas também criptoativos, marketplace, investimentos e uma série de outras conectividades, com infraestrutura no setor financeiro, Pix e uma série de outras atividades típicas de fintechs no Brasil. A Zetta foi criada num movimento recente de aumento da competição no setor financeiro. Então nós temos visto, ao longo dos últimos anos, as ondas de inovação tecnológica, chegando em diferentes setores do mercado, e a gente acredita que a Zetta representa então essa onda da chegada da tecnologia no setor financeiro. Dessa maneira, ela foi criada com três pilares em mente. O primeiro pilar é o de promoção da competitividade, da criação de limite econômico dinâmico, competitivo e com regras que favoreçam a atuação dos novos entrantes; o segundo componente, obviamente, de inovação, de uso da tecnologia para promover melhoras no setor financeiro, especialmente para a experiência das pessoas que utilizam o setor financeiro. Isso já tem sido materializado através da oferta de, por exemplo, serviços financeiros gratuitos. Hoje em dia são muito comuns e muito populares esses produtos: a abertura de contas digitais no seu telefone, contas transacionais, seja para Pix, contas de pagamento, contas de depósito, em que isso é feito de maneira totalmente não personalizada, ou seja, você não precisa ir numa agência física, é feito diretamente através do celular, e isso tem sido possibilitado pela tecnologia, que ajuda não só nesses sistemas em si, mas ajuda também no modelo de negócios. E o terceiro componente, que talvez seja um dos mais diretamente relacionados ao tema aqui da nossa audiência hoje, é um pilar de promoção da inclusão financeira. Então eu mencionei que a Zetta foi criada na esteira dessas fintechs, que têm trazido mais competição para o setor financeiro brasileiro e, ao trazer competição, para entrar no setor regulado, para competir com players que têm históricos de dados creditícios de anos e anos, de décadas na verdade, que têm um conhecimento do cliente muito mais aprimorado, essas empresas tiveram que fazer investimentos massivos em tecnologia, especialmente na área de aprendizado de máquina e de inteligência artificial, para tentar comparar ou passar, porque a gente espera que diversas delas já estejam passando, a qualidade de análise creditícia necessária para a oferta de alguns desses produtos, especialmente e obviamente produtos de crédito.
15:00 R	Com isso, as empresas da Zetta têm conseguido promover, conciliando a tecnologia com esse modelo de negócios muito mais simples e com uma análise de dados muito mais aprimorada, incluir e oferecer serviços financeiros a uma parcela da população que até então os grandes bancos não conseguiam incluir, simplesmente porque, às vezes, não fazia sentido econômico, as análises de crédito não eram aprimoradas suficientemente para a tomada de decisão ou não existiam dados sobre as pessoas. Então, essas empresas de tecnologia têm feito esses investimentos na onda de uso da tecnologia no setor financeiro. Então, só para ilustrar um pouco o que eu acabei de mencionar, nós fizemos recentemente uma análise com as empresas associadas à Zetta, em torno de 25 empresas hoje em dia, e perguntamos em quais tipos de tecnologias essas empresas vêm investindo. A gente vê que 83% das empresas da Zetta têm feito investimentos massivos na área de aprendizado de máquina; quase 60%, na área de inteligência artificial; em torno de 50% obviamente no aprimoramento de ferramentas de conhecimento do cliente, que é, inclusive, um requisito regulatório para todo mundo que opera no setor financeiro e que vai adquirir novos clientes; sem contar os investimentos na área de big data e de biometria para reconhecimento facial. A última coisa que menciono aqui é sobre a representatividade da Zetta, para focar no tema da nossa audiência: o que significa, então, o impacto social que a Zetta tem tido ou que as empresas da Zetta têm tido? Significa algo como 92 milhões de contas criadas. A gente está falando aqui de 40% da população brasileira que possuem algum tipo de conta com as empresas que estão associadas da Zetta. Em termos de pequenas e médias empresas, nós estamos falando de quase seis milhões de cadastros; do índice de satisfação de cliente que é acima do restante do setor; e de uma representatividade em todo o Brasil, até porque, ao oferecer uma conta digital, que é o produto básico que diversas das empresas associadas oferecem, não é necessário ter uma agência, então tem um componente também de inclusão financeira muito alto, apesar de que a gente vê uma concentração grande ainda dos clientes da Zetta na Região Sudeste. Bem, para tratar especificamente do tema da nossa audiência, a Zetta preparou uma contribuição até um pouco mais longa, que nós vamos submeter diretamente à Comissão, mas, sem prejuízo desta Comissão, porque tem muito mais detalhes do que o tempo me permitiria fazer hoje, eu trouxe alguns destaques que eu achei que era importante mencionar. Primeiro, eu quero só reforçar algo que já foi dito aqui por alguns colegas de painel, que é a nossa sugestão, a nossa recomendação de que a regulação de inteligência artificial realmente foque nos usos de alto risco para a sociedade. Não são todos os usos que ensejariam uma regulação, e eu acho que uma regulação que possa engessar a parte de pesquisa, de coleta e de desenvolvimento de novas tecnologias baseadas em dados pode ser "detrimental" para a inovação.
15:04 R	Para além disso, a gente tem defendido uma abordagem que leve em consideração, eventualmente, um marco legal de abrangência geral, mas isso conjugado com normas setoriais específicas, tendo em vista que os usos de inteligência artificial variam muito e a gente acha que faz mais sentido que essa abordagem seja setorial. Inclusive, nessa linha, o setor financeiro já dispõe de diversas normas específicas que tratam já, hoje em dia, da regulação de inteligência artificial, seja através das normas que falam de avaliação, custo de normas e cálculo prudencial, seja através das normas do Banco Central que falam sobre governança e gestão de risco e, obviamente, sendo o Banco Central o regulador, não é somente uma norma que não tem fiscalização; muito pelo contrário, o Banco Central faz um trabalho constante de fiscalização e auditoria das instituições financeiras e de pagamentos que são autorizadas a funcionar e já conta com normas relacionadas à cibersegurança e hospedagem em nuvem. Quer dizer, eu mencionei aqui o Banco Central, mas não é o Banco Central o único regulador que atua sobre esse setor, nós temos também a CVM, a Susep, etc. Então, a gente vê que o setor financeiro já conta com algumas normas quando a gente fala, para começar, da segurança e qualidade das evidências dos sistemas de inteligência artificial. Será que esses sistemas estão utilizando os dados adequados? Será que eles estão calibrados da maneira certa? Será que eles estão fazendo alguma análise de uma maneira que não deveria ser feita? Isso tudo já é coberto pela fiscalização dos órgãos reguladores do setor financeiro. Do ponto de vista também dos direitos, dos efeitos concretos do sistema de inteligência artificial sobre a vida das pessoas, também o sistema brasileiro já dispõe de diversas normas. Então, a gente já tem aqui, por exemplo, a própria LGPD, que fala de privacidade e autodeterminação informativa. Não preciso repetir aqui, nós temos diversos especialistas sobre o assunto, é só para pontuar, sem contar o CDC, o Código Civil e as regras específicas, mais uma vez, do setor financeiro, regulações do Banco Central que tratam de normas, por exemplo, de prevenção de fraude e normas de conduta que evitam danos mais severos para o usuário do setor financeiro. Então, nós já temos, nesse panorama regulatório, tanto quando a gente olha para as normas de aplicabilidade geral quanto para as normas específicas setoriais para o setor financeiro, uma série de direitos que tratam, por exemplo, sobre propósito benéfico da inteligência artificial, transparência e livre acesso, não discriminação, segurança, responsabilidade e prestação de contas, autonomia, etc. Com base nisso, tentando manter minha contribuição aqui curta, como eu falei, em benefício do tempo, as ponderações que nós trazemos para esta Comissão são, exatamente, de se fazer um juízo sobre a necessidade e a oportunidade para a criação de novas regras, especialmente pensando nessa abordagem setorial. Se a Comissão concordar com essa abordagem, que seja feita uma análise prévia de quais são as normas setoriais já existentes e da eventual necessidade de atualização dessas normas.
15:08 R	Então, por conta disso, seria importante conversar com os órgãos reguladores específicos, fazer uma análise e uma atualização, tentar entender os desafios que podem existir em relação a essas normas, e nós também, da Zetta, como entidade do setor, estamos à disposição para participar desse trabalho, tendo em vista garantir o uso de inteligência artificial de uma maneira que seja benéfica para todos. Então, só concluindo, quero destacar, mais especificamente sobre o painel, que acho que já foi muito rico quando falou tanto dessa abordagem de outras alternativas, sandbox e tudo mais, mas, só para concluir, quero destacar que a Zetta vê com muito bons olhos mecanismos de incentivo à construção de melhores práticas setoriais. Inclusive, nós já temos feito isso no âmbito da lei de proteção de dados. Por exemplo, a Zetta conta com DPOs, especialistas em privacidade, em diversas empresas que eu mencionei. Esses especialistas têm se debruçado sobre temas do setor financeiro. Um tema recente que tem sido objeto de discussão para a tentativa de uniformização de regras e melhores práticas do setor tem sido exatamente as notificações para incidentes de segurança relacionados ao Pix. Então, nós temos visto... Por exemplo, um desafio no Pix é que, se você envia um Pix para outra pessoa, ainda que você não seja cliente dessa outra instituição, o fato de você ter enviado esse Pix, sua chave Pix pode ficar com essa outra instituição e, eventualmente, esses dados - as instituições têm a obrigação de retenção desses dados transacionais para fins de reporte ao Banco Central e tudo mais -, quando esses dados são vazados, cria-se a pergunta: quem deveria notificar? O que deveria ser notificado? Em que situação deveria haver a notificação? Então, a Zetta começou um grupo de trabalho junto com o Banco Central, e recentemente nós estabelecemos um ponto de contrato com a ANPD para tentar avançar na construção de melhores práticas setoriais sobre esse ponto, e a gente teria, obviamente, o maior prazer em nos debruçarmos também no tema da inteligência artificial. Para finalizar, e eu sei que já estou com o tempo estourado, mais um minutinho, eu queria fazer uma ponderação sobre o uso de sandbox. Eu sei que sandboxes têm sido, recentemente, utilizados como uma estratégia para garantir a inovação em setores altamente regulados não só quando a gente fala em inteligência artificial, mas mesmo quando a gente fala do setor financeiro... Existe, por exemplo, uma iniciativa do próprio Banco Central para a criação de sandboxes, em que as empresas teriam uma dispensa regulatória de cumprimento de algumas normas para fazer experimentos com projetos mais inovadores. A ponderação que eu faço é que, apesar de, conceitualmente, a ideia ser muito louvável, é muito importante ter atenção sobre a maneira com que esse sandbox será implementado. Eu acho muito importante que não se invista somente na ideia do sandbox como alternativa de respiro para que as empresas operantes num dado setor possam inovar, possam construir ferramentas novas, porque, muitas vezes, o próprio processo de elaboração do sandbox é feito somente por chamada. Ele tem que ter um processo de seleção. Esse processo de seleção vai escolher somente algumas empresas que vão poder fazer aquele... Todas essas etapas são etapas que desestimulam à inovação.
15:12 R	Então, na verdade, eu queria propor, para finalizar, que a ideia do sandbox seja tratada não tanto como uma exceção regulada procedimental, quase que cartorária, para permitir a inovação, mas, sim, através de outro tipo de abordagem que o Banco Central tem utilizado de maneira muito bem sucedida, que é a abordagem da regulação proporcional, que nada mais é - faço um paralelo com o mundo da regulação de inteligência artificial - do que uma abordagem que utiliza uma ponderação de risco de forma muito bem segmentada e escalonada. Então o Banco Central tem o seu papel, por exemplo, de evitar riscos sistêmicos para o setor financeiro. O que ele faz é dizer "olha, se uma instituição começa a operar e ela tem limites de transações muito pequenos, não vale a pena eu, Banco Central, olhar para a instituição..." Não precisa nem pedir autorização. Então, ao criar essa, digamos, escada, ele não só dá previsibilidade para o inovador, mas ele permite a inovação e ele regula, obviamente de maneira muito eficaz, aqueles atores e aqueles usos que trazem um risco maior. Então eu acho que vale a pena utilizar como parâmetro a abordagem de regulação proporcional do Banco Central quando a gente fala em sandbox, mas não especificamente o sandbox, que é do setor financeiro. Com isso eu encerro e agradeço mais uma vez pela participação. O SR. GEORGES ABBOUD - Muito obrigado, Bruno. Agora passo a palavra para o Professor da Universidade de Frankfurt e sócio do escritório de advocacia Opice Blum, Bruno e Vainzof, Ricardo Campos. O SR. RICARDO CAMPOS (Por videoconferência.) - Obrigado, Georges Abboud, pela condução dos trabalhos. Eu vou compartilhar aqui a minha tela. Queria agradecer também o convite a mim dirigido na pessoa do Ministro Ricardo Cueva e também da Relatora Laura Schertel Mendes e também agradecer aos colegas participantes deste painel. Este raio de luz que entra aqui é a prova mais clara de que existe sol na Alemanha! Estou falando de Frankfurt, na Alemanha, num final de tarde/início de noite do início do verão. Como o Georges bem mencionou, eu tenho uma dupla atividade: além de ser docente nas áreas de Tecnologia e Proteção de Dados e Direito Público em Frankfurt, eu atuo também como sócio no escritório Opice Blum, sou Coordenador da Área Digital da OAB Federal da ESA nacional e também sou Diretor do Instituto Legal Grounds, que tem atuado na formulação e participação de políticas públicas dentro do setor de tecnologia no Brasil. O ponto de partida da minha abordagem segue a ideia - eu espero que todos estejam vendo a minha tela como um todo - de que a regulação de inteligência artificial é um caso típico de regulação estatal sob condições de incerteza. Esse foi um ponto que talvez tenha perpassado, mesmo que de forma indireta ou colateral, as abordagens do painel de hoje. E a questão central que se coloca no início é: regular ou não regular? E aqui a gente tem uma diferença de investimento muito grande...
15:16 R	Georges, eu não sei se vocês estão aqui no eslaide sobre Estados Unidos e União Europeia. A União Europeia... O SR. GEORGES ABBOUD - Não, Ricardo, a gente está no eslaide em que está escrito "o caso de regulação...". O SR. RICARDO CAMPOS (Por videoconferência.) - É porque numa reunião anterior deu problema justamente neste ponto. O SR. GEORGES ABBOUD - Agora sim, regular ou não regular, União Europeia e Estados Unidos. Perfeito. O SR. RICARDO CAMPOS (Por videoconferência.) - Isso. É interessante perceber, por exemplo, que a União Europeia, no ano de 2021, investiu 1,5 bilhão de euros, e isso corresponde somente a um décimo dos Estados Unidos. Talvez isso revele, de forma implícita, as várias iniciativas europeias impondo regulação de serviços digitais. Então, a gente vê os Estados Unidos principalmente num polo de incentivo à inovação, à criação de um ambiente propício à inovação; e a União Europeia tentando mesclar regulação com inovação, mas com peso muito forte na inovação. Nesse ponto eu gostaria de chamar atenção para um artigo que saiu recentemente sobre o impacto do GDPR sobre o mercado de aplicativos de celular. Eu sei que é muito perigoso falar nesse tom do GDPR e da proteção de dados, até mesmo porque eu dou aula sobre o assunto, publico sobre o assunto, mas agora a gente começa a colher algumas experiências positivas e negativas sobre o impacto no setor de inovação, em produtos de inovação. E aqui, usando dados sobre 4,1 milhões de aplicativos no Play Store do Google, de 2016 a 2019, foi documentado que o GDPR induziu à retirada de cerca de um terço dos aplicativos disponíveis, um terço. Naturalmente, pode-se dizer que faz parte, queremos aplicativos que sigam, de certa forma, padrões europeus de direitos e garantias, mas, para a questão da inteligência artificial, talvez seja interessante tentar evitar efeitos colaterais em inovação justamente como esses. Eu vou dar um exemplo claro para o setor de startups no Brasil. Um ponto que eu gostaria de destacar aqui também é que a inteligência artificial tem uma característica um pouco diferente da proteção de dados. A proteção de dados não é um produto econômico em si, é muito mais uma limitação jurídica a determinadas condutas, principalmente com relação a dados pessoais, enquanto a inteligência artificial, e agora no mundo, com a União Europeia e o Brasil nesta discussão em que a gente se encontra, incorpora esse caráter sui generis: é, ao mesmo tempo, um produto extremamente maleável e transversal e também um objeto de regulação. Então, ele é, ao mesmo tempo, regulação à inteligência artificial e um produto. Justamente por conta desse caráter sui generis, toda regulação em inteligência artificial deve levar em consideração não só a proteção de direitos, também a proteção de direitos, mas aspectos ligados à inovação. Este é outro ponto importante decorrente do primeiro: a regulação de IA não deve ser encarada enquanto regulação de um produto concreto. Isso pode surgir a posteriori, dependendo do impacto de um determinado produto dentro da sociedade, mas o mais importante, e isso tem sido um ponto central na discussão sobre regulação de inteligência artificial na Alemanha, principalmente nos críticos da abordagem europeia, ela deve ser vista muito mais como a regulação de um processo e não de um produto ou de um ato ou de posições individuais, porque a IA tem a característica de ser, ou poder ser, vários pontos dentro de uma cadeia econômica, de regulações ou de relações sociais. Um exemplo é a possibilidade de estar acontecendo esta reunião aqui ou até mesmo cadeias logísticas complexas, globais, em vários pontos da cadeia (empresas, transportes, geração de tecnologia). É aplicada em diversos pontos da cadeia a inteligência artificial.
15:20 R	Um ponto interessante, retomando, então, a questão do impacto negativo do GDPR em aplicativos seria de se pensar para o caso das startups. Aqui foi mencionado em diversos pontos. O Carlos Affonso, no início, falou de análises de impacto; a Marcela colocou de forma central a questão da avaliação preliminar de risco; o Norberto Andrade mostrou como Meta atua de forma proativa em questões de avaliação de risco e dos próprios produtos; o Bruno Magrani deixou claro, também, que a discussão brasileira deveria ser orientada apenas no alto risco. Se a gente olhar só para o setor de startups é uma questão muito interessante em que, também, eu sigo uma linha dos críticos da tradição europeia de regulação de IA. O mercado de startups não é comparável aos outros tipos de mercado. Por quê? Ele é extremamente complexo e deve partir de que determinados riscos desconhecidos devem ser aceitos pela própria regulação. Aqui, todos esses pontos que eu listei das falas anteriores... Por exemplo, a avaliação preliminar de risco. Se se exigir isso de uma startup que vai tentar inovar em um setor de alto risco - e aqui a gente pode pensar tanto em dados relacionados à cidade, em dados relacionados à saúde ou dados relacionados à tráfego aéreo - a gente pode estar impedindo um grau de acesso maior, porque a startup tem uma diferença muito grande de uma empresa petrolífera. Por quê? Uma startup pode ser criada por duas pessoas, por uma pessoa, por um pequeno hospital, no interior. Então, o que se deve evitar aqui - é até uma crítica à segmentação de risco e como ela é dificilmente aplicada para o setor dinâmico de startups, se deveria pensar - e a gente do Instituto Little Grounds vai fazer uma proposta de texto, de redação de texto, e vou me esquivar agora de entrar em pormenores - em uma solução para a absorção desse risco de inviabilidade de inovação. Seria um fomento, por exemplo, de uma agência privada, fomentada por uma iniciativa estatal, que pudesse criar um pool para absorção desses relatórios preliminares de riscos para startups pequenas. E aí teríamos que ter um recorte, talvez, ligado ao capital. Lembrando que várias leis no mundo, hoje, a lei de fake news, por exemplo, no Brasil, coloca como corte 10 milhões de usuários, no Brasil; a lei alemã Netzwerkdurchsetzungsgesetz coloca 2 milhões. Então, aqui seria um caso muito importante de se pensar como evitar externalidades negativas e impactos negativos na inovação no setor de startups.
15:24 R	Aqui, encaminhando já para os três últimos minutos da minha fala, seria interessante a gente pensar como o direito lida tradicionalmente com riscos desconhecidos, porque, como eu disse, o tema central, para mim, da regulação de inteligência artificial é uma regulação sob condições de incertezas e o Brasil também não precisa ser o primeiro do mundo a regular inteligência artificial. Talvez essa seja também uma tarefa importante da Comissão, como já foi mencionado anteriormente, de colocar um freio numa competição global para a regulação de inteligência artificial. Aqui a gente tem modelos tradicionais, modelos ex ante e ex post e também a concentração em produtos claros, serviços centrados em casos específicos ou até proteção ligada ao indivíduo. Disso, a gente tem dois problemas que surgem. A dimensão do conhecimento nesses âmbitos dinâmicos é muito interessante porque o conhecimento não está mais no regulador, o regulador estatal indispõe de conhecimento sobre as próprias aplicações. A gente já tem percebido isso tanto na discussão de proteção de dados, também na regulação de redes sociais e, agora, isso ainda potencializa-se na questão da regulação de inteligência artificial. E aqui, me valendo dos meus últimos segundos... O SR. GEORGES ABBOUD - Ricardo, se precisar de algum minuto adicional, fique à vontade. O SR. RICARDO CAMPOS (Por videoconferência.) - Está bem, talvez dois minutos, Georges, para concluir. O SR. GEORGES ABBOUD - Claro, fique à vontade. O SR. RICARDO CAMPOS (Por videoconferência.) - E essa dimensão do conhecimento coloca dois paradigmas tradicionais do direito, que é um direito centrado em normas e textos legais, codificações ou um direito centrado também em princípios abstratos, materializado, valores abstratos e aqui entra um conceito muito importante do Direito Administrativo alemão que migrou para o plano europeu, que é a autorregulação regulada ou corregulação, porque ela estabelece, de certa forma, um meio-termo entre uma tradição europeia de regulação, em que se estabelece uma regulação universal, e uma estadunidense, setorializada, porque dá abertura para uma participação setorial maior, e também a questão da geração de conhecimento por critérios e procedimentos estabelecidos pelo direito. Aqui a gente tem vários exemplos. A gente tem agora um exemplo, é o primeiro exemplo no mundo, oficial, do serviço de nuvem, que foi feito por uma importante empresa chamada Scope Europe, que foi creditada no âmbito europeu, que é até um caso muito interessante de ser replicado no Brasil. Há diversos outros casos, como eu listei aqui, há um caso na Espanha muito importante sobre investigações em clínicas farmacêuticas e aqui entra justamente esse novo momento. A gente tem no Direito Constitucional, Georges Abboud é professor de Direito Constitucional, uma frase do Peter Häberle que praticamente moldou uma geração de constitucionalistas, de abertura para interpretação da Constituição para indivíduos. Aqui a gente teria, com a autorregulação regulada, a abertura da sociedade para produção de normas setoriais e standards setoriais das empresas e por setores. E um caso, e aqui, Georges, já entrando nos meus últimos segundos, muito interessante para o Brasil, até muito mais interessante para a Alemanha, a transformação do que tem acontecido na medicina, com o data-driven medicine. E aqui está acontecendo uma revolução. Se a gente pensar no modelo anterior, em como era feito, medicina e geração de conhecimento eram muito mais baseados na formação de experiência dentro de organizações - aqui o hospital, universidades e empresas privadas - e o papel central do método, que partia de uma pergunta, e aí você ia averiguando, através de casos, e, no final, você tinha, então, o resultado. Hoje, com a possibilidade de dados, algoritmos e inteligência artificial, você tem um processo oposto. Você colhe o máximo de dados possíveis, cria relações produzidas por algoritmo e cientistas de dados e médicos olham, apenas no final, para pontos nodais dessa relação de dados. E, a partir dali eles começam, então, a desenvolver evidências práticas.
15:28 R	O Brasil, praticamente um continente em que se encontram todas as etnias do mundo, deve se utilizar dessa experiência de dados e inteligência artificial na saúde para tentar ser um dos pioneiros no mundo na geração de tecnologia para novas terapias, para novos procedimentos. E a gente tem condições, através desse PL da fake news, de não impedir que inovações ocorram, que a gente crie, e aqui é o ponto central - e aqui entro nos meus dez últimos segundos... Sob condições de incerteza, a regulação de setores tecnológicos e dinâmicos deve se orientar muito mais para modelos que colocam no centro a dimensão da geração do conhecimento e não modelos herméticos com objetivos concretos. Então, agora, eu termino aqui, agradecendo a participação. Como eu disse, a gente vai encaminhar à Comissão, então, propostas concretas de redação, mas a mensagem central é aqui que a gente deve ter cuidado e deve partir de que a gente está regulando um setor sob condição de extrema incerteza e que o mais importante é criar mecanismos nessas condições de geração de conhecimento entre o Estado e a sociedade. Agradeço, então, a participação, pela possibilidade de estar participando e também de conhecer vários colegas expositores. O SR. GEORGES ABBOUD - Muito obrigado, Ricardo, pela última exposição do dia. Temos, ainda, alguns minutos aqui da nossa audiência. Eu gostaria de perguntar se algum membro da Comissão gostaria de fazer alguma pergunta para os painelistas. A Estela Aranha levantou a mão. Estela, por gentileza. E aí vamos designar um minuto para a pergunta e dois a três minutos para a resposta, para a gente poder tentar aproveitar, ao máximo, aí os nossos 15 minutos, está bom? Estela, por gentileza. A SRA. ESTELA ARANHA (Por videoconferência.) - Boa tarde a todos e todas. Desculpa, porque eu estou com pouca voz, mas eu teria alguns pontos para os palestrantes, em geral, comentarem. A primeira questão é sobre o que se falou muito pouco nas outras audiências, sobre o modelo de regulação híbrido, que a gente, obviamente, considera as questões setoriais, mas também que há algum modo central de regulação dos impactos dessa tecnologia de inteligência artificial na sociedade. Sempre lembrando que nós estamos falando de regulação de impactos e não da aplicação em si ou da tecnologia em si, inclusive para que a lei não se torne obsoleta a partir do surgimento aí de uma próxima nova tecnologia. A outra questão sobre a qual eu gostaria que os palestrantes, de modo geral, também falassem é... São duas coisas que eu acho que a gente tem que, assim... É claro que a importância do desenvolvimento de tecnologias de inteligência artificial no mercado ninguém nega, de modo nenhum, mas, justamente a necessidade de confiança nelas que é essencial para que esse mercado se desenvolva.
15:32 R	Então, só pontuando aqui, rapidamente, algumas coisas. Em relação, por exemplo, ao debate de investimentos, porque nos Estados Unidos é super-regulado e eventualmente na Europa não é regulado, a primeira coisa: a gente tem que diferenciar muito, por exemplo, o que é desenvolvimento tecnológico do que é o mercado concentrado, com muito dinheiro investido em poucas empresas para se ganhar lucro. Eu gostaria de saber, por exemplo, quais patentes que existem nos Estados Unidos para o desenvolvimento de qualquer tecnologia, inclusive de inteligência artificial, de 5G ou de outros mercados super-regulares que a Europa não tem e vice-versa. Isso porque, de modo geral, a Europa é autossuficiente com as suas patentes, muitas das quais os Estados Unidos não são em termos de tecnologia, mesmo os Estados Unidos sendo absolutamente desregulados e a Europa não. Ou quase, não é? Tem algumas regulações setoriais fortes, como saúde. O FTC iniciou agora alguma coisa em relação ao consumo. Essa é uma questão muito importante quando a gente está falando de desenvolvimento tecnológico, até porque o debate... Você tem, hoje, na grande literatura, que, nos Estados Unidos, de um modo geral, a gente não teve grandes desenvolvimentos tecnológicos na inteligência artificial, a não ser uma capacidade incremental devido, obviamente, à grande captura de dados, cada vez maior pelo que a gente já sabe, e à grande capacidade computacional. Isso, obviamente, potencializa o uso dessa tecnologia, mas não significa um desenvolvimento tecnológico, principalmente se ele estiver concentrado em algumas grandes empresas. E a outra questão com que eu me preocupo muito é em relação ao risco, porque o risco alto é o risco independentemente de quem está gerando risco. Então, acho que... É claro que nós temos - e eu tenho - uma preocupação muito grande, sempre falo, com as startups, com pequenas e médias empresas e eu acho que tem que ter, sim, uma proteção especial em relação a esses regimes, justamente para evitar essa concentração. Mas que essa proteção nunca envolva, obviamente, riscos: riscos à saúde, à segurança e riscos aos direitos humanos, de modo geral, nem à confiança em relação à inteligência artificial. Então, o risco independe do agente que está empreendendo. E, ainda, o impacto do risco também na sociedade, porque o impacto do risco, inclusive, impacta o próprio mercado de inteligência artificial, que se diminui a confiança se a gente não tiver padrões mínimos de qualidade nos diferentes requisitos de que a gente falou. Então, eu queria também falar um pouco sobre essa questão. Por exemplo, a gente sabe que o mercado - e a gente tem representantes de fintechs -, o mercado financeiro tem uma super-regulação, justamente porque o risco é muito alto e o impacto é muito grande, enfim. Mas são essas pontuações das últimas falas. Enfim, tem um milhão de coisas, mas já acabou o tempo aqui. O SR. GEORGES ABBOUD - Obrigado, Estela. Quem gostaria de começar? E, aí, os outros painelistas podem levantar a mão, que eu vou chamando na sequência que aparecer aqui para mim. Alguém gostaria de começar? (Pausa.) Bruno? O SR. BRUNO MAGRANI (Por videoconferência.) - Acho que a Marcela havia "desmutado" antes de mim. O SR. GEORGES ABBOUD - Marcela? Então, a Marcela e, depois, o Bruno. A SRA. MARCELA MATTIUZZO (Por videoconferência.) - Posso começar. Acho que, enfim, a Estela trouxe muitos pontos. Vou tentar me ater a alguns deles e, aí, acho que o restante das pessoas também pode complementar. Essa questão inicial sobre como a gente pode mesurar, talvez, a importância do desenvolvimento regulatório versus efetivamente a inovação e como isso está colocado nas diversas jurisdições. Eu acho que, assim, essa questão de patentes é um possível caminho. Salvo engano, existem relatórios sobre isso que, especificamente, trazem, por país, quantas são as patentes relacionadas a temas de sistemas de inteligência artificial e que demonstram de fato, por exemplo, que a Europa estaria atrás em relação à China e aos Estados Unidos, prioritariamente. Isso até, em alguma medida, talvez justifique a estratégia que a própria Europa diz que ela está adotando de ser o celeiro regulatório do mundo.
15:36 R	Então assim: "Ó, se eu perdi a corrida da inovação, eu não vou ficar atrás na disputa regulatória. O meu mercado consumidor é muito relevante, então eu vou tentar impor padrões regulatórios que as outras nações vão ter que acabar seguindo". Mas, salvo engano, também vários outros relatórios utilizam muitas outras métricas. Então, assim: quantidade de investimento, venture capital, pesquisa feita em inteligência artificial nessas variadas nações etc., que eu acho que podem servir, em alguma medida, de parâmetro, se a gente quiser encontrar variáveis que nos ajudem a verificar essa questão. E aí, enfim, há as diversas estratégias que essas jurisdições estão adotando, tendo em vista essa questão. Mas acho que uma constante assim que eu acho que está colocada é: todas essas jurisdições estão totalmente cientes de que tem mesmo um balanceamento aí que precisa ser feito. E elas estão mobilizando não só as estruturas regulatórias isoladamente consideradas, como as políticas públicas de política industrial, enfim. Todo mundo falou nisso. O Ministério da Economia trouxe essa preocupação aqui, para que se tenha um todo coerente que possa ser mobilizado para essa questão. Então, acho que a gente precisaria aqui... Enfim, não dá para trazer todas as variáveis aqui, nesse contexto, mas acho que isso é um ponto, de fato, muito importante de ser olhado para o desenvolvimento da regulação. O SR. GEORGES ABBOUD - Obrigado, Marcela. Bruno. O SR. BRUNO MAGRANI (Por videoconferência.) - Sem ter pretensão de talvez responder a todas as perguntas da Dra. Estela, mas um ponto que eu gostaria de mencionar é voltar à questão da regulação baseada em risco. Aí eu queria reforçar aqui que o setor financeiro, talvez mais do que qualquer outro setor, é um excelente exemplo de como a regulação baseada em risco pode ser utilizada de maneira eficaz. É interessante porque, como a gente está falando de setor regulado, quer dizer, na regulação baseada em risco, em regulações que levem em consideração diferentes tipos de risco, essa é uma preocupação com que o setor financeiro internacional lida há 50, há 60, há 100 anos. Então, eu acho que tem muito do ponto de vista do aprendizado de criação de políticas públicas baseadas na abordagem de risco. Eu acho que o setor financeiro pode ter muito a contribuir. Ele pode ter a contribuir também, especialmente o setor financeiro brasileiro, porque o Brasil hoje em dia virou um grande exemplo de promoção da competição, não é? Então, o pêndulo que a gente vê aqui, diferentemente talvez do pêndulo da regulação de tecnologia, está na direção oposta. Então, talvez a gente esteja vendo globalmente o setor de tecnologia gradualmente sendo mais regulado. E, dependendo de como você olha, o setor financeiro já é muito regulado e, a cada crise financeira, tende-se a criar regulações cada vez mais estritas. Mas, desde 2013, o Banco Central vem adotando esse modelo que eu mencionei: criação de licenças específicas, uma abordagem que leve em consideração esse modelo que eu mencionei de regulação proporcional. A regulação proporcional é uma que leva muito em consideração o risco que a atividade, que a instituição traz para a sociedade. Eu acho que tudo isso pode ser muito rico para a discussão de inteligência artificial, se a gente for olhar para esse modelo híbrido, efetivamente, em que você tem uma regulação, de maneira geral, um marco legal um pouco mais principiológico e abstrato. E depois regulações setoriais que levam muito em consideração a realidade de cada um dos setores.
15:40 R	O SR. GEORGES ABBOUD - Obrigado, Bruno. Mais alguém quer fazer alguma consideração? Temos mais alguns minutos, sobre esse ponto, lançado pela Estela. (Pausa.) Bom, então, se ninguém se manifestou, aqui, hoje, pontualmente, não havendo mais nada a tratar, declaro encerrada a presente reunião. Hoje eu fui aqui acompanhado, ao longo desta Presidência, dos Professores Danilo Doneda e do Professor Juliano Maranhão, que registro a presença. Agradeço a todas e a todos os painelistas aqui, que nos abrilhantaram com esta audiência pública. Ganha o Brasil, ganha a sociedade e ganha muito conhecimento a Comissão para fazer uma melhor produção normativa, o que é uma grande responsabilidade que todos carregamos aqui. Então, encerrada aqui mais uma audiência pública da nossa Comissão de Inteligência Artificial. (Iniciada às 09 horas e 04 minutos, a reunião é encerrada às 15 horas e 42 minutos.)

Atividade Legislativa

Notas Taquigráficas

13/05/2022 - 5ª - Comissão de Juristas responsável por subsidiar elaboração de substitutivo sobre inteligência artificial no Brasil