09/06/2022 - 7ª - Comissão de Juristas responsável por subsidiar elaboração de substitutivo sobre inteligência artificial no Brasil

Horário	Texto com revisão

09:28 R	O SR. PRESIDENTE (Eduardo Gomes. Bloco Parlamentar Vanguarda/PL - TO. Fala da Presidência.) - Bom dia! Havendo número regimental, declaro aberta a 7ª Reunião da Comissão Temporária Interna destinada a subsidiar a elaboração de minuta de substitutivo para instruir a apreciação dos Projetos de Lei nºs 5.051, de 2019; 21, de 2020; e 872, de 2021, que têm como objetivo estabelecer princípios, regras, diretrizes e fundamentos para regular o desenvolvimento e a aplicação da inteligência artificial no Brasil. A presente reunião destina-se à realização de seminário internacional, que será dividido da seguinte maneira, conforme programação distribuída a todos os participantes do evento. Passo ao pronunciamento de abertura. Sr. Ministro Ricardo Villas Bôas Cueva, Presidente desta Comissão; Sra. Laura Schertel, Secretária dos trabalhos; senhores membros da Comissão de Juristas, antes do pronunciamento em si, eu gostaria de fazer as minhas saudações em nome do Presidente do Congresso Nacional e do Senado Federal, o Senador Rodrigo Pacheco, que, neste instante, encontra-se também em reunião conjunta com a Presidência da Câmara dos Deputados e com Ministros de Estado para tratar de medidas importantes para o país, mas que fez questão de que eu transmitisse para o Ministro Ricardo Villas Bôas Cueva, nosso Presidente, e para todos os membros desta Comissão que deliberou à Secretaria-Geral da Mesa, conforme solicitação do Presidente, Ministro Cueva, ato administrativo que amplia em 120 dias o prazo de funcionamento desta Comissão. Então, é uma saudação do nosso Presidente Rodrigo Pacheco, que, neste momento, também deve falar sobre este importante seminário ao Presidente Arthur Lira, já que temos no Brasil o sistema bicameral. Digo a todos que acompanham este seminário que isso significa a mais absoluta sintonia dos trabalhos desta Comissão com a Presidência das Casas, diante da necessidade urgente do debate e do acompanhamento das políticas ainda a serem implementadas na área da inteligência artificial. Então, esse é o comunicado que faço.
09:32 R	Passo a cumprimentar a todos pelo nosso seminário. É um grande prazer e uma imensa honra estar presente aqui hoje e fazer parte de mais uma importante etapa deste processo histórico, que em breve culminará na peça jurídica da maior importância para a vida da nossa nação. É inegável a magnitude da importância que os recursos eletrônicos têm adquirido na vida por todo o planeta e em especial no Brasil. Hoje já se estima haver duas vezes mais dispositivos digitais, entre tablets, smartphones, notebooks e desktops, do que pessoas. Nesse contexto a inteligência artificial é uma realidade inegável que encanta e - por que não dizer? -, ao mesmo tempo, assombra a todos nós. Sonhamos com suas maravilhas, tememos o seu poder. Até onde chegaremos? Como será o futuro repleto de máquinas pensantes? Para além da ficção científica, uma coisa é certa: faz-se indispensável um arcabouço jurídico robusto e consistente a dar suporte e sustentação às relações humanas que serão sujeitas a todo esse incrível desenvolvimento tecnológico. Dessa forma, não considero menor exagero a afirmação de que os trabalhos desta Comissão entrarão para a história. A importância do dispositivo legal que será produzido ao fim dos trabalhos só se compara à expectativa que temos no desenvolvimento tecnológico que se anuncia. Sob a Presidência do Ministro Cueva, esta Comissão tem desenvolvido um trabalho verdadeiramente exemplar, que ficará como modelo para os grupos semelhantes no futuro. Após a publicação dos eixos temáticos dos trabalhos, esta ilustre Comissão abriu diversos canais pelos quais a sociedade pode enviar as suas contribuições. Ao longo dos últimos meses, reuniões de trabalho, audiências públicas de caráter multissetorial colheram subsídios multidisciplinares de inúmeros setores da sociedade. Este Seminário Internacional encerra esta segunda etapa de coleta de informações por parte da Comissão. Desse modo, durante os próximos meses, os membros desta Comissão se debruçarão em estudos para a produção do documento final, a ser apresentado pela competente Relatora, Dra. Laura. Com isso, desejamos a todos os participantes deste evento um profícuo desenvolvimento dos tópicos a serem abordados, de forma a podermos incorporar ao nosso arcabouço jurisdicional o melhor da experiência internacional. Um ótimo e proveitoso trabalho a todos. Bom evento a todos. Muito obrigado. Passo neste instante a Presidência dos trabalhos ao nosso querido Presidente da Comissão, Ministro Cueva, reforçando os cumprimentos do Presidente Rodrigo Pacheco, de todo o Senado Federal pelo excelente funcionamento desta Comissão e pela realização deste importante seminário. Muito obrigado a todos. Bom dia. (Pausa.) O SR. PRESIDENTE (Ricardo Villas Bôas Cueva) - Bom dia a todos.
09:36 R	Eu saúdo o Senador Eduardo Gomes, pedindo a ele que agradeça, já desde logo, ao Presidente do Senado pela confirmação da prorrogação do prazo para a apresentação do nosso trabalho final. Saúdo, na pessoa da Profa. Laura Schertel Mendes, todos os integrantes da Comissão de Juristas. Cumprimento todos os convidados, bem como o público que nos acompanha de modo presencial ou virtual. O debate acerca da conveniência ou não de regular a inteligência artificial é recorrente em todo o mundo, por conta dos grandes desafios éticos, jurídicos, políticos e econômicos que se vislumbram com o incessante desenvolvimento tecnológico de ferramentas cada vez mais ubíquas entrelaçadas ao cotidiano. Há um fundado receio de que a intervenção estatal - em estágio ainda precoce de florescimento da inteligência artificial, em que ainda estão por se definir suas formas, bem como sua autonomia e interdependência em relação aos seres humanos - possa inibir a inovação tecnológica. Argumenta-se, por outro lado, que a falta de um marco legal pode perpetuar a insegurança jurídica que tem caracterizado a aplicação de instrumentos de inteligência artificial, desencorajando, com isso, importantes investimentos. No Brasil, essa discussão ganhou impulso e concretude em setembro de 2021, com a aprovação, na Câmara dos Deputados, em regime de urgência, do Projeto de Lei nº 21, que, em conjunto com outros três projetos a ele apensados, procura regular a inteligência artificial no país. As propostas sob enfoques diferentes buscaram disciplinar, de modo geral, em caráter marcadamente principiológico, a nascente tecnologia com ambição de fomentar o seu desenvolvimento, simular a confiança em seu uso e impedir que resulte em discriminação ou em exclusão digitais. No projeto, destacam-se três primícias: permitir e incentivar a inovação tecnológica; adotar padrões internacionais que impulsionem a adoção da tecnologia, priorizem a autorregulação, estimulem as boas práticas; e centrar a tecnologia no ser humano com respeito aos direitos fundamentais. O texto foi inspirado na proposta de regulação da inteligência artificial em andamento no Parlamento Europeu e no Conselho da Europa. Por conseguinte, a definição de sistema de inteligência artificial é minudente e restritiva com a finalidade de reduzir a vagueza e a ambiguidade do texto original por um lado e, de outro, o modelo de regulação que leva em conta os riscos e o contexto do funcionamento do sistema, com propósito de evitar excessos que inibam a inovação. Ao contrário da proposta europeia, contudo, não se preveem proibições absolutas ou limitações ex ante do que seja a inteligência artificial de alto risco, por se entender que a lei, ou a regulação, ou a autorregulação setorial poderão melhor acompanhar o amadurecimento da tecnologia e a percepção de seus riscos em cada atividade ou aplicação. Dos Estados Unidos emprestou-se a concepção descentralizada, que favorece intervenções tópicas e subsidiárias de diversos órgãos da administração pública sem a necessidade de concentrar em um único ente competências para supervisionar todos os sistemas de inteligência artificial. Segundo o projeto, a responsabilidade civil pelos danos decorrentes do uso de ferramentas de inteligência artificial seria a ferida subjetivamente, sem levar em consideração a legislação civil de proteção ao consumidor ou a complexidade das aplicações de inteligência artificial que podem levar a diferentes soluções.
09:40 R	Não sem razão, o texto tem sido criticado por seu caráter marcadamente principiológico, composto por normas com alto grau de vagueza e ambiguidade, sem a definição de critérios de diferenciação que permitam sua aplicação a hipóteses concretas. O regime de responsabilidade civil é talvez o ponto mais criticado e polêmico do projeto. Em lugar da cautela e do respeito ao princípio da precaução, demonstrados na Europa, o texto tende a gerar mais indefinições do que seria recomendável, ao escolher a imputação subjetiva como modelo primário de responsabilidade civil, indo na contramão das tendências mundiais. Dado o elevado grau de imprevisibilidade que permeia o desenvolvimento da inteligência artificial e seus desdobramentos, que dependem da autonomia e da interdependência do sistema, seria também recomendável, dizem alguns críticos, desde logo prever a exigência de um seguro obrigatório, como é de rigor para as atividades inerentemente perigosas, e um fundo que possibilitasse reparar os danos causados por produtos sem cobertura securitária. Em vista dessas incertezas, o Presidente do Senado Federal criou esta Comissão de Juristas com a finalidade de oferecer subsídios à elaboração do projeto substitutivo que o Senado preparará àqueles projetos de lei já aprovados na Câmara dos Deputados. Para cumprir esse objetivo, no prazo agora ampliado - soubemos hoje -, a Comissão já realizou audiências públicas ao longo de quatro dias, com ampla participação de todos os setores envolvidos, e agora realiza esse seminário internacional que se inicia hoje, para discutir, de modo abrangente, os fundamentos e os desafios da regulação da inteligência artificial em suas várias ramificações, como, por exemplo, as melhores práticas internacionais, as técnicas regulatórias e o sistema de responsabilização. Agradeço o interesse e a motivação de todos os palestrantes, com a certeza de que teremos dois dias de trabalhos proveitosos para o nosso aprendizado e para a evolução dos debates acerca da regulação da inteligência artificial. Agora, antes de iniciarmos o primeiro painel, eu passo a palavra à Relatora da nossa Comissão, Profa. Laura Schertel Mendes. A SRA. LAURA SCHERTEL FERREIRA MENDES (Por videoconferência.) - Muitíssimo obrigada, Ministro Cueva. Eu gostaria de me somar ao senhor para agradecer ao Presidente do Senado Federal e ao Senador Eduardo Gomes por todo o apoio que têm dado à Comissão e, inclusive, por todo o apoio que deram também à realização deste seminário. Queria agradecer também, claro, à sua liderança, cumprimentar a sua liderança à frente desta Comissão, a todos os membros dessa ilustre Comissão e à nossa Secretaria da Comissão, sem a qual este seminário não teria sido possível. E um agradecimento muito especial vai para todos os nossos convidados internacionais, que, gentilmente e de forma muito generosa, se dispuseram a participar hoje e amanhã, para compartilhar o seu conhecimento e a sua experiência conosco, nesse momento tão importante do Brasil, um momento em que o Brasil está refletindo e elaborando a sua proposta de regulação de inteligência artificial. Essas contribuições internacionais serão muito importantes, porque certamente esse tema não pode deixar de lado todo esse aspecto universal, todo esse aspecto internacional. Então, acho que este seminário vai ser de grande aprendizado para todos nós. Eu queria destacar também que, a despeito de todo esse caráter internacional, universal e global, há também aspectos locais, particulares, especialmente ligados à complexa sociedade brasileira, que também teremos que considerar - não é? -, e isso também já foi trazido, como o senhor muito bem colocou, como o Senador Eduardo Gomes também colocou, foi trazido nas audiências públicas, nas mais de 20 horas de audiências públicas que tivemos, demonstrando como muitos dos riscos da inteligência artificial muitas vezes podem ser agravados pela nossa desigualdade, pela discriminação e pelo racismo estrutural da sociedade brasileira. Então, são aspectos que também a nossa Comissão precisará considerar e levar em conta.
09:44 R	Eu acho que agora, como o senhor muito bem colocou, teremos, depois do seminário e depois de todas as contribuições recebidas, algum tempo com essa prorrogação, para que a gente possa sistematizar todo esse conhecimento, sistematizar toda essa contribuição, e isso vai ser muito importante para que a gente possa entregar o trabalho e um relatório o mais completo possível para o Senado Federal, para o estimado Relator Eduardo Gomes e também para o Presidente do Senado, Rodrigo Pacheco. Com isso, eu tenho certeza de que teremos um grande aprendizado nestes dois dias de seminário. Eu também gostaria de desejar a todos um excelente seminário, já passando a palavra para o senhor, Ministro, para que a gente possa então iniciar o nosso primeiro painel. Muito obrigada. O SR. PRESIDENTE (Ricardo Villas Bôas Cueva) - Muito obrigado. Então, sem mais delongas, vamos dar início ao primeiro painel do seminário internacional que começa hoje. O tema é: "Democracia e direitos fundamentais: fundamentos da regulação de Inteligência Artificial". Nós temos dois moderadores para esse painel: a Profa. Laura Schertel Mendes e o Prof. Danilo Doneda, aos quais eu passo agora a palavra, para iniciarem os trabalhos. A SRA. LAURA SCHERTEL FERREIRA MENDES (Por videoconferência.) - Muito obrigada, Ministro. Para este painel então intitulado "Democracia e direitos fundamentais: fundamentos da regulação de Inteligência Artificial", nós contaremos com a ilustre presença do Prof. Wolfgang Hoffmann-Riem, da Bucerius Law School; da Profa. Mireille Hildebrandt, da Vrije Universiteit, de Bruxelas; da Maria Paz Canales, da Derechos Digitales; e do Prof. Stuart Russell, da Universidade de Berkeley, que vai entrar um pouco mais para o final do painel, por uma questão de agenda. Então, nós agradecemos a presença de todos os ilustres convidados, os ilustres palestrantes, que aceitaram estar aqui conosco. Eu gostaria, então, de passar a palavra para o Prof. Hoffmann-Riem e já apresentá-lo. Ele é Professor de Inovação e Direito, da Bucerius Law School, de Hamburgo; Professor Emérito de Direito Público e Direito Administrativo da Universidade de Hamburgo. Ele foi Diretor do Departamento de Justiça de Hamburgo, na Alemanha, entre 1995 e 1997, e Ministro da Corte Constitucional da Alemanha, entre 1999 e 2008. O Prof. Hoffmann-Riem certamente é um dos maiores conhecedores e um dos nomes mais renomados e ilustres na Alemanha - e na Europa, eu diria também - que falam sobre tecnologia, proteção de dados e inteligência artificial. Prof. Hoffmann-Riem, o senhor tem a palavra. Muito obrigada por estar conosco. O SR. WOLFGANG HOFFMANN-RIEM (Por videoconferência. Tradução simultânea.) - Muito obrigado pelas palavras gentis. Eu gostaria primeiramente... Preciso só desligar aqui... (Pausa.)
09:48 R	Onde está? Eu estou com dificuldade de desligar a interpretação. Então, eu vou começar mais uma vez. Muito obrigado então. Eu vou testar mais uma vez. Eu ainda estou escutando a tradução. (Pausa.) Eu poderia pedir ao intérprete para falar mais uma vez para eu ver se ainda está passando o áudio? (Pausa.) Eu não consigo entender a Sra. Schertel. A SRA. LAURA SCHERTEL FERREIRA MENDES (Por videoconferência. Tradução simultânea.) - Aqui está tudo correto para nós, eu estou escutando o senhor e também a interpretação. (Pausa.) O SR. WOLFGANG HOFFMANN-RIEM (Por videoconferência. Tradução simultânea.) - Eu vou tentar apenas fazer a minha apresentação, espero que vocês consigam me ouvir. Eu queria só saber se vocês conseguem ouvir o intérprete também. Ou você conversa e espera a dele terminar e aí a gente continua. Então nós podemos fazer só consecutivamente. Peço desculpas por não falar em alemão neste momento. Eu vou falar em inglês, peço desculpas a vocês, e falarei em alemão. O SR. PRESIDENTE (Ricardo Villas Bôas Cueva) - Professor, é possível falar em alemão porque nós estamos ouvindo o tradutor aqui. Se o senhor preferir, fique à vontade. O SR. WOLFGANG HOFFMANN-RIEM (Por videoconferência. Tradução simultânea.) - Está o.k. Então eu vou começar. A digitalização já existe há muito tempo, desde o começo da internet.
09:52 R	E, desde a emancipação e da autorregulação, para nós entendermos, alguns anos mais tarde, pela comercialização da internet, esse tempo voltou. E aqueles como Facebook, Google e outras empresas grandes pegaram essas medidas de regulação. Um cientista alemão falou sobre isso, que as regras que falam sobre essa digitalização estão no âmbito do Estado, porque muitas dessas regulamentações não foram no âmbito de Estado. Então, pensando se essa situação ainda é viável para o futuro, vou agora trazer a contribuição de Floridi, que falou sobre essa autorregulação e que agora está dizendo que essa época acabou. Agora é o tempo da autorregulação que acontece de empresas privadas e também de Estados, é claro; que essas empresas têm uma influência muito grande na digitalização, é claro. Eu gostaria de lembrar que o Tribunal Constitucional alemão já pensou se os direitos fundamentais também não podem ser conectados para esses atores grandes que no seu poder... Então, o Tribunal Constitucional alemão está indo para essa direção, e isso mostra que a proteção da liberdade também é muito importante na proteção dos individuais. Isso, então, é algo que é muito necessário para uma instituição democrática. Desde o começo da internet e das interações digitais, a coisa mais importante é a proteção de dados. Todas as áreas da vida estão sendo influenciadas pela digitalização. E nós vimos, então, que nós não podemos pensar apenas em dados individuais, mas também na proteção da função de todas as áreas da sociedade e dos indivíduos. Não é sobre só inovação técnica, mas muitas áreas, como a educação e outras, são influenciadas fortemente, e é necessário em todas as áreas ter essa influência da democracia, todos os direitos fundamentais.
09:56 R	Esses direitos de liberdade estão nas constituições, estão lá não só para trazer liberdade, mas também limites, com o objetivo de criar uma igualdade no país. Como eu já disse, quando nós falamos sobre a segurança de liberdade, a inteligência artificial não é só a última fase dessa inovação, mas nós vimos que os algoritmos, no mundo, conseguem ser tão avançados que nós temos novas situações. Nós temos não só sobre a aprendizagem de máquina, mas também sobre a aprendizagem profunda. Para lidar com essa situação, o conhecimento é limitado, o nosso acesso pelos algoritmos também é limitado, e dos resultados que nós podemos receber. Por causa da "economização" de recursos, eu acho que essas chances têm que ser usadas. Não pode haver uma regulamentação que limita essas chances, mas, então, os riscos estão conectados com o desenvolvimento. Eu acho que é correto que nós temos que olhar muito bem para os riscos. Então, nós estamos tendo um projeto que é para a proteção dos cidadãos e também da Constituição. Então, eu gostaria de dizer que há sempre alguns preconceitos para os desenvolvedores da tecnologia do que os usuários. Então, é importante, para conversar sobre isso e também dar a proteção contra esses riscos... Tem que haver possibilidades para chegar aos objetivos para poder controlar as consequências. Essa lei diz que a intervenção só pode acontecer com os riscos de verdade. Quais são os riscos reais? Coisas que não são previsíveis, que acontecem também pelos riscos que podem vir.
10:00 R	É importante aqui também lembrar que a possibilidade dos desafios que estão à nossa frente é muito alta. Por isso precisamos nos organizar para trabalhar com harmonia, transparência e para fazer uma frente e criar essas leis de forma que possamos alcançar todas as dimensões desse tema, para que não corramos riscos desnecessários. E, falando de riscos, eu acredito que não é suficiente criar um seguro, mas também é importante pensar num fundo de segurança que não endivide o Estado. É importante pensar que temos que ter uma segurança garantida pelo Estado e desenvolver essa segurança legal para o cidadão a partir dos empresários que gerenciam negócios de inteligência artificial, porque aqui temos que trazer a experiência anterior que vem sendo feita nessa área de legislação. O trabalho no Brasil, mesmo que orientado pelo trabalho europeu, da União Europeia, tem que prestar atenção e tomar cuidado em criar leis que possam ter uma abrangência quanto a esses problemas que estão para surgir. É necessário ter ajuda de consultores aqui, e para isso estaremos à disposição. Pensando no risco, temos que falar no nível de risco que ocorre, pensando na segurança de dados, para uma legislação que se oriente, que seja baseada não apenas no risco, mas nas questões de proteção de dados. Na União Europeia existem alguns passos práticos que já foram tomados, mas ainda há muito a ser feito. Temos aqui transições e espaços em que precisamos proteger o cidadão. E não podemos nos esquecer de que, entre os riscos, temos os temas de alto risco.
10:04 R	E eu vou aqui citar um deles, por exemplo: proibir a vigilância biométrica do cidadão, o reconhecimento biométrico do cidadão, para que os sistemas de inteligência artificial não possam ultrapassar o direito, a privacidade do cidadão. Isso tem que ser proibido e tem que ter também um controle sobre sistemas de inteligência artificial. O Estado tem que trabalhar não só na parte de controle, mas também na parte de cooperação com os sistemas de inteligência artificial. Empresas não podem estar liberadas e com total autonomia nessa área. O controle do Estado tem que estar presente, bem como a cooperação de Estado. Agora nós vamos falar dos níveis de risco. Eu não posso enumerar cada um deles aqui. Eu gostaria, de forma geral, de falar na questão de riscos. Percebam: antes que esse tema seja falado, a gente tem que estar preparado para que, depois que aconteça, nós não reajamos. Quando falamos da regulamentação, temos que nos adiantar nas questões de risco, temos que trabalhar com transparência, responsabilidade e gerar sistemas de controle dessas novas tecnologias. Se não for possível fazer isso, temos que unir o Estado, os Legisladores e instituições para que trabalhem de forma unida, monitorando essas tecnologias. Precisamos protocolar os procedimentos, bem como as máquinas que aprendem. Eu posso, claro, através da autorregulamentação... Temos a experiência anterior que nos mostra, pelos códigos e o que a gente já viveu na internet em várias frentes, que pode se perder o controle e isso tomar uma autonomia que a gente não pode controlar depois. A autorregulamentação não pode estar presente, mesmo na criação de códigos, na criação de processos, processo de aprendizado, para que a gente tenha certeza e minimize riscos possíveis através da inteligência artificial. Temos que ter certificações por instituições independentes que possam... (Pausa.)
10:08 R	Também é importante, em casos de violações, ter uma agência independente por parte do governo para supervisionar e conduzir essa parte da indústria. Essas são apenas algumas considerações. É claro que eu poderia continuar, é um assunto muito longo, mas essas são apenas novas ideias e boas ideias que eu deixarei para a próxima vez. Muito obrigado pela sua paciência e atenção. O SR. DANILO CESAR MAGANHOTO DONEDA (Por videoconferência.) - Muito obrigado, Dr. Wolfgang Hoffmann-Riem, pela excelente, brilhante disposição. Passo agora a apresentar, com muita alegria, a nossa segunda palestrante do dia, Dra. Mireille Hildebrandt, da Vrije Universiteit Brussels. Mireille é Professora e Pesquisadora na Faculdade de Direito e Criminologia, indicada pelo Conselho de Pesquisa da Universiteit Vrije, de Bruxelas. Ela também está vinculada ao Instituto de Ciências da Computação e Informação da Universidade Radboud, na Holanda. O seu trabalho concentra-se na conexão entre direito, filosofia e ciência da computação, identificando os impactos da inteligência artificial para o direito, para o devido processo legal. Em 2018, Mireille recebeu uma bolsa de pesquisa avançada do Conselho Europeu de Investigação para o projeto de cinco anos sobre "Contando como ser humano na era do direito computacional". Agradecemos muito a presença da Dra. Mireille, que prontamente aceitou o nosso convite, mesmo com sua atribulada agenda. Dra. Mireille, por favor, tem a palavra. A SRA. MIREILLE HILDEBRANDT (Por videoconferência. Tradução simultânea.) - Muito obrigada pelo convite. Muito obrigada a todos vocês. Eu vou dividir minha tela aqui. Talvez o host possa habilitar aqui para eu compartilhar minha tela. (Pausa.) Há um pequeno problema aqui. Sempre quando a gente fala sobre tecnologia, nós sabemos que esse software controla todos nós. Então, aqui estamos. Muito bem. Vamos ver... (Pausa.) O mesmo software também resolve todos os nossos problemas. Então, aqui nós estamos. Espero que vocês consigam ver os eslaides. Vamos falar... Deixe-me ver se posso mudar aqui. Não está mexendo. (Pausa.) Vou tentar de outra maneira, porque, é claro, tem coisas aqui que a gente precisa ver. Deixe-me tentar de outra forma. (Pausa.) O.k. Agora, deu certo. Então, vamos passar logo ao meu primeiro eslaide. Eu acho que, no radar, nós precisamos de uma legislação. Eu acho que é uma pergunta muito importante também: que tipo de regulação? Eu acho que nós precisamos de duas coisas. Eu vou focar nos direitos fundamentais de proteção e também, em direito, sou muito focada na proteção da nossa saúde e segurança.
10:12 R	A nossa primeira preocupação deveria sempre ser a confiabilidade desses sistemas. Eles são feitos por entidades que têm interesse, de modo que esses sistemas devem ser bem substanciosos para serem confiáveis. Acho que há tecnologias que são bastante diferentes por vários motivos, ou seja, por automação... Automação quer dizer que você faz coisas maravilhosas, mas também que - é claro - você pode automatizar coisas como erros ou tendências ou problemas para a segurança ou a saúde. E essas coisas também podem redistribuir o poder, o controle, coisas que são inerentes a esses sistemas... Quem os controla, quem tem acesso a eles tem acesso ao interesse da forma como eles funcionam, de forma que tem alguns checks and balances, coisas a considerar. E nós vemos isso, claro, com o surgimento de grandes empresas tecnológicas e o seu poder econômico, devido às tecnologias que elas controlam. Algumas dessas tecnologias, principalmente aquelas que são capazes de aprender, conseguem se antecipar a nós e ao que vamos fazer. Elas se antecipam a nós, mas não corretamente, por vezes. É muito difícil descobrir, porque esses sistemas inserem o que nós iríamos fazer, e isso quer dizer que há ações que têm efeito sobre nós. Portanto, precisamos ver os riscos, as liberdades das pessoas naturais e também a visibilidade que é criada principalmente com relação aos nossos comportamentos futuros. Essa visibilidade é invisível a nós, de modo geral. Então, um número de maneiras de checar e quebrar isso seria um equilíbrio entre poderes que levaram alguns séculos para serem instalados, e agora eles estão mudando. É importante oferecer proteção legal e é muito importante também saber que essa proteção legal não é sobre indivíduos, mas também proteção desses poderes, equilíbrios e balanços que existem na sociedade - por exemplo, a segurança de um tribunal -, coisas que são imprescindíveis para o funcionamento da democracia, no modo que essas coisas no mercado são criadas. E temos que ter isso em mente.
10:16 R	Para nós estarmos seguros e desfrutarmos dessas coisas com segurança e liberdade, temos que ter esses sistemas no mercado. E aqueles que os empregam deveriam fazer uma avaliação do impacto fundamental nos direitos. E, como consequência dessa antecipação, deveriam colocar os balanços e os equilíbrios dentro dessa arquitetura que está sendo criada. Como definirmos a inteligência artificial? Em termos científicos, como vemos na literatura, há muitas discussões sobre a definição, mas a nossa preocupação aqui é com a proteção legal. Não importa o resto das definições da sociedade... É importante para nós decidirmos os tipos de sistemas de que nós estamos falando aqui, se é sobre software, hardware, softwared infrastructure... Eu acho que é muito importante, no caso da OECD e também da União Europeia... Quando falamos de software, falamos de temas para garantir que essa tecnologia seja neutra. Há todo tipo de hardware, nós não sabemos o desenvolvimento disso, mas falemos de sistemas. Em algum ponto, eles poderiam ser restritos em regulamentos a aprenderem ou não... No contexto europeu, há o exemplo de Excel sheet, que é um exemplo de definição que eu proponho, que são sistemas baseados em conhecimento, em dados de conhecimento. Por exemplo, uma planilha de Excel não está nessas regulações, mas eu acho que planilha Excel é um dos softwares mais usados neste mundo. Não devemos pensar numa planilha de Excel em si, sozinha. Por que não? Porque há condições para algo ser usado por sistemas de IA, pelos ambientes de impacto e influência ou pelas decisões... Essa planilha em si não é um sistema de inteligência artificial, mas, se for algo complexo ou cheio de decisões que tenham um impacto grande sobre as pessoas, em que se fazem cálculos com os quais se pode obter um seguro, se isso exclui certas pessoas, nós podemos, então, falar de discriminação, de discriminação com relação a benefícios sociais. Desse modo, é importante que esses sistemas de decisão não estejam aprendendo, mas sejam resultado de sistemas de aprendizado de máquinas, em que, no futuro, uma planilha de Excel não seja controlada... Com o impacto que tem no meio, eu acho que deveríamos ter um controle sobre isso. De um lado, há o impacto... Isso é por lei, não é uma discussão científica sobre o que é inteligência artificial, mas o impacto que é sobre indivíduos e a sociedade.
10:20 R	De modo que nós temos que ter uma abordagem de precaução, ou seja, não colocar as coisas em risco, mas antecipar risco também ou mitigá-lo. E é claro que vamos falar de um aspecto específico do sistema que eu creio que é importante definir amplamente. Agora, vamos falar dos princípios da OCDE. Por exemplo, há esforços que são feitos em âmbito global sobre os quais podemos dizer que, por muito tempo, havia competição geopolítica no desenvolvimento de regulamentos. Então, na OCDE, a definição é: todos os sistemas de inteligência artificial são sistemas baseados em máquina que podem, através de um determinado momento de definidos objetivos humanos, fazer previsões, recomendações ou decisões, ou seja, têm um certo comportamento. Não é que o sistema tenha um comportamento, mas eu vou fazer uma diferença entre duas coisas que se sobrepassam. Robótica também conecta carros autônomos, aviões e equipamentos médicos que se comportam de certa forma, mas nós temos que nos proteger do impacto. O ponto-chave é a influência real ou virtual nos ambientes. Todos os sistemas de inteligência artificial são desenhados para operar com um certo nível de autonomia. São sistemas do jeito que estão hoje em dia e que podem ser... Interessantemente, a OCDE vai mais longe, fala também sobre os ciclos de vida dos sistemas de IA e coloca uma validação e verificação, porque é claro que nós temos que estar favoráveis à inovação, mas num sistema confiável... Portanto, precisamos na legislação que esses sistemas sejam verificados, validados, seguros e que façam o que clamam fazer. Precisamos de depoimentos para que o emprego disso por diferentes agências do governo, hospitais, e-commerce seja feito com segurança e que todo o conhecimento esteja esclarecido. Quais são os direitos para ter esse alcance das habilidades humanas, etc.? E, por fim, também a distinção entre os atores da inteligência artificial que envolvem o ciclo de vida e os stakeholders, que é um grande grupo das pessoas que estão envolvidas de certa forma nesse ciclo de vida ou que são afetadas por ele.
10:24 R	Então, a OCDE esclarece, em termos de mudança climática, a necessidade de incluirmos o desenho e desenvolvimento dessas coisas de modo que os cientistas precisam ter uma abordagem proativa e temos que garantir que esse desenvolvimento seja dentro do ambiente de direitos e das leis para que eles ajam segundo o seu ambiente, através de mecanismos apropriados de salvaguarda. De modo que é importante falarmos sobre transparência e também do entendimento geral, nos sistemas de inteligência artificial, de modo que as pessoas sejam capazes de desafiar, contestar esses sistemas, de modo a vermos que há uma segurança robusta e crescente. Então, é claro que segurança sempre! Outro ponto que eu gostaria de trazer é que estão escritos no regulamento alguns princípios de alto nível, coisas que não vão nos proteger. O diabo aqui da proteção vai ser estar em detalhe em uma lei positiva. Por exemplo, esse é um exemplo que eu achei que seria um artigo interessante para trazer, o art. 14, que é uma supervisão basicamente na qual o ser humano é o empregador desse sistema. Não é um humano no loop, como essa citação interessante de que falam, mas não é algo que foi colocado. O humano no loop é uma coisa, mas estamos falando sobre a supervisão, que é o papel que a lei deve ter de modo geral e deve ser efetiva. Deve evitar ou minimizar os riscos à saúde, à segurança e aos direitos fundamentais e entender totalmente a capacidade e as limitações. As pessoas que devem estar fazendo isso devem entender essa capacidade e as limitações. "É talvez um pouquinho demais", alguém diria, mas eu também acho que é importante, porque, se não entendermos a capacidade e as limitações desse sistema... Não quer dizer que nós temos que saber sobre todos os intrincados funcionamentos internos do sistema, não, mas temos que nos imbuir de uma supervisão correta. E também as pessoas que são responsáveis por essa supervisão devem estar cientes desse bias da automação. Quando colocamos tudo em frente a pessoas muito inteligentes, espertas e devidamente certificadas, talvez elas devam confirmar que não há nenhum bias ali; e as pessoas que fazem essa supervisão devem interpretar corretamente e também estar acima do sistema e fazer as suas próprias decisões; ou seja, não são requerimentos em nível técnico, porque é um sistema protegido em seu design, mas é um entendimento desse sistema e o que ele pode nos apresentar. Eu sei que não é fácil, é um desafio e tanto, mas é crucial. E isso quer dizer que esses sistemas se tornem algo em que podemos confiar, sistemas com os quais podemos interagir ou decidir não interagir.
10:28 R	Outra pergunta-chave é: quem está protegido por essa legislação? Pessoas naturais, claro, mas também corporações e administrações públicas, porque essas são as entidades que vão usar e empregar esses sistemas; vão depender deles, e tem que saber que eles são confiáveis para podermos ter a democracia e o judicial... Então, o Prof. Wolfgang acabou de falar sobre isso com detalhes, e é uma pergunta-chave na legislação: qual é a confiabilidade desse sistema? Porque, se não for, todas as outras coisas ficam penduradas em nada, porque tudo vai depender disso. Então, essas tarefas, as pessoas que são responsáveis por elas são, mais do que tudo, os fornecedores e não os desenvolvedores - não são esses desenvolvedores os responsáveis. É claro que os fornecedores agora são responsáveis por fazer com que os desenvolvedores não sejam envolvidos, mas eles não estão tão envolvidos numa nova versão e tudo. E a maior parte das responsabilidades também é daqueles que empregam esses sistemas. Eu acho que a responsabilidade está dividida entre os (Falha no áudio.) e os empregadores. É claro que precisamos ver o peso das provas: o que há errado com ele e qualquer dano deve ser provado, por quem foi feito. Então, eu acho que, em algum ponto, é muito importante introduzirmos as dificuldades específicas, dependendo do que essa tecnologia faz. Eu estou realmente buscando... Com relação a essas responsabilidades, de acordo com as regulamentações, eu realmente estou esperando que os legisladores europeus abordem esses diferentes instrumentos, porque você tem que ser responsável como empresa. Se você fizer o melhor que pode para produzir ou colocar no mercado algo que não é perigoso, portanto deve garantir isso. Mas é claro que as pessoas fazem... "O meu sistema não é o meu problema". Aí é claro que eles vão falar: "Nós não vamos assumir esse risco". Mas é importante, porque nós não queremos sistemas no mercado que sejam perigosos. Então, o Prof. Wolfgang também falou sobre isso. E, como nós sabemos, na União Europeia essa proposta é focada em sistemas de alto risco. Eu posso falar muito sobre isso, mas vamos apenas escolher alguns dos requerimentos que estão destinados a esse alto risco. Tanto é que alguns desses requisitos devem ser bem detalhados. De outra forma, não seriam tão eficazes.
10:32 R	Então, eu vou passar muito rapidamente porque já estou no final da minha palestra. Primeiro, nós temos que ter um sistema de gestão de risco para garantir que não haja nenhum direito fundamental infringido, de modo a que outros usem seu sistema; que seja usado conforme ele tenha sido pretendido de ser usado. E esse sistema de gestão holística também pergunta ao fornecedor para antecipar riscos, coisas que podem ser previstas, ou seja: "Eu fiz para que ele faça isso assim e assado, quero usar, mas eu não sou responsável", porque a métrica desse sistema não é uma maneira responsável para as entidades que estão fazendo esse sistema fazer com que sejam confiáveis. É claro que risco zero não é possível, mas temos que antecipar os riscos, documentá-los, para mostrar. É claro que também tem a validação, o treinamento para que as pessoas ou representante saibam em detalhe. Mais uma vez isso é importante, porque, se não for bem detalhado, não há segurança. E temos que ter muita documentação técnica detalhada e também o monitoramento no mercado. É claro, se coloca no mercado e se agora isso pronto: "Já não estou mais responsável por nada, isso agora depende de quem vai aplicar". Não, o desenvolvedor também é responsável, e tem que manter um olho... É claro que, os programas alternativos e outros, eles têm que continuar monitorando porque pode acontecer uma mudança inesperada do comportamento do sistema. E é claro que há requerimentos que devem ser colocados com relação a essa gestão de risco, porque ele deve fazer apenas aquilo para o qual foi criado. Então, quanto à abordagem de risco, é requerido que os provedores antecipem os riscos; e, quando usar para determinados propósitos, verem - e quando usados razoavelmente para outros propósitos também - os riscos para saúde ou segurança, que têm que ser asseguradas, porque não são violadas, assim como os riscos de direitos fundamentais e de liberdade. Se há uma nova versão, precisamos ter um esforço extra para analisar de novo e, claro, para que não haja dano ou outras implicações dessa tecnologia que aportou no mercado. É importante basicamente que haja a proteção legal dos designs. Eu não quero dizer exatamente que seja legal pelo design, mas deve haver algum...
10:36 R	Não devemos ter alguma disciplina que faz com que seja possível eles agirem de maneira legal, mas, sim, implementação de checagens e ponto para ver o que eles podem exercitar para que continuemos exercendo nossos direitos fundamentais, ou seja, essa é uma imagem antiga, vocês talvez estejam cansados dessa imagem, mas é importante porque aqui tem a balança; precisamos continuar colocando as coisas na balança de modo que deve ser eficaz e deve ser também colocado em vigor. Eu vou parar de compartilhar minha tela aqui. Obrigada. A SRA. LAURA SCHERTEL FERREIRA MENDES (Por videoconferência.) - Professora Mirelle, muito obrigada, sua palestra trouxe elementos muito importantes para todos nós e de uma forma muito complementar, também como a palestra do Prof. Hoffmann-Riem. Eu destaco aqui o detalhamento que a senhora trouxe para os sistemas de alto risco, a importância de se regular com muita cautela e com muita responsabilidade o sistema de lie ability, o sistema de responsabilização; a efetividade e a importância de que o sistema de supervisão humana seja efetivo, e os requisitos que você trouxe também para que esse sistema e para que essa supervisão seja realmente efetiva. Então, foi realmente muito útil e impressionantemente prática. Muitíssimo obrigada por essa contribuição. Eu já gostaria, então, de passar a palavra e chamar aqui a Dra. Maria Paz Canales, da Derechos Digitales. Muito obrigada, Maria Paz, por ter aceito o nosso convite. Eu vou ler rapidamente aqui o seu currículo. A Maria Paz é advogada pela Universidade do Chile e tem mestrado em Direito e Tecnologia pela Universidade da Califórnia, Berkeley. Fez parte da equipe que fundou a Derechos Digitales, uma organização chilena independente, sem fins lucrativos, que trabalha desde 2005 para proteção e promoção dos direitos humanos no ambiente digital na América Latina. Entre 2017 e 2021 foi Diretora Executiva da Derechos Digitales e é atualmente a sua assessora política global. Por favor, Maria Paz, você tem a palavra. A SRA. MARIA PAZ CANALES (Por videoconferência. Tradução simultânea.) - Muito obrigada pelo convite. Vou compartilhar agora a tela se me permitirem compartilhar. (Pausa.) Muito obrigada pelo convite, é um prazer e uma honra poder falar com vocês hoje. Estou compartilhando um pouco da experiência que nós temos na nossa organização com relação à democracia e aos direitos fundamentais e os impactos da tecnologia nos direitos fundamentais. Minha experiência pessoal está voltada para como toda essa evolução tecnológica tem imposto desafios fundamentais à economia na forma como o mercado se desenvolve, e isso está muito alinhado àquilo que pensamos quando concebemos a ideia de inteligência artificial.
10:40 R	Então, a primeira coisa que deveríamos considerar sobre como a inteligência artificial pode impactar a sociedade, a democracia, é que devemos pensar, com os sistemas de inteligências artificiais, quais os propósitos e quem serão os beneficiários dessas tecnologias. Então, todas essas decisões são tomadas por agentes e acarretam implicações econômicas e sociais, e isso é eminentemente político em termos das escolhas que temos que fazer de modo a implementar esses sistemas. Não é a mesma coisa que pensamos sobre sistemas de inteligência artificial com fins meramente econômicos, com relação a procedimentos, operações, ao pensarmos que sistemas similares são colocados para administrar a justiça e determinarão quem poderá receber benefícios do Estado. Em quaisquer dos casos, devemos ter em mente quais os impactos que a inteligência artificial pode exercer sobre os direitos fundamentais, assim como os direitos humanos, e devemos vislumbrar também como ele irá impactar a sociedade. E, portanto, em todos esses casos haverá implicações distintas, diferentes escolhas políticas com relação ao sistema e à implementação dele e na relação em sua implementação. Em todos esses casos, o que vemos é que é inalienável a obrigação que o Estado tem para com a regulamentação desses sistemas. Vamos falar mais sobre essas ideias com relação a uma apresentação que fizemos na Derechos Digitales alguns anos atrás, e essa apresentação irá mais fundo sobre o tema. O que se espera de uma regulamentação jurídica que tente regular a inteligência artificial com relação às implicações dessas tecnologias que irão impactar o exercício dos direitos fundamentais? O que devemos observar na implementação dessas leis, dessas regulamentações? Devemos buscar por coisas que tenham princípios e referências a princípios e éticas. Há diferentes órgãos internacionais que têm se empenhado para compreender, e é preciso tentar identificar os elementos comuns que poderiam suscitar diferentes questões com relação a essas tecnologias. E, se me permitem, gostaria de compartilhar com vocês esse gráfico que foi parte de uma apresentação que fizemos na Universidade de Harvard, uma coleta de 20 dias a partir de uma série de instrumentos, tentando oferecer um panorama sobre os princípios que foram apontados com relação à implementação dessa regulamentação. Como podemos ver aqui, não estamos encontrando um padrão muito claro em termos da implementação, porque o que a ética dita é muito diferente dependendo do local em que tais instrumentos são desenvolvidos. Então, não estamos encontrando uma orientação útil que possa ser fácil e de forma prática implementada com base nos princípios éticos.
10:44 R	O mesmo ocorre na hora de identificar outros conjuntos de autores que, em 2019, também publicaram esse artigo que vemos aqui, com relação ao aspecto total da inteligência artificial. Nesse caso, temos alguns exemplos em que foi possível identificar um grupo de princípios que são mais comumente identificados, que poderiam ajudar em termos de ajudar a pensar de forma mais estrita a regulamentação, a legislação necessária com relação a riscos e implicações sobre a inteligência artificial. Aqui começamos a ver alguns elementos que, claramente, são capazes de lidar com a estrutura dos direitos fundamentais em nível internacional, num compromisso com os direitos humanos nas relações do Estado, como é o caso do Brasil, em que esses direitos são reconhecidos. Há um compromisso internacional no sistema das Nações Unidas ou no sistema norte-americano de proteção. Assim, voltando à questão: o que deve ser esperado de uma lei que tente regulamentar a inteligência artificial? Se já tiverem essa estrutura de um modo mais geral, que acaba carecendo no contexto das orientações práticas, atendimento aos direitos humanos, em relação à inteligência artificial, precisamos observar aqui... Permitir uma proposta que, enquanto um processo, abranja todos os elementos que concretizam essa proteção aos direitos fundamentais. Os princípios gerais representam a ideia de que a inteligência artificial molda uma espécie de otimismo tecnológico, o risco de que possamos acabar incorrendo em problemas futuros, e, para tanto, eu gostaria de voltar um passo. E a questão da proteção dos direitos fundamentais com relação à inteligência artificial não será algo somente relevante no contexto de uma forma específica, mas, ainda, qual é o contexto em que essa lei será inserida, de modo a assegurar que a regulamentação da inteligência artificial possa se assentar na legislação corrente. Pensando sobre a legislação e a regulamentação da inteligência artificial, devemos pensar quais são as outras regulamentações e políticas impostas, de modo a compreender quem irá oferecer as soluções de inteligência artificial e como isso servirá para a inteligência artificial que será desenvolvida. Quais são os dispositivos legais? Quais são os dispositivos administrativos? Não podemos garantir que a mera implementação de uma regulamentação de inteligência artificial será garantida pelo elemento de algo estabelecido na legislação. Precisamos nos preocupar com qual será a equidade e o impacto na democracia da inteligência artificial, ao observar esse panorama geral a partir de diferentes políticas que deveriam convergir na regulamentação proposta. Isso demanda que a legislação contemple políticas como proteção de dados, que é algo que nos últimos anos podemos ver como tem avançado, a abertura, o acesso da legislação quanto à inteligência artificial com relação à possibilidade de e a como isso irá afetar o acesso aos dados e como será o funcionamento desse tipo de sistema, mas ainda é preciso compreender como passar isso para a população de um modo geral, para que ela esteja compreendendo a intervenção, assim como a Profa. Mireille Hildebrandt falou.
10:48 R	É preciso uma supervisão, e ela só poderá ser eficaz se for desenvolvida com compreensão do que é inteligência artificial. E, para aqueles que estão nas instâncias que controlam, assim como para aqueles que também são afetados pela inteligência artificial, é preciso salientar o que acontece em relação aos servidores, para que todos tenham conhecimento e tenham capacidade de compreender o sistema que será empregado em conjunção. E é preciso saber o que será necessário para a regulamentação dessas tecnologias da forma como elas deveriam ser implementadas. Se não tivermos esse conhecimento básico, para que se possa empoderar a possibilidade do controle e da supervisão sobre os atores humanos... O desenvolvimento do sistema e o emprego da qualidade, da eficiência do acesso à população, será o resultado de tudo isso, não somente o resultado dos princípios ou das regras da regulamentação da inteligência artificial. Então, para agir em consonância com as recomendações, eu gostaria de compartilhar um trecho da regulamentação sobre inteligência artificial que eu acho muito relevante para vislumbrar uma possibilidade de solução quanto a isso, que conclama uma forma de minimização do risco de fatores adversos e respeito aos direitos fundamentais, à privacidade de todos os indivíduos. Estou falando sobre isso na instância total da vida, com relação à recepção, ao emprego dessas tecnologias, e, para tanto, é necessário, como dizia antes, garantir a segurança, a qualidade da infraestrutura, para que sejam empregados esforços necessários, de modo a mitigar os impactos.
10:52 R	Mais uma vez aqui, isso está ligado à experiência da Europa, e a Profa. Hildebrandt já mencionou sobre essa intervenção anteriormente, em termos de que isso é um exercício necessário de prever quais serão os fatores não só que poderão ocorrer no momento, mas que podem estar no futuro dessa tecnologia, uma vez que ela continuará a aprender e a se desenvolver. Então, considerando essa estrutura que eu compartilhei com vocês e a experiência que vocês tiveram com relação a direitos digitais de analisar a regulamentação e o histórico da inteligência artificial na América Latina nos anos recentes, nós gostaríamos de ressaltar esse elemento distinto e os tópicos distintos que devem ser abarcados numa regulamentação sobre a inteligência artificial. Ao longo das conversas desse dia, acredito que tenha sido muito ressaltado que deve ser avaliado o impacto nos direitos humanos. É preciso considerar o exercício no momento específico, mas é algo que está em curso. Deve haver uma melhoria contínua em termos dos dados que fluem durante a implementação e é preciso compreender o ciclo de vida dessa tecnologia de forma específica. Outro ponto que eu já vi que foi ressaltado, mas que eu gostaria de reiterar, é a necessidade de que o emprego desses sistemas seja demandado pela legislação. Tanto em entidades públicas ou privadas, o emprego desses sistemas deve ser participativo em sua concepção; do contrário, seria muito difícil compreender e identificar aquilo que foi referido no início, do contexto em que a inteligência artificial será inserida, e também porque isso é fundamental em termos de lidar e mostrar os vieses que estão inerentemente ligados a questões de equidade. Eu escolho equidade, não discriminação ou viés, porque equidade é um conceito que, de certa forma, capta todos os demais, em termos de requerer que o desenvolvimento de sistemas de inteligência artificial considere as diferentes partes interessadas, sejam usuários, usuárias ou desenvolvedores de inteligência artificial que serão impactados por essa implementação do sistema. E isso ocorrerá em um ponto que talvez uma consulta seja válida para vislumbrar os cenários de intervenção. É preciso pensar sobre equidade como algo que é parte desse processo, que será contínuo. E a equidade também tem a sua segunda faceta, que deve ser considerada, como: quem se beneficia do desenvolvimento da inteligência artificial? E nós também devemos fornecer e proporcionar a equidade social e econômica, o que significa que esse sistema de inteligência artificial que será incluído deve incorrer em eficiência e eficácia para a sociedade, para o benefício desses, e esses benefícios devem também ser compartilhados de forma equitativa.
10:56 R	E é importante que aqueles que fornecem os dados sejam respeitados na implementação desse sistema, sejam valorizados em suas melhorias. Transparência é importante em termos de supervisionar a inteligência artificial. Para isso, a transparência deve ser assegurada, para saber o que está por trás do desenvolvimento dos sistemas de inteligência artificial, mas também a transparência com relação ao próprio sistema em termos dos elementos que são fornecidos para garantir que o próximo elemento seja funcional. Essa explicabilidade é fundamental para garantir que seja possível e exercido de forma eficaz aquilo que será estabelecido por lei, em particular, a intervenção humana e a supervisão humana, como falei anteriormente. Daí, temos a segurança - a Profa. Hildebrandt falou muito a respeito disso. Para mim, não é uma questão dos direitos fundamentais, mas é parte do âmago para garantir que os impactos negativos não sejam exercidos duramente sobre os direitos fundamentais. Só devemos pensar sobre a segurança do sistema e nos requisitos especiais que devem ser considerados. Daí, temos a responsabilidade e o endereçamento. E todos são parte da responsabilidade com relação à disponibilidade. Não vou me estender demais. Eu gostaria apenas de ressaltar a possibilidade e especialmente determinar quem é responsável pelos impactos negativos do emprego da inteligência artificial. A Profa. Hildebrandt apresentou o exemplo da Europa, algo muito interessante, pois demonstra como lidar com a parte da responsabilidade, da liability em termos de controle de riscos, o posicionamento com relação a isso e também o agente que se beneficia do emprego da inteligência artificial, mas também a ideia, de forma complementar, do impacto negativo que pode ser difundido ou o tipo de sistema de garantia. Acho que esses são os mecanismos que vale a pena explorar, sem os quais seria muito difícil determinar como definir essa responsabilidade. Do contrário, isso será deveras difuso, o que pode dificultar na implementação. Por fim, queria falar sobre a supervisão independente, que é algo que deve fornecer a eficiência necessária. Deve-se considerar um mecanismo de supervisão de tal forma que a transparência e a democracia, os princípios da transparência e democracia sejam sustenidos dentro da possibilidade, para limitar os impactos da implementação de sistemas de inteligência artificial.
11:00 R	Esses elementos também estão identificáveis na recomendação da ética para a inteligência artificial, conforme a Unesco lançou no ano passado. Entre os Estados-membros que assinaram, o Brasil está presente, e a ideia aqui é ressaltar a necessidade de uma avaliação dos impactos do sistema de inteligência artificial ou dos distintos instrumentos. Ainda com relação ao mecanismo que deve ser colocado, empregado, a lei deve ser bastante clara com relação às exigências sobre a responsabilidade, e os mecanismos devem cobrir tanto os impactos criados pelo emprego de agentes privados assim como de agentes públicos também. Por fim, gostaria de ecoar com a Profa. Hildebrandt sobre o fato de que o emprego da inteligência artificial deve ser cautelar. Nesse sentido, eu gostaria de, respeitosamente, lembrá-los de que a garantia de uma adoção progressiva de inteligência artificial não deve ser considerada como uma meta per se, porque essa meta não deve ser uma meta, ela deve ser a meta da inteligência artificial e, como qualquer outra tecnologia, deve ser desenvolvida onde haja evidências do benefício para a humanidade. Esse é o significado mais profundo da ideia da utilização da inteligência artificial, porque a ideia em todos os casos em que o emprego desse tipo de tecnologia terá possíveis resultados não pode ser tentada pelo otimismo tecnológico, que muitas vezes não condiz com a realidade. Isso também é problemático, pois a supervisão humana deve estar presente sempre que necessária. Devemos considerar que essa tecnologia da inteligência artificial deve ter a sanção humana e deve ser supervisionada por humanos sempre que necessário para que não impacte nos direitos humanos com proibições impostas por lei, com relação especificamente a sistemas de inteligência oficial que possam ser definitivamente prejudiciais ao exercício dos direitos fundamentais humanos. E, conforme apontei na Era Digital e na Alta Comissão dos Direitos Humanos, com relação ao direito à privacidade, a comissão fez uma chamada específica na implementação no sentido de que ela salvaguarde os direitos humanos, mas que ainda considere a aplicação específica da inteligência artificial onde for possível e compatível, com respeito aos direitos humanos.
11:04 R	É preciso adotar estruturas legislativas e regulatórias que previnam, de forma adequada, os impactos negativos desse tipo de tecnologia. Meus últimos pensamentos são algumas ideias que eu gostaria de compartilhar com vocês para ajudar na tarefa que têm adiante. O processo de tomada de decisão com relação à inteligência artificial e à sua adoção deve ser mais transparente do que tem sido atualmente junto à sociedade. Atualmente, não temos uma regulamentação específica para a inteligência artificial que é implementada no dia a dia. Isso não tem ocorrido de forma transparente para a cidadania. A lei deve garantir que os agentes públicos ou privados atuem de forma mais transparente no que tange à sua ação. As escolhas envolvidas não podem ser tomadas isoladamente. É preciso fornecer as condições contextuais para que os direitos humanos... Há implementações da inteligência artificial. Porém, elas se dão por conta própria. É preciso uma abordagem que contemple a importância da legislação. Há tecnologias específicas que podem ser incompatíveis com o exercício dos direitos fundamentais. É preciso identificar quais são essas tecnologias e como a legislação irá avaliá-las de modo a oferecer as condições necessárias para avaliá-las. Por fim, as escolhas envolvidas na adoção da inteligência artificial não podem ser tomadas pela razão e eficiência sem o exercício transparente da avaliação aberta com o público, com base na transparência, tendo em mente o que está acontecendo no uso dessas tecnologias. Se não nos certificarmos de que compreendemos a regulamentação que está sendo empregada, há o risco de abandonarmos os direitos humanos fundamentais junto com a tomada de decisões democrática. Muito obrigada a todos. O SR. DANILO CESAR MAGANHOTO DONEDA (Por videoconferência.) - Muito obrigado, Dra. Maria Paz Canales, de Derechos Digitales. Agora passamos diretamente ao nosso quarto e último palestrante do primeiro painel do nosso seminário internacional. Com muita honra, recebemos o Dr. Stuart Russel, da Universidade da Califórnia, Berkeley. O Dr. Stuart Russel é professor de Ciência da Computação e de Engenharia da Universidade da Califórnia, Berkeley, e Honorary Fellow da Wadham College, Oxford. Seu livro Artificial Intelligence: A Modern Approach, com Peter Norvig, tornou-se um texto padrão para os estudos de inteligência artificial e foi traduzido em 14 línguas. É utilizado em 1,5 mil universidades, em 135 países. A sua pesquisa cobre uma vasta gama de tópicos em inteligência artificial, incluindo aprendizagem por máquina, raciocínio probabilístico, representação de conhecimento, planejamento, tomada de decisões em tempo real, rastreio de múltiplos alvos, visão computacional, fisiologia computacional e fundamentos filosóficos. Stuart Russel também trabalhou com as Nações Unidas, e suas preocupações atuais incluem a ameaça de armas autônomas e o futuro a longo prazo da inteligência artificial e sua relação com a humanidade. Seu livro mais recente é Human Compatible: AI and the Problem of Control, de 2019. Prof. Stuart Russel, é uma honra tê-lo aqui. Tens a palavra.
11:08 R	O SR. STUART RUSSELL (Por videoconferência.) - Muito obrigado pelo convite para falar. Estamos aqui quebrando a tradição. Eu não vou utilizar o PowerPoint, vou falar diretamente com vocês. Então, o Parlamento deveria ser parabenizado por essa importante relação que vamos regulamentar sobre o futuro dominante da tecnologia e o curso da civilização. Eu gostaria de dizer que os princípios tangem à responsabilidade humana, que deve ser... Mas, para entrar em mais detalhes, vamos falar sobre a definição de IA como um processo computacional que pode ser definido pelo processamento de modo a compreender as situações. Eu gostaria de fazer um comentário sobre isso. Primeiramente, como a Profa. Hildebrandt também mencionou, o sistema de IA acontece, é algo que aprende. Os primeiros sistemas foram criados pelo processo de machine learning. Geralmente, de modo geral, os primeiros sistemas estarão sujeitos a regulamentações. Isto é o que vemos na União Europeia: diferentes modos de criação foram empregados com relação à qualidade e ao uso dos sistemas empregados. Ainda, muitos sistemas de IA não envolvem machine learning em qualquer etapa, e isso inclui sistemas baseados em raciocínio de lógica, de modo a avaliar os benefícios. De fato, quanto ao sistema Deep Blue, que venceu o grande enxadrista Garry Kasparov, ninguém duvidava de que esse era um exemplo de inteligência artificial. Segundo, o que importa para a regulamentação é que um sistema automatizado esteja fazendo uma previsão ou decisão. Posso imaginar facilmente dois sistemas de tomada de decisão que tomem decisões idênticas em todos os casos, porém um deles utiliza os métodos de inteligência artificial. Então, um seria regulamentado, e o outro - talvez uma tabela? - que não esteja utilizando sistemas de inteligência artificial não seria regulamentado dentro dessa pretória? Isso pode incluir um método que faça uma circunvenção e se comporte de forma similar, porém não esteja contemplado pela lei. E, terceiro, embora tenha sido uma abordagem padrão para a inteligência artificial durante muitos anos ao começar a partir das definições, isso tem sido compreendido como um erro. Conforme a inteligência artificial adentra o mundo real, torna-se essencialmente impossível definir os objetivos completa e diretamente. E o sistema poderoso de inteligência artificial é um tanto incorreto. É precisamente a forma como os seres humanos perderão o controle sobre o futuro. A solução para esse problema envolve compreender que há um objetivo verdadeiro a ser atingido. Isso de fato afeta a base tecnológica para o benefício de sistemas de IA, mas, sobre as leis atuais, infelizmente, ele acaba recaindo longe da definição de inteligência artificial. Eu também gostaria de enfatizar a questão dos direitos fundamentais e a sua conexão com a gestão baseada em riscos. Geralmente pensamos sobre sistemas de alto risco, como sistemas de raio-X e carros sem motorista, que podem causar ferimentos ou até morte. Porém, a liberdade do pensamento e a proteção da integridade implicam que os sistemas de informação, tais como mídias sociais ou jogos de computação possam manipular ou utilizar-se de uma linguagem, como a Comissão Europeia chama, que possa alterar o comportamento humano. Esses são sistemas de alto risco e devem ser regulados como tais.
11:12 R	Existe a questão ainda sobre a noção de prejuízo nas leis sobre responsabilidade. Por exemplo, uma pessoa pode ser manipulada pelos algoritmos de mídias sociais e pode se tornar um perigoso extremista. Porém, essa pessoa não acredita que tenha sido prejudicada, e é muito improvável que ela registre uma queixa, quando, de fato, ela agora já se transformou num extremista perigoso. Suponhamos que façamos um teste clínico nesse algoritmo, e alguns resultados podem ser aceitáveis. Parece razoável que, se o indivíduo pré-ensaio indicasse anteriormente certas predisposições mentais, por exemplo, dizendo que não quer se tornar um perigoso extremista, e, mesmo assim, essas mudanças ocorressem, daí seria uma evidência prima facie para tanto. Outro ponto que eu fico feliz de ver, com relação às leis de transparência, é em particular com relação ao fato de que há comunicação direta com sistemas de inteligência artificial. Esse não é um ponto mínimo; é, de fato, uma relação direta com seres humanos. E, portanto, as consequências mais importantes da nova lei irão recair sobre o tocante a isso. Ao escrever uma queixa para uma empresa, após duas ou três trocas de e-mail, fica muito claro que a Adriana é apenas uma máquina e não compreendeu nada do que eu escrevi. No futuro, pode-se levar meses para descobrir que um amigo que você fez, em algum ambiente de realidade virtual, com quem você se confidenciou e em quem aprendeu a confiar, é, de fato, um bot de vendas, que, por sinal, convenceu você a comprar um relógio Gucci supercaro, porque ele é muito legal. Isso não é especulação; há empresas que já estão começando com esse modelo de negócio, exatamente com esse formato de trapaça. Os direitos humanos são baseados no conceito do que é um ser humano, mas e se não conseguirmos mais diferenciar o que é um humano do que não o é? Isso se tornará cada vez mais essencial na preservação da credibilidade. Nós nos conhecemos uns aos outros, e há uma questão de consideração com relação às máquinas, que não têm consideração alguma. Por fim, o direito mais fundamental é o direito à vida. E eu acho que seria de valia ressaltar a questão de que o algoritmo nunca deve ficar atento para matar seres humanos. Obrigado pela consideração de todos vocês. O SR. DANILO CESAR MAGANHOTO DONEDA (Por videoconferência.) - Muito obrigado, Prof. Russell. O SR. PRESIDENTE (Ricardo Villas Bôas Cueva) - Eu agradeço imensamente a generosidade dos professores que participaram deste primeiro painel e que contribuíram decisivamente, com palestras brilhantes, para que nós aprendêssemos sobre os enormes desafios implicados na regulação da inteligência artificial. Foram muito generosos com o seu tempo, apesar dos nossos atrasos, que talvez tenham comprometido aí futuros compromissos.
11:16 R	Para evitar que o atraso se agrave, eu vou passar imediatamente ao segundo painel, que tratará dos "Desafios da regulação da inteligência artificial numa análise comparativa das experiências internacionais". Passo a palavra imediatamente às moderadoras, as Profas. Clara Iglesias Keller e Claudia Lima Marques. A SRA. CLARA IGLESIAS KELLER (Por videoconferência.) - Muito obrigada, Ministro Ricardo Cueva. Para que não percamos mais tempo, partimos direto para as apresentações. Começamos então com a primeira palestrante, a Dra. Irina Orssich. A Dra. Irina Orssich é Advogada na Comissão Europeia, na Direção-Geral das Redes de Comunicação, Conteúdos e Tecnologias das Comunicações. Ela é Chefe do Setor de Políticas de Inteligência Artificial, e suas responsabilidades incluem os aspectos regulamentares e socioeconômicos da inteligência artificial. Também já teve cargos no setor de audiovisual e como consultora jurídica em matéria de concorrência e direito dos auxílios estatais. Dra. Irina Orssich, muitíssimo obrigada pela presença, pela disponibilidade. Peço que, por favor, fique à vontade para começar tão logo deseje. A SRA. IRINA ORSSICH (Por videoconferência. Tradução simultânea.) - Muito obrigada por me receberem aqui nesta tarde. É tudo muito interessante para mim. Eu irei compartilhar a minha tela para apresentação. Vocês devem conseguir ver minha tela agora. Eu irei explicar para vocês sobre a abordagem da União Europeia com relação à inteligência artificial. Vocês devem perceber que fomos os primeiros que procederam com uma lei horizontal no ano passado, em abril... Eu estou tentando passar os eslaides... Então, eu peço desculpas. Ah, sim, agora foi. Enfim, ano passado, em abril, a União Europeia começou... Vou falar mais a respeito sobre como chegamos até aqui. Então, a União Europeia já tem auxiliado a Comissão Europeia, de modo que o corpo executivo da união tenha o apoio na pesquisa sobre a inteligência artificial, a qual tem sido auxiliada desde 2004, mas, em 2016 e 2017, esse tema ficou cada vez mais controverso e político. Assim, nós também começamos a observar as políticas e, em abril de 2018, nós implementamos a primeira estratégia europeia para inteligência artificial. Isso se baseia em três pilares. O primeiro deles é a parte econômica, a inovação e a competitividade. O segundo é o impacto social, junto à sociedade, e qual o impacto sobre o trabalho. E o terceiro, por fim, está relacionado à questão da ética e da estrutura legal.
11:20 R	Com base nisso, nós começamos a trabalhar em todas essas frentes num chamado aos especialistas, especialistas de alto nível, que trabalhassem de forma independente da comissão, de modo a desenvolver critérios, requisitos confiáveis com relação à inteligência artificial e ainda, com base nisso, uma ferramenta de avaliação online com relação à inteligência artificial. Aí começamos a partir da ética e dos princípios para a confiança, que esse grupo tem desenvolvido de forma tão importante para a nossa consideração futura. Há uma estrutura legal. E, ao mesmo tempo, nós trabalhávamos com a parte da excelência, de modo a sempre percebermos a inteligência artificial como algo positivo, que pode contribuir para a competitividade, para a inovação, para o nosso futuro. Nesse espírito, nós desenvolvemos, junto com quatro Estados-membros, um plano coordenado. Assim, a Comissão Europeia e seus membros começaram a analisar as ações que podem ser tomadas individualmente, de modo a apoiar... Aí temos aqui toda a capacidade computacional, a parte financeira, a pesquisa, ou seja, todos esses aspectos, as questões éticas que irão contribuir para um ecossistema de inteligência artificial. Com base nisso, em 2020, nós fizemos o white paper com relação a um ecossistema de confiança, um ecossistema de excelência, de modo a seguir nesse plano coordenativo. Ele foi amplamente consultado. Tivemos mais de 1,5 mil contribuições. Daí isso levou ao pacote IA, ou AI package, em abril de 2021. Isso é parte do nosso plano coordenativo. Mais uma vez, ele mede o papel da inteligência artificial, mas também oferece um rascunho de estrutura legal. No que tange à União Europeia, a comissão descobriu que... Algo foi proposto, aquilo que chamamos de "colegislação". Assim, os Estados-membros do Conselho Europeu, no Parlamento europeu, discutiram nossa proposta. Ambos se posicionaram com relação àquilo que foi proposto. Por fim, os três, a comissão, o conselho e o Parlamento decidiram e elaboraram um texto final. Então, agora temos algo que foi proposto um ano atrás, "colegislado" junto com o Parlamento, que está discutindo a proposta. Esperamos que isso chegue a um ponto culminante nessa negociação, no ano que vem. Agora, o que estamos falando é: qual é a proposta da comissão? Então, primeiramente, por que acreditamos que precisamos regular inteligência artificial? Já existe uma estrutura legal, temos direitos fundamentais, temos proteção de dados, temos regras de segurança, temos regras antidiscriminação, entre outras, mas a inteligência artificial tem alguns aspectos especiais com relação à complexidade, à capacidade, à opacidade, à imprevisibilidade, à autonomia. E isso auxilia a compreender a implementação com base nas regras existentes. E isso tem a ver com as regras fundamentais. Assim, vamos oferecer... Estamos propondo uma resposta para mitigar... É disso que se trata a nossa proposta.
11:24 R	Primeiro, eu falei sobre quais são as nossas fundações, quais são os princípios. Primeiro de tudo, nós seguimos uma harmonização, uma abordagem de legislação harmônica, o que para vocês pode soar meio estranho. Primeiro de tudo, nós queremos harmonizar as regras e as leis. E, com essa abordagem de segurança, nós abordamos os temas de inteligência artificial que estão no mercado, de modo que todos esses sistemas têm que cumprir as mesmas regras. Com isso, queremos realizar a proteção da segurança e dos direitos fundamentais. Para fazermos isso, estamos escolhendo uma abordagem baseada em risco, ou seja, não queremos regular toda a tecnologia, mas, sim, regular alguns casos de uso em que cremos que há um risco para a segurança em particular, assim como para os direitos humanos. Então, são aqueles que estão num nível global e que englobam toda a inteligência artificial que tem sido usada ou colocada no mercado europeu. É um ato horizontal, quer dizer, aplica-se igualmente a todos os setores. Não há nenhuma regra específica de um setor, mas algo que é para toda inteligência artificial que consideramos ser de alto risco. E, com a legislação coexistente, como eu já falei, nós já temos uma série de regras em vigor, mas temos que imaginar isso como um quebra-cabeça. Por exemplo, as regras de proteção de dados - algumas já são validadas - queremos que sejam coerentes com essas regras; queremos que andem de mãos dadas. Não queremos suplantá-las, porque, na verdade, elas são complementares. Este é um ponto sobre a inovação... Que seja uma inovação amigável esse ato da inteligência artificial, mas há alguns problemas com relação à inovação e alguns com relação a algumas, assim ditas, caixas de regulamentação, ou seja, a possibilidade de parentescos juntos com os regulamentadores a desenvolverem uma inteligência artificial e garantirem que essa esteja em compliance com as regras.
11:28 R	Então, como isso aparece? Primeiro, eu não coloquei no eslaide aqui a definição de inteligência artificial, porque é algo muito controverso. No começo, escolhi uma definição muito abrangente, algo que é muito inspirado nas recomendações da OCDE, mas é claro que há um anexo com certas técnicas, e claro que esse anexo pode ser adotado com o tempo. É isso que nós consideramos inteligência artificial, mas é algo muito controverso nas negociações, mas, como eu disse antes, o que é importante é o que nós vamos regular, e o que é de alto risco. Então, nós vemos aqui, na parte inferior da pirâmide, os riscos mínimos, ou o que é de nenhum risco - nós acreditamos que não há nenhum risco a nenhum direito fundamental -, ou então pode ser permitido sem restrições, mas nós recomendamos um certo voluntário de um código de consulta. Agora, o amarelo são algumas aplicações em que nós acreditamos que há alguns riscos de transparência. Por exemplo, quando vocês são confrontados com certos bots, ou quando têm as métricas que categorizam por métodos de métricas de dados, vocês deveriam ser informados disso; ou seja, deveria haver uma obrigação de informar sobre isso, e essa deveria ser a única obrigação, a não ser que a ferramenta também caia na categoria de alto risco - eu vou entrar em mais detalhes mais tarde. E aqui em cima da pirâmide, temos os riscos não aceitáveis. Nós sugerimos quatro categorias diferentes, umas práticas de manipulação e práticas para grupos. Nós temos também, seja social ou estrangeiro, para algumas autoridades públicas ou sistemas métricos, que alguns conhecem e outros não. Isso é feito com o intuito de reforçar a lei, e essa que está fora da lei deveria ser proibida. Então, tendo dito isso, acreditamos que os aplicativos militares deveriam ser proibidos. Nós excluímos no escopo qualquer aplicativo que seja usado exclusivamente pelos militares - não excluímos, mas há enunciações - e também excluímos porque esse é excluído do escopo europeu, porque são questões de segurança nacional, por isso nós não temos no nosso ato, mas, como eu disse antes, o centro disso são essas aplicações. Então, eu vou passar a falar sobre isso agora.
11:32 R	Primeiro de tudo, há um anexo no qual nós temos uma lista de campos gerais nos quais temos aplicações gerais que incluem reforço da lei, biométrica, educação, infraestrutura crítica, administração e alguns serviços públicos e privados. Mas não é tudo que vai continuar sendo de alto risco, apenas algumas aplicações que são, por exemplo, quando estamos falando sobre os serviços públicos e privados, nós temos as linhas de crédito, os depósitos de... Mexem com os direitos fundamentais ou alguns... Pela identificação biométrica e nós temos o que nós chamamos de robust action. Então, é um série de aplicações de indivíduos feitos com o tempo. Quando esses aplicativos surgem, é o que nós consideramos de alto risco. Agora, esses... Desculpem-me, eu me esqueci de falar que é o terceiro de... Também temos produtos que também são regulados já, como máquinas, brinquedos, carros, equipamentos médicos, e esses produtos já estão sob regulamentação e estão em outra lista no anexo. Esses produtos também são considerados de alto risco. A diferença é que... Algum... Já existe uma regulamentação e o acesso da inteligência artificial pode ser integrado a um acesso existente de segurança do produto e, no primeiro grupo de que eu estava falando antes, não há regulamentação ainda, ou seja, a coisa toda foi acrescentada de maneira nova. Então, são coisas que precisam de validação, treinamento, dados de testes, em particular, para evitarmos preconceito e discriminação. A segunda é ter uma documentação e um design de login estabelecido que demonstre e também que garanta um apropriado nível de transparência. Como eu falei antes, essas regras se aplicam quando a IA entra no mercado, ou seja, aplica-se ao fornecedor da inteligência artificial as informações e vai, mão em mão, com a gestão de risco e também define para o usuário o que fazer e o que não fazer. Também temos uma supervisão humana que depende muito do sistema e como vai ser colocado em prática, como vai ser incorporado ao sistema e usado pelos usuários em níveis de robustez, precisão e cibersegurança para que sejam todos padronizados de modo que, quando o ato entre em vigor, deva haver um padrão em vigor que dê à inteligência artificial uma maneira fácil de implementar esses requisitos.
11:36 R	E uma maneira de checar algo antes de entrar no mercado é ver se eles se conformam com esses dados e se, primeiro, existe uma regulamentação com relação a eles, se eles integram requisitos para os outros produtos de... Como eu falei, emprego de... Para assuntos de lei ou educação, nós temos métricas. Também teria um terceiro, porque é um mercado livre e haveria uma base de dados e também uma pesquisa de mercado para saber se estão realmente em compliance, se há uma supervisão, um monitoramento por parte do usuário, se há um monitoramento pós-mercado. É um sistema de relatório para sérios incidentes acontecidos e uma reavaliação também. Então, a estrutura de governo, para concluir... Isso foi o que nós propusemos à comissão, o ato como secretario... Para um negócio de dia a dia, para preparar um follow-up das reuniões de... Também temos um grupo de peritos que aconselham o conselho com relação à inteligência artificial, diferentes características e outras coisas, mas nós propusemos uma autoridade nacional competente, com certificação, que também faça pesquisa de mercado, também coordenado pela comissão e, claro, pelo Conselho de Inteligência Artificial. Eu gostaria de agradecer a todos. Espero ter sido clara o suficiente e dado alguma luz com relação ao assunto. A SRA. CLAUDIA LIMA MARQUES (Por videoconferência.) - Muito obrigada, Dra. Irina. Nós gostaríamos de lhe agradecer grandemente por essa apresentação tão informativa. Gostaríamos de pedir se poderia, por favor, compartilhar sua apresentação com o Senado brasileiro. Obrigada. Agora teremos a apresentação da Professora Doutora Indra Spiecker genannt Döhmann, que é titular da cadeira de Direito Constitucional e Administrativo, Direito da Informação e Direito Ambiental e Teoria Jurídica da Universidade Goethe, de Frankfurt. É perita em regulamentação da digitalização e tem numerosas contribuições a governos, empresas, ONGs e aos tribunais na Alemanha e na União Europeia. Sua grande especialização é proteção de dados, segurança, governo eletrônico e regulamentação das plataformas. É uma das primeiras e atuais analistas da proposta europeia sobre a regulamentação da inteligência artificial. Profa. Indra Spiecker genannt Döhmann, por favor, a palavra é sua.
11:40 R	A SRA. INDRA SPIECKER (Por videoconferência. Tradução simultânea.) - Muito obrigado por ter-me aqui. É ótimo poder contribuir para uma solução. É claro que o Brasil tem altos padrões, é muito importante no mundo, e é claro que eu gostaria de contribuir para isso. É claro que a inteligência artificial na Europa, na União Europeia... Eu gostaria de apresentar como aprender no Brasil sobre esse... Mas também seus erros. Eu acho que vocês já sabem como é vasto o uso de inteligência artificial. Nós temos, ultimamente, um tratamento de HIV com medicação coquetel de acordo com as mutações, o DNA e comportamento individual, o que só a inteligência artificial consegue fazer. Nós também vemos que as físicas do Cern têm o sistema Collider, que, segundo os dados de simulação, tem em base 23 mil hits por minuto, de modo que nenhum humano consegue lidar com isso. Então, a gente sabe que a inteligência artificial lida com coisas com que o ser humano não conseguiria. Não vou falar sobre tudo, mas eu gostaria de falar sobre esse elo que há entre as informações, outras informações sobre inteligência artificial que talvez não sejam tão desejáveis como tratamento do HIV ou... Então, não quer dizer que seja ruim ou boa, mas é uma tecnologia que serve aos seres humanos. Vai depender de como é usada. É uma tecnologia que tem seus efeitos colaterais. Sua regulamentação deve ser com destino ao seu uso. Não apenas devemos cuidar da regulamentação, mas também de colocar essa regulamentação em vigor. Então, nós temos que aprender profundamente os sistemas de inteligência artificial, a entendê-los. Eu vou colocar aqui um pouco do background, o que a gente vai falar aqui, e também sobre um pouco da variação, que vocês já ouviram, e, no final, um resumo de como as coisas podem ser feitas aqui no Brasil. Deixe-me voltar sobre a nossa proposta de regulamentação da inteligência artificial. É uma estratégia da União Europeia para regular a digitalização e também foi introduzida a abordagem GDPR para proteger dados e decisões. Nós temos serviços digitais, o Ato do Mercado Digital para contratos e plataformas, temos também a Lei de Proteção do Consumidor, que usa informação, transparência, justiça e o reforço de terceiros.
11:44 R	Nós vemos um aumento nas leis antidiscriminação, porque nós vemos que há necessidade disso cada vez mais para decisões do contrato. E também o ato de dados acessa e também faz um bom uso da informação, em particular, da lei de competição antitruste, que precisa de cooperação dos negócios e são também regulamentações como parte de tudo isso. E é um grupo de decisões com uma certa qualidade, eu digo, neutra, que esteja por trás dessas decisões. O interesse total seria regular o poder, a assimetria nos serviços e, nos casos digitais, o uso das fontes privadas e também do Estado. O resultado deveria ser uma confiança no uso de dados de TI em todos os sistemas e eles serem usados de maneira legal. O GDPR é um padrão que estabelece as configurações e é uma abordagem regulatória, é uma prevenção para que não haja algum dano, em vez de esperar ver um dano e aí abordar de uma maneira posterior. Esta geralmente é a abordagem com relação às leis de tecnologia: nós esperamos para ver aonde esta tecnologia está nos levando e aí colocamos uma regulamentação, mas nós vamos ter que diminuir um pouco a velocidade de produção das inovações para podermos garantir que a regulamos. Essa lei procura resolver e isso é muito típico da regulamentação de IA. Mas elas estão lá, elas são precisas, são fáceis de usar. Os riscos com os quais nós estamos lidando... Nós estamos lidando com riscos porque estamos do lado regulatório, eles estão no futuro. É algo que nós descobrimos: que os seres humanos são muito bons em resolver algo que vai acontecer em longa data. Então, nós vamos tentar não olhar apenas no curto prazo, no que está acontecendo, em coisas que acontecem muito no alto, mas olharmos o risco, acompanhar isso e ser de acordo com isso. O risco deveria ser o borderline da regulamentação, em vez de tentarmos termos o risco mínimo e até o não aceitável. E é dividido em quatro classificações. O que chamamos de abordagem neutra da tecnologia é uma regulamentação abstrata com exemplos e definições de aplicações de risco. É uma ferramenta importante porque monitoramento é importante para as tecnologias. Devemos constantemente controlar o que está acontecendo e que o modelo de regulamentação ainda se aplique a tecnologias atuais. Então, no conteúdo e avaliação, nós estávamos discutindo se ia acontecer ou não.
11:48 R	Então, por que essa regulamentação? As metas são porque as restrições já existem. A assimetria de poder é imensa. E nós temos dados, que é a base temos a tecnologia, que está acima de dados, e os serviços que usam a tecnologia de dados. E isso está criando mercados fechados e o problema com isso é que, no futuro, teremos muito poder sobre algumas coisas e pouca regulamentação. Esse é o novo problema da tecnologia e já tem efeitos. Precisa haver isso porque algumas dessas aplicações estão colocando em risco o entendimento humano. Nós não possuímos a tecnologia. É um pensamento muito inteligente. A tecnologia está assumindo o controle. Ela pega aquela inovação e continua aquela inovação com o conceito humano por trás, ou seja, o conceito humanista está por trás. É a tecnologia que orienta. Essas são regras para monitorar o mercado e pesquisar o mercado. É o art. 1º que cuida do padrão dinâmico. E isso foi algo muito bom por causa dos três aspectos que foram criados. A IA é diferente das outras tecnologias. Uma coisa diferente é a aplicação da lei efetiva. Se queremos reger por lei, inovar e permitir às companhias inovarem, precisamos criar exatamente isso. Precisamos criar um campo de aplicação da lei na qual você pode enviar... Essas são a provisão, que na verdade são duas. São duas pessoas, o fornecedor e o usuário. O fornecedor, o GDTR, não está tratando com os engenheiros. Ele tem o impacto como desenvolvedor, mas a maioria deles são entidades privadas e também as pessoas individuais que são controladas, que são potencialmente manipuladas estão, digamos, a serviço, por assim dizer, do serviço de inteligência artificial, apesar de eles supostamente deverem ser protegidos. E então, de novo, mais uma vez, é básico, qualquer pessoa que queira colocar algo no mercado e que usa os resultados de IA, apesar de ser um processo, ela se aplica. É muito abrangente e vem semelhante aos princípios de mercado que temos na nossa regulamentação europeia. E isso pode ser online, off-line.
11:52 R	Se você quiser vender algo no Brasil, você segue as regras do Brasil; se quiser vender um carro, você também segue. Isso é semelhante, vai ser de acordo com cada país. Por quê? Pela definição, é um software bem definido, além de uma cláusula específica que está sujeita aos seres humanos, ou seja, dou alguns exemplos que permitem que a Comissão tenha uma observação positiva, através de uma observação bem de perto. Então não é exatamente o que os cientistas da computação acreditam ser um sistema de inteligência artificial, mas se vimos o que tem sido colocado aí, por influências e outros no meio ambiente, é algo bem difícil de apontar especificamente. Então é que há uma incerteza legal quanto aos anexos e à dinâmica. Então, na lei de tecnologia, é algo que nós sempre clamamos que precisa ser. Precisamos monitorar de perto a contínua mudança que existe, que acontece muito rapidamente. E nós temos que estar envolvidos nisso. E como isso é feito? Eu não vou falar mais sobre isso. É uma abordagem baseada em risco, com quatro classificações. Na verdade, são só três, porque de um a três, são apenas recomendação, são algumas informações. Basicamente não é regulado. Eu pessoalmente, na minha visão profissional, acho que isso é muito pouco, porque IA é muito, muito mais, de modo que é algo que influencia o cliente, as decisões. O número três é alto risco. Isso particularmente é interessante ver. Restrições de procedimento. Nem tanto padrões materiais. E aí nós temos o risco inaceitável, que é tipicamente proibido, ou seja, é grande, o sentido é totalmente restrito. E permite-se, é claro, que haja uma mudança do número quatro para o três, e do três para o quatro também. Então nós temos uma orientação de acordo com o risco. E também há muitos cenários que não são regulamentos, duas de cada quatro categorias. E o que eu gostaria de recomendar para vocês considerarem é ter padrões mais substanciais e materiais, em vez de abstratos. E olharmos mais de perto como é que controlamos tudo isso. Como é que podemos estabelecer uma IA que seja estabelecida por um propósito em particular e usada apenas para esse propósito. A quarta categoria, isso é o que nós vamos olhar aqui juntos, nós vemos bem claramente o que nós chamamos de subliminar. Pela primeira vez, nós vemos o poder da influência dessa tecnologia de IA, de estabelecimento de decisões, quer sejam diretas ou indiretas. Por isso que a gente chama de um poder escuro, um padrão escuro. O que isso quer dizer? É uma influência retórica. Qual é o limite entre o que é legal e o que é ilegal? Qual deveria ser o propósito? Então, isso cria um pingue-pongue, na verdade, entre o provedor e o usuário. Quem é o responsável? Isso e aquilo. Então, é algo que nós deveríamos... (Falha no áudio.)
11:56 R	A SRA. CLAUDIA LIMA MARQUES (Por videoconferência.) - Desculpem-me, o vídeo dela parou. (Intervenções fora do microfone.) (Pausa.) A SRA. CLAUDIA LIMA MARQUES (Por videoconferência.) - Parece-me que perdemos a Professora Indra. A SRA. LAURA SCHERTEL FERREIRA MENDES (Por videoconferência.) - Eu sugiro a gente aguardar um minutinho, Profa. Cláudia. Vou verificar se a Profa. Indra escreveu alguma coisa. Um segundo, tá? A SRA. INDRA SPIECKER (Por videoconferência. Tradução simultânea.) - Obviamente, a inteligência artificial estava me ouvindo e me vetou aqui. Bem, o.k. Espero que tudo esteja funcionando agora. Desculpem-me. Estão vendo, eu acho que a inteligência artificial está me observando. Bem, a exploração de vulnerabilidades pessoais, eu acho que isso é bem pontual. Digamos, serviços que vazam, qualquer um... Há muitos poderes de discriminação, por exemplo, posição social, econômica. Nós não queremos ter discriminação, quer seja individual ou baseada em grupos. Esse padrão de discriminação está fora de tudo o que vemos como bom em inteligência artificial. Algo que a gente precisa ver mais é sobre o dano físico e psicológico, mas também há danos econômicos, que podem ser mentais, à educação, à escola. E como podemos medir isso? O problema aqui...Vou tentar não falar demais, mas eu acho que é o peso da prova. Como podemos mostrar que uma pessoa está sendo abordada pela inteligência artificial e que há um jogo de poder aí? Primeiro, a pessoa que tem sido julgada pela inteligência artificial tem que descobrir isso. E como isso é possível? Nenhum de nós... Eu vou falar até nisso, eu sou muito próxima a uma cientista de computação e eu não saberia fazer. Então, a quarta categoria. Tem uma mensagem muito clara aqui. Não queremos que... É claro que há problemas que têm que ser abordados e há plataformas que são grandes aplicações que são usadas não só no setor privado como também no público. Há problemas aí? Sim, mas ambos têm poder. Eles podem acrescentar ao seu poder baseados na inteligência artificial.
12:00 R	E, no final, é avaliação de comportamento social pessoal. Se nós temos IA ao nosso redor o tempo todo e eles estão interligados nisso e nós precisamos ter um processo de julgamento, no todo, isso é o que nós tentamos trazer para a regulamentação europeia. Agora, a terceira categoria. É a mesma estrutura, porque a Comissão pode, basicamente, mudar quem está, quem tem acesso à terceira categoria ou outra. Eu vou deixar esses eslaides, depois, com exemplos de alguns usuários problemáticos e, é claro, que há alguma regulamentação com relação a isso. Quanto à gestão de risco, nós devemos ter uma boa lista que foi criada pelo KOM, que delega os atos, que são dinâmicos, e eles abordam de acordo com o risco, o que é. Nós olhamos, de modo bem próximo, as provisões e o que existe, de forma que deveria ser ótimo com relação a procedimentos e tudo. É claro que há requisitos, como criar padrões e tudo. Eu acho que criar um grande padrão aí, também, mais uma vez, contribui para o poder dos grandes atores que detêm poder, mas eu acho que, talvez, isso seja algo, como vou mostrar depois, como uma cláusula, que é experimental, que há hoje em dia na União Europeia e que é sujeita a muito crítica. Mas, primeiro, o sistema IA é tão bom ou ruim como os dados. Então, é claro que o IA, que tem os dados de treinamento, deveria ser mais específico, é claro, e como devemos lidar com isso para evitar preconceitos. Deveria haver um sistema de algoritmo e, é claro, que aqui o usuário deve ter alguma informação, mas eu só gostaria de salientar a última frase aqui: que é uma ferramenta autorregulatória e ela é tão boa como uma aplicação da lei estrita por trás. Então, se não há um controle, quer dizer que, se não houver aplicação, é apenas um pedaço de papel. Se não houver essas ferramentas regulatórias, só vai ser uma boa ideia. Eu, como professora, tenho que ter muito cuidado. Há um ditado alemão que fala: "Você cria a vaca para cuidar do jardim?". É claro que nós sabemos o que acontece. Existe um certo requisito da parte do usuário também e nenhum diz respeito a todos os requisitos, mas o usuário, a empresa que utiliza a inteligência artificial não terá mais desculpas para dizer: "O.k. Bom, não sabemos como isso funciona". E isso é muito importante, de modo a adentrar no sistema como tal, sentindo que há alguma responsabilidade de que as informações estejam sendo monitoradas e que haja toda a aplicação. E o encargo da prova é algo que pode ser feito de forma melhor e deveria ser ponderado com relação a seu impacto regulatório.
12:04 R	Eu devo ressaltar também que há pontos cruciais aqui que devem ser abordados com relação à neutralidade tecnológica em algumas áreas que já possuem propostas regulatórias, que lidam com problemas deveras concisos, assim como botes sociais, manipulação de eleições. No Brasil, você tem a mídia social exercendo uma parte muito preponderante nas eleições. E eu acho que, em relação ao caso europeu, é algo que certamente se mostra necessário. É um ponto que ainda está pendente em nossa legislação aqui. Há também ainda outros conteúdos, grandes descobertas - elas são ótimas -, mas, se houver uma carência de mecanismos de aplicação, por exemplo, uma autoridade aplicadora que inclua os gestores e os secretários, assim como as grandes empresas e os departamentos jurídicos, que aqui são compostos de advogados... E vocês irão descobrir que as multas são algo bastante eficaz, baseadas na gestão estratégica de recursos. E esse é um ponto em que a inteligência artificial sempre será um problema, pois, como disse anteriormente, é algo que lida com os serviços e com os dados tecnológicos. Agora, vamos a uma conclusão. Eu acredito, profissionalmente, ou seja, não é uma questão da minha crença católica, que a regulamentação da inteligência artificial na União Europeia é um passo muito importante rumo à legislação tangente à tecnologia, que tem exercido negativamente influência na sociedade, e ao poder da assimetria, que tem sido observado em todas as sociedades. Com relação à inovação, se houver assimetria de poder, isso pode ser negativo para a democracia, e essa é a espinha não só na União Europeia como também no Brasil. Com relação às definições e riscos, é preciso que sejam eficazes e, de fato, regulamentados, de modo a crescerem a estrutura com relação a riscos adversos. É algo que deve ser contemplado na sua abordagem a esses mercados. É preciso que haja direitos com relação ao processo dos usuários, mas também, com relação às cortes e tribunais, que estejam a favor de terceiras partes e em relação a fatores externos. Isso significa que é preciso fortalecer a aplicação, de modo a tornar a regulamentação de inteligências artificiais eficaz, mas é preciso prestar atenção às caixas-pretas, às caixas brancas. Em relação à minha parte, na qual eu sou especialista, a inteligência artificial deve ser tão boa quanto os seus poderes de aplicação dentro da legislação, e devemos nos basear na aplicação pública, nos procedimentos de transparência e segurança e no ônus da prova; é esse o papel que as instituições devem inserir nesse jogo, de modo a deixar tudo nivelado.
12:08 R	A responsabilidade deve ser um ponto estrito, e essa dinâmica por trás da tecnologia não poderá ser regulada a não ser que esse poder seja reduzido e essa dinâmica também. Isso também significa que é preciso ter direitos de terceiros, assim como de partes estrangeiras; que sejam fortalecidas para lidar de forma eficaz com esses sistemas. E, por fim, a legislação subsequente, como nós falamos, na Alemanha, não tem funcionado exatamente. Então, que isso também seja uma forma de estabelecer uma supervisão e monitoramento claros. Até então, o que precisamos é que tudo seja mais específico para que possamos controlar os desenvolvimentos da tecnologia. De modo geral, esse é o fim. Eu acredito que o RGPD tem atuado de forma tão similar no Brasil como na Europa, e esse é um grande passo adiante na proteção de dados. Acredito que a inteligência artificial seja o próximo passo, pois observa o quadro decisório. E precisamos de um nivelamento nesse campo, de modo que as nações possam prosperar - a parte econômica demanda isso -, mas, também, observar isso a partir dos direitos humanos. Eu espero que não tenha passado do meu horário e desejo o melhor a vocês; que tomem as melhores decisões. Muito obrigada. A SRA. CLARA IGLESIAS KELLER (Por videoconferência.) - Muito obrigada, Professora, pela sua contribuição brilhante. Acho que você trouxe pontos que estão muito relacionados ao nosso processo aqui, e isso vai avançar muito o nosso debate. Vamos passar à Comissão todos os seus pontos. Agradecemos à Prof. Indra Spiecker pela sua contribuição. Passamos, então, ao nosso terceiro palestrante, o Dr. Jake Okechukwu Effoduh, que é acadêmico na cadeira Vanier da Escola de Direito de Osgoode Hall da Universidade de York, no Canadá, e conduz sua pesquisa e doutorado acerca da legitimação da inteligência artificial na África Subsaariana. Dr. Jake Effoduh é membro do Conselho do Futuro Global sobre Riscos de Fronteiras e do Fórum Econômico Mundial. Então, sem mais delongas, agradecemos imensamente ao Dr. Effoduh pela sua contribuição. Fique à vontade para começar. O SR. JAKE OKECHUKWU EFFODUH (Por videoconferência. Tradução simultânea.) - O.k. Muito obrigado. Gostaria de agradecer à Comissão de Juristas e ao Senado Federal por me convidar. Eu estou muito empolgado e gostaria de congratular o país por esse grande passo. Esse aqui é o meu histórico, que não precisamos discorrer, mas eu gostaria de começar com relação a algumas questões fundamentais no que tange à regulamentação da inteligência artificial. A Dra. Indra falou de forma excelente sobre a regulamentação na União Europeia e os riscos associados, como também o papel central da regulamentação por confiança em relação à gestão da inteligência artificial e às leis domésticas. Acho que é importante que a regulamentação da IA deixe claro quem será responsável por mitigar os riscos, assim como definir também as liabilities, e isso atrairá investimentos e parcerias. Outra questão basilar é sobre a regulamentação total da IA, conforme a Dra. Irina falou grandiosamente, com relação às narrativas. E, nessa ideia, temos que pensar sobre a crença de que a legislação carece de inovação.
12:12 R	Com relação ao Brasil, é importante conceber a proteção aos cidadãos brasileiros com relação ao uso de inteligência artificial, de modo que certos perigos não sejam perpetrados ou que ela possa impor riscos à incorporação internacional, ao RGPD, às regulamentações, aos sistemas de inteligência especial que podem ser regulados, outras regulamentações com relação à proteção de dados, à proteção do consumidor, à competição de mercado. Então, não é algo fácil pensar sobre a regulamentação de uma tecnologia que, às vezes, não é algo previsível; porém, sim, algoritmos podem ser regulamentados e deveriam ser regulamentados. No que tange à legislação dura, a combinação com a legislação branda tem a ver com o desenvolvimento da inteligência artificial. Há pontos complementares com relação a soft law que estão coerentes com os passos que o Brasil tem dado. Com relação às leis domésticas internacionais, eu também acredito que deva haver ambas. A inteligência artificial é uma tecnologia que não pode ser relegada a um estado particular ou a uma região. É necessário também um pouco de ambos, tanto a legislação doméstica quanto a internacional. Com relação à abordagem vertical/horizontal, a Dra. Indra apresentou como a União Europeia lidou com isso. Foi uma abordagem regulativa. Assim, essa rede complexa de medidas top down ou iniciativas deveria ser banida, deveria ser horizontal ou setorial. Esses são pontos vitais no que tange à regulamentação da inteligência artificial. Eu gostaria de contribuir dizendo que a regulamentação deve ser flexível e orientada para o futuro, de modo a garantir que o Governo brasileiro não imponha restrições ao desenvolvimento da tecnologia, mas deve garantir também que ela siga a tecnologia conforme o seu passo de crescimento, de modo a guiá-la de forma benéfica. Sobre a última questão, com relação a qual modelo de regulamentação de inteligência artificial, posso dizer que existem mais de 21. A Dra. Irina falou sobre a União Europeia tendo uma abordagem voltada para riscos, organização, casos diversos. Eu acho que um equilíbrio deve ser mantido entre uma prevenção de danos rígida, assim como um modelo que possa harmonizar e oferecer benefícios para todas as partes interessadas, em todo o ciclo de vida da tecnologia. Essas perguntas a seguir são, basicamente, pontos com os quais vocês já estão familiarizados e que já foram devidamente apresentados anteriormente. Mas, com relação à regulamentação, o Brasil é um dos primeiros países do mundo que trouxe propostas para a regulamentação da inteligência artificial. O Brasil também é o maior setor, compreendendo a América Latina e a região do Caribe, e o primeiro país a elaborar o regimento da inteligência artificial. Então, há muito que o mundo gostaria de ver a ação do Brasil com relação a isso. E falo isso por conta própria também. Acredito que possa servir como modelo para os Estados africanos. Vou passar alguns eslaides que avaliam o valor dos projetos de lei. É interessante observar todos os rascunhos. E aqui há um valor por trás daquilo que cada país tem feito com relação ao engajamento das partes. É interessante falar sobre como é definida uma regulamentação da inteligência artificial no Brasil. Isso é algo que é muito considerável.
12:16 R	Os países ocidentais parecem não se engajar muito nisso. Portanto, o uso parece carecer de uma definição. E a definição seria algo recomendável. Eu gostaria de ressaltar ainda o fato da descrição da justificativa para a tecnologia, pois, como bem sabemos, nossos sistemas legislativos não entendem como elas funcionam. Entendem, talvez, o valor do emprego de assistentes de inteligência artificial, mas não entendem seus predecessores. Com relação ao escopo da aplicação da inteligência artificial no Brasil e à complementaridade das leis, vamos falar sobre os princípios estabelecidos para a inteligência artificial com base nas estruturas internacionais existentes. Eu acredito que sejam pontos muitos recomendáveis. Com relação ao último, com a justificativa balanceada entre crescimento econômico junto aos direitos humanos e avanços sociais. Tenho aqui algumas recomendações. A primeira recomendação seria com relação à parte técnica, com relação ao processo de escrita. O conteúdo da lei em si é algo devidamente organizacional. Então, acredito que os primeiros pontos a respeito da definição robusta da inteligência artificial... Sei que é algo difícil de definir. Existem tantas formas de defini-la! Eu sei que seja difícil talvez encontrar uma definição que se enquadre. Isso é algo que muda o tempo todo e é difícil encapsular. Porém, acredito que essa declaração com relação ao escopo dessa definição não seja limitado. É bastante importante. Eu também gostaria de propor uma qualificação do valor dos direitos humanos listados pela Irina, com relação à privacidade, à responsabilidade. Às vezes, é preciso explicar o que queremos dizer com isso. Essa lei irá respeitar... A quem nos referimos? Estamos falando sobre o caso Brasil ou também com relação à Declaração de Direitos Humanos, aos direitos civis e políticos, aos direitos civis, sociais e econômicos? Isso deve ser declarado na legislação, pois isso irá ajudar a reforçar essas leis. Eu também gostaria de propor que, ao falarmos sobre a expansão da proteção da privacidade, deva ser algo específico com relação ao uso da privacidade por design, não por demanda, porém com uma menção explícita a quais são esses grupos no que diz respeito à discriminação, de uma forma específica; a como a inteligência artificial iria impactar a vida das crianças, pois não sabemos como essas tecnologias são utilizadas com relação a elas, assim como também a pessoas com deficiência, assim como a Profa. Indra mencionou. Como um acadêmico africano, eu gostaria de falar do termo neutralidade ou equitabilidade. Basicamente, não existe nenhum problema com o termo neutralidade ou neutro, mas, a partir de uma perspectiva ética, é algo deveras problemático quando é sobre algo que diz respeito ao aprendizado por máquina. É algo que... O neutro pode estar integrado com vieses societários. Por exemplo, sistemas de inteligência artificial nem sempre partem de um pressuposto neutro. Então, acho que a linguagem da neutralidade confere essa ideia de que sistemas de inteligência artificial não poderiam cometer infrações. Porém, o que vimos nos últimos anos é algo que nos encoraja a pensar sobre a possibilidade. É interessante ter em mente isso ao invés de utilizar a linguagem da neutralidade como princípio. Minha sugestão de pensamento seria uma previsão com relação a avaliação de impactos, a monitoramento e a relatar as obrigações.
12:20 R	No caso do Brasil, devem-se fornecer os impactos com relação aos direitos humanos, aos danos que essas tecnologias podem causar ou possam causar, os prós e contras e as formas de mitigação desses riscos. Acredito que, se isso estiver incluso na lei, seria ótimo. E o último termo seria com relação à interpretação, à explicabilidade, à transparência, à compatibilidade. O que esses termos querem dizer? Acho que seria interessante que a legislação educasse as pessoas com relação ao contexto dessas terminologias, se elas puderem ser inclusas. Outro ponto com relação à expansão da responsabilidade, eu gosto do que a Profa. Indra mencionou sobre a responsabilidade estrita. Porém, para além disso, a responsabilidade pode cair sobre o desenvolvedor, o investidor, e isso deve ser uma responsabilidade compartilhada com relação à responsabilidade do produto versus uma responsabilidade estrita. Por exemplo, temos o que chamam de compensação de responsabilidade. Se o sistema de inteligência artificial fizer algo errado, o Governo pode demandar compensações com relação à empresa de modo a não mitigar a inovação. A minha proposta seria uma expansão com relação ao escopo da responsabilidade. Outro ponto tem a ver com a projeção balanceada. Sobre o que a Dra. Maria Canales falou na apresentação, ao observar os direitos humanos, precisamos reduzir o heroísmo tecnológico com relação ao que pode ser feito e ao que não pode ser feito. Enquanto cidadão africano, eu gostaria de dizer que é importante refletir sobre o histórico do Brasil com relação a como essas tecnologias têm conseguido impactar as pessoas de tal forma que possamos prevenir um colonialismo ou um imperialismo algorítmico, compreendendo que é importante trazer esse balanceamento como uma premissa. Eu descobri que a proliferação dos princípios de inteligência artificial e alguns elementos podem ser recomendados. Por exemplo, o uso da inteligência artificial com relação a crianças. A apresentação e a orientação com relação às orientações de saúde é algo importante a se prestar atenção também. O último ponto com relação ao Brasil é que se podem testar os sistemas de inteligência em especial com relação aos vieses, às pessoas menos privilegiadas, com problemas, com deficiências físicas. Esse sistema deve conceber também e incluir na legislação uma forma de desenviesar. Isso é algo que nunca poderá ser eliminado, mas pode ser gerido. Então, é preciso utilizar contrafactuais. O meu último ponto seria com relação ao alinhamento de direitos supranacionais que respeitem os padrões de inteligência artificial e uma abordagem humanocêntrica. Essas são as minhas sugestões, em termos técnicos. Agora, com relação às recomendações estruturais e organizacionais, a primeira seria a existência de uma agência intercoordenadora, comandada direta ou indiretamente, mas que fosse coordenada com relação ao mandato, para observar como a regulação é mantida. Isso seria ótimo. A segunda recomendação seria no sentido de que, como a inteligência artificial afeta a migração, o transporte, os líderes de escritórios nas agências possam observar como essas inteligências artificiais são utilizadas nos setores de modo a supervisioná-las.
12:24 R	E uma corregulamentação do Governo junto ao setor privado, à academia, o que eu acredito que já esteja sendo feito, é algo bastante válido, além de abrir para a consulta pública. O quinto ponto tem a ver com a avaliação das prioridades estratégias do Brasil, as forças e as fraquezas. Quando propomos leis às vezes esquecemos alguns desses requisitos basilares. Existem prioridades específicas. Não existe como copiar essas especificações do Brasil e utilizá-las. É preciso compreender como se dará a implementação dessas inteligências artificiais. Por exemplo, na América Latina, 5% de residências não têm acesso à internet. É preciso estabelecer as estruturas físicas que estejam voltadas para a utilização da inteligência artificial. Outra preocupação diz respeito ao uso de sistemas de inteligência artificial em setores principais. Por exemplo, uma abordagem baseada em risco. Em algumas partes do mundo não é fácil delinear o risco com relação a essa seara. Então, é preciso especificar certos setores nos quais há mais criticalidade com relação ao termo do uso de sistemas de inteligência artificial. Por exemplo, a polícia preditiva é um método de aplicar a lei, os recursos da lei a partir de análises... A tecnologia utilizada no Brasil não deveria substituir o engajamento da comunidade com relação a medidas de redução do crime. Um sistema de inteligência artificial pode oferecer perfis de brasileiros ou identificar pessoas que sejam propensas a cometer crimes ou mostrar indivíduos com base em seus históricos para questões judiciais e aí eliminando-se a presunção da inocência. Com relação à imigração, à segurança nacional, à aplicação da lei, deve-se ser muito cuidadoso com relação ao uso de inteligência artificial, e isso deve ser utilizado e gerido com base nisso. O último ponto é a priorização da inteligência artificial local e a garantia de um processo de procuração transparente para o sistema de inteligência artificial vindo de fora. Muitos softwares tecnológicos utilizados no país também podem ser encontrados... Então, é importante que esses sistemas sejam adotados a partir do que é visto externamente. É preciso observar esses sistemas, é preciso promover os sistemas locais com base em seus padrões, e isso pode ajudar a priorizar determinadas áreas. Seja sistemas locais, localizados, seja estrangeiros, é preciso observar os vieses que os acompanham, de forma não apenas a apoiar a tecnologia local, mas também sendo um pouco crítico com relação à importação ou o emprego de tecnologias de inteligência artificial de outros países, especialmente onde você quer criar um campo de competição comum e garantir uma licença aberta com relação a vendors. Então, essas são as minhas propostas, e eu espero que de alguma forma eu tenha conseguido trazer alguma luz. Mais uma vez, gostaria de lhes agradecer por me convidarem para isso. Eu agradeço e me congratulo com vocês pelo trabalho que tem sido feito. Gostaria de congratular a Comissão de Juristas responsável pelos passos tomados. Muito obrigado. A SRA. CLAUDIA LIMA MARQUES (Por videoconferência. Tradução simultânea.) - Obrigada, Dr. Effoduh. Foi uma maravilhosa apresentação, com inputs muito válidos, e por isso gostaríamos de lhe agradecer muito. Vamos compartilhar a sua apresentação com o Senado brasileiro.
12:28 R	Agora, passamos ao nosso último apresentador da noite, o Prof. Dr. Hans Micklitz, Professor de Direito Econômico do Centro Robert Schuman de Estudos Avançados do Instituto Universitário Europeu em Florença, na Itália. O Prof. Hans Micklitz é um dos pioneiros da proteção ao consumidor, editor do Journal of Consumer Policy e publica constantemente sobre os impactos internos da regulamentação europeia no Direito Privado mundial. Seus trabalhos sobre Direito Internacional, Direito da Computação, Teoria Legal e principalmente sobre Proteção do Consumidor e suas vulnerabilidades são utilizados por todos nós. Estamos ávidos para escutar o Prof. Dr. Hans Micklitz. O SR. HANS WOLFGANG MICKLITZ (Por videoconferência. Tradução simultânea.) - Muito obrigado. Obrigado por essa oportunidade de compartilhar isso com vocês. Eu vou agradecer a todos os palestrantes anteriores que falaram sobre a União Europeia e todas as recomendações que foram apresentadas. No entanto, o meu foco vai ser em outro aspecto. O interessante é que o Brasil está de um lado e a União Europeia do outro. Na União Europeia, a lei do consumidor é muito baseada no mercado e na ideia de que o consumidor é responsável pelo desenvolvimento econômico. Mas a tradição no Brasil é diferente. Quando o Brasil introduziu a lei do consumidor, tinha um grande background constitucional da lei, de modo que a lei do consumidor no Brasil alcança muito mais a sociedade, regulamentando não apenas a economia digital, mas o que vocês querem fazer e almejam fazer; ela é responsável, de certa forma, por construir a sociedade digital para as próximas décadas. Acho que a lei do consumidor nessa perspectiva é importante porque um dos grandes erros, como já foi apontado anteriormente, um dos grandes defeitos que dizem que há em todos os grandes projetos de IA, principalmente, é a falta da perspectiva do consumidor, que simplesmente não está lá. É muito estranho em face de que, eu não sei no Brasil, mas na União Europeia, muito mais do que 50% da renda do povo vem do consumo. Então, como que eles podem esquecer isso? No final, o consumo privado é o que realmente é importante na nossa sociedade de consumo.
12:32 R	Eu não sei por que eu estou tecnicamente incapaz de compartilhar minha tela?! Eu tenho um PowerPoint, mas eu não sei... De outra forma, eu apenas falo com vocês. Mas o que eu gostaria de fazer é, digamos, lhes dar um estado da arte com relação à proteção do consumidor e às regulamentações de IA e discutir e apresentar, em particular, o projeto da Comissão Europeia indo para uma perspectiva mais acadêmica. Deixem-me começar pelo ponto onde nos encontramos hoje. Como eu disse, por favor, não se esqueçam: a abordagem da União Europeia agora simplesmente não tem tido a dimensão do consumidor na mesa. A lógica por trás é que tem mudado ao longo do anos, mas o pouco existente nas leis de consumo é suficiente para lidar com todos os problemas - GDPR é suficiente para lidar com isso. Então, eu vou falar sobre a regulamentação nos estados da União Europeia e, aí, sobre as leis também, que têm um escopo extremamente amplo de aplicação e cobrem, digamos, a nova e a antiga economia. Tendo isso claro, em termos técnicos também, cobrem políticas de melhores preços. As políticas de dezembro de 2019 sobre o atual regime das coisas que podem ser reguladas é, como eu falei... É o que os aplicadores da lei estão fazendo. A estrutura, na verdade, a prática... Quer dizer, eles têm uma lista negra das práticas, coisas que são sempre proibidas, e têm a prática agressiva, ou seja, aqueles que exercem uma influência indevida - e há uma definição do que é influência indevida. E aí tem a outra, que é a classificação básica de leis do consumidor, o que está na parte inferior. Essas leis se distinguem entre dois grupos de consumidores: um é o consumidor em geral; e o segundo é... Ah, eu acho que a Indra já explicou o que é o consumidor de IA. Ah, obrigado! O.k., podemos passar agora. O consumidor da União Europeia... Digamos, alguém que tenha algum problema mental ou físico nesse caso, o consumidor mais jovem ou mais velho: de modo geral o critério é credibilidade. Até agora essa distinção não tem importado, que é onde nós nos encontramos.
12:36 R	É importante para nós, também no ato da inteligência artificial e da proposta que nós vimos e conversamos, esse conceito estreito de responsabilidade. Falando de modo legal, não é algo que pode ser ampliado. É muito difícil. Geralmente esse conceito de consumidor... Então, o que eu vou fazer agora é falar um pouco sobre essa, digamos, magna... O que importa aqui é o serviço digital, o ato do serviço digital, que está substituindo as diretivas sobre o e-commerce, que é do ano 2000. Não era bem definido, ele definiu por 20 anos a estrutura legal na qual todas as empresas operavam, como a internet funcionava e todas as práticas comerciais, propaganda, cookies, como a propaganda era personalizada. Tudo isso estava sob a diretiva do e-commerce. E isso, na verdade, era bem avançado. Houve um acordo político entre as diferentes instituições europeias e foi adotado provavelmente antes ou depois do verão, e o lobby sobre esse ato é que houve duas regras apresentadas. Por favor, não levem isso muito a sério, isso é tudo preliminar, então não espalhem. Digamos, é só uma reforma, não é um palavreado final. Mas o importante aqui é que, nesse art. 23-A, nós temos uma regra que diz que as plataformas não devem organizar ou operar suas interfaces online de maneira que enganem, manipulem ou, de outra forma material, incapacitem a habilidade dos seus recipientes do serviço. De modo que esse é um parágrafo-chave e bem problemático também, porque diz claramente como esse parágrafo foi introduzido nas negociações, que diz, que dá a diretiva do e-commerce como uma olhada inicial e aplicação, conquanto certas práticas não sejam cobertas pelo e-commerce, e não foram então vistas sob o regulamento de proteção da União Europeia, de modo que ele é muito limitado em importância. Até certo ponto, vamos ver como podemos emendar essa escrita, mas é algo positivo que deve ser colocado em circulação, apesar de precisar de uma emenda.
12:40 R	Posso ver o próximo eslaide? Novamente, na diretiva sobre o e-commerce já discutimos várias formas. Aqui fala que não há limitação, não há esclarecimento, de modo que a regra introduzida não seria aplicável se a mesma estratégia fosse usada sobre uma regulamentação de proteção de dados. Eu estou estressando esse ponto, porque... Não posso estressá-lo o suficiente. É muito importante que o Brasil tenha uma abordagem holística em todas as peças que se sobrepassam e em consideração para que, nesse processo onde uma coisa sobrepassa a outra, não se perca nessas regulamentações. Então, vamos ver o que a União Europeia tem em mente no próximo eslaide. Eu já mencionei sobre a inteligência artificial e o futuro do ato da inteligência artificial, o que foi excluído é totalmente não claro. Há 4 mil comandos e recomendações para emendas em discussões - 4 mil. Não é de forma alguma claro. Qual será a próxima versão ou a versão revisada? É um debate político e uma batalha entre as diferentes instituições europeias. E há também uma grande resistência sobre essa abordagem holística e uma séria discussão se não seria melhor focarmos em práticas particularmente de risco do que focar em IA como um todo, porque não há uma certeza com relação ao que a IA realmente é. O que está pendente e que eu acho que é crucial, não apenas na perspectiva das leis, mas também da sociedade, é se deveria haver regras em particular, como, por exemplo, quem é responsável no caso de um acidente. Aqui no Parlamento europeu, pelo menos, há um grupo de trabalho que elaborou propostas, mas até agora ainda não há uma proposta da Comissão Europeia. E eu me lembro de que já foi falado antes. A União Europeia tem o monopólio de trazer uma proposta, de modo que estamos esperando uma iniciativa para que não seja exatamente o que parece. Próximo eslaide. Sobre as diferentes atividades, foi um grande sucesso para organizações de consumidores, ainda mais para os advogados de consumo. A Comissão Europeia decidiu fazer um aditivo, ou seja, o que ficou de fora nos últimos dez anos foi apresentado e agora está sobre a mesa. É apenas uma pergunta: se o conjunto de leis do consumidor, as práticas, os direitos e as informações sobre esses direitos devem ser emendados.
12:44 R	Mas há dois problemas enormes: as regulamentações de proteção de dados, que não estão integradas, e eu concordo com Indra Spiecker, que insistiu na aplicação da lei humana, que não está especificamente, porque tudo depende da aplicação de lei. E o processo está totalmente aberto e em discussão, e haverá uma consulta pública. E por último, mas não menos importante, depois dessa consulta, a Comissão Europeia deverá decidir a proposta para a emenda a essa lei do consumidor, com a diretiva feita sobre os direitos humanos, ou seja, está aberto. O simples fato de a União Europeia ter iniciado isso não significa necessariamente que haverá uma nova lei do consumidor. Significa que o Brasil ainda tem a chance de ser o primeiro ator aqui no campo. Então vamos falar um pouco sobre a discussão acadêmica que tivemos e talvez o próximo eslaide agora. Esse é um estudo que foi iniciado pela organização de ajuda ao consumidor e foi financiada externamente por uma fundação. Há várias pessoas trabalhando nele. Eu sou um dos autores. E tem aqui as duas referências. No primeiro, estávamos discutindo o conceito de responsabilidade digital, que eu vou explicar em alguns minutos, e o segundo é discutir as lacunas regulatórias. E eu vou falar um pouco sobre as propostas, que, de certa forma, já foram um pouco discutidas. Agora deixem-me focar na vulnerabilidade digital. Esse é o estudo a que eu estava me referindo no eslaide anterior, feito não apenas por advogados, mas um filósofo legal e também alguém de comunicações e um especialista na lei de proteção de dados digitais. E nós discutimos, e foi a nossa pergunta e também a nossa conclusão, o que significa vulnerabilidade digital. Eu tento aqui dizer pela perspectiva de cabeça para baixo, que tudo é a vulnerabilidade digital. Então vulnerabilidade é um conceito abrangente e amplo, ainda mais num ambiente digital, no qual somos confrontados e não devemos minimizar.
12:48 R	Deixe-me falar de alguns que... Pense no consentimento, todos pedem para consentir, mas, quando consentimos, nós não devemos deixar de olhar para as consequências. Mas apenas uma grande minoria de pessoas, apenas 5%, aqueles que pertencem à tecnologia da informação, realmente se encontram na posição de avaliar ou de ter uma ideia sobre o que eles estão consentindo. Noventa e cinco por cento de nós, até os advogados do consumidor - como a Claudia, que não está aqui -, não estamos analisando o que devemos consentir ou não. Não somos cientistas de computação ou pessoas que trabalham nesse campo. Mesmo que contemos com eles, não conseguimos entender. Então, esse é o primeiro estudo. A principal mensagem é a que vamos, realmente, rediscutir a vulnerabilidade porque é algo que não apenas está afetando o velho, o novo. Não, é universal. É isso que faz da digitalização da sociedade algo tão particular e que requer um novo passo em direção à regularização da nossa sociedade. Agora, vamos olhar as consequências. Nós traduzimos a proposta. Não é usar a vulnerabilidade, mas, sim, uma terminologia diferente. Por quê? Porque a palavra vulnerabilidade é muito bem conhecida e tem um significado particular, mas a assimetria digital não tem. Esse é um conceito, portanto, que nós propomos. Colocamos, aqui, a dimensão estrutural. Não é uma deficiência individual ou uma lacuna educacional que faz com que não compreendamos a tecnologia com que lidamos, mas sim um elemento estrutural, é inserido na própria tecnologia. O segundo é algo relacional. O que significa? Usamos o Google por mais de 20 anos, mas isso é outro fenômeno do contrato relacional que temos com o Google, com o Amazon ou o que seja? É mais ou menos um compromisso de vida. A não ser que eles venham à falência ou sejam comprados por outra pessoa. Isso significa que os grandes atores como Amazon, Facebook, Apple, eles nos conhecem por muitos anos. Eles têm dados sobre nós que eu resumiria como o nosso ego ulterior, que existe lá na internet. Cada um de nós tem. Infelizmente, nós não sabemos o que eles sabem sobre nós, mas eles sabem muito. E isso seria a assimetria digital.
12:52 R	Nós incluímos isso porque nós temos que ser realistas, visto que apenas 5% entendem. Nós, como advogados, deveríamos, digamos, ser realistas, e é por isso que incluímos aqui a assimetria digital. E, no último eslaide aqui, eu proponho... Está um pouco pequeno para mim. É, mais que tudo, uma tradução da proposta da ação. Tem todos esses canais dentro do debate político. Na verdade, há uma assimetria digital, e essa informação e a relação devem ser o foco. A ideia é que estamos numa posição quer de cidadãos, quer de consumidores e devemos saber como lidar com essa assimetria digital. E nós, deliberadamente, integramos... É o reverso do ônus probatório, porque trabalha como uma estratégia para manipulação. Na verdade, é o oposto: aqueles que estão usando a tecnologia devem mostrar que não estão manipulando ou exercendo uma influência indevida sobre o consumidor. Eu acho que nós, como advogados, sabemos que o ônus probatório é algo difícil. E eu gostaria de iniciar aqui um debate sobre essa proposta e sobre como nós podemos compartilhar esse ônus probatório, porque é algo que ninguém consegue implementar se não fizermos isso. Muito obrigado pelo seu tempo. Eu lhes desejo boa sorte no seu projeto. Eu, realmente, espero que o Brasil seja o primeiro a se mover nessa direção e esteja lá na ponta. A SRA. CLARA IGLESIAS KELLER (Por videoconferência.) - Muito obrigada, Prof. Hans Micklitz, pela sua oportunidade. Eu, agora, passarei a palavra para o Ministro Ricardo. Muito obrigada. O SR. PRESIDENTE (Ricardo Villas Bôas Cueva) - Muito obrigado. Eu agradeço aos palestrantes pelas valiosas contribuições ao nosso debate, pela generosidade e pelos insights tão oportunos aqui para a nossa conjuntura brasileira. Eu, então, suspendo, por hora, os nossos trabalhos e voltaremos às duas da tarde, às 14h, para o painel de número três. Muito obrigado a todos. (Suspensa às 12 horas e 55 minutos, a reunião é reaberta às 14 horas.)
14:00 R	O SR. JULIANO SOUZA DE ALBUQUERQUE MARANHÃO - Boa tarde a todos. Declaro reaberta a 7ª reunião da Comissão do Senado para discussão do projeto de lei de inteligência artificial. Vamos dar início aos trabalhos do terceiro painel, sobre transparência e devido processo nas decisões automatizadas. É um tema central para as nossas reflexões, considerando que a transparência é um veículo para a autonomia tanto daqueles que usam o sistema quanto daqueles que são afetados por suas decisões e que podem, então, por meio de informações sobre o seu funcionamento, contestá-las. A transparência também é um veículo importante para enfrentar o problema da opacidade dos sistemas de inteligência artificial no sentido de trazer elementos para prevenir e proteger a privacidade individual, para mitigar vieses e para proteger os usuários e também os afetados com relação a outros direitos fundamentais. Portanto, é um elemento central naquilo que é chamado de "devido processo de decisão algorítmica". Nós temos a honra de contar com ilustres palestrantes e debatedores para este painel. Como debatedoras, estarão a Mariana Valente e a Estela Aranha, que são membras aqui da Comissão do Senado. Nós ouviremos: Bojana Bellamy, do Centre for Information Policy Leadership; Nanjira Sambuli, da Digital Impact Alliance; Anupam Chander, da Georgetown University; Carly Kind, da Ada Lovelace Institute; e Marc Rotenberg, Presidente e fundador do Center for AI and Digital Policy. Sem mais delongas, tendo em vista que o tempo é estreito, eu já passo a palavra para Mariana Valente para introduzir o primeiro palestrante. A SRA. MARIANA GIORGETTI VALENTE (Por videoconferência.) - Muito obrigada, Juliano Maranhão, pela introdução ao painel. Eu também queria agradecer a todas e a todos os presentes e dar início, imediatamente, a este painel, que vai trabalhar temas que compõem um dos grandes pilares do que vai ser a discussão desta Comissão, então, transparência, discriminação algorítmica, devido processo. Eu vou, imediatamente, também, sem mais delongas, passar a palavra para a Bojana Bellamy, Presidente do Centre for Information Policy Leadership, que é um think tank com sede em Londres, Bruxelas e Washington. Antes de ingressar na CIPL, a Bojana atuou, por 12 anos, como Diretora Global de Privacidade de Dados na Accenture e, por oito anos, como consultora do setor público e privado, no Reino Unido e fora. Ela também faz parte de conselhos consultivos e do setor, como o Conselho Consultivo da Internet Commission, o Grupo de Especialistas em Diretrizes da Privacidade da OCDE e o Conselho Consultivo de Proteção de Dados da Thomson Reuters. Ela também foi, recentemente, selecionada como membra do International Data Transfers Expert Council e da Global Privacy Assembly Reference Panel, no Reino Unido. Bojana, passo a palavra a você, já agradecendo muito ter aceitado trazer suas contribuições para este seminário. Muito obrigada.
14:04 R	A SRA. BOJANA BELLAMY (Por videoconferência. Tradução simultânea.) - Muito obrigada, Mariana. Perdoe-me. A tradução demora um pouquinho. Então, eu tive que esperar. É ótimo estar aqui com vocês virtualmente. Espero que tenhamos a chance de seguir com essa conversação tão importante, ao vivo inclusive. Também gostaria de visitar o Brasil e tive o prazer, quando fui, de atuar junto com legisladores e colegas no Brasil, brasileiros que faziam uso da lei, aplicadores da lei e pessoas. Um tópico hoje que eu vou falar sobre como regulamos a IA, e uma das práticas, na verdade, é bem importante. Na verdade, a tendência da tecnologia, o que eles dizem para nós é que, na próxima década, nós vamos passar por mais progressos do que nos últimos cem anos e não ficaremos surpresos de saber que uma das maiores tendências da tecnologia das quais ele falam é a inteligência artificial aplicada. É importante essa adoção da IA e de outras tecnologias, mas, ao mesmo tempo, que elas respeitem direitos fundamentais. Então, vou lhes falar como garantir os benefícios da IA. E esses campos que adotam a inteligência artificial vão estar à frente dos outros? Essa é a grande pergunta. Temos visto bastantes trabalhos nos últimos anos sobre a regulamentação da tecnologia, e eu gostaria de compartilhar com vocês alguns dos aprendizados que tivemos durante o nosso trabalho da RGPD, e eu gostaria de compartilhar alguns ensaios sobre isso. A primeira coisa que eu gostaria de dizer é que é importante entendermos que toda a tecnologia está em algumas tensões inerentes com relação a como elas são operadas e as regulamentações relacionadas. É importante que cada país entenda essas tensões inerentes. O que eu quero dizer com isso? No nosso clipping, identificamos uma série delas. A primeira, por exemplo, a tensão entre requerimentos de imunização de dados e o fato de que inteligência artificial significa enormes quantidades de dados para garantir precisão. Como podemos fazer esses requisitos? Precisamos fazer algum... É dar e trocar. A maneira de não se ter esse viés é que nós temos que avaliar com dados sensíveis. E como se pode fazer isso? Não funciona. Temos que entender essas tensões e resolvê-las. É através da lei ou através da aplicação ou do entendimento da lei.
14:08 R	E tenho o prazer de falar que, aqui no Reino Unido, no Governo, nós temos isso também. No Brasil, temos o princípio de não discriminação e, para isso, temos que verificar dados de pesquisas delicados. Então, nós entendemos que isso seria compliance com os regulamentos legais. Segundo, é importante não duplicarmos leis. No Brasil, temos a LGPD, e a LGPD regula a utilização de dados na tomada de decisão final. Isto é algo importante de se saber: o todo da LGPD é neutro à tecnologia. Então, todas essas regras já são aplicadas com relação aos princípios de privacidade, transferência de dados, responsabilidade e especificamente - obviamente - o art. 20 aborda as regras de tomada de decisão final para com indivíduos e direitos específicos para a solicitação da revisão de uma decisão relacionada a processos automatizados. As empresas precisam oferecer critérios e explicações sobre como essas decisões são tomadas. Isso é algo similar ao requisito de processo de tomada de decisão final da GDPR. Na minha opinião, mais uma vez, houve uma melhor articulação, e isso possibilita aos indivíduos contestar uma decisão, compreender por que essa decisão foi tomada e, potencialmente, requerer intervenção humana. Para mim, isso é a que uma inteligência artificial humanocêntrica diz respeito. O ponto importante aqui é que, ao esclarecer essas novas regras sobre IA, não devemos duplicar aquilo que já temos na RGPD, mas, acima disso, aproveitemos essas melhores práticas para começar a desenvolver, como resultado da RGPD. Por exemplo, nós vimos que muitas empresas que têm desenvolvido proteção de dados e avaliação utilizam as mesmas metodologias para conduzir a avaliação de IA. Então, deveríamos agora nos perguntar sobre novas avaliações, mas devemos nos certificar de que haja resultado a partir dos riscos e benefícios da inteligência artificial com base naquilo que já temos, com base nas melhores práticas. Certamente, muitas ferramentas e melhores práticas da RGPD podem ser utilizadas também para entregar uma inteligência artificial responsável. Gostaria de compartilhar ainda alguns comentários sobre aquilo que acredito que também seja uma boa abordagem sobre a forma como concebemos a inteligência artificial. É importante que não regulemos a tecnologia e, sim, o seu impacto, certo? Assim, sugeriria um regime que seja à prova do futuro e que possa se desenvolver junto com essa tecnologia e com suas melhores práticas e suas mudanças. Isso é incrivelmente importante, e, em última instância, devemos pensar sobre o que é que estamos tentando atingir aqui. O que estamos tentando assegurar enquanto direitos e benefícios entregues através da inteligência artificial? Algo que advenha de regras humanocêntricas.
14:12 R	Antes de começarmos a regulamentação, devemos nos perguntar como isso ajuda os indivíduos, a sociedade ou será que isso apenas cria ônus? É importante que não sobrecarreguemos essa nova incumbência, que essas empresas e negócios sejam incumbidos de tantas responsabilidades que tenham que pensar duas vezes na utilização de uma inteligência artificial. As nuvens de dados se tornaram ingredientes necessários no êxito de qualquer empresa, e isso é importante compreender. E o segundo ponto: precisamos de uma abordagem com base em riscos para a regulamentação de inteligência artificial. Há três pontos. Um: a regra deve ser clara. Não se pode regulamentar todo tipo de inteligência artificial da mesma forma. Há decisões por IA que exercem impacto significativo, um efeito jurídico sobre as pessoas, e é isso que queremos levar em consideração, não quaisquer decisões tomadas por machine learning. Se tivermos que confiar naquilo que Mackenzie falou, toda empresa será sobrecarregada. Então, é importante considerar o risco, uma abordagem baseada em risco com base em regras, mas é preciso compreender o que estaremos perdendo se não empregarmos a inteligência artificial, quais são seus benefícios. Então, é uma forma de balancear, essa é abordagem. O segundo ponto é como se certificar de que as regras também sejam implementadas com base em riscos. Então, assim, as empresas precisam priorizar e implementar as abordagens com base em riscos, e a supervisão também deve ser baseada em riscos. Isso é importante também. Se não tivermos em mente isso, não haverá forma de aplicar essas regras a uma abordagem baseada em risco. Isso nos leva àquilo que eu chamo de abordagem de camadas da cebola. Um, temos o centro, é um princípio voltado para resultados, não deve ser tomado pela base mais atualizada de tecnologia IA; uma responsabilidade organizacional uma corregulamentação e padrões que implementem essas regras. Essa é a única forma através da qual asseguraremos que tenhamos uma neutralidade tecnológica com relação à regulamentação das inteligências artificiais. É incrivelmente importante que incentivemos a responsabilidade e as melhores práticas. Temos visto muitas boas práticas sendo desenvolvidas, não só em mercados, como pelos engenheiros, e, de fato, temos solicitado uma base na regulamentação de IAs que incentive as organizações a implementarem medidas de modo a entregar uma inteligência artificial responsável. Como eles irão proceder depende deles. Depende muito da mudança, que é contínua, e ela será implementada a partir das empresas, da indústria. Esses resultados devem ser considerados. Deve haver resultados com relação à governança, à parte da organização. E como fornecer treinamento e conscientização na elaboração de produtos e serviços relacionados a IA? Comitês internos ou externos até que entreguem supervisão adicional.
14:16 R	Qual é o nível de privacidade que pode ser implementado de modo a garantir uma IA responsável? É isso que eu quero dizer quando eu falo de accountability, responsabilidade. Assim como um programa responsável de modo a assegurar que as organizações e o setor público - estou falando de ambos, pois ambos estarão utilizando IA - devam entregar uma prática responsável de IA e devam demonstrá-la através de certificações ou condutas, etc. E, por fim, eu falei sobre um regulador smart, pois isso também será importante, de modo a garantir desde a perspectiva regulatória... E essa regulamentação deve ser baseada em risco, obviamente, utilizando ferramentas inovadoras. Eu sou muito a favor... Muito se tem falado a respeito de uma sandbox, uma caixa de areia IA. Vimos isso ser adotado no Reino Unido, na Noruega e na França, e eu sei que o Brasil tem uma sandbox pioneira. Dessa forma, podemos estender novas sandboxes, de modo a possibilitar aquilo que eu chamo de experimentação responsável e inovação responsável, com um feedback loop para reguladores. E existem outras ferramentas inovadoras também, como prototipação de políticas e experimentação responsável. É algo muito importante que o regulador possibilite, especificamente acerca da IA, pois, como disse anteriormente, a tecnologia e as melhoras práticas seguem mudando tanto que fica muito difícil captar isso através da regulamentação, das leis. Existem muitas áreas cinzentas, e a única forma de discutirmos essas áreas cinzentas sobre a melhor forma de aplicação de uma IA... Eu gostaria de dizer a vocês que, no Reino Unido, a Comissão de Informações acabou de concluir o sandbox regulatório com relação a essas tecnologias e, como resultado dessa sandbox, primeiro, temos um melhor produto no mercado e, segundo, isso ajuda a regulamentar e formular uma melhor compreensão. Isso, de fato, muda as políticas e as orientações que se aplicam a todos. Assim, essa é, de fato, a forma que queremos que essa ferramenta regulatória do sistema funcione, não as regras antigas sobre comando e controle, mas algo colaborativo e construtivo. Meu último ponto, que será muito importante, é garantir que qualquer regulador... E eu acho que haverá um papel muito importante, pois muitas esferas oficiais estarão utilizando dados pessoais e serão salvaguardadas pela RGPD. Porém, é preciso cooperar com os reguladores de competição, os reguladores de consumo, os regulamentadores financeiros, os reguladores setoriais - talvez da parte energética ou de saúde e segurança -, e essa colaboração será vital, de modo a assegurar uma supervisão adequada sobre IAs. Eu não acredito que precisemos de outra regulamentação específica para IAs, mas, de fato, em vez disso, precisamos possibilitar a RGPD, de modo que se torne uma regulamentação mais ampla e colaborativa, de modo que colabore com todas as outras ferramentas. E, mais uma vez, um exemplo do Reino Unido: a cooperação regulatória é um bom exemplo de como isso deve ser. Eu devo concluir aqui. Mais uma vez, muito obrigada por me convidarem. Estou ansiosa para ouvir o resto do painel e participar da conversa. A SRA. ESTELA ARANHA (Por videoconferência.) - Muito obrigada, Bojana.
14:20 R	Rapidamente, nessa fala, tratamos da centralidade do ser humano na regulação da inteligência artificial, da importância da regulação sociotécnica, de regular os efeitos e não a tecnologia em si; também da importância de essa regulação ser baseada em riscos, em avaliação de riscos e os diferentes níveis de riscos terem diferentes requisitos; também falamos sobre as tensões entre outras legislações, em especial quanto à lei de proteção de dados, quanto à data minimization, a diminuição do uso de dados, que é requisito da produção de dados, que eventualmente, no machine learning deve ser revista; também a Profa. Bojana falou sobre incentivos de melhores práticas, accountability, criação de sandbox regulatórios para ajudar inclusive a melhorar a própria regulação e, finalmente, sobre a relação entre outros órgãos de regulação e uma eventual regulação de inteligência artificial. Agradeço à Profa. Bojana e apresento o Prof. Anupam Chander, nosso próximo convidado, que é da Georgetown University. O Prof. Chander é Professor de Direito e Tecnologia na Georgetown Law, formado pela Harvard College e pela Yale Law. Ele é autor de The Electronic Silk Road, que é publicado pela Yale University Press, exerceu advocacia em Nova York, Hong Kong e também foi professor visitante de direito de Yale, Chicago, Stanford, Cornell e Tsinghua, na China. Ele é também vencedor de prêmios como o Google Research Awards e Andrew Mellon grant. Foi consultor do Banco Mundial, do Fórum Econômico Mundial e da Unctad. É membro não residente da Yale’s Information Society Project e da Center for Democracy and Technology. Também é membro do American Law Institute. Seja bem-vindo, Prof. Chander, novamente conosco. É um prazer revê-lo. O SR. ANUPAM CHANDER (Por videoconferência. Tradução simultânea.) - É um prazer. Muito obrigado pelo convite. Eu amo o Brasil, eu amo Brasília, uma cidade tão linda. Lamento não poder estar presente. Muito obrigado. Gostei muito da sua apresentação, Bellamy. Bojana Bellamy trouxe dados muito importantes. Concomitante a tudo, acho que podemos parar no ponto que ela trouxe, mas deixe-me começar falando um pouco sobre questões com relação à transparência de uma perspectiva mais teórica, que é provavelmente o que me trouxe aqui, e suas consequências práticas também. Deixem-me compartilhar minha tela. O primeiro ponto a saber nesta página é que essa página foi produzida por inteligência artificial. É uma inteligência artificial da Microsoft incrivelmente boa. Eu acredito na inteligência artificial e a uso diariamente inclusive enquanto leciono, de modo a conseguir aprimorar meus pensamentos. O que farei é falar um pouco sobre essas questões e irei enquadrá-las na grande narrativa desse novo século, que pode bem ser uma expansão contínua da vantagem de poucos em um domínio sobre o outro. E eu acho que isso é algo em que devemos pensar muito a respeito quando pensamos sobre novas tecnologias. Quem receberá essas vantagens das novas tecnologias? Quem se beneficiará? Isso define boa parte do meu trabalho, em particular um artigo que eu devo publicar sobre os algoritmos, sobre the racist algorithm, o algoritmo racista.
14:24 R	Deixe-me iniciar parabenizando os Senadores brasileiros por tentar fomentar uma inteligência artificial consciente. Isso tem a ver com o problema que estou descrevendo e isso é algo que se reflete na forma como é estruturada, mas eu gostaria de ampliar esse escopo. Meu principal ponto tem a ver com a transparência. Ao observar um algoritmo de inteligência artificial, ele pode não explicar muita coisa e ele pode ser, de fato, um tanto equivocado. Assim, gostaria de focar meus principais pontos sobre isso. Deixe-me resetar o relógio aqui. O.k. Mesmo um algoritmo facialmente neutro pode trazer dados discriminatórios. O mesmo algoritmo pode diferenciar esses dados dependendo da forma como os dados são treinados. Então, a metáfora da caixa-preta pode ser equivocada. O problema não é que o algoritmo seja uma caixa-preta, podemos olhar dentro dele e ver como funciona. O problema é ao observarmos o que essa caixa-preta faz, quais são seus resultados, quais são seus inputs e quais são seus outputs, seus resultados. Acho que essa é a característica mais importante do algoritmo. Isto é, se soubermos o resultado de um algoritmo como algo sistematicamente discriminatório, então sabemos o suficiente para tentar redesenhar esse algoritmo ou simplesmente para nos desfazermos dele. A distinção que eu gostaria de delinear tem a ver com a legislação norte-americana, que demonstra um tratamento desesperado e um impacto disparatado. Isso quer dizer que não precisamos demonstrar o intento de que estivemos maltratando as pessoas, mas que esse foi o impacto. Assim, essa é a questão principal aqui. Ao utilizarmos algoritmos para substituir a tomada de decisão por parte de humanos e ao fazê-lo de tal forma que exerce um impacto negativo sobre as pessoas, o problema não é se o algoritmo em si aparenta neutralidade total ou não. Assim, argumentaria que seria interessante auditar os modelos, de modo a testá-los, e isso demanda a habilidade de pesquisadores externos para acessar o algoritmo. E isso pode demandar regulamentadores do governo que desafiem esse algoritmo de modo a compreendê-lo e como isso trabalha com grandes populações. Uma das minhas preocupações, talvez de um modo geral nessa área, é que existe uma grande pressão no mercado da parte de empresas de IA para assegurarem que sua IA faz mais bem do que de fato entrega. Nos Estados Unidos, acho que não temos feito um bom trabalho na regulamentação de inteligências artificiais utilizadas por veículos automotivos.
14:28 R	E assim, como podemos ver hoje, as autoridades rodoviárias estão expandindo seu teste a partir de Teslas, e eu acho que isso tem defasado a atuação dos legisladores nesse jogo. A Tesla disse que a sua inteligência artificial é mais segura do que os seres humanos. Então, aí acho que precisamos ser cuidadosos com relação a isso e os reguladores devem ser cuidadosos também com a importância de acertar nesses pontos. Temos visto essa inteligência artificial sendo usada nas ruas. A IBM possui um algoritmo que diz que distinguirá refugiados de terroristas, o que parece francamente inacreditável para mim. E varejistas podem buscar clientes através do uso de inteligência artificial nos ambientes do dia a dia. Isso é algo significativo. Sabemos quão impactante é a influência nas vidas das pessoas. Como eu disse, eu comecei dizendo que utilizei uma inteligência artificial para esta apresentação. Por exemplo, busca nas notícias. Recebemos tudo que diz respeito ao nosso interesse, e isso é filtrado por uma inteligência artificial que compreende minhas preferências a partir do computador. Isso, por exemplo, pode ser de grande valia. Mas o meu ponto geral é que precisamos conceber algoritmos que sejam eximidos do legado da discriminação. Essa discriminação será incluída, se não for trabalhado devidamente, nos dados do mundo real que a inteligência artificial acessará. Assim, uma vez que saibamos os fatores do mundo real, como ele funciona e como é operado, e percebamos que isso está impregnado de discriminação, caso alguém tenha um problema, esse problema precisa ser sofisticadamente abordado. Não basta somente a transparência. É preciso ter muito mais partes envolvidas para lidar com as dificuldades. A transparência é a parte fácil; a parte mais difícil é fazer com que esses algoritmos produzam resultados justos. Além disso, o próprio algoritmo poderia potencialmente ser percebido como algo mais neutro do que os tomadores de decisão humanos. E isto é uma das preocupações nesse contexto: seria mais fácil dizer que se um computador não se preocupa se eu sou preto ou branco, então o computador não se preocupa qual é o meu gênero, o computador não tem quaisquer preferências. Assim fica mais fácil dizer que o algoritmo, o computador é objetivo e é claramente melhor nessas formas de mensurar a tomada de decisão humana. Todos sabemos que há testes de associação implícita, por exemplo, testes de viés, que mostram que todos nós temos diversos vieses.
14:32 R	Geralmente, os engenheiros trazem resultados de que a inteligência artificial será objetiva, não discriminatória, porque eles não escreveram a discriminação no código, eles não decodificaram dessa forma. Mas, obviamente, um engenheiro mais sofisticado vai saber que o algoritmo irá aprender a partir dos dados com os quais é treinado. Demanda muita supervisão e previsão para ser cuidadoso no treinamento dessas inteligências artificiais. Agora, a Bojana Bellamy trouxe-me outro ponto crítico: a questão dos dados sensíveis, talvez proibidos, para serem utilizados pelos alvos da legislação. Isto é, para ser capaz de demonstrar e ser confiante de que seu algoritmo não seja discriminatório, de fato, é preciso dos dados sobre gênero, raça ou quaisquer outros critérios que possam preocupar as pessoas de modo a confirmar que não é um algoritmo discriminatório. Isso é algo um tanto quanto intuitivo para muitos de nós, porque para que o algoritmo, a inteligência artificial, não seja enviesado é importante, em algum momento no processo, que aprendamos todas as informações com relação a dados sensíveis, de modo que possamos testar, certificando-nos de que nossos resultados não sejam enviesados. O viés é algo que faz parte da tomada de decisão humana. Então, obviamente, isso impõe um difícil padrão. Acho que é um desafio deveras complicado. Uma das tarefas que este painel aborda é sobre o processo, o que abordarei agora. O devido processo é necessário na tomada de decisão governamental para os benefícios de bem-estar, para determinado o risco das atividades criminosas, determinar a elegibilidade, o regime de prisão, pais adotivos, por exemplo. Todos esses tipos de decisões, hoje em dia, envolvem sistemas de inteligência artificial. Devemos ser muito cuidadosos com esse sistema de inteligência artificial, já que eles não podem ser completamente examinados, não foram completamente testados com grandes parcelas da população e seus dados, de modo que possamos estar confiantes de que eles não estejam produzindo resultados injustos. Aqui, gostaria de apontar que essa referência com relação à injustiça - foi feita diversas vezes - é um desafio muito difícil. Em nosso próprio mundo, na era pré-inteligência artificial, nós tínhamos definido o que significava justiça? O Brasil introduziu, nas últimas décadas, uma ação afirmativa no ensino superior de modo a assegurar algum nível de justiça e equidade na oportunidade de ensino superior, de uma forma afirmativa inclusive.
14:36 R	O problema nesse contexto é que as métricas para injustiça, para iniquidade são muito difíceis de se estabelecer. O contexto no qual as questões surgem é brutalmente grande. Em termos de ação afirmativa, acho que é importante para as empresas, as próprias empresas se engajarem em ações afirmativas, de modo a se certificarem de que seus algoritmos não sejam enviesados com relação a gênero, raça ou quaisquer outros critérios. Assim, esse será um desafio complicado para as empresas, mas acredito que é item de primeira ordem na lista de prioridades. Agora, com relação aos meus comentários finais. O projeto de lei, de fato, encoraja as agências governamentais a abraçarem a inteligência artificial e seus sistemas? Não estou confiante de que nossos sistemas de inteligência artificial estejam prontos. Então, eu encorajaria uma forma de se mensurar a forma como esses sistemas serão abarcados. Gostaria de atrelar ainda algumas precauções na implementação junto a essas agências governamentais. Também acho que seja vital o auditamento desses sistemas, ou seja, precisamos ser capazes de checar a transparência nos inputs e outputs, de modo que pesquisadores possam ter acesso a esses sistemas de modo a testá-los. E isso não quer dizer que eles precisam saber exatamente como os sistemas funcionam. Eles irão testar apenas os dados desses sistemas para checar como eles respondem. Muito obrigado a todos. Estou muito feliz de participar e estou ansioso para ouvir meus outros colegas de painel. Estou à disposição para debates sobre esses temas. Muito obrigado. A SRA. MARIANA GIORGETTI VALENTE (Por videoconferência.) - Nós é que queremos agradecer pela sua fala, Prof. Chander. Particularmente, obrigada pelo interessante ponto que o senhor fez sobre irrelevância da intenção na produção de discriminação, sobre como transparência é importante mas não suficiente para a produção de resultados justos e, também, como você posicionou o problema da ideia da objetividade e da sua relação com o aprendizado de máquina, mas, particularmente, seu interessante posicionamento sobre a necessidade de abordar a questão da discriminação como uma questão de ação afirmativa foi muito, muito interessante. Obrigada, também, pelas contribuições específicas sobre o projeto de lei. Eu queria agora receber a Carly Kind. Carly Kind é Diretora do Ada Lovelace Institute, que é um instituto de pesquisa independente e também um órgão deliberativo que tem a missão de garantir que os dados e a inteligência artificial funcionem para as pessoas e para a sociedade. Ela é advogada de direitos humanos, trabalha com políticas de tecnologia. Já assessorou indústria, governo e organizações sem fins lucrativos sobre direitos digitais, privacidade e proteção de dados e responsabilidade corporativa na esfera da tecnologia e trabalhou com a Comissão Europeia, o Conselho da Europa, vários órgãos da ONU e uma série de organizações da sociedade civil. Ela foi anteriormente, também, diretora jurídica da Privacy International, que é uma organização dedicada a promover direitos e governança de dados.
14:40 R	Carly, passo a palavra a você, já agradecendo, de antemão, pela sua contribuição. A SRA. CARLY KIND (Por videoconferência. Tradução simultânea.) - Obrigada, Mariana, e obrigada a todos por me receberem aqui. Estou muito feliz pelo convite, pela oportunidade de falar com vocês. E parabéns por estarem na vanguarda desse novo aspecto da regulamentação, apesar de seus desafios no mundo real. Eu vou passar alguns lembretes antes de começar a minha apresentação, alguns pontos principais. Deem-me apenas um segundo para compartilhar a minha tela. Eu espero que vocês possam ver. O.k. Perfeito! Como a Mariana falou, eu sou uma advogada de direitos humanos e falo a partir do Ada Lovelace Institute, que é um instituto que busca problemas relacionados às inteligências artificiais, de modo a se certificar que elas trabalhem pelas pessoas e pela sociedade. Não somos pesquisadores acadêmicos; nós estamos voltados para a parte de elaboração de políticas. Então, conduzimos estudos junto com especialistas, em grupo, e trabalhamos com pessoas do público, de modo a produzir formas de mensurar a tecnologia adequadamente, seus aspectos e desafios regulatórios com relação às questões éticas e com relação à interseção tecnologia e sociedade. Nós temos trabalhado muito na regulamentação da inteligência artificial, e eu gostaria de agradecer, mais uma vez, a oportunidade de compartilhar alguns dos meus insights. Apresento a vocês alguns dos relatos e parte da pesquisa que temos feito, antes que eu aborde mais especificamente o viés de transparência e responsabilidade. Mas, antes de começar, eu fiquei muito feliz em ouvir os pontos dos meus colegas painelistas. Com alguns deles eu concordo, de alguns eu discordo, mas eu diria que têm uma perspectiva diferente. Bojana falou sobre a forma como devemos abordar a inteligência artificial, ao concebê-la como algo que não sobrecarregue as empresas na elaboração de inteligências artificiais. Eu acredito que o meu desafio aqui seria uma forma de pensar um tanto diferente com relação à sandbox. O que queremos que a represente na sociedade? Quais são os prós que ela pode trazer? E, a partir dessa perspectiva, creio que seja melhor, ao invés de sentir que é algo inevitável, em relação a que possamos somente reagir, acho que devemos nos lembrar de que temos agência no que tange a novas tecnologias, e podemos decidir sobre a forma como ela impacta a nossa sociedade. E eu acho que isso leva a uma questão para vocês, como legisladores, que é: Para que serve essa regulamentação? Por que utilizar a regulamentação afinal? Não é somente a forma de responder e confinar uma força imparável; tem a ver com uma perspectiva visionária de modo a criar uma infraestrutura sobre a qual a sociedade possa delinear a inovação de forma benéfica. Não acredito que seja o caso de que o ônus da prova compete a vocês para estabelecer a regulamentação necessária, e sim que o ônus da prova deve recair sobre aqueles que queiram empregar a inteligência artificial, pois existem boas práticas, existem abordagens responsáveis. E eu acho que essa é uma atenção que traz muito a ser debatido na seara da inteligência artificial.
14:44 R	Então, eu gostaria de falar sobre alguns pontos da nossa pesquisa, os quais serão revisados após este painel. O primeiro se chama Regular para Inovar. Foi um estudo baseado num painel interdisciplinar que foi feito no ano passado para explorar diferentes abordagens sobre a regulamentação de inteligência artificial. Esse relatório aborda especificamente o cenário do Reino Unido com a sua estratégia sobre inteligência artificial. Eu acho que são reflexões e recomendações interessantes que podem servir a vocês na sua abordagem legislativa. Nós perguntamos quais eram as metas dessa regulamentação sobre inteligência artificial, quais ferramentas seriam úteis. E nós oferecemos diversas opções com relação à regulamentação local, como ela deveria ser. Por exemplo, deveria haver uma regulamentação horizontal competitiva ou outras formas de abordagem; deveremos regulamentar um domínio único ou falar com os usuários com relação aos domínios e outros tipos de critérios ou perguntar quem deveria estar regulamentando, como deveria ser regulamentado e qual seria a forma de regulamentar a inteligência artificial em seu ciclo de vida. Esses são uns dos pontos que abrangem a nossa obrigação enquanto legisladores e reguladores nessa seara. A segunda parte do trabalho foi feita sobre a legislação com relação à inteligência artificial. Foram publicados dois relatórios com opiniões de especialista que identificam problemas centrais nos rascunhos existentes E esses devem ser instrutivos para vocês, já que estão elaborando sua própria minuta. Esta é a oportunidade que vocês têm. O fato de que a inteligência artificial não fala somente com os indivíduos, mas também com relação aos desenvolvedores e usuários de sistemas de inteligência artificial. A legislação sobre IA não aborda a inteligência artificial como um sistema, mas sim como um produto ou serviço e isso pode trazer dificuldades. Essa estrutura básica possui algumas limitações e não dá conta da avaliação de risco necessária. O ponto final seria que existe uma falta de conexão entre a lei e os Direitos Humanos Fundamentais, o que nos leva ao ponto em questão. Nós também publicamos People, risk and the unique requirements of AI. Trata-se de 18 recomendações para fortalecer a legislação sobre inteligência artificial na União Europeia e ele pode ser interessante para vocês. Por fim, o meu interesse seria observar o trabalho com relação à avaliação de impactos de algoritmos. Temos aqui métodos técnicos que os regulamentadores podem utilizar, de modo a inspecionar os sistemas de inteligência artificial. Isso tudo se particiona na forma de responsabilidade necessária para validar sistemas de inteligência artificial.
14:48 R	E a outra é que nós desenvolvemos um estudo de casos no sistema de saúde que pode servir como um modelo para quaisquer tipos de avaliações de impacto algoritmo que pode ocorrer em outros campos. Assim, gostaria de seguir para uma observação mais específica sobre como a regulamentação da inteligência artificial pode lidar com os desafios de transparência e todas as pesquisas mais recentes que têm sido feitas. Transparência. Obviamente, transparência possui um longo histórico e tradição no serviço anticorrupção e tem uma estrutura fixa na responsabilidade sobre inteligência artificial. Isso tem a ver com: qual é o objetivo da transparência? Como torná-la algo significativo e não um mero tokenism? A transparência tem sido utilizada para dar conta dos objetivos de um modo geral, e alguns insistem que a transparência signifique uma relatoria cooperativa. E, de forma mais específica, isso tem a ver com aquilo que falávamos sobre as publicações, sobre as questões relativas a códigos e sobre os sistemas integrados de inteligência artificial. Há também muitas pesquisas interessantes com relação a uma transparência significativa. Mike e Kate Crawford apontaram questões interessantes sobre a visibilidade e a compreensão. Então, apenas para compreender, já que a informação sobre inteligência artificial não é pública, isso não quer dizer que não possamos compreender essa informação ou ter a competência para interpretá-la e nivelá-la como um instrumento de responsabilidade. No entanto, as obrigações na regulamentação de inteligências artificiais deveriam criar visibilidade; do contrário, elas podem ser simplesmente um sistema obscurecido. Essa visibilidade pode ser provada por uma série de mecanismos, e nós já apontamos diversos mecanismos - cinco -, que, de fato, podem confirmar a visibilidade para sistemas de inteligência artificial no setor público, em particular. E temos aqui avaliações de impacto, aquisições e documentações padrões - open there e open source -, liberdade da informação e solicitações de acesso de sujeitos, uma abertura, uma disseminação de dados padronizados e o registro. Temos aqui avaliações de alto risco. E é importante manter como uma obrigação a utilização desses sistemas. E, com relação aos outros aspectos do sistema, são complementados e isso é informado sobre incisão com base em... É claro que há limitações, por exemplo, uma obrigação de manter a documentação relevante sobre o sistema não beneficia o público, porque essa documentação só é acessada por legislador, de modo que esse emprego mais compreensível seria mais impactado e algo que possa impactar o domínio público pelo qual já é responsabilizado.
14:52 R	Eu sei que falamos sobre regulamentações existentes, mas eu acho que a gestão de risco é algo que não considera totalmente todos os riscos da natureza da inteligência artificial. Eu também recomendo uma série de sistemas de inteligência artificial revistados, o que dá uma certa visibilidade ao sistema. Também há sistemas de alto risco. Essa definição de alto risco é crítica para nos ajudar a limitar ou saber quais que estão sendo ajustados ou não. Para um registro funcionar seria necessário muito trabalho para padronizar as informações e isso seria o mesmo que vocês precisariam fazer para fazer com que fosse transparente em nível nacional e densidade, por exemplo. Em Helsinque, Amsterdam e na França, eles fizeram isso e disseram que um sistema transparente requer diferentes dados estruturados de certas formas para que o documento possa ser utilizado e também considerar o sistema de dados usado, todas as pessoas relacionadas, de modo que é uma abordagem bem extensiva para lidar com esse sistema de inteligência artificial a ser empregado. [Desculpa é que eu não estou me mantendo aqui muito em dia.] Falando dos vieses, eu acho que é muito importante, e já falamos sobre isso, que apesar do sistema de algoritmo criar diferentes vieses, é importante que sejam mais do que apenas dados, podem ser incluídos no sistema, desde o desenho através das opiniões e experiências daqueles que o estão desenvolvendo, quer seja por opções técnicas ou interiores, ou conceitos históricos ou sociais no qual certas populações demográficas não são bem representadas, como pessoas de cor, por exemplo, não são bem representadas ou mal representadas por causa de tais preconceitos históricos. Por exemplo, no algorítimo de recrutamento da Amazon, eles preferem não priorizar as aplicantes femininas, por exemplo, porque tem esse histórico de não haver tantas mulheres na força de trabalho. E, claro, há outros vieses como, por exemplo, o reconhecimento facial, que é outra técnica amplamente usada. É importante entendermos que esses três pontos diferentes de viés existem e há coisas até tecnicamente impossíveis talvez. É algo necessário, mas não suficiente para ser usado dessa forma. Não pensamos em todos os preconceitos, vieses, liberalmente nas leis, mas, principalmente, no estabelecimento desses dados e possíveis vieses.
14:56 R	É claro que há a necessidade da identificação desses preconceitos, desses vieses. Eu acho que o brasileiro poderia fazer algo assim, então, qualquer lei que entre em termos de decisões de validação. Mas uma lei mais progressista inclui coisas como artigos expostos de maneira transparente para garantir que não haja esses preconceitos. E, brevemente, a minha recomendação: mesmo com todas as salvaguardas postas em vigor, há, na verdade, um remédio para as pessoas que são afetadas pela inteligência artificial. Apesar de não ser uma proteção total contra a discriminação, é quase algo significativo, e na inteligência artificial não é muito falado sobre isso. Por exemplo, o GTPR é algo que nos ajuda nisso. Então, qualquer regulamentação relacionada à IA, dentro da estrutura legal, deve ter essas informações para buscar qualquer tipo de viés que possa haver. E ela pode ser uma lei adotada aqui no Brasil e seria crucial. Eu vou parar por aqui. Muito obrigada, mais uma vez, pela oportunidade. A SRA. ESTELA ARANHA (Por videoconferência.) - Muito obrigada. Rapidamente, foi falado, a respeito dessa última palestra, em especial sobre os documentos, que são excelentes - nós devemos conhecer - da Ada Lovelace Institute, em especial a crítica à legislação europeia que está sendo construída e sobre as avaliações de impacto de algoritmos, em especial ao poder público e à saúde. Também foi falado em transparência, em especial, para evitar o tokenism ou se virar um token, que é a gente tratar isso de modo absolutamente superficial; e como deve ser esse debate para que ele não seja assim, somente superficial. Sobre a questão de discriminações algorítmicas, de baias e vieses, foi falado da importância de se avaliarem os imputs nas entradas e nas saídas dos dados em relação ao desenvolvimento dessas tecnologias, em relação aos datasets, aos conjuntos de dados, e à implementação de todo o sistema de inteligência artificial. Também foi falado sobre a necessidade de oversight, de supervisão humana, e também sobre a criação de novos direitos para as pessoas afetadas pelo uso da inteligência artificial. Agora, eu vou apresentar o próximo convidado, que é Marc Rotenberg, Presidente e fundador da Center for AI and Digital Policy, que é uma rede global de especialistas e defensores de políticas de inteligência artificial que trabalham para promover a justiça e a equidade no mundo da inteligência artificial. Marc atuou como consultor especialista na política de inteligência artificial para muitas organizações internacionais, incluindo o Conselho da Europa, a OCDE e a Unesco. Marc também ajudou a redigir as Diretrizes Universais para a Inteligência Artificial e é autor do livro Law of Artificial Intelligence, que será lançado em breve. Bem-vindo. Está com você a palavra. O SR. MARC ROTENBERG (Por videoconferência. Tradução simultânea.) - Muito obrigado por este convite tão gentil. É ótimo estar aqui com vocês hoje. É uma honra estar aqui falando com os membros do Senado brasileiro. Eu também gostaria de elogiá-los pelo importante trabalho que estão fazendo. Ao longo dos anos, eu trabalhei com várias organizações internacionais e governos nacionais. Eu acho que há um sentido de urgência para governar a inteligência artificial. Tal como outros palestrantes fizeram bem claro, é uma tecnologia importante que terá um impacto grande e amplificado e que pode ser até desastroso. E precisamos aplicar a regulamentação correta para garantirmos a segurança.
15:00 R	Então, eu vou passar alguns eslaides e depois eu vou compartilhá-los com vocês. Eu vou reescrever para vocês, primeiro, o relatório que fizemos sobre a inteligência artificial e os valores democráticos em 150 países que podem preservar esses valores democráticos. Eu vou fazer uma visão geral nas estruturas legais e algumas recomendações para a situação nacional e também falar dos desafios que temos pela frente. Alguns anos atrás, nós compilamos um grupo de políticas de inteligência artificial com vários códigos de conduta relacionados à inteligência artificial e alguns princípios estruturais. Havia cerca de 300 e para mim pareceu vitalmente importante começar esse processo de avaliação e que fizemos tanto em relação às políticas como às práticas. Então, o plano e a metodologia para avaliar essas políticas foi o que apresentei e também tem esse relatório que vocês encontrarão on-line no nosso WebSide. Aqui tem um QR Code. Se vocês quiserem baixar esse relatório, ele é bem extensivo, com muitos detalhes sobre as políticas e práticas de IA. Essas políticas foram criadas para criar uma metodologia e também formar uma base de comparação para falarmos sobre as práticas em um país comparadas com outro e também com o tempo chegarmos a uma direção com relação a essas políticas de IA e vermos algum ponto para melhorias e prover uma base comparativa de avaliação e também encorajarmos os países nisso e que elas sejam centradas em valores humanos. Foi uma equipe muito grande, mais de cem pesquisadores participaram desses relatórios. Criamos doze métricas.
15:04 R	Caso o país tenha incrementado, feito esses princípios, ele também terá esses pontos e uma revisão de todas as políticas desenvolvidas no G7, no G20, no COE, na União Europeia e na Unesco - todos que contribuíram para as políticas de IA e que vale a pena seguirmos. Esse tribunal, em particular, vê que as origens em todos os reports é a questão da privacidade, de direitos humanos, a criptografia e a liberdade. Nós acreditamos que o relatório seja baseado em evidências, objetivo e com uma estrutura como base para uma discussão relacionada a evidências. Deixa eu falar um pouco sobre métrica. Eu acho que essas métricas também apontam aos elementos de players nacionais a que vocês talvez devam prestar atenção. Eu acho que é um documento estrutural. O Brasil, na verdade, é um dos signatários originais que endossaram esses princípios da OCDE. Também temos a Declaração Universal dos Direitos Humanos. Falamos sobre transparência, não apenas da transparência da tomada de decisão, mas também da participação pública no desenvolvimento da estratégia de IA, como, por exemplo, no desenvolvimento de materiais de IA. Acreditamos que é importante os países terem agências independentes para a supervisão que protejam os dados e também institutos de direitos humanos. Nada disso, mas algo que seja um contrabalanço a esses sistemas, tanto do setor privado como do governo. Buscamos alguns termos-chave como justiça, responsabilidade e transparência. Acreditamos que há uma questão de direito legal com relação à transparência algorítmica na GDPR e também no COE plus que fala sobre o acesso aos fatores que contribuem para a decisão. Eles perguntaram se o país suporta as diretrizes universais de IA. Essa é a nossa recomendação e da Unesco. Também sobre... oficiais disso ao redor do mundo, no último ano, têm olhado isso bem de perto. Essa é a métrica que nos permite categorizar ou dar uma certa nota para os países. Aqui a gente tem a Alemanha e outros no começo. O Brasil, na verdade, está, mais ou menos, aqui no meio, apesar de sabermos que vocês estão organizando outras coisas, tal como este importante seminário e outros; vocês estão em um certo nível de engajamento público com relação às estratégias relacionadas à IA. Também os países devem estabelecer políticas nacionais para implementar os valores democráticos e também com uma supervisão para garantir a transparência, os princípios e todos esses temas também que são da administração pública.
15:08 R	Com o reconhecimento da pesquisa das marcas, nós vimos que, nas últimas semanas, nós atualizamos as recomendações. Fiquei muito feliz de ouvir o Prof. Stuart Russell. Ele é muito influenciador com relação às políticas e fez muito clara a necessidade de os países conterem o emprego de armas letais anônimas e também o começo dessa implementação da recomendação da Unesco, e os países devem usar isso como um instrumento. Vocês verão que isso também está no nosso website, os diferentes desenvolvimentos nos últimos anos. Acho que é muito útil contextualizar todo o trabalho que vocês estão fazendo agora aí no Brasil com esse grande escopo de diferentes desenvolvimentos. Deixa eu falar algumas palavras-chaves sobre essas políticas. No momento, assim como eu mencionei antes, a OCDE tem seus princípios e também tem a estrutura global. Esse é um influenciador que foi lançado significativamente como um defensor da inteligência artificial em 1997, quando ele mostrou que a inteligência artificial era capaz de vencer no jogo. Ele suporta totalmente, dá apoio a essa regulamentação. Então, com isso, começamos a conversar também sobre as políticas. Vocês também sabem que os princípios da OCDE não são restringentes, mas são gerais, centrados no homem. O Brasil abraçou os princípios da OCDE como uma nação do G20 e é claro que apoia esses princípios também e os implementa também, desde 2019, em forma das diretrizes de IA. E a sua implementação teve uma avaliação da OCDE que nos deu mais informações sobre os desenvolvimentos em níveis nacionais. Essa é outra iniciativa muito importante da sociedade civil e organizações que são peritos de IA e chamam Diretrizes Universais para a Inteligência Artificial. Foi uma conferência que ocorreu em 2018, em Bruxelas, e estabeleceu alguns princípios universais que falam mais diretamente de algumas práticas controversas de IA e trata sobre isso, chamando especificamente para a regulamentação principalmente em questões militares para o emprego nos sistemas de IA. E, por fim, as recomendações da Unesco. Eu acho que o Brasil também foi um dos países que apoiaram isso. Eu estou resumindo brevemente aqui as declarações. Essa é uma contribuição muito importante para proteger dados, para banir qualquer graduação social ou pesquisa de massa e também uma técnica para monitoramento e avaliação, como avaliação do impacto ético.
15:12 R	E algo que falou comigo foi uma política para proteger o meio ambiente. Por exemplo, é uma inteligência artificial, mas tem diferentes parâmetros que podem ser bem ofensivos. E, olhando à frente, há muito a ser dito sobre o ato de IA europeu. Não vou falar mais sobre isso, porque mais de três mil emendas que foram introduzidas semana passada e estão em discussão. Estamos antecipando o que nós chamamos de efeito contínuo. E também eu gostaria de chamar sua atenção para o Conselho Europeu da Convenção de IA de 2023, que vai refletir no compromisso do COE e nas instituições democráticas e direitos fundamentais humanos. Essas são breves recomendações para a legislação brasileira. Eu acho que, primeiro, há vários compromissos e, nos princípios da OCDE, há vários pontos que também nos fornecem uma boa base para articularmos e estruturarmos algum trabalho relacionado à IA. Também propomos a métrica estabelecida no nosso relatório, de valores democráticos, e uma supervisão independente, com transparência. E também as diretrizes universais nos dão uma revisão que aloca direitos e responsabilidades, identifica aplicações proibidas e as políticas, talvez um dos maiores desafios que os legisladores enfrentam hoje em dia. E aqui, nesse ato europeu, há ótimas recomendações. Importante é uma supervisão independente e focar nos princípios fundamentais. Eu vou fechar aqui, mas quero provocar um pouco e dizer que temos, na verdade, uma maneira muito direta... o desenvolvimento da inteligência artificial, e há vários desafios que estão surgindo neste momento. Eu acredito que são cinco desafios-chaves. Um é o big data, é imperativo. Simplesmente eles não aceitam a premissa de que a IA requer big data. Há vários sistemas, por exemplo, que não são construídos em grandes tamanhos, mas há vários cientistas que estão rejeitando essa presunção de que precisamos de grandes dados. Na verdade, há diferentes regras para diferentes dados.
15:16 R	O segundo ponto é a linha vermelha do problema, que é um desafio que não é fácil de encarar, mas, para proteger a segurança do ser humano, eu acho vital que haja algum tipo de surveillance. Terceiro é a mitologia neoliberal, que tem alguns problemas. Eu acho que há pouco suporte para isso, porque é evidente que a IA em si nos impõe certos desafios, as validações do sistema e credenciais, que são parte do método do meio científico, se comprometer a obter resultados. E claro que é também relacionado às instituições democráticas e a importância de mantê-las democráticas. É claro que para a transparência, seus vieses e para o processo devido, na verdade, nós precisamos de diferentes declarações. Não é possível falsificar uma declaração, e a declaração não fala sobre a realidade. Isso aqui fala de algo muito sério. Quando conseguirmos resultados, não vamos conseguir comprovar. Muito obrigado mais uma vez pelo seu tempo e por poder compartilhar esses eslaides. Estou aberto a quaisquer dúvidas. A SRA. MARIANA GIORGETTI VALENTE (Por videoconferência.) - Muito obrigada pela sua fala, pela descrição do relatório sobre inteligência artificial em 50 países, pela recapitulação dos principais instrumentos de recomendações internacionais e iniciativas regulatórias, e por falar não somente deles, mas também das suas recomendações e terminar com essa provocação. Acho que sua fala no final une pontas não só da sua própria apresentação, mas também das anteriores, quando fala que instrumentos de recomendações relativas à fiscalização e à avaliação de impacto, mas também a questões muito fundamentais sobre dados e machine learning. Eu vou passar a palavra à nossa última palestrante do dia, Nanjira Sambuli. Nanjira é Pesquisadora, Analista de Políticas e Estrategista, trabalhando na compreensão dos impactos da adoção das tecnologias de informação e comunicação da governança, diplomacia, mídia, empreendedorismo e cultura, com a perspectiva de gênero. Ela é membra do Programa de Tecnologias e Assuntos Internacionais do Carnegie Endowment for International Peace e é Ford Global Fellowship. É também co-Presidente da Transform Health e membra do Conselho da The New Humanitarian, Development Gateway and Digital Impact Alliance. Vale dizer também que a Nanjira aconselha a AI and Equality Initiative, do Carnegie Council, e a A+ Alliance for Inclusive Algorithms. E é membra do Conselho Consultivo de Gênero da Comissão das Nações Unidas sobre Ciência e Tecnologia para o Desenvolvimento. Eu vou passar a palavra para a Nanjira, agradecendo desde já pela disponibilidade de conversar com a gente, de estar aqui contribuindo para este nosso seminário. Obrigada, Nanjira. A SRA. NANJIRA SAMBULI (Por videoconferência. Tradução simultânea.) - Muito obrigada, Mariana, e saudações a todos.
15:20 R	Como foi mencionado antes, nas recomendações de Bruxelas vimos um debate muito interessante sobre todos esses mecanismos para a inteligência artificial. Então, em vez de me aprofundar nisso, eu vou compartilhar os meus inputs sobre o contexto. Todo o debate legal e acadêmico da sociedade é muito importante e eu vou compartilhar algo semelhante ao que aconteceu no Quênia. Imaginem todos os países em desenvolvimento, nossas legislações de tecnologia. Eu vou falar de algo que é muito importante para essa conversa, que fala que esses sistemas não são puramente tecnológicos. Eles incluem uma série de elementos, inclusive dados, instituições que dão as estruturas, e as pessoas que desenvolvem usam e adaptam esses sistemas automáticos e são afetadas por eles. Nós podemos ter essas decisões automatizadas introduzidas como um fator, algo que eu já vi mencionado pela regulamentação e que o Brasil está considerando. Então, isso parece algo que pode servir como introdução para a tomada de decisão. O setor público e a administração pública também estão muito interessados. Eu acho que daqui a dois meses haverá uma eleição e é importante haver esse direito aos direitos constitucionais de cada indivíduo. E, assim, nós devemos introduzir um sistema de crédito e tomada de decisão. Esse sistema é desenhado para complementar mídias sociais, telecomunicações, utilidades de diferentes dados e também de escritórios de crédito e outros, inclusive relacionados a créditos, ou seja, há um comitê técnico relacionado. Bem aí há também alguns problemas e riscos - e eu acho que muitos são conhecidos por vários de vocês. Primeiro, a estrutura legal que nós temos e a proteção legal que temos. Temos apenas leis de mitigação, mas o direito dos dados e a sua compreensão na verdade é para o bem, porque o efeito disso - e eles foram rejeitados através desse processo -, na verdade, deve considerar os processos devidos. Mas, na verdade, entrou em vigor junto com a legislação brasileira e fala sobre o direito de não ser sujeito à tomada de decisão, segundo o ato de proteção de dados. Mas esse elemento de tomada de decisão, na verdade, tem diferentes provisões. E quer os direitos a esses direitos, ou seja, bem específicos, eu não sei... reconhecidos, é apenas um direito que o indivíduo tem de colocar uma reclamação. Eu não sei como esse processo exatamente funciona.
15:24 R	Agora, pegando o sistema do input de dados, tudo, desde os dados de rede aos dados de diferentes equipamentos e das utilidades e dos diferentes escritórios de crédito, podem ser usados de maneira diferente. Tem um contexto, mas quando trazemos o contexto social, é mais complicado. Por favor, quantas pessoas estariam se inscrevendo para certo serviço, como... E uma das coisas é a disponibilidade da mídia social. Da mesma forma, o big data pode complicar o uso, porque compartilha diferentes dispositivos com as pessoas. Então a coisa mais surpreendente de encontrar é que muitos desses dados vêm de escritórios de crédito, porque tem uma inclusão financeira desses dados. Como há uma inovação financeira no momento, temos o mecanismo que tem sido usado por leis digitais, de modo que o default tem leis ou pessoas que já estão listadas naquela lista de crédito. E fazer o reverso disso é muito ruim para o indivíduo, ou seja, principalmente a população de baixa renda tem sido listada como dado de pessoas que têm possibilidade de acesso a esse crédito. Isso nos surpreende bastante. O mesmo governo que não vê nenhum problema nisso também quer restringir processos semelhantes. Acho que é muito importante - e eu vou resumir para o Senado brasileiro pensar - é que, digamos, vocês devem dizer aos atores externos que querem trazer serviços usando os mecanismos deles para o seu país o que isso vai significar para o seu país. Qual é o equilíbrio disso? Como ver isso? Apesar de ser complicado usar esses sistemas que são usados em outras jurisdições, em outros países, deve haver uma checagem de cada administração, visto que afeta a tomada de decisão. Então o problema é que, no momento, antes de reconhecer o risco, o documento atual fala sobre a tendência de atualização dos sistemas, para que haja eficácia nos critérios de alocação que esse mesmo documento diz, à primeira vista, e para que haja uma representatividade em diferentes coisas, como diversidade, considerações sobre pessoas locais, deficientes e o tudo mais. Como essas decisões são importantes e como se lidar com elas? Como é que fazem se não for transparente?
15:28 R	O comitê técnico deveria constituir um fator de decisão humana da IA, para que ela seja efetivamente inserida no sistema. Também há a ideia de alguém que se inscreve para ter acesso a algo, por exemplo, a uma identidade nacional, a um número de registro pelo qual paga os seus impostos ou números da educação. Isso automaticamente, mais uma vez, discrimina pessoas de comunidades ou em áreas remotas onde isso não é possível ou não tenha conexão com a internet. Essas são, por exemplo, decisões que não são alimentadas, mas são decisões políticas. Então, há outras considerações a serem feitas com um escopo muito interessante. Um exemplo, de modo geral, nessas listas: se você for uma criança, que tenha um ... (Falha no áudio.) ...considerações diferentes, levadas em consideração de acordo com os interesses dos indivíduos e as decisões são feitas por esse sistema automatizado. Então, estão tentando fazer com que essa decisão automatizada se torne uma decisão de um ser humano. Não é isso, mas que haja um equilíbrio nisso. E, também, eu acho que temos de entrar mais a fundo para ter todas as perspectivas, mas a administração pública, baseada nas práticas, deveria desenvolver essas políticas e algo que seja viável de aquisição para cada casa. Então, aí teremos um algoritmo que abrange todos. Essa ideia do aspecto financeiro, se não for bem inserida - se você pode adquirir crédito ou não -, é uma dimensão importante. Temos que nos perguntar: será que as pessoas que não são financeiramente capazes estão incluídas ou uma pessoa sem condições também é incluída? Por conta de falta de informação ou conhecimento, os contatos das pessoas são notificados. Por exemplo, eu não paguei o empréstimo que eu fiz de um agente externo. Tudo isso aparece, de modo que é bem surpreendente que esse tipo de dado apareça. Nessas configurações, às vezes, você ter um caso com um instrumento de decisão automática acaba sendo pior, porque faz com que haja decisões diferentes, difíceis de serem vivenciadas, juridicamente difíceis também. De modo que essas tecnologias têm sistemas de algoritmos que nos levantam e suscitam dúvidas de modo geral, principalmente no processo de tomada de decisão, de ter que definir o processo, a responsabilidade e tudo. Então, a última pergunta é essa.
15:32 R	Tomar decisão torna-se, na verdade, uma espécie de autoridade. Eu acho que isso é algo bem interessante, porque isso afeta a legislação no modo como é hoje. Então, a tecnicalidade da inteligência artificial é uma coisa, mas aí tem a motivação de diferentes atores interferirem na tomada de decisão para diversos países, de modo que é muito difícil. Eu acho que países como o Quênia e o Brasil têm uma tarefa duplamente difícil para garantir que não haja discriminação e que, nessas decisões automáticas, sejam levadas as considerações legais e judiciais. Apesar de essa tecnologia ser do setor privado, ela vem de fora do nosso país. E nós vamos desculpar tudo isso ou vamos continuar deixando essas empresas estrangeiras terem esse domínio e essa autoridade? Também, de modo a preservar, na era digital, essa autoridade, uma coisa interessante são os mecanismos, como nós mencionamos: as Diretrizes da OCDE e outras. Elas focam muito no indivíduo e esquecem um pouco da prática institucional. Eu acho que, olhando um pouco fora do Ocidente, como que os indivíduos entendem a privacidade, às vezes, é um pouco diferente de como a entendemos. Temos isso em todo lugar. Para muitas pessoas, privacidade é quando você não tem nada a esconder, de modo que isso se torna algo muito dinâmico. Por exemplo, eu estou online, não tenho nada a esconder. Então, eu aceito todos os cookies e tudo. Não temos leis do nosso lado do mundo que controlam isso e definem a privacidade. Então, há uma diversidade de DAP. No contexto europeu é uma coisa e, no Brasil, por exemplo, podem não ser todos representantes. Mas precisamos ter dados de qualidade e pensar no que nós vamos proteger e também pensar nessas questões, pensar nas nossas filosofias, como país em desenvolvimento, porque temos que pensar além da parte técnica mais filosófica e humana também. Uma coisa interessante é como podemos assimilar conceitos como o da África: eu sou porque nós somos. São coisas que definem a existência africana, por exemplo. Então, isso nos ajuda quando nós pensamos em ética e regulamentação. Deveria ajudar a pensar na maneira como nós estabelecemos regulamentação. E eu creio que o Brasil pode ser um líder muito interessante para o Sul. Há mercado dos Estados Unidos e tudo, mas pensando no Sul, eu acho que há diferentes alternativas e conhecimentos que podemos trazer para a mesa. E também precisamos nos garantir de trazer regulamentação ligada já à inteligência artificial. E, no tocante à aplicação da lei, há diferentes atores que devem ter um compliance... E, digamos, eu não sou registrada no seu país, então eles precisam ser locais e registrados. Isso é algo muito interessante quando pensamos no domínio de proteção.
15:36 R	Eu vou fechar com outra citação aqui que eu acho muito importante: os sistemas de tomada de decisão algorítmica são sociais e expressões sociais e legais ou organizações públicas que priorizam eficiência acima de todos os outros valores. É isso que nós queremos ver na nossa parte do mundo? Apesar de ser tão eficaz, precisamos ver sobre regulamentações. Muito obrigada. A SRA. ESTELA ARANHA (Por videoconferência.) - Quero agradecer muito a fala da Nanjira e levantar alguns pontos. É muito importante a sua fala, Nanjira, para trazer um pouco a perspectiva do Sul global, que a gente teve pouco aqui. Primeiro, você começou justamente a sua fala dizendo que não estamos falando de sistemas de tecnologia, mas sim de pessoas, que desenvolvem, que implementam esses sistemas e, principalmente, que elas são afetadas por esses sistemas. E, ainda, a necessidade de a gente entender o contexto social, no todo, neste debate sobre decisões automatizadas, e que o debate do Norte global, às vezes, não traz luz ou que a gente não esteja considerando questões como pobreza e desigualdades estruturais, como o abismo digital e o acesso a sistemas digitais, que impactam enormemente nos dados que são usados, tanto os dados de input, de entrada, de avaliação, como no resultado desses dados nessas decisões automatizadas, e o quanto isso impacta na vida das pessoas, impacta naquilo que a gente chama de fairness, da justiça na equidade dessas decisões, e o quanto também é importante lembrar da legitimidade desses sistemas em relação aos programas governamentais em relação à política pública, e que isso tem que ser colocado e questionado e a necessidade dos checks and balances, que a gente coloca em todas as outras questões técnicas desses sistemas e algoritmos, também sejam consideradas as questões em relação à desigualdade estrutural, à pobreza estrutural e à falta do acesso universal aos sistemas digitais e aos sistemas automatizados. Enfim, tem muitas outras coisas da experiência do Quênia, que você trouxe aqui, mas não temos tempo para colocar tudo. Mas, enfim, só ressaltar que você nos trouxe a necessidade de priorizar outros valores que não só a eficiência na discussão da regulação das questões em relação à inteligência artificial. Vou passar para o nosso Presidente da Mesa, o Juliano, para fazer o encerramento. O SR. PRESIDENTE (Juliano Souza de Albuquerque Maranhão) - Muito obrigado, Estela. Eu gostaria de, em nome da Comissão de Juristas do Senado, de agradecer imensamente aos palestrantes pelas contribuições valiosas para as nossas reflexões nesta Comissão. Quero agradecer também às debatedoras Mariana Valente e Estela Aranha.
15:40 R	Antes de encerrar o painel, eu gostaria de indicar que, amanhã, este seminário terá continuidade com mais quatro painéis muito importantes, que vão tratar da proteção de dados pessoais, vão tratar também de técnicas regulatórias de abordagem baseadas em risco, de perspectivas setoriais e, por fim, no último painel, de sistemas de responsabilização - todos temas cruciais para os debates que estão sendo travados aqui na Comissão. Por fim, então, eu gostaria de declarar encerrada esta 7ª Reunião da Comissão de Juristas, convidando todos para os debates que ocorrerão amanhã nos outros painéis. Muito obrigado. (Iniciada às 9 horas e 29 minutos, a reunião é encerrada às 15 horas e 42 minutos.)

Atividade Legislativa

Notas Taquigráficas

09/06/2022 - 7ª - Comissão de Juristas responsável por subsidiar elaboração de substitutivo sobre inteligência artificial no Brasil