10/06/2022 - 8ª - Comissão de Juristas responsável por subsidiar elaboração de substitutivo sobre inteligência artificial no Brasil

Horário	Texto com revisão

09:00 R	A SRA. PRESIDENTE (Miriam Wimmer) - Bom dia senhoras e senhores, todos os presentes. Havendo número regimental, declaro aberta a 8ª Reunião da Comissão Temporária Interna destinada a subsidiar a elaboração de minuta de substitutivo para instruir a apreciação dos Projetos de Lei nºs 5.051, de 2019; 21, de 2020; e 872, de 2021, que têm como objetivo estabelecer princípios, regras, diretrizes e fundamentos para regular o desenvolvimento e a aplicação da inteligência artificial no Brasil. A presente reunião destina-se à realização de seminário internacional. Daremos hoje início ao Painel nº 4: Proteção de dados e regulação da inteligência artificial. Gostaria de começar dizendo da minha enorme satisfação de moderar este painel com convidados tão ilustres: Dra. Gabriela Zanfir-Fortuna, Dr. Alessandro Mantelero, Dra. Teki Akuetteh, Dra. Robin Wetherill. É um prazer também compartilhar esta moderação com a Profa. Laura Schertel Mendes, que nos acompanha remotamente. Cada convidado terá o tempo de até 20 minutos para fazer a sua exposição. Desde já, agradeço a gentileza de falarem lentamente para facilitar o trabalho dos nossos intérpretes. Dito isso, passo a palavra à Profa. Laura Schertel, para que possa convidar nosso primeiro palestrante. Muito obrigada, Profa. Laura. A SRA. LAURA SCHERTEL FERREIRA MENDES (Por videoconferência.) - Eu que agradeço, Profa. Miriam. É um prazer compartilhar a mesa com você e com os nossos ilustres convidados. Bom, eu gostaria então de apresentar já a Dra. Gabriela Zanfir-Fortuna, que é a Vice-Presidente da Privacidade Global, The Future of Privacy Forum, onde lidera um trabalho sobre desenvolvimentos globais no campo da privacidade. Antes de se mudar para os Estados Unidos, em 2016, trabalhou para o European Data Protection Supervisor, em Bruxelas, como parte da equipe que acompanhou e aconselhou os legisladores europeus sobre o GDPR durante seu processo legislativo. Gabriela tem doutorado em Direito pela Universidade de Craiova e mestrado em Direitos Humanos pela mesma universidade. Gabriela, é um prazer e uma honra muito grande ter você aqui conosco. Por favor, você tem a palavra. A SRA. GABRIELA ZANFIR (Por videoconferência. Tradução simultânea.) - Muito obrigada, senhoras e senhores. É uma honra estar aqui falando com vocês hoje sobre o tópico da regulamentação da inteligência artificial e proteção de dados. Eu vou compartilhar a minha tela para a apresentação. (Pausa.) Eu não consigo compartilhar a minha tela. (Pausa.)
09:04 R	Então, hoje falarei sobre como a Lei de Proteção de Dados, de um modo geral, lida com a decisão automatizada ou a decisão algorítmica, pelo menos em algumas formas de inteligência artificial que tentam ser abarcadas por essa estrutura. Irei tratar de quatro pontos de forma breve. O primeiro é que a Lei de Proteção de Dados foi desenvolvida nos anos 60 e nos anos 70, no oeste europeu, pelos Estados Unidos, para lidar com consequências danosas dos sistemas automatizados de dados pessoais. O segundo ponto é como a Lei de Proteção de Dados atual, para a tomada de decisão automatizada e algorítmica ocorre. Gostaria de falar também sobre o RGPD, que é uma lei geral de proteção de dados que foi adotada pelo Brasil também. No terceiro ponto, vamos observar alguns exemplos de casos em que, para além da questão da Lei de Proteção de Dados, foi observada também a proteção de dados... Por último, vamos observar como essas propostas, na União Europeia, para inteligências artificiais, exerceram influência significativa, como as proteções estão sendo acrescentadas, de modo a proporcionar uma linha de base sobre como essa proteção vai atuar na Lei Geral de Proteção de Dados para assegurar que os dados de indivíduos sejam protegidos das tomadas de decisões por algoritmos. Assim, gostaria de começar pelo primeiro ponto, falando sobre as fundações da Lei de Proteção de Dados. Ela remete a 1963, a partir de um relatório que falava sobre uma crescente preocupação de que os sistemas automatizados de dados pessoais apresentem um sério potencial para consequências danosas, pois eles podem influenciar. E aí temos uma forma de observar essas orientações para a privacidade, pode vir desde os anos 80, nas leis seguintes, concluindo o GDPR, na qual podemos também encontrar a LGPD. Lá atrás, quando essa comissão foi organizada, e começou-se a pensar sobre como as proteções poderiam ser alocadas para os indivíduos diante dos bancos de dados automatizados, computadores que estavam sendo recentemente desenvolvidos, a preocupação era que eles representariam um potencial sério para consequências danosas, incluindo infrações das liberdades básicas. Esses sistemas automatizados em larga escala poderiam levar especialistas a conceber leis de proteção necessárias, as quais agora são elementos basilares nas leis de proteção de dados.
09:08 R	Na Europa, no mesmo período, vemos que a lei de proteção de dados francesa de 1978 trazia uma proibição da tomada de decisão automatizada e um direito, pela ciência, direito de saber se eles estavam sujeitos a decisões automatizadas, assim como um direito de saber e desafiar. Então, essa lei de proteção de dados francesa proibia especificamente somente a tomada de decisão automatizada no contexto de decisões judiciais, administrativas ou privadas envolvendo avaliação de comportamento humano que pudesse configurar ou definir a personalidade do indivíduo. A mesma lei garantia aos indivíduos o direito de saber e um direito de desafiar a informação e também a obtenção da razão, com uma lógica envolvida por trás disso, utilizada nesse processamento automatizado que as afetava. É o algoritmo que toma essa decisão, e logo o impacto é exercido a partir daí. Esses são os princípios-base com relação à GDPR. Temos essa declaração que dizia que o processamento de dados pessoais deveria ser desenvolvido para servir à raça humana. O que isso quer dizer? Isso significa que a meta da proteção de dados é garantir que a informação relacionada a indivíduos seja coletada e utilizada, incluindo a partir de meios automatizados e algoritmos, de tal forma que todos os seus direitos, os demais direitos fundamentais sejam protegidos. Assim, precisamos confiar nesses dados pessoais, e mesmo quando eles estão na base da construção desses sistemas e que atuem em larga escala para tomar decisões automatizadas por indivíduos, é preciso se assegurar de que essas decisões sejam tomadas de forma justa, de que essas liberdades pessoais sejam protegidas, como o direito à privacidade, o direito à segurança, o direito à não discriminação, liberdade de reunião, etc. Mas como é a lei de proteção de dados relevante na era da tomada de decisões automatizada? Temos aqui umas previsões específicas que tornam essa lei algo voltado para questões como inteligência artificial. Vamos observar, então, o que ocorreu com a GDPR imediatamente após sua publicação. A lei de proteção de dados, especificamente falando da GDPR, cobre qualquer informação relacionada a um indivíduo identificado ou identificável - quaisquer informações, cobre diversos tipos de informações. Então, temos também uma ampla definição de processamento, o que quer dizer que quaisquer operações ou conjunto de operações desempenhadas sobre dados pessoais, como coleta, estruturação, combinação, disponibilização, são cobertos por essas regras. Assim, esse amplo escopo de material na lei de proteção de dados deixa claro que os modelos treinados a partir de machine learning e as suas decisões automatizadas que se basearem em dados pessoais precisam estar sob o escopo da GDPR e, portanto, devem tratar em sua aplicação, em suas regras, esse corpo de lei.
09:12 R	Essas regras são muitas, e algumas das mais detalhadas para esses cenários em particular, com relação à justiça, ao princípio da transparência, da responsabilidade, o qual é disposto nessas leis. Tem também uma obrigação com relação à avaliação do impacto da proteção de dados. Todos aqueles que se engajam em complexas operações têm o direito como indivíduos. E as provisões na DPIA tratam especificamente de uma avaliação dos riscos desse processamento, um risco aos direitos e liberdades individuais. E temos também um artigo dedicado, na GDPR, à tomada de decisão automatizada: proporciona um direito às pessoas de não estarem sujeitas a tomadas de decisões unicamente automatizadas que produzam efeitos legais ou significativos sobre esses indivíduos. E esse artigo, o art. 22, foi interpretado como uma proibição da tomada de decisões a partir da lei de proteção de dados europeia. O que mais o art. 22 aborda? Ele demanda que, se a tomada de decisão for unicamente feita a partir de processos automatizados e possua impactos na vida do indivíduo, ou implicações com o impacto similar sobre as pessoas, então uma lei especificamente baseada nisso só pode trabalhar se ela salvaguardar os direitos dos dados de sujeito ou se houver uma obrigação legal que permita essa tomada de decisão automatizada. Quando isso acontece - e a exceção se baseia nessas três questões legais -, entretanto, outras medidas adequadas devem ser empregadas para salvaguardar os direitos dos dados do sujeito e as liberdades e interesses legítimos - o direito do indivíduo de obter intervenção humana sobre a parte do controlador; o direito do indivíduo de expressar seus pontos de vista; e o direito de contestar essa decisão, de desafiá-la. Agora, e quanto à LGPD? Ela possui regras similares. Entretanto, elas são tratadas de forma diferente ainda que sejam similares. E nós conseguimos encontrar as suas discrepâncias aí. Ela tem uma definição ampla sobre dados pessoais, processamento, o que quer dizer que ela abarca processamentos complexos, como a tomada de decisão automatizada. Há também princípios de transparência, o princípio da responsabilidade e da accountability. Ela não possui um princípio... E também possui um princípio de justiça e de não discriminação, que proporciona que deveria ser impossível confiar em dados pessoais para a possibilidade de um processamento de dados pessoais para finalidades discriminatórias, ilegais ou abusivas. Existe uma regra que abarca todos os demais princípios mencionados no art. 6º. Existe uma provisão para avaliação do impacto do processamento de dados que é mais simples do que a GDPR, pois ela deveria se dar mediante os direitos fundamentais e de liberdade das pessoas.
09:16 R	Há ainda uma provisão específica para tomada de decisão automatizada no art. 20. Porém, ele não abarca uma proibição para decisões unicamente automatizadas. Em vez disso, ele proporciona a que indivíduos possuem direito de solicitar uma revisão de decisões unicamente automatizadas que impactam seus interesses. Eles também têm o direito de solicitar a informação a partir de critérios e procedimentos utilizados para a tomada de decisão, porém, com o devido interesse do negócio, os interesses da indústria. Têm o direito de obter a informação com base na tomada de decisão automatizada, e, se essa informação for recusada - só aí -, a Autoridade Geral de Proteção de Dados poderá conduzir uma auditoria para verificar aspectos discriminatórios no processamento automatizado. Então, como podem ver, é algo bastante resumido com relação ao que a gente vê na GDPR, porém contempla essa questão da tomada de decisão. Todas essas regras são significativas na proteção de pessoas na era de algoritmos alimentados por dados pessoais? Aparentemente, sim. Obviamente, haverá lacunas com relação à proteção. Mais recentemente temos adotado uma pesquisa significativa, com mais de 70 casos com base nas Autoridades de Proteção de Dados e casos extraídos a partir da GDPR. As leis de proteção de dados têm um longo histórico desde então. Então, temos quatro casos em que as pessoas chegaram aos tribunais, diante de Autoridades de Proteção de Dados, e descobrimos que casos muito específicos, que envolvem a tomada de decisão algorítmica e reconhecimento facial estão acobertados por provisões que estão dentro da GDPR, como, por exemplo, um sistema que foi baseado em tecnologia de reconhecimento facial e foi empregado em escolas para monitorar o acesso às localidades da escola, para controlar a frequência dos estudantes, na França, por exemplo. Ainda as universidades têm utilizado uma forma de pontuação automatizada para os estudantes; a triagem automatizada para vagas de emprego; a pontuação de créditos automatizada; as decisões de moderação de conteúdo em redes sociais; todas elas estão acobertadas pela GDPR, conforme aplicadas pelos tribunais e pelas Autoridades de Proteção de Dados na Europa, geralmente para proteger os direitos dos indivíduos. Vou dar um exemplo bastante específico sobre um dos casos mais recentes envolvendo o reconhecimento de emoções por um sistema de inteligência artificial. Ele foi empregado a partir de um provedor de serviços e utilizado para analisar as gravações de voz. O sistema de inteligência artificial prometeu que detectaria emoções e que mediria as emoções do cliente de forma a priorizar as chamadas de retorno; que fossem marcadas como pessoas aborrecidas ou clientes impacientes. Esses eram os clientes, de fato, considerados os mais aborrecidos e impacientes.
09:20 R	A autoridade de proteção de dados da Hungria descobriu diversas brechas à GDPR: aos princípios de justiça, transparência e limitação de finalidade; às obrigações de noticiação ao cliente; ao direito de objeção; e às obrigações e responsabilidades do controlador. Em fevereiro deste ano, a multa foi de 650 mil euros, porém aquele que criou o sistema de reconhecimento de emoções não sofreu quaisquer consequências. Essa pode ser uma das limitações do regime atual sob a Lei de Proteção de Dados. Agora, conforme prometido, gostaria de olhar adiante, ver o que está acontecendo na União Europeia, com a lei de AI, e nos Estados Unidos, dados os últimos desenvolvimentos na última sexta-feira, com uma proposta de lei que foi publicada, que é um projeto de lei que tem alguma chance de ser adotado, a partir da mídia. Na União Europeia, não vou discorrer sobre detalhes, pois, como disse, foram passadas muitas informações sobre o que aconteceu. Aqui, é importante mencionar que a proposta AI não possui preconceito e complementa a GDPR, de fato; então, devem trabalhar juntas. Ela fornece mais transparência para as provisões. É uma avaliação de conformidade ex ante para inteligências artificiais de alto risco que complementa e não substitui DPIAs. Obviamente, temos aí uma lista de sistemas já proibidos e um monitoramento de viés, que é permitido com base no processamento de dados sensíveis, de acordo com a GDPR, relacionados à saúde, raça, religião, etc., demandado para os sistemas de inteligência artificial de alto risco. Já nos Estados Unidos, temos uma proposta de lei que talvez passe - como mencionei, é assim que a mídia está retratando esse projeto de lei. Há provisões bastante específicas com base em algoritmos. Por exemplo, existe um requisito para os grandes portadores de dados para que tenham em suas organizações uma condução de avaliação dos impactos algorítmicos, de modo a mitigar potenciais danos ao indivíduo. Se observarmos a mídia, veremos o que significa. O mesmo projeto de lei provisiona uma parte em que todas as entidades acobertadas devem conduzir uma avaliação do design de algoritmo, incluindo quaisquer dados de treinamento, de modo a reduzir o risco de danos potenciais. Quais são esses danos que esse projeto de lei especificamente observa e gostaria de avaliar? Devem ser danos relacionados a: crianças; propagandas para moradia, educação, emprego, cuidados de saúde, seguros, oportunidades de crédito; ou é preciso ter um impacto disparatado com base em raça, cor, religião, origem, gênero, orientação sexual e status de deficiência.
09:24 R	São reproduções muito específicas com base em algoritmos e seus impactos. Ainda que haja uma alimentação de dados pessoais, é preciso, aqui neste caso, complementar de modo a fornecer proteções significativas aos indivíduos. Vou parar por aqui. Peço desculpas se tiver passado o meu tempo. Muito obrigada. A SRA. PRESIDENTE (Miriam Wimmer) - Muito obrigada, Dra. Gabriela Zanfir-Fortuna, por essa apresentação tão interessante. Eu anotei vários pontos aqui, e, em especial, me chamou a atenção a sua referência ao GDPR, que menciona que o processamento de dados pessoais deve ser desenvolvido para servir a humanidade. Muito interessantes também são as referências comparativas entre a GDPR e a Lei Geral de Proteção de Dados brasileira, assim como a menção à evolução do debate legislativo nos Estados Unidos e na União Europeia. Então, muito obrigada pela sua valiosa contribuição. Eu gostaria de registrar a presença aqui, no Plenário do Senado, do Dr. Bruno Bioni, que está aqui ao meu lado, e também registro que nos acompanham pelo Zoom os Profs. Filipe Medon, Clara Iglesias Keller, Ana Frazão, Estela Aranha. Agradeço a todos pela presença. Eu gostaria, então, de dar continuidade, apresentando agora o nosso segundo palestrante, o Dr. Alessandro Mantelero, do Instituto Politécnico de Turim. Alessandro Mantelero é Professor Associado de Direito Privado e Direito & Tecnologia na Universidade Politécnica de Turim e é Chair da Cátedra Jean Monnet em Sociedades Digitais Mediterrâneas & Direito. Ele assessorou diversas organizações em temas relacionados à regulação de dados, à inteligência artificial e aos direitos humanos, inclusive o Conselho da Europa, as Nações Unidas, a Comissão Europeia e a Agência Europeia para Direitos Fundamentais. O seu mais recente livro é intitulado Além dos Dados: Avaliações de Impacto de Direitos Humanos, Éticos e Sociais em IA, publicado neste ano de 2022 pela editora Springer-Asser. Prof. Alessandro Mantelero, muito obrigada. A palavra está com o senhor. O SR. ALESSANDRO MANTELERO (Por videoconferência. Tradução simultânea.) - Muito obrigado por essa apresentação. É um prazer e uma honra estar aqui com vocês. Estou compartilhando minha tela. Nesta breve apresentação, eu gostaria de focar principalmente a inteligência artificial e a regulamentação da inteligência artificial, a partir da perspectiva dos riscos, pois a gestão de riscos e a avaliação de impactos são elementos chave, como posso dizer, a partir de diversas iniciativas que estão ocorrendo no mundo todo. Mais especificamente na Europa, temos a iniciativa da Comissão Europeia e da União Europeia. Porém, obviamente, estamos preocupados com os potenciais impactos da inteligência artificial sobre a sociedade. Assim, eu gostaria de focar a avaliação de impacto de inteligências artificiais e gostaria de partir de duas perspectivas diferentes: é preciso considerar uma abordagem de risco-benefício, e a segunda é uma abordagem baseada em direitos.
09:28 R	Na abordagem de benefícios, é preciso balancear os pontos positivos e negativos de tecnologias como as IAs. Assim, isso quer dizer que a eficácia de um sistema e o seu benefício estão no mesmo nível dos direitos humanos. A solução seria mais eficaz para nós? Então, isso pode criar uma melhor gestão do tráfego das cidades, embora traga impacto sobre alguns direitos fundamentais, como liberdade de movimentação, liberdade de associação. Os benefícios, em termos econômicos, são a eficácia, e eles não podem prevalecer sobre outros interesses, pois os interesses estão no mesmo nível. E esse foi um tópico bastante debatido no Conselho Europeu de IAs. A segunda abordagem é a abordagem que é mais familiar no contexto de proteção de dados com base nos riscos. Isso quer dizer que alguns interesses, direitos fundamentais oferecem exemplos caros, como no Google: ficou claro que o interesse econômico meramente não pode prevalecer sobre a proteção de dados pessoais. Esse é um tipo de hierarquia entre os interesses. Não quer dizer que você não pode fazer negócios, que você não pode ter nenhuma proteção de interesses econômicos, mas é um primeiro passo e deve ser considerado. O foco deve ser nos direitos humanos, e a proposta deve vir a partir do Conselho Europeu e da União Europeia. Na proposta, foi mencionado pela Gabriela: nos Estados Unidos, nós temos uma ênfase em segurança e discriminação que obviamente parte da abordagem dos direitos humanos. Outro ponto importante, ao adotarmos uma abordagem com base em riscos, é que isso nos leva à abordagem ex ante, uma abordagem prévia, que é o mesmo tipo de avaliação que lida com impacto de riscos. Mais uma vez, é um ponto importante, pois existe uma distinção entre a avaliação de risco e a avaliação de impactos. A avaliação de riscos significa que você precisa avaliar o risco antes que ele ocorra; a avaliação de impacto só pode avaliar aquilo que já aconteceu, porém, se você adotar uma abordagem conservadora com relação aos direitos humanos, de fato focada na proteção desses direitos, é preciso desenvolver uma inteligência artificial que seja orientada para os direitos humanos, que seja movida, motivada pelos direitos humanos. É daí que vem a abordagem ex ante, conforme proposto pela Comissão Europeia. É preciso avaliar aí o risco potencial antes de colocar a inteligência artificial no mercado ou de colocar um dispositivo com inteligência artificial no mercado. Se essa é a abordagem, a avaliação entre risco e impacto já não é mais relevante, porque, se a avaliação ocorrer anteriormente, não é possível saber os impactos, mas sim: você quer prevenir os impactos por esse motivo? Esse é um ponto importante que deve ser tomado em consideração quando tratamos de lei geral de proteção de dados. Essa abordagem básica de risco e de impacto é a mesma coisa. O segundo ponto que eu gostaria de ressaltar é que temos toda uma situação ocorrendo nos Estados Unidos e na Europa com relação à proposta de lei de proteção de dados. Inclui algumas restrições. Assim, comparada às experiências prévias de proteção de dados, a ideia é que, sim, devemos considerar a inteligência artificial, porém a partir de alguns aspectos.
09:32 R	Por exemplo, temos algumas limitações na legislação da União Europeia enquanto a União Europeia foca simplesmente no risco. Isso quer dizer que a aplicação de IAs tem impactos, e a obrigação não necessariamente lida com a questão dos impactos, obviamente porque esse benefício precisa ser bastante concreto no que tange a essa limitação. Assim, a União Europeia adotou essa abordagem, que, a propósito, é diferente daquela sugerida pelo Conselho Europeu, que é uma ideia mais ampla com relação à proteção de dados e à avaliação de riscos potenciais. O segundo ponto é que temos na União Europeia uma abordagem de cima para baixo. Isso quer dizer que o risco de inteligência artificial é pacificado pela legislação. Assim, há uma lista de aplicativos IA. Não temos uma lista desses casos de proteção ou de utilizações em que a IA exerceu algum impacto. Mais uma vez, há uma questão com as políticas industriais, sobre quem está na lista, quem não está na lista. É uma questão de compliance, mas isso aí oferece um aspecto crítico: a flexibilidade. Vamos atualizar a lista, mas isso abre a discussão sobre qual deve ser adotada, sobre o poder da comissão. O segundo ponto é a interpretação dessa lista. Se criarmos categorias e abrirmos a discussão sobre a proteção dentro da indústria, vamos definir o aplicativo como algo não incluído nessa categoria da proteção. Isso é um aspecto bastante crítico. Uma segunda restrição que recebemos, por exemplo, com relação à proposta recente dos Estados Unidos é que a limitação devido à limitação interna no escopo da regra é que, por exemplo, além de dados e proteção, fala sobre grandes portadores de dados, e isso limita a aplicação da provisão de IA aos grandes agentes. Outras questões temos em outros países, cujos maiores players... A dimensão do player ou alto risco ou baixo risco também são critérios a serem adotados, porém, não podemos subestimar o fato de que pequenos players possam investir em aplicativos e não podemos subestimar o fato de que boa parte dos impactos menores podem agregar-se e, juntos, criar um grande impacto. Assim, essa abordagem quantitativa deve ser algo a se considerar. Agora, observando o modelo possível para a avaliação de impacto de uma IA nos direitos humanos, eu acho que a primeira coisa que deve ser considerada é que uma avaliação dos impactos de direitos humanos pela IA não é uma avaliação de impactos ou de proteção de dados. São coisas distintas. Os direitos humanos têm um histórico à parte. Isso fica evidente, por exemplo, na legislação europeia, com relação às autoridades de proteção de dados. Há referências ao impacto dos direitos fundamentais dos seres humanos, como mencionado pela Gabriela, pois isso faz parte do art. 25 da GDPR, porém, qual é o problema aqui? Geralmente, é que há uma área em branco que não deixa claro quais os outros impactos nos direitos humanos. Os direitos humanos, os direitos fundamentais não podem ser endereçados de tal forma. É preciso considerar especificidades de cada tipo de direito, e a decisão que se dá num pano de fundo. Assim, mais especificamente com relação ao impacto dos direitos humanos, eles expandem.
09:36 R	O segundo ponto importante é que a abordagem de impacto nos direitos humanos ou essa abordagem tradicional é algo bastante diferente do que gostaríamos de ver numa inteligência artificial, porque, até onde sabemos, geralmente a abordagem de avaliação dos impactos sobre os direitos humanos é utilizada por grandes empresas que têm algumas iniciativas, como, por exemplo, uma empresa na África, e possui um impacto sobre a sociedade, um impacto sobre o território local e, assim, há uma solicitação para avaliar esse impacto e desenvolver alguma política de modo a lidar com a situação. Essa é uma análise ex post, não é uma análise ex ante do tipo que poderia ser colocada em prática. O segundo aspecto é que esse tipo de abordagem possui um foco no contexto, enquanto na área oficial temos um aplicativo que pode ser utilizado de formas muito distintas. Outro elemento que devemos levar em consideração é, no que tange a uma avaliação de impacto, é muito importante considerar os diferentes aspectos, como, por exemplo, a disponibilidade de uma análise, a relevância num contexto de inteligência artificial. E, por fim, o ponto crucial é que uma avaliação de impacto é uma ferramenta auxiliar para aprimorar a performance, para salvaguardar os direitos fundamentais, os direitos humanos. A inteligência artificial é algo muito diferente, pois, além da regulamentação, gostaríamos de introduzir uma avaliação dos impactos dos direitos humanos e gostaríamos de checar se existe algum nível de risco, se existe alguma relação quanto ao nível de risco e obrigação. Isso quer dizer que é preciso observar que existem duas camadas e não é somente uma indicação da política, é um requisito legal. Então, é preciso, em termos de obrigação e sanções, ter isso em mente. Assim, esse é um tipo de avaliação de impacto distinto. E, por esse motivo, a GDPR, que é uma avaliação geral e tem algo mais voltado para as categorias de IA que poderiam exercer algum impacto, é apenas um exemplo muito interessante, pois acoberta não somente o risco de inteligência artificial, mas as diferentes formas de IA. Existem questões com relação à avaliação de transparência, porque é algo muito importante ser transparente para poder criar confiança no usuário de empresa especial. E algumas limitações, como, por exemplo... Temos aqui um ponto muito importante em que deve ocorrer uma abordagem circular. A avaliação no contexto de interesse especial não é uma avaliação curta, é preciso saber como esse sistema se desenvolve ao longo dos anos. Um ponto chave é o debate sobre a regulamentação da IA.
09:40 R	Um debate sobre a regulamentação daí, e isso tem sido muito observado na Europa com relação aos elementos tecnológicos que possuem algo similar. Então, por questões de segurança, podemos considerar a padronização, mas, para os impactos dos direitos humanos, cada caso é um caso, e não há um padrão que possa ser adequado para toda a situação - pode haver módulos, mas os padrões variam. O segundo ponto é, como eu mencionei: precisamos de algumas quantificações, de uma avaliação de riscos tanto para accountability quanto para transparência. E, assim, sugiro dois parâmetros que são típicos na avaliação de risco, como, por exemplo, a similaridade. Enquanto uma proposta, é interessante fazer uma conta estrutura. Uma consequência diversa (Falha no áudio.) ... precisamos combinar essas viabilidades sem desprezar a abordagem matemática como multiplicação etc., mas devemos confiar nos especialistas que possam combinar os diferentes impactos e avaliar os riscos. Talvez essa participação possa se desdobrar em muitos novos desenvolvimentos. Não é somente uma figura, um número para representar os impactos dos direitos humanos, pois cada direito humano pode ser diferentemente impactado pelo mesmo aplicativo. Um aplicativo pode impactar a aplicação de dados ou a liberdade de expressão ou a integridade física, porém os distintos casos de impactos podem impactar os direitos humanos. Não é algo que unifique o nível de risco, mas é preciso considerar o risco para cada tipo de impacto. Obviamente podemos concluir que um aplicativo represente o risco de inteligência artificial todas as vezes que... O impacto na integridade física... Não, é possível combinar os dois lados. Assim, em termos, toda a regulamentação da inteligência artificial demanda elementos-chave que sejam alocados nessa lei. Primeiro: é muito importante definir a natureza e a base correta do benefício do risco - o benefício e o escopo em um risco ou todo o risco. Segundo ponto: identificar os parâmetros relevantes para a avaliação. Devem ser os mesmos? Terceiro ponto: levar em consideração os papeis dos fabricantes de inteligências artificiais, não os usuários finais, os cidadãos que estão nas ruas, mas uma grande empresa que fornece o sistema de inteligência especial para um município. Tanto a empresa quanto o município estão engajando na forma como a IA é utilizada. Portanto, é importante definir as obrigações em termos de proteção de dados. Quarto ponto: transparência, participação e responsabilidade. (Falha no áudio.) ... de modo que possamos melhor compreender os impactos e o risco perante a sociedade. E é óbvio que deve haver uma responsabilização com relação a isso. E, por último, acho que não precisamos colocar um modelo de avaliação na lei. Basta observar as diretrizes, as melhores práticas, a soft law necessária, que podem oferecer uma variedade de soluções e metodologias que podem contextualizar e customizar para cada situação específica. E essa é a experiência... (Falha no áudio.)
09:44 R	A SRA. PRESIDENTE (Miriam Wimmer) - Profa. Laura, você gostaria de apresentar a próxima convidada? A SRA. LAURA SCHERTEL FERREIRA MENDES (Por videoconferência.) - Prof. Alessandro Mantelero... O SR. ALESSANDRO MANTELERO (Por videoconferência.) - Yes. A SRA. LAURA SCHERTEL FERREIRA MENDES (Por videoconferência.) - Have you finish your presentation already? O SR. ALESSANDRO MANTELERO (Por videoconferência.) - Yes. A SRA. LAURA SCHERTEL FERREIRA MENDES (Por videoconferência.) - Thank you very much. Então, muitíssimo obrigada. Agradecemos a palestra do Prof. Alessandro Mantelero. Eu tive um pequeno problema aqui na internet, mas acho que está resolvido. Gostaríamos agora de apresentar a Dra. Teki Akuetteh. Ela é advogada no campo de telecomunicações, consultora de privacidade e proteção de dados e sócia sênior de um escritório de advocacia com sede em Acra, no Gana. Ela também é fundadora e Diretora-Executiva do Africa Digital Rights Hub, membro do UN Global Pulse Privacy Advisory Group, e membro não residente do Center for Global Development. Anteriormente, Teki trabalhou para o Governo de Gana no desenvolvimento de várias legislações importantes para o setor de TIC, incluindo a Lei de Proteção de Dados, de 2012, Lei de Comunicações Eletrônicas, de 2008, e Lei de Transações Eletrônicas, de 2012. Ela também foi a primeira Diretora-Executiva da Comissão de Proteção de Dados de Gana. Teki possui um LLM em Direito da Tecnologia da Informação e Telecomunicações pela Universidade de Strathclyde, Glasgow, Escócia, e um bacharelado em Direito e Ciências Políticas pela Universidade de Gana. Por favor, Dra. Teki, a senhora tem a palavra. É uma honra tê-la aqui conosco. Muito obrigada pela sua presença. A SRA. TEKI AKUETTEH FALCONER (Por videoconferência. Tradução por profissional habilitado.) - Obrigado, Laura, por isso. E obrigado por me convidarem para participar desta discussão. Gostaria de começar com a premissa de que as estruturas legislativas de proteção de dados proporcionam e, como Gabriela também observou anteriormente, proporcionam algum nível de proteção ou regulamentação em relação à IA. Mas isso não necessariamente aborda todas as complicações que estamos observando com a IA atualmente. E com base nisso, gostaria de começar dizendo que, em geral, as estruturas legislativas são criadas para regular mais ou menos os comportamentos apropriados e proteções, para garantir pelo menos que todos nós possamos viver em um ambiente seguro. E, nesse nível, vimos realmente até que ponto a IA pode afetar e impactar vários aspectos de nossas vidas. E não apenas questões relacionadas à proteção de dados e à privacidade, mas também questões relacionadas ao meio ambiente, ao clima, à discriminação, questões relacionadas à expressão da própria liberdade, questões relacionadas à economia e outros direitos. E isso quer dizer que, embora as leis de proteção de dados sejam relevantes quando se trata de analisar um aspecto dos direitos fundamentais, que é o direito à privacidade, podemos ver que existem vários outros direitos que são afetados pelo desenvolvimento, implantação e uso dessas tecnologias. E assim, qualquer tentativa de desenvolver uma estrutura apropriada para abordar a implantação - e eu gostaria de enfatizar, a pesquisa, a implantação, o desenvolvimento e o uso de IA - deve olhar para todo o ciclo da IA e então entender quais são os mistérios, quais são os problemas, quais são os desafios que estamos tentando abordar. É somente sob esse enfoque que seremos capazes de criar uma estrutura que nos ajude da melhor maneira possível a resolver muitas das questões. Outra coisa fundamental que eu gostaria de enfatizar é o fato de que, quando se trata de proteções, precisamos olhar para essa questão da perspectiva dos princípios, princípios essenciais que ajudam a lidar com isso. Quando se trata de desenvolvimento, as leis que realmente promovem as tecnologias facilitadoras funcionam em um ambiente ou de uma forma que nós compreendemos. Não tenho certeza, vocês estão me ouvindo direito? Porque parece que estou tendo alguns problemas de conexão. Ok, obrigada. Então, o que eu estava dizendo, é que quando se trata de tecnologias e desenvolvimento de leis que são apropriadas, você notará, olhando para as estruturas de proteção de dados e outras estruturas em torno de tecnologias, que a posição da lei normalmente é... (Interrupção do som.)
09:48 R	A SRA. TEKI AKUETTEH FALCONER (Por videoconferência. Tradução simultânea.) - Sempre fica atrás do horário. É por isso que tipicamente nós estamos procurando pelos princípios, buscamos os princípios centrais, buscamos fazer, oferecer bases sobre as quais possamos construir o emprego e o uso dessas legislações. Assim, a proteção de dados, conforme a Gabriela disse, oferece esse nível de estruturação no que tange ao trato de questões como dados pessoais. Entretanto, quando derivamos desse ponto, vemos que há muitas lacunas e questões éticas a serem consideradas, que devem ser observadas. Talvez haja lacunas na relação de direitos econômicos e com relação à discriminação também, o que nos demanda a construção de estruturas.
09:52 R	Então, ao considerar a regulamentação de inteligência artificial, estamos lidando com os mesmos dados que vemos no espaço de telecomunicações das cidades e as diferentes entidades, os diferentes aspectos que são trabalhados por essas entidades com relação à área de tecnologias, áreas que afetam os direitos humanos de forma particular. Estamos observando a publicidade de diferentes especialistas. Assim, é preciso encontrar pessoas com as mais diversas especialidades, de modo a criarem uma estrutura que esteja adequada à tecnologia. Isso quer dizer que, ao observar o desenvolvimento de uma estrutura de inteligência artificial, é preciso trazer os engenheiros. Devemos lembrar que os especialistas de privacidade devem vir conversar conosco, os especialistas de direitos humanos também, e vamos precisar trazer os especialistas de inteligência artificial, de modo a sermos capazes de construir uma estrutura dedicada para lidar com os desafios com que estamos tentando lidar neste momento. De modo a conseguir fazê-lo eficientemente, precisamos compreender o ecossistema dentro de nossa jurisdição. Então, se vocês estão procurando, é preciso ter a compreensão do que é uma inteligência artificial, observando o modelo Brasil. O que é uma inteligência artificial no Brasil, o que ela significa? Até que ponto ela impactará a nossa economia e quais são os aspectos de inteligência artificial? Somos parte da pesquisa? Somos parte da parte que aloca ou da parte do desenvolvimento? Cada um desses aspectos são características dentro do ciclo de vida que, conforme mencionei, são legislados e trazem informações que podem ser desenvolvidas com a parte de desenvolvimento. É preciso pensar que tipo de conjuntos de dados estamos observando, porque alguns desses conjuntos de dados podem dar à luz um escopo ainda maior do que os dados pessoais. Embora ela seja capaz de trabalhar com os aspectos de proteção de dados, talvez não ajude necessariamente nos outros aspectos dos dados, digamos, os dados públicos, por exemplo, que sejam coletados. Vamos falar sobre os dados que serão utilizados para módulos de treinamento, não necessariamente dados pessoais. Com lidarmos com isso? Eu sei que o Alessandro mencionou questões sobre os aspectos. Para que a IA tenha êxito, precisamos descobrir qual tipo de estrutura estamos concebendo para disponibilizar esses dados, pois, sem os dados, não haverá inteligência artificial. Assim, esses dados, não necessariamente são dados pessoais; podem ser dados que possuam direitos de propriedade intelectual cerceados. Em relação às estruturas que estamos elaborando, estamos agora compartilhando dados pessoais sob tais circunstâncias, assim, quais regulamentações e estruturas podem oferecer uma orientação específica sob a qual possamos elaborar e trazer luz ao tema?
09:56 R	Minha conclusão é de que devemos ficar atentos ao desenvolvimento do uso de dados pessoais, porém, fora desse escopo, há muitos outros tipos de dados que têm sido coletados por sistemas IA que não são dados pessoais, e em quaisquer estruturas que estejamos construindo devemos observar isso. No fim, o que vamos acabar vendo nesse espaço? Veremos mais multiplicidade de regulamentação. Digamos, por exemplo, que o módulo IA seja desenvolvido numa indústria em particular, e é possível observar outros dados que estejam... Claramente o Banco Central, o regulador dos sistemas financeiros poderia se juntar à mesa com relação ao uso de dados que não sejam necessariamente pessoais. Vamos ver como as leis de proteção de dados e regras irão ser aplicadas. Vejo que muitos países agora têm reguladores de TI que fazem a regulamentação de TI. Assim, qualquer estrutura que seja construída deve observar esses outros aspectos e fatores, incluindo reguladores que estejam propensos a serem afetados, e daí elaborar um mecanismo que compreenda uma cooperação de todos os aspectos complexos para fazer com que a inteligência artificial funcione. É isso no momento. Vocês me ouvem? Olá? A SRA. LAURA SCHERTEL FERREIRA MENDES (Por videoconferência.) - Olá, Teki. Nós podemos ouvir você. A SRA. TEKI AKUETTEH FALCONER (Por videoconferência. Tradução simultânea.) - Assim, acho que é isso, e eu vou deixar espaço para perguntas. Caso as tenham, será um prazer respondê-los. A SRA. LAURA SCHERTEL FERREIRA MENDES (Por videoconferência.) - Muito obrigada, Sra. Teki Akuetteh, pela sua apresentação, muito interessante, em especial a referência ao fato de que a inteligência artificial afeta não apenas o direito à privacidade, mas também outros direitos fundamentais, e muito relevante também a lembrança da importância de olhar para todo o ciclo de vida da inteligência artificial quando a gente pensa em desenvolver um framework, um arranjo regulatório para lidar com essa nova tecnologia. Gostaria, então, de passar para nossa última painelista de hoje, a Sra. Robin Wetherill, da Federal Trade Commission, nos Estados Unidos. A Sra. Robin é advogada da Divisão de Privacidade e Proteção de Identidade do Bureau de Proteção ao Consumidor da Federal Trade Commission, nos Estados Unidos. Seu trabalho inclui investigações, negociações de acordos e litígios nas áreas de privacidade, segurança de dados, bem como projetos regulatórios e políticos relacionados. Sra. Robin, muito obrigada por ter aceitado nosso convite. Fique à vontade para fazer uso da palavra.
10:00 R	A SRA. ROBIN WETHERILL (Por videoconferência. Tradução simultânea.) - Muito obrigada por essa apresentação. Eu vou começar agradecendo pelo convite a participar do painel dessa manhã. É uma honra estar aqui. Muito obrigada aos meus colegas painelistas cujas apresentações foram muito proveitosas para mim. Pude aprender muito. Assim, apenas para repetir e me apresentar: sou advogada na Divisão de Privacidade e Proteção de Identidade do Bureau de Proteção ao Consumidor. E apenas para esclarecer: tudo que expressarei remete à minha pessoa; e nada à comissão da qual faço parte. Como tenho certeza que todos vocês sabem, os Estados Unidos carecem de uma lei omnibus. Alguns dos meus colegas apontaram pontos para legislações futuras e para a regulamentação da IA nos Estados Unidos. Meu o foco hoje, entretanto, é lidar com as questões de agências, de comissão de negócios com relação a inteligências artificiais e tecnologias similares. Assim, vou começar fornecendo algum histórico. A FTC é uma agência de aplicação da lei criada por congressistas em 1940. A tarefa da FTC é lidar com a proteção do consumidor. E eu trabalho na parte do guarda-chuva de proteção ao consumidor. Esse será o meu foco hoje. A FTC lida com a aplicação da lei. As agências devem conduzir pesquisa, iniciativas de políticas e objetivos educacionais nesse nível de trabalho. Obviamente, não diz muita coisa falar que, desde 1940, quando a agência foi fundada, e particularmente nas últimas décadas, houve muitos avanços na tecnologia, incluindo avanços nas tecnologias de ponta, como a inteligência artificial, que é o foco dessa conferência. Muitas autoridades e ferramentas legais foram colocadas para proteger os consumidores e os potenciais danos associados a essas tecnologias. Assim, antes de debater algumas das ferramentas legais com maiores detalhes, eu vou cobrir um pouco da relevância das últimas décadas. E esse trabalho é um fator crucial nas nossas prioridades políticas e nossos insights-chave para lidar com as violações de direitos do consumidor e para mitigar esses danos à medida que as IAs estão sendo cada vez mais adotadas junto com essas tecnologias. Em 2011, a FTC fez um workshop público chamado Face Facts, com relação à tecnologia de reconhecimento facial. Então, foi uma oportunidade para ouvir a partir de especialistas com relação a reconhecimento facial. Nós recebemos mais de 80 comentários públicos. Todo esse processo ofereceu a possibilidade para que, em 2012, pudéssemos desenvolver recomendações com relação à comissão de tecnologia. Essas recomendações incluíam que as companhias e desenvolvedores tivessem em mente segurança e proteção para determinar quando manter a informação e quando se livrar dessa informação. É preciso considerar a sensibilidade dessa informação na hora de desenvolver os produtos de reconhecimento facial e serviços relacionados. Assim, por exemplo, o relatório recomendava que sinais digitais que utilizam reconhecimento racial não deveriam ser aplicados em locais onde crianças se reúnem. Eles não podem coletar dados faciais de crianças. E isso desde 2012 vem ocorrendo. Alguns desses reconhecimentos são válidos ainda hoje.
10:04 R	Mais recentemente, em 2016, a FTC publicou dados sobre inclusão e exclusão. Esse relatório, que também foi baseado em um workshop público, fala sobre as leis de big data e sobre resultados com base em características do consumidor, como gênero, raça, religião, origem e orientação sexual. As disparidades existentes... que não há justificativas para a discriminação, e o resultado disso é negativo para os clientes. E a escolha dos clientes deve trazer informações pessoais. Deve-se deixar claro para os consumidores o que eles querem manter ou não, de modo a reduzir o dano ao consumidor. O relatório não utiliza os termos "inteligência artificial", "tomada de decisão algorítmica", mas boa parte dessas recomendações têm relação com a inteligência artificial, pois muitas tecnologias IA são sistemas analíticos que operam muito rapidamente, utilizando grandes conjuntos de dados. Assim, especificamente, o relatório fala sobre as analytics de grandes empresas, que são representativas dessa população que interagiria com esses sistemas, para pensar de forma cuidadosa sobre os conjuntos de dados que são gerados e identificar os vieses em quaisquer dados disponíveis, para considerar os riscos aos consumidores, a resultados... Como esses algoritmos chegaram até esses resultados e como esses resultados podem depender de certas condições, portanto, vulnerabilidades que podem mudar essa condição. Nós também recomendamos que as empresas utilizassem uma supervisão humana necessária na tomada de decisão algorítmica para mitigar riscos aos consumidores com relação aos vieses, considerando centralmente equidade e a tomada de decisões sobre como os seres humanos utilizariam essas tecnologias. Em alguns casos, a justiça e a consideração ética devem advogar contra o uso de IA. A FTC publicou um estudo em 2021 com o título de "Fairness and Equity in use of AI", que trouxe outros pesquisadores para oferecerem orientações com relação ao uso dessas ferramentas. Por exemplo, a era pós... viu a elaboração de diversos conjuntos de dados que são processados por essas inteligências artificiais. O relatório também fala sobre a testagem de algoritmos antes e depois da sua alocação, e as empresas devem ser transparentes com os consumidores e também com os servidores sobre a tecnologia que é utilizada e como. Assim, todos esses observadores podem ajudar a garantir que a tecnologia esteja sendo utilizada de forma justa. Por fim, o blogue mostra dados com relação a reivindicações, sobre habilidades e utilização de inteligências artificiais. Agora vou mudar para um panorama sobre as questões éticas e as autoridades legais que remontam a 1940 sobre o desenvolvimento e o uso da tecnologia de inteligências artificiais. Mais uma vez, vou começar com a lei da Federal Trade Commission. A FTC diz que as práticas podem ser... E o que significa, em nível prático, sobre... Algumas imprensas podem atuar fazendo uma representação interna ou uma intervenção que pode erroneamente levar consumidores a acompanharem notícias ou materiais que sejam falsos, sem nenhuma evidência... No contexto de inteligência artificial assim como no resto da economia, a reivindicação do mercado sobre a acurácia ou o viés da IA... Portanto, pode acabar sendo ilegal, se não for consubstanciado. A FTC agiu contra empresas com uma conduta... Um exemplo: o settlement de 2021 fala sobre os aplicativos e a forma de analisar fotos que foram carregadas por usuários que diziam que certas fotos de tumores eram cancerosos. Isso, portanto... Lembro outro exemplo da FTC que está em curso, sobre 2021: Everalbum utilizava um aplicativo global que permitia fazer uploads de fotos pessoais. A FTC percebeu que foram feitas representações de fotos que não seriam analisadas usando reconhecimento facial a não ser que o usuário afirmativamente ligasse a característica de reconhecimento facial. De fato, para utilizar boa parte da localização geográfica, essa funcionalidade estava desligada. Essas fotos eram carregadas no site pela inteligência artificial para aprender reconhecimento facial. Portanto, a FTC reconheceu que a representação de Everalbum sobre o uso de reconhecimento facial... Foi aceita.
10:08 R	Com relação à justiça da autoridade, um ato de prática é injusto se ele puder causar dano substancial ao consumidor, que não seja algo que traga benefício aos consumidores ou que não faça parte do mercado da competição. Assim, por exemplo, como foi explicado na postagem do blogue que acabei de mencionar, se utilizarem uma ferramenta IA que possa prejudicar consumidores mais do que trazer benefícios, talvez seja o fato de uma prática ilegal que se enquadra na lei da FTC. Obviamente, outros aspectos da lei da FTC também são relevantes. Por exemplo, a criação de um background de relatórios de consumidores com relação a dados sobre crédito e moradia. Setores têm utilizado informações algorítmicas para trabalhar, inclusive, com pontuações de crédito. Essas empresas devem adotar procedimentos para garantir a máxima acurácia. Em 2018, por exemplo, a FTC chegou a um acordo com o chamado RealPage que permitia o uso razoável de características que eram demandadas pelo FCRA. Esse algoritmo utilizava critérios muito amplos para permitir os consumidores... E os registros criminais pertenciam aos clientes. Havia relatórios de que os proprietários utilizavam esses dados... A FTC reconheceu que o RealPage não tinha nenhum direito para ter esses dados. Com o resultado dessas falhas acumulativas, eles violaram o FCRA. A empresa teve que pagar uma pena civil de US$3 milhões.
10:12 R	As leis de discriminação também continuam a ser aplicadas no contexto de inteligência artificial. A FTC tem um estatuto que proíbe a discriminação e a disponibilidade em termos de crédito. A lei de crédito igual considera aquilo que chamamos de "impactos disparatados". É preciso... Por exemplo, em 2010, a FTC fez uma lei de crédito igual. A FTC reconheceu que o Golden Empire tinha a descrição de quais tarifas deveriam ser cobradas do cliente. Com essa prática, a FTC reconheceu que a empresa cobrava taxas muito altas. A Golden Empire também falhou em monitorar seus preços, para saber se eram discriminatórios. Agora, imagine que, em vez de se permitir a descrição, fosse confiado a um algoritmo a apreciação de dados. Se esses dados forem determinados por um algoritmo e se isso não permitir que as pessoas, então, consigam ter acesso a essas oportunidades, desde a questão de moradia até a questão de empregabilidade e disponibilidade... Há também a questão sobre como isso funciona a partir da inteligência artificial. É preciso buscar uma forma de mitigar essas situações. Como mencionei anteriormente, a empresa teve que deletar todos os dados obtidos a partir de meios ilícitos. Mas o produto foi criado. E utilizar esses dados, incluindo modelos e algoritmos... As empresas que violaram a lei não poderiam ter benefícios ou vantagens a partir de sua conduta passada. A FTC também obteve sua mediação a partir de empresas como a Cambridge Analytica e, mais recentemente, uma empresa chamada Clawbert, operador de um aplicativo para crianças. E, nesse caso, a violação em questão era uma violação da Lei de Proteção à Privacidade das Crianças. Uma razão de que esse caso é significativo é que ele aponta para leis de restrição de privacidade de modo geral e para o contexto da inteligência artificial, porque, no momento em que você pensa sobre coleta de dados, devemos pensar também sobre as implicações em agregar dados de consumidor para treinamento de inteligência artificial. Assim, antes de concluir, eu gostaria de mencionar brevemente que eu só posso falar sobre as atividades da FTC. Elas não são... É somente uma das atividades. Há outras autoridades que tentam lidar com os desafios devido à crescente adoção de inteligência artificial. O Birô de Proteção ao Consumidor anunciou recentemente que vai combater o viés algorítmico em contextos de moradia. A Comissão de Oportunidades Iguais, que combate a discriminação empregatícia, lançou uma iniciativa para garantir que a inteligência artificial e outras ferramentas emergentes que estão utilizando inteligência artificial devem cumprir com a legislação. Esses são apenas alguns exemplos no Governo dos Estados Unidos. Para concluir, eu gostaria, mais uma vez, de agradecer muito por me convidarem para falar hoje sobre um tópico tão importante e pelos excelentes moderadores. Muito obrigada pela atenção de todos vocês.
10:16 R	A SRA. LAURA SCHERTEL FERREIRA MENDES (Por videoconferência.) - Muitíssimo obrigada, Dra. Robin Wetherill. A gente gostaria de agradecer imensamente a sua participação assim também como a participação dos demais. E quero aproveitar o tempinho que ainda nos resta para pedir para que cada um dos senhores e das senhoras façam um comentário final e também possam comentar algo que é uma reflexão que a gente tem visto tanto no Brasil quanto fora, que é sobre a relação entre os princípios da proteção de dados, os clássicos princípios da proteção de dados, da necessidade e especialmente da finalidade com as novas aplicações de inteligência artificial. Há uma contradição entre esses princípios e as aplicações de inteligência artificial ou não? É possível se pensar nessa aplicação desses princípios à inteligência artificial ou ao final precisaríamos de uma releitura desses princípios clássicos da proteção de dados? Então, essa seria uma pergunta final que a gente gostaria que os senhores, se puderem, endereçassem, juntamente com as conclusões e uma fala final de cada um. Eu gostaria de sugerir que a gente pudesse seguir a ordem das falas. Talvez a Dra. Gabriela Zanfir poderia falar primeiro, e em seguida a gente seguiria também a ordem dos palestrantes. (Pausa.) A SRA. GABRIELA ZANFIR (Por videoconferência. Tradução por profissional habilitado.) - Desculpe, eu não ouvi. Quer dizer, ouvi em português e entendi que você disse meu nome e algumas palavras. A SRA. LAURA SCHERTEL FERREIRA MENDES (Por videoconferência. Tradução por profissional habilitado.) - Ok. Miriam, você poderia explicar, talvez? A SRA. PRESIDENTE (Miriam Wimmer. Tradução por profissional habilitado.) - Claro. Então, vou falar em inglês. Agradeço a todos os palestrantes por seus maravilhosos discursos. Gostaria de convidar cada um de vocês a proferir algumas palavras finais e, se possível, abordar uma questão que já foi discutida muitas vezes aqui no Brasil e em outros lugares, que diz respeito à relação entre esses princípios e direitos e ferramentas que desenvolvemos ao longo de tantos anos para lidar com a proteção de dados pessoais, tendo em vista essas novas tecnologias e, em particular, o princípio de limitação da finalidade, de minimização; por exemplo, são esses princípios incompatíveis com a IA ou devemos pensar em reconsiderá-los ou usá-los como são. Portanto, se vocês puderem fazer alguns comentários finais sobre esse ponto, em dois ou três minutos, eu agradeceria muito. E seguiremos a mesma sequência de apresentação, começando com a Dra. Gabriela e depois continuando na mesma ordem. A SRA. GABRIELA ZANFIR (Por videoconferência. Tradução por profissional habilitado.) - Muito obrigada por esta excelente pergunta. E minha breve resposta é que acredito que eles são compatíveis com as novas tecnologias, mas ao mesmo tempo precisamos olhar para os desafios colocados por tecnologias muito complexas como a IA, e precisamos ver como podemos complementar a proteção que os princípios existentes proporcionam. E se isso significa uma abordagem técnica como a UE está sugerindo com as avaliações de conformidade antes do lançamento de sistemas de IA no mercado, ou se isso significa avaliações de impacto algorítmico específicas que analisem a discriminação, evitando a discriminação. Essas poderiam ser algumas das soluções disponíveis. Acredito que elas possam trabalhar juntas. Obrigada. A SRA. PRESIDENTE (Miriam Wimmer. Tradução por profissional habilitado.) - Professor Alessandro, você gostaria de apresentar algumas reflexões sobre esse assunto? O SR. ALESSANDRO MANTELERO (Por videoconferência. Tradução por profissional habilitado.) - Sim. Sou muito cético e compartilho com vocês no chat as diretrizes para que o Conselho da Europa...
10:20 R	Assim, esse princípio, da forma como o conhecemos, de proteção de dados, pode ser visto aqui, pode ser considerado de uma abordagem técnica, e não podemos confiar somente na proteção de dados, conforme mencionado na apresentação, e isso faz parte de toda a situação, mas não podemos lidar somente se... (Interrupção do som.) A SRA. PRESIDENTE (Miriam Wimmer) - Obrigada, Prof. Alessandro. A SRA. TEKI AKUETTEH FALCONER (Por videoconferência. Tradução simultânea.) - Acho até que gostaria de acrescentar um comentário. Eu acho que, para conseguir lidar com isso de forma efetiva, nós precisamos observar cada contexto e nos perguntar mais uma vez: o que estamos tentando fazer, com o que estamos tentando lidar, de modo a minimizar? Desde que isso continue sendo relevante em proteção de dados, acredito que tenha um papel até na inteligência artificial. Talvez a pergunta que deveríamos estar fazendo a nós mesmos é se isso se aplicaria a todos os contextos de inteligência artificial. Lógico que a resposta é "não", porém, nas áreas de processamento de dados pessoais por inteligência artificial, acredito que é alguma coisa em que tenhamos que ter uma avaliação crítica, sobretudo, a leis de proteção de dados, que permitem algum nível de "anonimização", que disponibilizam algum nível de dados ou que eu acredito que seriam utilizados pela inteligência artificial. Porém, em todos esses, para mim, é algo em que esse risco é significativo. Se comparado ao benefício, eu acredito que é preciso proteger os seres humanos e certificar-se de que as máquinas façam o mesmo. A SRA. GABRIELA ZANFIR (Por videoconferência. Tradução simultânea.) - Miriam, não conseguimos ouvir você. A SRA. PRESIDENTE (Miriam Wimmer. Tradução simultânea.) - O.k. Acho que está funcionando agora. Muito obrigada, Sra. Akuetteh, por nos oferecer as suas últimas notas. A SRA. TEKI AKUETTEH FALCONER (Por videoconferência. Tradução simultânea.) - Sim, muito obrigada pela oportunidade de responder a essa excelente pergunta. Eu concordo com Gabriela. Acho que a amenização de dados lida com outro princípio-chave. Não é algo inconsistente para com a necessidade da regulamentação da inteligência artificial, mas, de fato, eu acho que anda de mãos dadas com isso nesse espaço regulatório. Uma razão pela qual eu falo isso é porque a existência de inteligências artificiais e o uso dessas inteligências artificiais fazem com que esses direitos de privacidades sejam mais urgentes. Essa transformação na natureza dos dados, que se dá de forma muito acelerada, faz com que certos pontos que não eram considerados tão sensíveis se tornem agora deveras sensíveis, pois a tecnologia IA pode ser utilizada, por exemplo, para acumular imagens faciais, para criar vídeos de impostores de uma pessoa, e isso tem associações, isso tem vastas implicações sociais. Há questões políticas aí também.
10:24 R	Então, é preciso de fato desenvolver regras nessas áreas, lado a lado, de mãos dadas, garantindo que não abandonemos esses direitos base, essas necessidades dos indivíduos diante do potencial dos grandes avanços tecnológicos. A SRA. PRESIDENTE (Miriam Wimmer) - Excelente. Profa. Laura, a senhora gostaria de fazer algum comentário final antes de partirmos para o encerramento? A SRA. LAURA SCHERTEL FERREIRA MENDES (Por videoconferência.) - Sra. Miriam, apenas para agradecer esse fantástico painel. Acho que tivemos realmente uma abordagem muito ampla sobre essa relação de como a proteção de dados em grande parte endereça e auxilia em grandes questões sobre a inteligência artificial e também ajuda a mitigar os riscos de algoritmos e, ao mesmo tempo, também as limitações dessas ferramentas de proteção de dados. Então, apenas um agradecimento muito especial à Dra. Gabriela Zanfir-Fortuna, ao Prof. Alessandro Mantelero, à Dra. Teki Akuetteh e também à Dra. Robin Wetherill. Passo a palavra a você, Miriam. Muito obrigada. A SRA. PRESIDENTE (Miriam Wimmer) - Obrigada, Profa. Laura. Então, com isso, vamos passar ao encerramento do painel. Eu gostaria de reforçar os agradecimentos aos nossos painelistas, que trouxeram contribuições inestimáveis para nossa reflexão aqui no Brasil. Também agradeço aos intérpretes e a equipe do Senado que tem nos apoiado aqui na condução deste seminário. Eu também gostaria de registrar e agradecer às pessoas que enviaram perguntas pelo Portal e-Cidadania. Menciono aqui Gustavo Santos, do Amazonas; Pedro Henrique, da Bahia; Epaminondas de Sá, de São Paulo; Lara Brant, de Minas Gerais; Bruno Henrique, de São Paulo; Jeferson Cristhian, do Ceará; Erika Laisia, da Bahia; Carlos Mendes, de Santa Catarina; entre outros. Acredito que as questões tenham sido de alguma forma endereçadas ao longo das exposições e, caso não tenham sido, também nós as levaremos em consideração no âmbito da Comissão de Juristas. Eu gostaria de reforçar também o pedido aos nossos painelistas para que as apresentações sejam enviadas por e-mail para que possam ser tornadas públicas no portal do Senado Federal. Com isso, eu declaro encerrado o quarto painel do nosso Seminário Internacional da Comissão de Inteligência Artificial do Senado Federal. Informo que vamos suspender o seminário por um período de cinco minutos, apenas para que possamos fazer alguns testes de tradução aqui e retomaremos logo em seguida. Muito obrigada a todos. Desejo a todos um excelente dia! (Suspensa às 10 horas e 28 minutos, a reunião é reaberta às 10 horas e 35 minutos.)
10:32 R	O SR. PRESIDENTE (Bruno Ricardo Bioni) - Bom dia a todos e a todas. Eu gostaria de declarar reaberta a sessão da Comissão de Juristas sobre Inteligência Artificial do Senado Federal. A gente vai dar início ao painel 5 desse seminário realizado até agora em dois dias. O painel 5 irá tratar do tema Técnicas Regulatórias e Abordagem baseada em Risco. Nós teremos como convidados e convidadas: o Sr. Eike Gräf, da Comissão da União Europeia; a Sra. Pam Dixon, do Fórum Mundial em Privacidade; e também a Sra. Courtney Lang, do Conselho da Indústria de Tecnologia da Informação. Registro aqui a presença dos demais colegas, pares de Comissão, e passo imediatamente a palavra para a Profa. Laura Schertel Mendes, que irá apresentar o nosso primeiro palestrante. A SRA. LAURA SCHERTEL FERREIRA MENDES (Por videoconferência.) - Obrigada, Bruno. É um prazer compartilhar a moderação deste painel com você. Eu queria, então, agradecer mais uma vez a ilustre presença dos nossos três palestrantes deste painel e já passar a palavra para o Dr. Eike Gräf, que é o Policy Officer no Departamento de Políticas Públicas para Direitos Fundamentais da Comissão Europeia.
10:36 R	O seu trabalho concentra-se na aplicação efetiva dos direitos fundamentais em contextos digitais, tendo trabalhado em propostas legislativas recentes, tais como The AI Act, bem como em outros trabalhos não legislativos, como, por exemplo, para combater o discurso de ódio na internet. No passado, Eike já trabalhou com políticas públicas na esfera digital, especialmente com a governança da inteligência artificial, tanto no setor privado como também como pesquisador. Dr. Eike Gräf, muito obrigada pela sua presença. O senhor tem a palavra. O SR. EIKE GRÄF (Por videoconferência. Tradução simultânea.) - Muito obrigado por me chamarem para essa conversa. Eu entendo que, ontem, meu colega de Comissão já apresentou uma proposta para uma regulamentação de inteligência artificial de um modo geral. Então, o meu foco hoje será em aspectos específicos que seriam úteis para debater, compreender esse painel. Assim, esse seria o meu foco principal. Também, no fim, eu gostaria de falar sobre os impactos nas avaliações nos direitos humanos. O meu trabalho com relação... Eu vou repetir alguns pontos nos últimos 20 minutos, porque pode ser muito útil no contexto entre a inteligência artificial como uma entidade e a prática de seus usos, assim, as melhores práticas. Obviamente, nós já conhecemos que ambos podem ser considerados como um sistema de um modo geral e que esses sistemas de práticas não estão conectados, porém há partes distintas. A proposta da lei de inteligência artificial é apenas uma parte. E outra parte importante, entre tantas outras, são os papéis que já estão colocados. Para essa nova proposta, a escolha é propor um horizonte regulatório com uma total harmonização de todos os estados-membros, que pode ser acobertada por uma lei horizontal, que pode ser utilizada em situações muito diferentes. É o primeiro ponto aqui que eu gostaria de discutir. E, obviamente, existe a observação de que há diferentes tecnologias IA; muitas são baseadas em machine learning, em sistemas de exploração, por exemplo, abordagens que, às vezes, podem ser debatíveis, como estatísticas automatizadas. Todas essas tecnologias podem levar a uma certa opacidade e complexidade dos resultados. Isso também vem como um desafio para os resultados desse sistema. Então, essa abordagem horizontal foi escolhida porque certas características entre esses desafios, em situações diferentes, são tecnologicamente similares, sistemas similares em situações distintas. A Comissão propôs uma abordagem horizontal para com as diferentes tecnologias e diferentes situações. E, assim, o ponto importante aqui, obviamente...
10:40 R	Eu ouvi a Dra. Gabriela e acompanho a fala dela de que essas regras já existem, que às regras devemos trazer adendos, às regras trabalhistas, às leis do consumidor. Essas leis são relevantes para a utilização de sistemas de inteligência artificial, à proposta de inteligência artificial e respeito aos sistemas, outros sistemas, conforme já mencionados, ou comportamento de certas práticas. E poderíamos dizer que o uso de um sistema de inteligência artificial está sujeito às regras, por exemplo, na área de pontuação do consumidor numa plataforma de trabalho, elas estão sujeitas aos direitos e obrigações e o objetivo é que essa utilização de tecnologias acesse a igualdade da prática. E, se houver algum problema, deveria ser adaptado ou evitar a prática se necessário. Agora, com relação ao horizonte, uma abordagem com base em riscos, como já discutimos anteriormente no primeiro painel, ela foi guiada para uma conceituação da proposta, e isso leva a diferentes obrigações para diferentes categorias de risco. Assim, primeiramente, vai elaborar o escopo. É importante ressaltar que os aspectos devem ser tecnologicamente considerados não somente com relação a machine learning, mas devem abranger todos os sistemas de inteligência artificial que corresponderiam à definição do problema. Já mencionei anteriormente os desafios tecnológicos, como opacidade e complexidade, que podem obstruir minha própria avaliação sobre aquilo que eu quero empregar e sobre sua legalidade, que foram utilizados de forma discriminatória. Não gostaria de discorrer muito sobre isso, pois eu entendo que já foi muito debatido hoje e ontem, assim... Um segundo. Preciso checar as minhas notas. Sim, essas características que mencionei com relação à opacidade e complexidade, entre tantas outras, obviamente, podem surgir a partir da utilização de machine learning, elas podem surgir em outros sistemas. Então, assim, a comissão escolheu uma definição bastante ampla na definição de prova que pode desenvolver com o tempo. Outro motivo que eu mencionei aqui no início: de um lado, temos o sistema em si e temos a consideração de que ele seja parte de um sistema sociotécnico, e pode ser concebível que haja alguns elementos da tecnologia baseados em machine learning; outros utilizam outros dispositivos. É por isso que esse escopo deve ser tão amplo. E, daí, existe um segundo gatilho para a maioria das obrigações propostas por lei. Há situações em que é utilizado o risco que advém de uma finalidade específica do sistema e que dispara as demais obrigações. Há também outras situações que já são proibidas, algumas situações em que é necessária a transparência, mas eu gostaria de focar nos sistemas de alto risco, que disparam obrigações que são documentadas. Deve-se manter a documentação também para conferir acesso a essa documentação às autoridades relevantes que supervisionam esses direitos fundamentais.
10:44 R	Então, de certa forma, essa abordagem é tanto baseada em risco quanto em direitos, porque os direitos que temos para proteger os direitos fundamentais obviamente continuam a ser aplicados em diversas outras instâncias. Eles continuam sendo... Não devem ser mantidos, mas devem ajudar na implementação devido à aplicação desse direito, ao auxiliar, propondo essa regulação que segue a abordagem de riscos. Então, aqui, a ideia, é, onde precisamos, devido à opacidade ou à complexidade de um sistema, de um esforço extra para manter os direitos que já estão dispostos, assim como propor deveres extras. Esses deveres devem ser proporcionais. Portanto, devemos utilizar uma abordagem baseada em risco, uma avaliação de impacto de riscos a essa proposta, que a comissão utiliza para identificar quais situações nós já conhecemos para utilizar o sistema de IA e um risco para os direitos fundamentais ou a segurança. Essa é a forma como as situações, com relação à categorização, foram identificadas. Assim, eles são contidos no dispositivo anexo da proposta. Então, esse é o próximo ponto importante para uma abordagem de riscos. É o legislador que define o que é arriscado. Portanto, quem está no escopo? Assim, o Prof. Mantelero mencionou que existem os riscos de circunvenção das entidades reguladas, para que façam por conta própria as avaliações de risco. Portanto, elas podem definir suas próprias práticas como não sendo de risco. Então, essa não é a nossa ideia. Nós propomos uma situação muito clara em que alguém esteja dentro do escopo e deva cumprir com todas as regras nessa lei de inteligência artificial. Não vou mergulhar a fundo nisso, dado que as palavras-chave e documentação já foram mencionadas. Gostaria de acrescentar um ponto que não foi mencionado antes, com relação ao provedor do sistema, que possui informações importantes ao usuário do sistema, dadas essas características, mas também com relação à forma como elas foram criadas para permitir ao usuário que utilize o sistema de forma responsável e de acordo com suas obrigações. Assim as informações que devem transmitir as capacidades e como o sistema funciona, se bem ou não, podem não ser confiáveis. Portanto, não deveriam ser utilizadas no contexto. Esse pacote de obrigações, que fornece mais acuidade e robusteza, deve ser avaliado por conformidade. É uma abordagem diferente que, às vezes, é controlada pelos próprios provedores, que conduzem a avaliação. Este é o ponto importante que temos aqui, a avaliação de conformidade. Fala sobre a conformidade com relação a essa nova legislação IA. Ela deve servir como um dispositivo para ajudar na conformidade com relação às leis de segurança e os direitos fundamentais. A conformidade com a lei IA não significa conformidade com os direitos fundamentais ex ante, a partir da observação do sistema. Porque o que é de fato necessário é observar a utilização concreta e num contexto concreto. Então, é importante relembrar que a conformidade aqui é com relação ao uso de determinado sistema, e isso me traz ao segundo ponto que me pediram para apresentar, que é a questão sobre a avaliação de impacto nos direitos humanos. Esse seria com relação ao empregador do sistema, entretanto, boa parte das regras e da proposta de inteligência artificial são provedores do sistema. É verdade que os usuários possuem muita visibilidade sobre a utilização da ferramenta e têm a visibilidade dos riscos, de modo que possam ter o controle sobre como enfrentar esses riscos, então essa discussão deve trazer a sociedade civil e os membros que têm o impacto. É por isso exatamente que essa parte do quebra-cabeça foca no provedor. Eles devem...
10:48 R	Entretanto, por exemplo, deve-se levar as instruções para o provedor para dar garantias com relação aos dados e à segurança desses dados. Obviamente, de alguma forma, há um ponto óbvio com relação aos usuários, com relação às obrigações existentes em alguns casos. É preciso avaliar o que será feito e como avaliar o risco aos direitos fundamentais e a carência no atendimento deles, mas obviamente há um regime explícito que foi discutido anteriormente a partir da perspectiva da lei de proteção de dados, porém há muitos casos onde a proteção de dados e o impacto, a avaliação de impacto já é necessária a partir do usuário, e essa avaliação também foi debatida anteriormente, cobrindo não somente a privacidade da proteção de dados, mas também as liberdades tangentes a isso. Em princípio, nenhum dado pessoal é processado. Essa deve ser uma legislação complementar, ela deve evitar duplicatas, e o princípio que consideramos para as regras com relação à prática e uso de um sistema de inteligência artificial deve ser definido. Mas os exemplos... Assim, sistemas dessas áreas também devem estar no escopo com relação à publicação, e aqui podemos ilustrar como isso será agregado. Por exemplo, na proposta de legislação existente com relação à melhoria das condições das pessoas que trabalham em plataformas online.
10:52 R	A comissão propôs uma obrigação na plataforma trabalhista de regulamentação e avaliação dos impactos que gestões automatizadas exercerão sobre as condições de trabalho das pessoas que trabalham na plataforma. Assim, uma vez adotada, essa proposta se beneficiaria da legislação da IA. Toda testagem e documentação do sistema dos usuários da plataforma já estaria lá de uma forma bastante detalhada e deveria haver a possibilidade de acessar sob certa condição. Possivelmente isso ajudaria a plataforma para que ela pudesse fazer a avaliação e os efeitos sobre as condições de trabalho. E há um último ponto que eu gostaria de mencionar que foi estudado nos outros casos com relação ao escopo da regulamentação IA. As autoridades encarregadas dos direitos fundamentais podem demandar a quaisquer sistemas IA a avaliação do impacto esperado com relação ao uso da ferramenta e, em outro ponto, a informação sobre o que esse sistema faz - para que serve sua otimização; quais as possibilidades com base na forma como ele funciona. Em alguns casos, ele poderia incluir os logs do sistema, onde o usuário mantém muita informação que poderia ser interpretada a partir de uma autoridade. Isso passaria a uma perspectiva diferente: uma avaliação deveria ser publicada, mas ainda há um elemento interessante a ser considerado com base no que existe nessa proposta. Vejo que tenho ainda três minutos. Perfeito, pois, como último ponto, eu gostaria de mencionar a iniciativa sobre as regras de responsabilidade com relação ao uso de inteligências artificiais como complemento. Atualmente isso está em preparação. Seria uma diretiva que forneceria um alívio do ônus da prova; debateria sobre as presunções de responsabilidade, sobre como tratar a vítima do uso de um sistema de inteligência artificial, porque a descrição do problema aqui foi como encontrar, para quem me voltar ao lidar com esse sistema - eu não sei se foi defeito do sistema, não sei quem foi o responsável pelo defeito, porém o provedor do sistema. O usuário do sistema estaria numa melhor posição para acessar essa informação. Então, haveria mudanças dedicadas com relação ao ônus da prova e no regime de informações. E essa nova legislação pode ser benéfica com relação àquilo que precisa ser registrado, documentado com relação à regulamentação IA. Mais uma vez, são outras partes do quebra-cabeça que podem funcionar juntas. Posso dizer que, em termos de tempo, a responsabilidade civil tem sido preparada paralelamente a uma revisão da legislação da União Europeia. Ambas as iniciativas devem estar presentes em algum momento diante dos tribunais este ano.
10:56 R	Dito isso, eu vou permanecer para a discussão e gostaria de agradecer a vocês. O SR. PRESIDENTE (Bruno Ricardo Bioni) - Nós que agradecemos, Sr. Eike Gräf. A gente teve aqui a oportunidade de já ter, ao longo dos dois dias de seminário, dois representantes da Comissão da União Europeia, falando um pouco do trabalho preparatório legislativo e também das racionalidades por trás dessa proposta de regulação, o que tem sido extremamente frutífero e rico. Agora, passo a apresentar a nossa segunda palestrante, a Sra. Pam Dixon, do Fórum Mundial em Privacidade. A Pam Dixon é fundadora e diretora dessa instituição que eu mencionei, o Fórum Mundial em Privacidade, que é um respeitado grupo de pesquisa de interesse público. Ela também é autora e pesquisadora, tendo escrito diversos estudos influentes na área de identidade civil, inteligência artificial na área de saúde e de ecossistemas complexos de dados e sua respectiva governança. Dixon também trabalhou extensivamente com o tema de privacidade em diversas jurisdições, como Estados Unidos, Índia, África, Ásia, União Europeia, e atualmente ela também copreside o Grupo de Trabalho em Regimes Jurídicos e Governança de Dados em Estatísticas das Nações Unidas, que também é ponto focal por parte da sociedade civil e do esforço multissetorial do recente grupo de trabalho criado na Organização para a Cooperação e o Desenvolvimento Econômico (OCDE). Por fim, também apresentou estudos e diversos trabalhos sobre o tema de governança e ecossistema de dados na Academia Nacional de Ciência e também na Academia Real de Ciência. Passo a palavra, imediatamente, para a Sra. Pam, agradecendo mais uma vez a disponibilidade e a generosidade do tempo franqueado para esta Comissão. A SRA. PAM DIXON (Por videoconferência. Tradução simultânea.) - Muito obrigada pelo seu convite para estar aqui hoje. Como mencionado, eu fui fundadora e diretora executiva, e meu trabalho tem sido, ao longo desses 30 anos, como uma combinação de trabalho técnico e político, observando grandes sistemas de dados complexos. E os impactos, esse tem sido o principal foco do meu trabalho. Na Índia, passamos um ano pesquisando um dos maiores sistemas de machine learning por inteligência artificial do mundo, e eu trabalhei nele extensivamente na Suprema Corte, o que ajudou muito na tomada de decisão com relação aos sistemas de aprendizado machine learning. Eu estou muito feliz de poder compartilhar alguns dos pontos que aprendemos, tanto pontos técnicos e aspectos das políticas desses ecossistemas, não somente no norte do mundo como também no sul. Assim, gostaria de prosseguir e começar abordando o debate sobre a inteligência artificial e os ecossistemas de machine learning. Como sabemos, em 2019... Poderemos conversar de forma muito distinta sobre aquela que teremos hoje, dada a aceleração dos sistemas de inteligência artificial e machine learning que foram criados a partir da pandemia. Estamos observando um cenário distinto. Precisamos ser muito cuidadosos para compreender que o mundo diante de nós é outro, totalmente diferente de dez anos atrás. Com o que quer que façamos, precisamos pensar adiante, devido a essa aceleração. Eu gostaria de falar sobre como será.
11:00 R	Um dos pontos que é muito importante compreender sobre o que aconteceu desde a pandemia é que nós não podemos mais pensar sobre inteligência artificial e machine learning como um ecossistema nacional ou regional. Deve-se pensar nesses ecossistemas de modo global, devido à forma como eles funcionam na realidade. E, na realidade, em sistemas de inteligência artificial e machine learning, ao pensarmos sobre as regulações proporcionadas por esses sistemas, pensamos que são sistemas visíveis para nós, porém, cada vez mais, estamos indo em direção ao mundo em que eles serão não somente invisíveis, eles serão como os encanamentos das casas: você sabe que estão lá, você consegue ligar a torneira, mas não necessariamente você vai conseguir ver os canos. Estamos seguindo rapidamente para isso. Quando isso acontecer, vai ser necessário um controle regulatório distinto. Então, é preciso ter uma abordagem combinatória para congregar todos os caminhos legislativos sobre isso. Vou passar para mais detalhes visuais... Muitos sistemas estão isentos do GDPR. E, a partir de regulamentações similares, isso não é algo... Os sistemas de saúde, não os sistemas privados, mas os programas de saúde pública, são os sistemas que lidaram com covid... Os sistemas públicos de saúde geralmente estão isentos também. Quando esses sistemas são muito significativos e estão isentos, o que fazer para garantir que haja boas regras em todos os lugares? E aí é que diferentes tipos de controle regulatório surgem, de modo que pode haver controle e flexibilidade também. Por fim, eu gostaria de... Eu queria falar hoje sobre o que uma abordagem madura de sistema seria, com relação à política, à tecnologia, a partir de inserção até o desenvolvimento, os usos desse sistema, o reendereçamento e obviamente uma melhoria necessária no sistema ao longo do tempo. Assim, tenho alguns eslaides que eu gostaria de compartilhar com vocês. Deixem-me seguir adiante e compartilhar minha tela com vocês neste momento. Deixem-me tentar. (Pausa.) Acho que consegui.
11:04 R	Basicamente, estamos numa situação em que boa parte da IA e da regulamentação de machine learning é muito contenciosa. Acho que... Eu gostaria de fazer aqui uma proposta. Tenho tempo suficiente para isso. Então, eu gostaria de fazer uma declaração sobre o problema. Nas relações, isso leva à questão que está sendo tratada neste painel. Estamos falando sobre todo o ciclo de vida de inteligência artificial ou de um sistema de machine learning, sobre todo resultado que esse ecossistema proporciona ou que pode inserir... Falamos sobre todo o risco relacionado. Esse risco é contínuo. Não se configura um alto risco totalmente, mas ele é repleto de nuanças com relação a um sistema extremamente complexo. E há tantos contextos e formas possíveis em que esses sistemas podem criar riscos! Uma coisa que podemos dizer é que o nível de risco agora é mais alto. Portanto, precisamos de um processo regulatório para regular esse risco. É preciso, assim, pensar sobre a paisagem, o panorama regulatório das políticas, de modo que ele seja harmônico, e não fraturado, pois uma questão pode afetar a outra. A forma como os sistemas de inteligência artificial funcionam hoje... Eles não foram desenvolvidos do nada, eles são compartilhados e ressignificados e acabam atuando de forma global. Primeiro, temos aqui uma tabela global das jurisdições em que as leis compreensíveis de privacidade de dados existem. As diferentes cores representam as diferentes regiões. Assim, podemos ver, através do tempo, como as diferentes regiões adotaram a legislação. Esse é um mapa básico. Como podem ver, o mundo em desenvolvimento está se movimentado rapidamente para adotar regulamentações similares ao GDPR. Essas regulamentações oferecem uma base para alguns aspectos da inteligência artificial, porém não para todos. Não é um sistema de regulamentação completo e total. Assim, em virtude disso, devido às jurisdições que ainda não compreendem essa regulamentação, até mesmo porque a regulamentação de privacidade não está voltada para a questão da inteligência artificial, temos ferramentas e conjuntos de ferramentas não sistêmicos. O que temos para a inteligência artificial? Temos muitas estratégias, temos muitos princípios para o uso responsável, temos um limite legislativo no que tange ao controle. Em boa parte das jurisdições, particularmente naquelas em que não temos o GDPR, há pouquíssimo controle sobre casos específicos. Um dos mais populares é o biometrics, que são sistemas biométricos, e as redes neurais, que utilizam machine learning. Esse tem sido o assunto para proibições. Essa tem sido a abordagem para lidar com sistemas de alto risco.
11:08 R	Isso não é uma forma sustentável de abordar sistema de alto risco, porque historicamente, mesmo que o sistema tenha uma moratória, isso dura apenas por algum tempo. Então, precisamos de uma forma mais profunda de lidar com o risco. Assim, minha proposta é pensar sobre um sistema cooperativo, em que tenha uma abordagem do governo onde for possível, em que as partes interessadas tanto do setor público quanto do privado tenham um papel voltado para isso como organizações e estatísticas nacionais, avaliadores de proteção de dados, portadores de dados, doadores de dados e obviamente os usuários, os quais são muitos. Há muitas questões atinentes a isso. Obviamente é muito importante identificar de forma tanto horizontal quanto vertical. As oportunidades de integração horizontais e verticais dentro das jurisdições dos governos podem começar em âmbito nacional. Então, existe um atalho para isso. Há provisões de segurança. Essas provisões particularmente são administradas a partir de uma perspectiva procedimental para sistemas de IA, para reduzir o risco e para tratá-lo. Assim, nós extraímos dessas regulamentações a chave, os procedimento-chave e os controles administrativos que podem ser trazidos para sistemas de IA, e os modelos mudam. Assim, quanto aos sistemas, cada jurisdição desenvolveu seu próprio sistema. Existe um vocabulário tanto para as Nações Unidas no contexto de saúde, mas também com um produto, e isso oferece uma base de definição. Isso é muito importante de fato. Quando falamos sobre a segurança, todos estão falando sobre... Todos sabem o que isso significa. Se alguma coisa é... Tudo é muito similar. Então, deixem-me falar primeiro sobre modelos muito específicos e alguns procedimentos. Há muitas regulamentações no lugar. Uma delas é assim que eu pronunciei. Contém cada um dos sistemas e tudo que pode ir para o mercado associado. É preciso...
11:12 R	É muito importante para a inteligência artificial. Todas as partes na cadeia de suprimento devem fornecer a documentação e mantê-la atualizada. E, daí, existem rotulações obrigatórias de conformidade. Se utilizarmos um exemplo muito simples de reconhecimento facial, deve ser tratado dessa forma. Ele vai fornecer muito mais transparência, uma abordagem regulatória do sistema, e é preciso decidir qual política. Porém, esses procedimentos, essas salvaguardas administrativas com relação à qualidade do produto poderiam auxiliar profundamente. Foi utilizado em diversos lugares fora da União Europeia, como Japão, China e em outros Estados em que ela foi também alocada. Nos Estados Unidos, temos a legislação de segurança química para o século XXI. Não foi há muito tempo atrás, durante a administração do Obama. Ela demanda uma notificação pré-fabricação para novas substâncias químicas. É necessária uma solicitação com relação ao reuso em outros contextos. Após uma avaliação de risco, que foi derrogatória no sistema, houve uma necessidade de testar, a partir de todos os membros, da cadeia alimentícia à cadeia de fabricação, num contexto de inteligência artificial e aprendizado por máquina, e isso acrescenta dados ao sistema, às tecnologias do sistema. E, quanto ao uso do sistema, isso deve ser considerado e, obviamente, com relação à conformidade e um registro de dados. E, obviamente, há requisitos para notificação, porque o risco é importante. Eles precisam... (Pausa.) E tem a ver com todas as regras que eu abordei. E na África acontece a mesma coisa. Você vai ver um monitoramento muito frequente na testagem e nas verificações dessas regras. Como já mencionei, a forma de harmonizar essas regras eu acho que é algo do tipo para sistemas de inteligência artificial e aprendizagem diplomática. Acho que não vai muito mais do que falar a respeito disso.
11:16 R	Há sistemas no mundo todo, e uma das tarefas é a partir do setor privado das organizações. É um ecossistema deveras complexo, e eu acho que veremos muito mais a respeito disso. Mas, de um modo geral, eu gostaria de falar sobre aspectos de uma inteligência artificial. Há diversos tipos de inteligência artificial que podem harmonizar todos esses elementos sobre um conjunto de ferramentas disponíveis para controles administrativos nesse sistema. Então, ainda precisamos de métodos e princípios para lidar com os responsáveis com relação à Seção 40 da GDPR e para uso restrito. É preciso observar os usos de uma forma sistêmica. Há casos de uso que serão descobertos como inaceitáveis em alguns países, e precisamos nos voltar para eles de uma forma muito científica, muito sistemática, de modo que possamos tomar nossas decisões com base nas moratórias que existem hoje, que devem ser mais bem pesquisadas para uma devida revisão. E, dessa forma, temos o sistema bastante regulado. Eu vou parar o compartilhamento da minha tela. Assim, esse é o panorama sobre o processo regulatório para a jurisdição que possui a regulamentação. Esses sistemas precisam trabalhar juntos, mas eu acredito que eles possam... Mas o sistema de inteligência artificial, um ecossistema de machine learning, demanda muita regulação, adaptação compreensiva antes de chegar ao mercado, porque nós estamos chegando a um momento em que não teremos muita transparência nos sistemas. Durante a pandemia, uma das coisas que aconteceu - eu estou quase acabando o meu tempo - é que houve um foco em sistemas, em colocar os sistemas em sistemas dedicados. Isso é ótimo para tentar se recuperar de uma pandemia, isso é muito bom na perspectiva de infraestrutura de saúde pública. E muitas instâncias do mundo estão tentando adotar esse ecossistema atualizado por máquinas de inteligência artificial. Mas essa jornada ainda não acabou. E, quando chegarmos lá, devemos ter governança de modo a minimizar os riscos antes que os produtos entrem no mercado, porque, depois do mercado, ficará muito mais difícil. Então, precisamos ter uma forma do sistema compreensivo para lidar com o sistema, procedimentos e controles administrativos numa variedade de tempo, e também a não vigilância numa perspectiva, mas a vigilância quando os consumidores tiverem uma reclamação, uma queixa legal em um sistema que esteja violando os direitos humanos ou de alguma outra forma. Esses sistemas podem ser corrigidos e eles não são controles empolgantes, porém são muito necessários. E nós precisamos, a longo prazo, lidar com esses riscos e lidar com a mudança tecnológica que chega rapidamente.
11:20 R	Muito obrigada pela oportunidade. Mais uma vez, muito obrigada. A SRA. LAURA SCHERTEL FERREIRA MENDES (Por videoconferência.) - Dra. Pam Dixon, muitíssimo obrigada pela excelente participação, pela excelente contribuição extremamente prática e extremamente vasta também, citando tantos outros regulamentos. Muito, muito obrigada. Foi uma contribuição muito grande para todos nós. Eu queria, então, agora chamar a nossa próxima palestrante, a Dra. Courtney Lang, que é Diretora Sênior de Políticas Públicas para Confiança, Dados e Tecnologia do Conselho Industrial de Tecnologia e Informação (ITI). No ITI, Courtney lidera o desenvolvimento de políticas e relações institucionais sobre inteligência artificial e é especialista em tecnologias de informação e comunicação, engajando com governos ao redor do mundo para guiar a implementação da cadeia de fornecimento e também padrões de segurança da informação. Seu trabalho foca em questões relacionadas a cibersegurança, incluindo o 5G no segmento de telecomunicações, e o estabelecimento de uma nova rede de segurança em infraestrutura crítica. Por favor, Courtney Lang, você tem a palavra, e nós agradecemos muitíssimo a sua presença. A SRA. COURTNEY LANG (Por videoconferência. Tradução simultânea.) - Eu esqueci de pedir o compartilhamento de tela. A SRA. LAURA SCHERTEL FERREIRA MENDES (Por videoconferência.) - O.k. Perfeito. (Pausa.) O.k., vamos lá. A SRA. COURTNEY LANG (Por videoconferência. Tradução simultânea.) - Muito obrigada por me receberem aqui. Meu nome é Courtney Lang e sou Diretora de Política para Tecnologia no Conselho de Tecnologia da Informação. Para os que conhecem a minha organização, trabalhamos com empresas de inovação e representamos um grande espectro de informação, incluindo software, hardware e também outras plataformas e serviços oferecidos. Representamos a tecnologia da informação. Estou feliz de estar aqui para falar um pouco da nossa perspectiva sobre técnicas regulatórias, de regulamentação, sobre a inteligência artificial. É importante falar que nós somos uma associação global. Então, estamos presentes no mundo inteiro. Não só representamos empresas americanas, mas também europeias em outros países. Então, realmente chegamos a essa conversa com uma perspectiva global no âmbito da inteligência artificial, porque realmente precisamos de saber como abordar as regulamentações. Gostaria de oferecer um pouco de contexto. Há muito o que se discutir sobre políticas de inteligência artificial que estão sendo pensadas no mundo inteiro. Há, claro, orientações de regulamentações, e vou falar sobre algumas delas ao longo da minha apresentação, mas realmente gostaria de destacar que, nos Estados Unidos, para agências federais estamos com aplicações e lidando com tecnologias no mundo inteiro.
11:24 R	Bom, vou falar um pouco de cada quadro ao longo da apresentação. Gostaria de destacar alguns quadros da Ásia pacífica, do Pacífico asiático. E, claro, já falaram um pouco sobre outra parte. Então, eu não vou passar muito tempo falando sobre o que já foi dito aqui, mas falarei da nossa sociedade. Eu gostaria de falar sobre as nossas abordagens, sobre essas regulamentações que vêm de recomendações de políticas que nós desenvolvemos em conjunto, com a nossa presença em 2021. Isso vai além das regulamentações, mas essa parte específica foca em legislações e em como abordar as regulamentações da inteligência artificial em alguns passos que nós propusemos. Por exemplo, o Brasil está pensando como estruturar essas legislações. Então, primeiramente, incentivamos legisladores a determinar se há algumas lacunas a serem preenchidas. Como outros países falaram, eu acho que é importante avaliar os impactos dessas aplicações e avaliar se existem regras, que nós deveríamos lidar com algumas preocupações, leis de proteção de dados que já existem, como a automação de processos, como regras de riscos e responsabilidade. Então, olhar se estamos lidando com essas regulamentações, essas regras. E, claro, aconselhamos que o Brasil tenha cuidado com essas leis e saiba como pode obedecer a essas leis, leis que se aplicam à inteligência artificial, como elas podem trabalhar em complacência com leis já existentes e, claro, onde aplicá-las. E também, claro, o uso de padrões para estabelecer consensos em diferentes conceitos, que realmente ajudam a promover um lexicon não só dentro do governo, mas também podem facilitar alinhamentos de abordagens, o que será muito importante porque, como já foi mencionado, é um ecossistema global que não está só acontecendo em um país ou outro. Então, para estender essas abordagens e abranger um conceito um conceito mais global, isso será bastante importante.
11:28 R	Então, o nosso trabalho, por exemplo, está acontecendo em... E, claro, foram estabelecidos alguns padrões de governança e alguns outros padrões em qualidade de dados, de explicações e transparência, taxonomia, de tributações. Claro que há práticas que serão aplicáveis conforme evoluímos nessas legislações, o que irá aumentar a conectividade ao longo das divisas, das fronteiras. Essas abordagens de regulamentação de inteligência artificial são algo que vemos aí. Claro, o que queremos dizer é que esses riscos precisam ser mitigados para uso específico de inteligência artificial. E, claro, isso irá ajudar que evitemos resultados indesejáveis. Devemos trabalhar com acionistas e olhar, claro, quais seriam os maiores riscos na aplicação dessas regulamentações, por exemplo, para desenvolvedores de inteligência artificial e usuários e determinações como, por exemplo, as que foram apresentadas em algumas apresentações aqui hoje, o que seria, claro, um papel do governo para estabelecer essas regras, mas também para os acionistas, que devem decidir o que seria um sistema de alto risco de inteligência artificial para esclarecer um pouco mais esses critérios ao longo do processo, o que seria um sistema de alto risco, por exemplo. Dito isso, a nossa visão é de que a decisão da inteligência artificial é de alto risco quando pode haver um resultado negativo, indesejado em termos de segurança, liberdade, discriminação e de direitos humanos. Dito isso, temos um foco mais aberto em setores... Em contrapartida, se um setor inteiro tem alto risco, o que leva a categorizações mais abrangentes, porque nem toda aplicação de inteligência artificial seria de alto risco, porém, claro, certamente, isso pode servir para mitigar certos resultados indesejáveis. Porém, sendo bem específica sobre o que esses riscos podem ser, é importante seguir adiante, porque isso irá provar que essa regulamentação... A ver qual seria, qual poderia, o que significaria maior risco para os seres humanos: sistemas de rostos e de não rostos, ou seja, baseados... Se um sistema que tem a human face, que seja mais humanizado e que não seja tão humanizado, por exemplo, que processa dados, e que não envia esses dados para outros sistemas de inteligência artificial que podem não ter os mesmos riscos de privacidade, etc. Então, diferenciar esses tipos de sistema, seria importante, porque esses riscos podem variar.
11:32 R	Finalmente, no que diz respeito às regulamentações de inteligência artificial no âmbito brasileiro, devemos considerar qual seria o escopo da inteligência artificial em geral, incentivando a que os legisladores possam olhar quais seriam as melhores abordagens de política. Então, realmente gostaríamos de encorajar que o foco seja em dois temas principais: um foco em um software que realmente aprenda e um foco num contexto de inteligência artificial. Especificamente nesses casos, realmente apoiamos a definição que foi adotada pela OCDE. Não irei ler toda a definição, porém, realmente ela fala da necessidade de focar mais em sistemas que aprendem do que em contextos específicos no ciclo da inteligência artificial. Então, se um comitê adota uma definição com uma visão similar, que possa mitigar altos riscos, acho que uma nota final sobre esse escopo, no contexto de regulamentações... Acho que é importante que esse escopo seja bem articulado para que isso possa formar uma base para qualquer regulamentação adicional enquanto evoluímos nesse processo. Incentivamos sistemas que realmente aprendam, em vez de incorporar softwares gerais que não necessariamente tenham a capacidade de realmente aprender e evoluir dessa maneira. Então, para garantir que esse escopo esteja realmente claro, eu também gostaria de falar um pouco da transparência, porque sei que essa é uma outra área que legisladores consideram, sobre como usar a transparência como administração de risco. Então, gostaria de falar um pouco sobre isso. Acho que, primeiramente, é importante notar que a transparência não é um fim, e, sim, um meio pelo qual podemos lidar com a responsabilidade e o empoderamento de sistema. Então, seria uma ferramenta que podemos usar como administração de risco, mas não é a meta final, que podemos usar em conjunção com outras ferramentas, em conjunção com os sistemas de inteligência artificial como administração de riscos. Então, estamos trabalhando com os nossos membros para oferecer mais detalhes e orientações sobre como nós queremos que a regulamentação de riscos possa ser desenvolvida.
11:36 R	Já estou me aproximando do fim do meu tempo, mas queria dizer que, nesse contexto específico de regulamentações, nós realmente incentivamos que olhemos para os objetivos dessa transparência, quais seriam os objetivos do papel dessa transparência, para entendermos quais seriam os melhores objetivos nesse processo. Seria o objetivo, por exemplo, de dizer ao consumidor que ele está interagindo com o sistema de inteligência artificial; um outro objetivo seria talvez permitir que um regulamentador acesse o sistema de inteligência artificial para segurança; um outro objetivo talvez seria permitir que o usuário possa entender que o sistema está interpretando os resultados para contextualizar esses objetivos. Há diferentes objetivos no papel da transparência, e saber identificar qual seria o objetivo pode ajudar bastante em termos de o que seria apropriado ou não. Com isso em mente, é importante ter clareza sobre o que significa a transparência. Eu vejo transparência e explicabilidade sendo um pouco confundidas, e não são a mesma coisa. Há diferentes tipos de transparência, diferentes divulgações de informação, mas também diferentes contextos de explicabilidade e, é claro, diferentes tipos realmente, permitindo que alguém entenda como uma decisão foi tomada após o efeito e, pareados com a interpretação, podemos tentar entender como uma decisão foi feita. Eu sei, porém, que ferramentas que são entendidas por engenheiros na verdade têm um entendimento diferente para o público. Temos também a questão de como legisladores podem tomar uma decisão: se um sistema é de alto risco, por exemplo, seria provavelmente uma boa ideia aplicar essas regras de transparência; talvez sistemas de baixo risco não requeiram o mesmo nível de transparência. E também, no contexto de legislação, é importante dizer que estamos nos referindo à transparência de inteligência artificial em específico, diferenciando isso de algoritmos, porque são partes de outros sistemas também. Rapidamente, vou fechar e concluir aqui. Eu tinha um outro eslaide sobre inteligência artificial, mas não irei falar sobre isso. Como falei antes, apoiamos a abordagem da União Europeia de lidar com essas regulamentações de inteligência artificial. Temos que ter algumas preocupações padrões aqui. É algo realmente que se deve ter padronizado em algumas emendas, para que esses legisladores possam melhorá-las e tornar essas regulamentações mais efetivas e eficazes. Podemos nos aprofundar mais nisso com o tempo.
11:40 R	Finalmente, a abordagem americana. Devo dizer que não há uma legislação horizontal para regulamentar a inteligência artificial nos Estados Unidos. Há propostas no Congresso americano sobre alguns aspectos da inteligência artificial, como vimos aqui, no sentido de responsabilidade de algoritmos, etc.; nada muito completo. Estamos vendo realmente algo mais voluntário no Congresso americano e algumas outras orientações, porém nada muito completo sobre como podem abordar questões regulatórias e não regulatórias. E, nesse quadro global que identifica e administra como nos relacionamos com sistemas de inteligência artificial, isso ainda é um processo, mas realmente achamos que seria uma boa ferramenta para entender o sistema mais abrangente de como lidar com essas regulamentações e quais seriam os resultados que eles gostariam de alcançar baseados em uma funcionalidade específica nos Estados Unidos. Creio que já passei do meu tempo, então vou concluir por aqui. Realmente é um prazer estar aqui. E gostaria de continuar trabalhando com o Brasil em suas abordagens legislativas. Obrigada. O SR. PRESIDENTE (Bruno Ricardo Bioni. Tradução simultânea.) - Muito obrigado pelas contribuições. Tenho certeza que todas irão mover o nosso caminho adiante em termos de regulamentação da inteligência artificial. Tenho aqui uma pergunta geral para todos e também alguns comentários finais - a pergunta está no chat. Vamos olhar essa pergunta. Com relação a leis de meio ambiente e algumas propostas de inteligência artificial, a verdade é que há dois procedimentos em que há muitas discussões e que são muito formalistas para proteções de lei. Então, como encontrar um melhor equilíbrio ou estamos sendo muito vagos em como comandar e controlar essas técnicas ou para essas autorregulamentações? A SRA. LAURA SCHERTEL FERREIRA MENDES (Por videoconferência.) - Está tendo um eco, viu, Bruno? Só para você saber.
11:44 R	O SR. PRESIDENTE (Bruno Ricardo Bioni) - Bom, então, eu vou tentar repetir em português. De toda forma, eu só queria ressaltar que a questão foi enviada pelo chat também para facilitar a compreensão dos painelistas. Basicamente, a pergunta é: que críticas estruturais têm sido feitas com relação à abordagem regulatória baseada em risco? É uma coisa que vem desde o campo ambiental, chegando às próprias regulações de proteção de dados pessoais e até mesmo, agora, às propostas de regulações em inteligência artificial. Esses críticos basicamente argumentam que esse tipo de abordagem e técnica regulatória dá muita margem de discricionariedade para os próprios atores regulados, às vezes até sendo muito formalístico e faltando medidas substanciais para uma efetiva proteção. Então, dentro desse contexto, como desenhar uma regulação que seja balanceada, equilibrada, sem cair em algo que seja muito prescritivo ou muito vago, e aí, consequentemente, respectivamente, caindo em uma perspectiva de uma técnica de comando e controle ou autorregulação pura? E aí eu convido todos vocês, na mesma ordem, a também fazerem suas conclusões finais. Cada um de vocês tem no máximo quatro minutos. A gente pode começar pelo Sr. Eike Gräf. O SR. EIKE GRÄF (Por videoconferência. Tradução simultânea.) - Eu entendo pelo chat que a palavra é minha. O SR. PRESIDENTE (Bruno Ricardo Bioni) - Isso. Por favor, Eike. O SR. EIKE GRÄF (Por videoconferência. Tradução simultânea.) - Muito obrigado. Se eu fiz algumas caras aqui foi porque eu tive alguns problemas com o áudio. Então, por favor, entendam. Tenho duas reações a essa pergunta. A primeira é que, no caso da proposta de inteligência artificial, eu acho que é justo dizer que a abordagem com base em riscos não levaria a algo vago, porque a proposta já fez o trabalho de examinar os riscos e encontrar um escopo sobre em que situação usar e em que sistemas, o que leva a obedecer a certas regras. E essas regras são muito concretas sobre precisão, sobre o que deve ser testado e documentado. Eu não falei isso antes, na minha apresentação, porém, há até esforços para concretizar além e a mais, como, por exemplo, a padronização europeia dessas regulamentações. Isso não é muito vago, e realmente ajudamos pessoas que precisam aderir a essas regras. Ao mesmo tempo, há uma obrigação de ter uma administração de risco para lidar com altos riscos. E aqui a orientação vem de um conceito de um nível muito alto. É claro que esse seria um novo quadro legislativo. Esse seria o segundo elemento da minha resposta, também para apoiar que eu acho que, nesse caso, nós evitamos ser vagos demais ou muito formalistas, porque os procedimentos devem ser o mais claros possível. Estamos trabalhando para isso, incluso a padronização das organizações. Estamos otimistas de que o Parlamento irá mantê-lo assim.
11:48 R	Também posso acrescentar os meus comentários finais. O primeiro seria repetir a mensagem principal. A intenção da proposta do ato de inteligência artificial não seria regulamentar qualquer ação em específico, mas, sim, usar a inteligência artificial para ajudar a implementação do respeito e da aplicação das nossas leis existentes. Então, é nesse conceito que criamos a base para que as pessoas possam checar como o sistema funciona e viabilizar a responsabilidade e o respeito. O segundo comentário seria que a reação que foi levantada aqui à distinção entre transparência e explicabilidade... O que conta como uma explicação ou que tipo de explicação seria requerida seria um debate bastante rico, no sistema de regulamentações da União Europeia. Olhando para sistemas de inteligência artificial, talvez não seja necessário olhar elementos específicos; talvez seja mais interessante, claro, se os resultados não levam a discriminações... O que nós fizemos na nossa proposta é que nós não usamos o conceito de explicações, mas, sim, nós requeremos que o sistema seja interpretável para o uso do sistema e que se possa interpretar o produto final para usá-lo de maneira correta. Olhando para outras situações, em que explicações podem ser necessárias, outro exemplo seria o que propusemos: para pessoas que trabalham por plataforma de trabalho, que essa plataforma possa tomar decisões significativas, como agendar reuniões ou determinação da minha conta; seriam obrigadas a oferecer alguma explicação em até duas semanas. Então, a inteligência artificial oferece a base para o que é essencial; e, do outro lado, requeremos a explicação, porque é importante que a informação esteja presente. Olhando para as técnicas de regulamentação, seria basicamente isso. Paro por aqui. A SRA. PAM DIXON (Por videoconferência. Tradução simultânea.) - Muito obrigada por esta oportunidade de discutir com vocês sobre esta questão superimportante. Agora, rapidamente, recapitulando, a inteligência artificial e o aprendizado de máquinas estão movendo para tempo real, realmente, e podemos escolher olhar como as regulamentações podem ser eficazes. Isso seria cada vez mais difícil e está acontecendo muito rápido. A harmonização global será bastante necessária nesses ecossistemas. Por motivos técnicos e políticos, teremos jurisdições criando o que elas precisam para seus contextos, mas também tendo uma base para uma abordagem mais harmonizada.
11:52 R	Mas algo para termos em mente é que a inteligência artificial e o aprendizado de máquinas estão se movendo muito rápido. É algo que está se tornando uma tecnologia de propósito geral. Vimos isso acontecer com a internet. Antigamente, falávamos de World Wide Web, de HTTP. Isso se deu bem no começo da internet; era o que ela era no começo. Agora, simplesmente, é a web, é a internet. Tornou-se algo comum. A inteligência artificial e as máquinas que aprendem estão evoluindo muito rápido. E as possibilidades para regulamentações, para regulamentações significativas, realmente mudam. Precisamos fazer muito no pré-mercado, antes de elas entrarem no mundo, no mercado. Isso deve ser algo sistêmico, completo, com administração de controle. Não devemos diferenciar entre... A verdade é que todos os sistemas de inteligência artificial devem ter controle de qualidade, devem ter orientações administrativas. Seria bom que... Precisamos... Se temos uma máquina de aprendizado ou de inteligência artificial, para a aplicação da lei, na criação desse sistema, precisamos ter controles corretos. Os parâmetros corretos são, realmente, pontos de partida necessários. Isso se torna cada vez mais parte da nossa vida, como a internet tem sido. Nós garantimos a qualidade desses produtos, embora isso nos traga... No uso desses produtos é onde cada jurisdição deve fazer suas regras. Isso seria bastante difícil, mas isso pode ser muito útil para a avaliação de riscos, para saber quando determinar e como determinar se cada tipo de inteligência artificial tem alto risco. O que vai ajudar muito seria algo em termos de implementação. A pergunta seria, por exemplo, se a abordagem de risco estaria muito fraca. Será que ela é suficiente? Mas devemos acrescentar outros elementos de política quando pensamos em implementação. No fim, a verdade é que todos teremos que implementar tudo isso. Então, aqui, há duas coisas que serão muito importantes. Padrões gerais são muito importantes, mas eu também gostaria de mencionar o que eu chamaria de código de conduta de regulamentação, que é algo que já víamos em documentos, como, por exemplo, regulamentação no que diz respeito ao PIB. Realmente, elas não são utilizadas suficientemente, mas, na inteligência artificial, isso seria muito útil realmente, porque teríamos milhões de sistemas de inteligência artificial que iriam ajudar a criar uma interface entre a política e a prática. Realmente, precisamos disso e precisamos de uma visão mais abrangente. Creio que a autorregulamentação não funciona aqui. Creio que isso prova não funcionar, contanto que sejam robustos e significativos.
11:56 R	Esses são os meus pensamentos. E realmente muito obrigada por esta conversa tão importante. A SRA. COURTNEY LANG (Por videoconferência. Tradução simultânea.) - Creio que sou a última, porém não menos importante. Muito obrigada pela oportunidade de dividir as minhas perspectivas hoje. Em resposta à pergunta, realmente acho que as abordagens com base em riscos serão muito importantes para o equilíbrio. Como foi mencionado antes, realmente acho que há controles particulares e requerimentos que irão ajudar a viabilizar certo tipo de responsabilidade para sistemas de inteligência artificial. E, nos meus comentários, eu não quis dizer que todos os sistemas de inteligência artificial devem ser confiáveis. A verdade é que há diferentes sensos de riscos que podem interagir com humanos ou não, mas claro que não são todos os sistemas de inteligência artificial que devem ser colocados na mesma categoria. A abordagem com base em riscos, porém, nos permite avaliar esses riscos em diferentes grupos versus outros que realmente não precisam de regulamentações tão rigorosas, se não estão operando com humanos ou se não estão impactando humanos de maneira negativa, o que seria um outro grupo. Então, foi isso que eu quis dizer com lidar com humano e não humano. Realmente é uma questão de entender quais são esses níveis, e acho que a Comissão Europeia tomou os passos necessários para olhar para como estamos lidando com esses sistemas de inteligência artificial que lidam com humanos. Claro que há diferentes riscos em diferentes áreas, dependendo dos critérios. Claro que podemos, de certa maneira, alinhar essas abordagens de risco de maneira mais apropriada, que possam ser interoperáveis, conforme continuamos evoluindo com essas abordagens de regulamentações que podem ser baseadas em princípios, para que empresas possam se concentrar no que realmente importa: em incorporar requerimentos mais prescritivos, que não se aplicam a todos os grupos, na verdade. Eu realmente agradeço a oportunidade de estar aqui, de apresentar e espero continuar a discussão na conversa. A SRA. LAURA SCHERTEL FERREIRA MENDES (Por videoconferência.) - Muitíssimo obrigada a todos os ilustres palestrantes deste painel: o Dr. Eike Gräf, a Dra. Pam Dixon e a Dra. Courtney Lang. Foi um painel extremamente rico, discutindo o risk-based approach, técnicas legislativas. Certamente contribuiu de forma extraordinária para todo esse processo que nós estamos vivendo no Brasil atualmente, de pensar em um substitutivo e em uma regulação para inteligência artificial no Brasil. Então, eu gostaria de passar a palavra para o Bruno Bioni. Por favor, Bruno. O SR. PRESIDENTE (Bruno Ricardo Bioni) - Obrigado, Laura. Gostaria aqui também de registrar a presença dos demais membros, como o Filipe, a Clara, a Profa. Ana Frazão e outros que talvez eu não consiga enxergar aqui na tela, e declarar suspensa a reunião, para o período de almoço, e iremos retornar aos trabalhos a partir das 14h, com mais um painel.
12:00 R	Então, eu queria agradecer mais uma vez pela generosidade de todos os palestrantes, com o tempo aqui dedicado para conosco, da Comissão. (Suspensa às 12 horas, a reunião é reaberta às 14 horas e 02 minutos.)
14:00 R	A SRA. PRESIDENTE (Ana de Oliveira Frazão) - Muito boa tarde a todos. Eu declaro reaberta a 8ª Reunião da Comissão de Juristas designada para tratar do marco da inteligência artificial no Brasil. Vamos também dar início ao Painel 6 do nosso seminário internacional, que é sobre Mercados e Expertise: perspectivas setoriais. Na verdade, esse painel congrega várias das discussões importantes sobre o tema de regulação de inteligência artificial, que vão desde a ideia de não regular a tecnologia, mas sim aplicações, de entender essas diferentes aplicações, seus impactos, seus riscos, os eventuais trade-offs entre regulação e inovação. E é por isso que essa perspectiva setorial é tão importante. Eu hoje tenho a alegria de ter neste painel, como moderador, o meu amigo e colega de Comissão Thiago Sombra e ter também um grande time de especialistas que serão apresentados posteriormente pelo Thiago, mas que eu já adianto aqui: Christian Troncoso, Pat Aufderheide, Christina Montgomery. Nós queremos agradecer muito a participação de todos vocês. É uma grande honra tê-los aqui. Eu também aproveito para cumprimentar todos os membros da Comissão que estão conosco. Vejo agora o Filipe, o Victor, mas peço que todos os que estão aqui também se sintam cumprimentados. Sem maiores delongas, já passo a palavra para o Thiago apresentar o nosso primeiro palestrante. O SR. THIAGO LUÍS SANTOS SOMBRA (Por videoconferência.) - Obrigado, Ana. Obrigado a todos. Para nós é uma alegria termos todos vocês conosco hoje. É uma ocasião muito importante, uma oportunidade que a Comissão tem de se aprofundar e conhecer um pouco mais da experiência internacional numa perspectiva multissetorial.
14:04 R	Teremos hoje três dos maiores especialistas nesse assunto, Christian Troncoso, Pat Aufderheide e Christina Montgomery, que vão falar um pouco para nós sobre as experiências do setor privado, com uma perspectiva também acadêmica sobre o desenvolvimento e essas interações. Bom, nós teremos, inicialmente, o Christian Troncoso; depois, nós teremos, na sequência, a Pat; e, por último, a Christina. Cada um dos palestrantes terá 20 minutos, e nós teremos até meados de 15h20 para concluir esse painel. Começando pelo Christian, ele é membro da Business Software Alliance, é baseado em Washington, Diretor de Políticas da BSA, e lidera boa parte do engajamento global nos temas de inteligência artificial. O seu papel principal como um dos líderes nesse tema é engajar ou entender as principais implicações das emerging technologies. O Christian também é responsável pela interação com autoridades e líderes governamentais pelo mundo como um todo e por promover aqui um ambiente, uma perspectiva de maior confiança sob o toque da inovação. Sem mais delongas, então, eu passo a palavra ao Christian, para que ele possa fazer a sua apresentação e as suas considerações. Muito obrigado. O SR. CHRISTIAN TRONCOSO (Por videoconferência. Tradução simultânea.) - Muito obrigado pela apresentação. Eu sou o Presidente aqui da Business Software Alliance. Os nossos serviços incluem inteligência artificial, acelerando a transformação digital em todo o setor da economia, em todo o setor da sociedade. Eu gostaria de parabenizar a Comissão por me dar a oportunidade de participar desse estudo e pelo papel que a regulação tem em aumentar os benefícios da inteligência artificial. As conversas sobre inteligência artificial geralmente se concentram em coisas como robôs e carros que não necessitam de motoristas. Na verdade, há uma grande abrangência de usos. O Brasil se beneficia diariamente de ferramentas de inteligência artificial, simplificando várias atividades em diferentes ecossistemas. Por exemplo, a Microsoft está, em parceria com a SOS Atlântica, ajudando a IA a avaliar os impactos que o reflorestamento está tendo no Brasil. A IA está ajudando organização de meio ambiente a fomentar iniciativas para preservar o meio ambiente do Brasil, o que pode ser uma força para o bem, seria trabalhar para mitigar os riscos. Uma das coisas relacionadas a IA seria o potencial para algo sem tomar lados. Esse quadro aqui esboça casos para mitigar... Eu irei compartilhar sobre isso em um momento. Para membros da BSA, para confrontar os riscos dessa tendência, dessa predisposição, é extremamente importante o resultado da BSA para...
14:08 R	Precisamos de nos concentrar no potencial de tendências ao longo de todo o ciclo do sistema de IA. Ele é construído em três elementos: avaliação de impactos, práticas de mitigação de riscos e abordagens de governança. O quadro da BSA inclui mais de 50 diagnósticos para avaliar, para escolher as melhores práticas para mitigar esses riscos. Uma das principais características do quadro da BSA seria identificar os maiores riscos dos primeiros estágios até aos estágios mais modernos e aos mais seguros. Também reconhecemos que diferentes negócios terão diferentes papéis ao longo do ciclo. Isso significa que precisamos estar ligados ao papel da empresa, quem está desenvolvendo o algoritmo, quem está ligado aos modelos e, finalmente, que organização irá realizar o sistema e o que eles precisarão adotar. O que isso significa? Primeiro, quando desenhamos um sistema de IA, a empresa precisa definir o que será usado para otimizar essas medidas e também estudar e analisar os dados. Segundo, no estágio de desenvolvimento, devem documentar o que devemos fazer, as características do modelo que está sendo testado e como o modelo pode ter um desempenho diferente, dependendo do indivíduo. Na fase de realização, é preciso manter mecanismos de feedback. E, para ser claro, em cada estágio é importante que as empresas tenham equipes que tragam uma bagagem que possa antecipar as necessidades e preocupações de como impactar as comunidades. Algumas considerações éticas são importantes e, claro, a abordagem de manejo de riscos é extremamente essencial. No fim da minha apresentação, eu gostaria de falar das aplicações mais abrangentes de IA e como podemos incentivar as práticas de IA nesse quadro elaborado. Para desenvolver um quadro regulatório para IA, a verdade é que não estamos começando do zero. Para isso, incentivamos esta Comissão para garantir que as suas abordagens sigam leis já existentes e leis neutras aplicadas no uso de IA. Antes de propor leis específicas, a Comissão deve lidar com a proteção de direitos civis. Por exemplo, a Comissão deve estar orientada, claro, pelas leis de proteção de dados, tudo o que oferece proteção neutra para diferentes preocupações ligadas à IA.
14:12 R	Incentivamos esta Comissão a trabalhar e garantir que as leis neutras dessas regulações garantam os mesmos níveis de proteção em diferentes tipos de sistemas. Essa análise irá ajudar a Comissão a identificar onde há lacunas nesse quadro atual que precisam ser preenchidas por legislações específicas de IA. Quando as lacunas são identificadas, a nossa segunda recomendação é assegurar que regulações IA são baseadas em riscos, e riscos são flexíveis suficientes em diferentes cenários que podem surgir, porque muitos sistemas de IA podem ter riscos ou nenhum risco, mas um limiar necessário é identificar que tipos de sistemas de IA devem ser sujeitos a que tipo de legislação. O que foi mencionado é que a Comissão deve focar em aplicações específicas de IA em tecnologia. A IA pode ser considerada num propósito geral ou mais específico, pode depender inteiramente de como essa ferramenta pode ser usada. Por exemplo, você pode ter um propósito geral, um modelo de língua que pode ser usado para propósitos de criar uma ferramenta que um restaurante pode usar para analisar opiniões de clientes, para que prato pode ser mais comum em uma região ou outra, o que seria uma aplicação de IA de baixo risco. Em contraste, esse mesmo restaurante pode usar esse modelo de língua e criar uma ferramenta para avaliar candidatos de trabalho, para avaliar quem estaria apto para trabalhar aí. Nesse caso, haveria muito mais riscos, porque, obviamente, estaria sujeito a mais análises, estudos e obrigações regulatórias. A verdade é que não podemos avaliar o risco no vácuo, precisamos olhar para aplicações específicas da tecnologia quando pensamos em como criar específicas obrigações regulatórias. E, então, focando nessas aplicações de alto risco, é importante que esse quadro ofereça flexibilidade para as empresas adotarem medidas de litígio, porque os métodos irão variar dependendo do sistema de IA e em que cenário está sendo usado. Então, encorajamos que esta Comissão pense um pouco mais num processo de responsabilização como avaliações de impactos, como recomendamos no quadro de BSA como modelo de como podemos incentivar práticas de IA. Falando agora da base de riscos, queremos que esses passos sejam conscientes de todo o ciclo de IA. Discussões de IA pressupõem que uma organização terá insights em todos os estágios do ciclo de vida do IA, do desenho até o desenvolvimento e até a aplicação. A realidade, na verdade, é muito mais complicada.
14:16 R	Em muitas circunstâncias empresas adquirem diversas ferramentas e customizam para as suas atividades específicas. Um exemplo que dei num momento atrás, como um restaurante pode adquirir um modelo de língua e, então, customizar e retreinar para diferentes aplicações, nos dá um senso de como podem haver diferentes acionistas no ciclo de vida de IA, tendo esse modelo, retreinando-o e, então, aplicando-o. Não podem haver diferentes acionistas envolvidos nesse sistema, é crucial para que regulações tenham seus papéis e responsabilidades. De maneira similar, porque acionistas podem estar envolvidos nessa cadeia do sistema de IA, essa abordagem de que um vale para todos provavelmente geraria problemas. Espero que possamos falar um pouco sobre isso no final, na parte de perguntas. Considerando novas abordagens regulatórias, devemos olhar para um quadro de pró-inovação, devemos olhar para como podemos alinhar com abordagens globais. O acesso ao mercado global será crucial para o Brasil, então, a Comissão deve ter o objetivo de abordar essas regulações no Brasil e ver como elas estariam alinhadas a outras emergentes, como, por exemplo, na que foi falada sobre a da União Europeia. Incentivamos a Comissão a alinhar os seus trabalhos com os princípios de recomendação da OCDE. Esses princípios estão predicados em uma abordagem com base em riscos, em que todos os acionistas no ciclo de um sistema devem adotar técnicas para controlar os riscos que podem surgir. Finalmente, incentivamos a Comissão a pensar de maneira mais abrangente em oportunidades para aumentar a possibilidade de inovação para o Brasil. O papel que a proteção de dados tem, sabemos que há impactos em oportunidades porque os negócios brasileiros dependem de dados de fontes globais, a Comissão deve estar ciente de que outras políticas podem mitigar esses benefícios. A Comissão deve olhar para novas oportunidades para aumentar a possibilidade de inovação no Brasil e acessar oportunidades em potencial. Devemos aumentar a oportunidade para leis de copyright no Brasil para desenvolvedores. Algumas formas de aprendizado de máquinas que podem ser derivadas da computação de itens que podem estar sujeitos à proteção de copyright. Por exemplo, um sistema que depende de fotografias obtidas online e modelos de línguas, você pode depender da análise de computação de trabalhos textuais que, por exemplo, podem estar sujeitos a leis de copyright também.
14:20 R	O Brasil não tem o que nós chamamos de fair use provision. Recomendamos que, no Brasil, sejam adotadas medidas para que haja uma certa certeza legislativa aqui. Temos progresso em outros países que adotaram exceções. Por exemplo, em Singapura, seis meses atrás. O Japão também adotou essa exceção, e também a União Europeia. Outros mercados, como Canadá e Hong Kong, também estão revendo essas exceções. O último ponto seria que a Comissão deve examinar políticas brasileiras para promover acesso a dados de Governo. Dados gerados pelo Governo podem gerar novos trabalhos, novos empregos e podem criar crescimento econômico. E, claro, muitos dados não sensíveis podem ser criados em meio a isso. Políticas de dados públicos podem trabalhar em parceria com o setor público. Então, incentivamos que a Comissão possa facilitar a adoção de uma estratégia de dados públicos. Muito obrigado pela oportunidade de participar deste seminário. Gostaria de discutir mais sobre estas questões e se tiverem algumas perguntas. Obrigado. A SRA. PRESIDENTE (Ana de Oliveira Frazão) - Muito obrigada, Christian, pelas considerações tão ricas, que enfatizam, em primeiro lugar, a possibilidade de a regulação trazer benefícios e fazer com que possamos, realmente, extrair o melhor da inteligência artificial. Mostram também o quanto a abordagem baseada em riscos é necessária, mas é preciso haver flexibilidade para acomodar as diversas aplicações de inteligência artificial, sempre com foco nas medidas de mitigação. E dois pontos da sua fala, certamente, são muito importantes para nós, de fato: a consideração de todos os stakeholders envolvidos durante todo o ciclo da inteligência artificial, a preocupação com os papéis e responsabilidades; e também as discussões sobre empreendedorismo e inovação, considerando as peculiaridades do Brasil e a própria política de dados abertos. Então, agradeço, imensamente, as suas ricas contribuições e já devolvo a palavra ao nosso moderador, a fim de que ele possa apresentar o nosso segundo convidado. O SR. THIAGO LUÍS SANTOS SOMBRA (Por videoconferência.) - Obrigado, Ana. De fato, o Christian fez algumas observações que acho que são muito importantes, em especial sobre a necessidade de que nós tenhamos uma sincronia com a Lei de Direitos Autorais, que precisa, sim, de alguns ajustes, especialmente para atender as preocupações de machine learning que o Christian mencionou. Mas, para além disso, sobre as oportunidades de fomento e inovação naquilo que envolve políticas-chave e prestação de serviços públicos. Achei que foi muito relevante o Christian ter trazido especialmente exemplos de outros países, não necessariamente aqueles vinculados à União Europeia, como os casos citados de Japão e Singapura, para que Brasil consiga sair um pouco dessa influência muito restrita que sempre teve ou que tem tido, nos últimos tempos, vinculada à regulação europeia. Acho que foi uma contribuição muito relevante, especialmente para que ela esteja cada vez mais em sincronia com a política brasileira de open data.
14:24 R	Seguindo para a nossa próxima palestrante, teremos a oportunidade agora de ouvir a Profa. Pat Aufderheide, da American University e do Center for Media and Social Impact. Ela é professora da Escola de Comunicação na American University, é também membro da International Research Network da Universidade de Washington, da American University e autora de livros e artigos sobre copyright, criatividade, direitos autorais, criatividade e inovação. É um prazer tê-la conosco. E fique à vontade, Patrícia, para o seu tempo de 20 minutos aqui. Muito obrigada. A SRA. PAT AUFDERHEIDE (Por videoconferência. Tradução consecutiva.) - Espero que todos possam ver meu PowerPoint. Se alguém puder sinalizar que pode ver os eslaides. (Pausa.) Ok, fantástico! Maravilha! Certamente é um grande prazer estar aqui e eu gostaria de agradecer a vocês pela chance de poder falar. Eu sou acadêmica da cultura digital e sou parte da rede de pesquisadores que lidam com os problemas que os acadêmicos têm vislumbrado na área digital. E esse é o ponto que eu gostaria de tratar hoje. Cá estamos. É muito bom poder me beneficiar da fala de Christian, pois acredito que minha fala irá perpassar alguns dos pontos que ele já falou, com os quais eu concordo plenamente. Mas gostaria de explicar, primeiramente, por que é importante facilitar o uso de mineração de textos e dados, enquanto professores e pesquisadores universitários e também como desenvolvedores de inteligência artificial. Os acadêmicos encaram questões domésticas e internacionais ao utilizarem uma forma muito comum de pesquisa, que é a mineração de textos e dados. A mineração de textos e dados é um método de pesquisa que foi possibilitado pela tecnologia digital. Nós agregamos muito a partir desses materiais que são produzidos para outras finalidades. E aí buscamos padrões em todo o corpo de material. Ao observar previsões de tempo, seja de um período de tempo como um ano, de um país ou de um continente, aí podemos observar tendências da mudança climática ou talvez estejamos englobando aí um corpo que fala sobre todos os livros novos publicados por uma editora, ao longo de uma década ou de décadas, buscamos por padrões de mudança linguística em relações às emoções ou talvez estejamos procurando artigos jornalísticos que incluem referências em seus títulos, a diabetes ou ao nível de açúcar no sangue ou leucemia ou qualquer outra condição de saúde. E podemos também ainda estar procurando relações inesperadas ou imprevistas entre instâncias, pois as pessoas normalmente estiveram buscando a agregação de diversos tipos de pesquisa que foram feitas anteriormente. Ou talvez estejamos buscando discursos que tenham sido feitos pelo Senado brasileiro com o passar do tempo. E podemos buscar mudanças e continuidades, seja no português formal ou na própria gramática da língua portuguesa. Mas o que é comum entre todas essas premissas de pesquisa é que elas não estão preocupadas com o trabalho individual dos criadores, mas sim, no que compete aos meteorologistas, em manter detalhes sobre a mudança climática ou com relação às publicações de um editor.
14:28 R	Assim, todos esses dados são agregados a partir de programas que filtram e buscam por padrões. Outros métodos, baseados em estatísticas, são também utilizados aí. Como o Christian fez um excelente trabalho ao explicar, toda a grande empresa de tecnologia utiliza TDM todos os dias, o dia inteiro. Um excelente exemplo da mineração de textos e dados são números enormes escaneados e estudados por machine learning. É algo que perpassa toda a indústria da tecnologia. Os usos de mineração de textos e de dados é grandemente utilizado pelas empresas e é o que faz boa parte do trabalho, mas, de fato, a mineração de dados é uma característica muito básica em seus trabalhos. Isso auxilia um programador de IA a lidar de uma forma não tradicional, mas, buscando, de fato, padrões em seus dados. Uma parte interessante e mais apropriada é a utilização na hora de filtrar esses materiais... A mineração de textos e dados, seja por empresas ou acadêmicos como eu, é uma forma que está diante de todos nós hoje em dia. Então, vou falar não somente de inteligência artificial, mas também com relação à habilidade, a fazer mineração de dados e textos a partir de inteligências artificiais. Dentro do contexto desse projeto de lei, é importante acrescentar uma exceção, não somente para desenvolvedores ou para treinadores de inteligência artificial, mas também para pesquisadores que fazem mineração de textos e dados, ambos em relação à inteligência artificial, porém, não especificamente relacionados ao treinamento. Esses pesquisadores podem ser acadêmicos, podem ser jornalistas investigativos, podem ser curadores de museu, poderiam ser ativistas que buscam padrões em moradias ou em benefícios de previdência social. Esse seria o acréscimo de uma exceção que se aplicaria a pesquisadores. Seria algo pequeno, porém, apropriado e judicialmente correto na garantia de uma boa qualidade de pesquisa por inteligência artificial e por quê? Porque não observamos as empresas de tecnologia que desenvolvem inteligência artificial aos desenvolvedores com relação às suas implicações. E de que forma a cultura brasileira pode ser mal-entendida ou explorada durante o processo de criação de inteligência artificial e quais abordagens alternativas seriam importantes aqui? Vocês gostariam de ser vigilantes dessa cultura digital, cuja preocupação já é a privacidade e a segurança, questões que podem, talvez, em um determinado momento, afetar ou soar importante para o ponto principal de uma empresa, mas com relação à sociedade como um todo. A sociedade brasileira espera-se que se beneficie de pesquisadores independentes e experts que não sejam empregados do Twitter, do Google, do Mercado Livre ou quaisquer outras grandes empresas. É desejável que eles tenham acesso aos mesmos métodos que essas empresas de tecnologia utilizam para fazer as suas pesquisas. É desejado que os brasileiros se beneficiem dessas grandes empresas de tecnologia e que a cultura brasileira seja inovadora e criativa e se beneficie a partir disso tudo.
14:32 R	Os grandes interesses da mídia têm sugerido a vocês que essa exceção poderia trazer danos a terceiros. Essa objeção da parte das grandes empresas de mídia pode simplesmente refletir uma não familiaridade com os métodos e processos de mineração de textos e dados. Tais métodos de forma nenhuma afetam os autores e seus direitos. Eles não afetam o curso da criação do indivíduo ou a sua propriedade intelectual. Tampouco esse tipo de exceção não foi testada internacionalmente. Nos Estados Unidos, um banco de dados chegou à conclusão de que é permissiva... Obviamente, os copywriters não são os únicos que poderão ter acesso a conjuntos de dados em qualquer lugar do mundo. Eu fiquei feliz de ver que o Christian também falou a partir da questão do acesso. As empresas individuais geralmente guardam de forma compreensiva seus materiais. Os trabalhos e indivíduos dentro desses corpos de material são protegidos por leis de direitos autorais. As diferentes empresas têm diferentes políticas de acesso. O Twitter, por exemplo, permite que pesquisadores compilem bancos de dados extraídos a partir dos tuítes de usuários. O Facebook, por outro lado, dificulta o acesso ao Instagram ou aos dados do Facebook em seus próprios termos. Muitos bancos de dados de publicações acadêmicas, tais como o JSTOR, o ProQuest, a Nexis Uni, têm um contrato padrão que não permite a mineração de textos e dados. Entretanto, algumas livrarias estão negociando esses contratos e insistem que seus patrocinadores possam conduzir mineração de textos e dados em seus corpos materiais ou em quaisquer outros segmentos. Esses coprovedores e esses venders, esses grupos de acadêmicos, de institutos de publicações acadêmicas, negociam isso com base nos contratos. Então, em que sentido é possível possibilitar o acesso a conjuntos de dados nos Estados Unidos? Pelo menos, eles são legalmente permitidos para utilização de mineração de textos e dados, incluindo o treinamento de inteligências artificiais. Assim, não é surpresa alguma que pesquisadores norte-americanos tenham defendido internacionalmente a mineração de textos e dados para muitas disciplinas. Um dos pontos que sabemos a partir da pesquisa que eu e meus colegas temos feito é que, sempre que um pesquisador encontra obstáculos para conduzir uma mineração de textos e dados, a pesquisa sofre, e nós argumentamos que a cultura carece... Meus colegas e eu estamos conduzindo um estudo internacional em diversos idiomas, incluindo a língua portuguesa, sobre os problemas que os pesquisadores enfrentam, pesquisadores independentes, no ambiente corporativo para conduzir esse tipo de pesquisa. Temos resultados prévios que mostram efeitos arrepiantes com relação à repressão e com relação aos obstáculos que afetam o acesso a bancos de dados para fazer esse tipo de trabalho. Isso não é nenhuma surpresa. Isso resulta fortemente e se alinha ao nosso trabalho prévio, o qual foi resumido em meu livro com Peter Jaszi, chamado Reclaiming Fair Use. E eu acho... Sim, eu coloquei o nome do livro no chat. Para resumir, os criadores não podem criar e os inovadores não conseguem inovar sem acesso à matéria bruta que é criada...
14:36 R	A partir dessas razões, eu gostaria de sugerir a vocês que considerem uma cláusula nesse projeto de lei para encorajar acadêmicos e pesquisadores a abordarem essa questão da cultura digital com relação à pesquisa e à mineração de textos e dados, que é parte da rotina nesse mundo digital. Ficarei muito feliz em seguir o diálogo. Meu e-mail será postado no chat para qualquer um que entrar logo depois e ficarei feliz em apresentar vocês a outros colegas da minha rede de pesquisadores. Mais uma vez, muito obrigada pela oportunidade. A SRA. PRESIDENTE (Ana de Oliveira Frazão) - Muito obrigada, Profa. Pat Aufderheide, pela fala tão esclarecedora e tão rica e que aponta realmente para um problema que precisa ser endereçado, que é a utilização não econômica de dados e de inteligência artificial. Foi realmente muito interessante ouvir sua exposição sobre a importância do Text and Data Mining como uma ferramenta de pesquisa e sobre como é importante criar essa exceção para esses pesquisadores não empresariais e como isso importa não apenas para a pesquisa em si, mas também para a cultura, para uma espécie de accountability social, ou seja, a fim de que fato a sociedade como um todo possa também se basear em todo esse manancial. Também é muito bom ouvi-la ao mostrar os obstáculos para que isso aconteça, que não se resumem ao copyright, trazer a experiência norte-americana e mostrar como esse acesso a bases de dados também é determinante para o sucesso do Text and Data Mining lá nos Estados Unidos, de forma que, sem dúvida nenhuma, serão pontos extremamente importantes a serem considerados por todos nós aqui da Comissão. Agradeço muito por suas palavras e já passo novamente a palavra para o Thiago para que possa fazer as suas considerações e já introduzir o nosso terceiro palestrante. O SR. THIAGO LUÍS SANTOS SOMBRA (Por videoconferência.) - Obrigado, Ana. Muito obrigado, Profa. Pat Aufderheide. De fato, é muito bom ouvir esse tipo de apresentação, ou de discurso, com pontos de equilíbrio entre a necessidade de inovação e os cuidados que se devem ter aqui com ferramentas que envolvam o data mining, especialmente com foco naquilo que deve ser o estágio atual de desenvolvimento num país como o Brasil, que precisa, na atual condição em que se encontra, fomentar a inovação, ter uma capacidade de engajamento com ferramentas e com pesquisadores e mecanismos, sem que esses obstáculos que naturalmente surgem associados ao tema da inteligência artificial consigam, desde a origem, desde os primórdios aqui, obstruir qualquer tipo de desenvolvimento, especialmente a obstrução que decorre da própria regulação. Sem mais delongas, eu gostaria de passar a palavra à nossa próxima palestrante, Christina Montgomery, da IBM. A Christina é Chief Privacy Officer da IBMGlobal, ela atua especificamente na análise da estratégia e na atuação e na direção de várias das políticas de privacidade da IBM. Ela também é membro do AI Ethics Board da IBM, um grupo multidisciplinar responsável por estruturar não só a governança, mas o processo decisório de AI dentro da empresa. Além disso, ao longo de sua carreira, ela atuou também nas áreas de segurança cibernética, atuou como secretária corporativa e membro do boarding de diretores da IBM, além de ter composto outros órgãos relevantes e de ter participado de câmaras e conselhos que têm uma relação muito importante com o desenvolvimento da tecnologia e inovação.
14:40 R	Christina, muito obrigado por ter atendido a este convite da Comissão de Juristas do Senado Federal. Tenho certeza de que ouvi-la vai ser muito importante para nós aqui nos próximos passos. Muito obrigado. A SRA. CHRISTINA MONTGOMERY (Por videoconferência. Tradução simultânea.) - Muito obrigada por me convidarem para falar com vocês hoje. Vou falar sobre um dos temas que o Christian ressaltou, com relação à governança organizacional e responsabilidade em empresas privadas, e vou compartilhar a abordagem da IBM com relação à tecnologia responsável. Assim, a IBM tem um longo histórico com trabalho com empresas em diversos tipos de indústrias, desde setor bancário até transportes, assim como diversos governos do mundo inteiro. Como uma voz líder no setor de tecnologia, sabemos em primeira mão, que muitos dos nossos clientes estão tentando abraçar a inteligência artificial por uma série de razões além de incluir serviços ao cliente, as caixas de chat, uma melhor gestão na cadeia de suprimento, reservas de passagens de avião, e os governos têm buscado trabalhar com inteligência artificial para se posicionarem também como líderes nesse setor da inovação, nessa tecnologia inovadora. Os governos perceberam que devem confiar nessa tecnologia, e é por isso que a IBM tem tentado incorporar o pensamento ético ao ciclo de vida de uma inteligência artificial. Nós estamos trabalhando com uma cultura facilitadora, deixando claro que temos um programa de governança para a inteligência artificial, do qual eu sou copresidente. Esse grupo ajuda a gerenciar o desenvolvimento dos usos de inteligência artificial de forma responsável. Assim, nós utilizamos os princípios para tomar as decisões e o próprio grupo trabalha de forma disciplinar e é apoiado por uma rede de pontos focais que existem na IBM. Eu já vou falar um pouco mais sobre isso, mas essa estrutura nos ajuda a oferecer uma governança de responsabilidade pelas perspectivas da IBM, mas também é importante para descentralizar iniciativas ao longo das operações globais. Esse conselho está movendo iniciativas ao longo do processo, está no estágio de desenvolvimento. Como empresa, a IBM consulta uma variedade de implementações, de projetos envolvidos em diferentes áreas. Então, esses projetos, claro que, antes da implantação...
14:44 R	Aqui o conselho tem um papel crítico em conduzir riscos numa base de contextos e para avaliar especialmente que essa tecnologia será implantada, fazendo determinações sobre o que podemos fazer tecnicamente, mas também o que deve ser implantado consistente com os nossos valores e princípios. Então, por exemplo, no começo da pandemia, o nosso conselho revisou muitas propostas de tecnologia, como reconhecimento facial para detectar o uso de máscaras ou febres e certificados de vacina e passaporte de vacina, etc. Então, essas propostas e mais para o conselho de ética naquela época e o conselho realmente ajudou a criar o tom necessário. E também sobre o que iríamos implantar, que tecnologias iríamos apoiar que seriam consistentes com os nossos valores e princípios. E compartilhamos os nossos pensamentos publicamente, como fazemos geralmente sobre as nossas abordagens de IA e isso provou realmente na época que ter mecanismos de governança em vigor apoiando estruturas em volta disso nos possibilitou lidar com uma pandemia global. Os membros do conselho representam todo o negócio da IBM e têm uma grande variedade de bagagem, profissionais de RH, pesquisadores, desenvolvedores, etc., que são membros do conselho, mas também esse conselho é um sistema bastante expansivo internamente, que ajuda a apoiar a responsabilização. Então, assim como muitos dos nossos líderes seniores ajudam a criar esse tom do topo para baixo, o conselho em si supervisiona diferentes pontos focais para indivíduos e equipes trabalhando em soluções individuais em toda a empresa. Então, esses pontos focais ajudam a suplementar as decisões do conselho ao possibilitar o compartilhamento de informações entre colegas e participações com grupos externos de acionistas, porque também informamos as nossas decisões ao participarmos de várias organizações externas. Esses pontos focais realmente ajudam na operação desses princípios e a colocá-los em prática e descentralizar o conhecimento disso em todo o planeta. Temos uma rede informal que chamamos de uma rede de defesa, que também tem uma cultura de éticas de IA, etc. Nós acreditamos e falamos com frequência que as éticas de ação são uma responsabilidade de todos na IBM. Então, isso também é parte de um sistema mais abrangente de governança e falamos isso com a comissão, com o conselho, porque realmente os principais mecanismos pelos quais responsabilizamos todos na IBM sãos nossos valores, o desenvolvimento ético, a implantação e soluções de IA.
14:48 R	Realmente não há tarefas pequenas para a gente na IBM. Temos milhares de empregados operando em mais de 150 países no mundo e estamos presentes em uma variedade de indústrias e governos ao redor do mundo. Então, realmente, ter essa abordagem é bastante importante para manter essa responsabilização de descentralização desse serviço, e responsabilizarmos em todo o planeta. Realmente achamos que essa é uma tarefa que toda empresa que usa a inteligência artificial deve exercer. E acreditamos que podemos realmente criar mais regulações. Então, realmente defendemos e apoiamos o que está sendo falado hoje sobre abordagens de regulação que não estão atacando em si a tecnologia, porém, sim, o uso da tecnologia, a natureza das organizações responsáveis pelo uso dessas tecnologias. Isso realmente é muito crítico. É muito crítico acertar isso, porque primeiro, como o Christian já falou, em muitos usos da IA em baixo risco, que impõem obrigações em todo o uso da IA em inovações, esse ciclo é complicado e dinâmico. É importante ajustar os riscos efetivamente. E, claro, como endereçar isso da melhor maneira. Todos os estágios do ciclo de vida da IA requerem responsabilização, mas a implantação é o mais crítico. Por isso, programas de governança, como o conselho de ética, e o trabalho que está sendo feito aqui hoje serão cada vez mais importantes enquanto adotamos cada vez mais o uso de IA em diferentes áreas. E para fechar, vou considerar dois pontos. Primeiro, como estamos fazendo hoje, vamos considerar abordagens corregulatórias, como estamos falando aqui hoje, a padronização de mecanismos, como o trabalho feito nos Estados Unidos para encorajar abordagens regulatórias consistentes. E ainda, continuem o trabalho excelente que estão fazendo, promovendo operabilidade e regulações, como o ato de uso de IA e também o Comitê Nacional Consultivo, do qual sou parte. Estamos considerando a comparabilidade de regulações internacionais e oportunidades para a cooperação internacional em diferentes áreas. Assim como países e regiões se dedicam à harmonização regulatória e ao uso consciente da inteligência artificial, podemos, claro, mover para uma abordagem regulatória mais harmonizada e holística. Lamento pela minha voz, mas eu agradeço pela oportunidade de estar aqui e por essa experiência. Muito obrigada. A SRA. PRESIDENTE (Ana de Oliveira Frazão) - Christina, nós é que agradecemos a sua contribuição tão rica. Não se preocupe com a voz, nós ouvimos perfeitamente todo o seu discurso. E foi muito bom poder ouvir a sua experiência de como organizar de fato um sistema de controle, gerenciamento de risco, que é global, mas que, ao mesmo tempo, tem, como você ressalta, a flexibilidade necessária para as devidas adaptações.
14:52 R	Muito interessante também ter as suas menções sobre a utilização de inteligência artificial durante a pandemia, a importância do comitê de ética, a ideia dessa cultura de que todos na organização são responsáveis de fato pelas considerações éticas relacionadas à inteligência artificial e, além de tudo, você nos ter trazido aqui também as discussões sobre a abordagem em risco, toda a ideia de responsabilização dentro do ciclo da inteligência artificial e tentando encontrar o agente que é mais apto para essa responsabilidade. E você traz um ponto que também foi muito reiterado aqui em diversos pronunciamentos: a importância da corregulação e também da interoperabilidade. Eu teria também algumas considerações já para os comentários finais dos nossos palestrantes, mas talvez, Thiago, eu pudesse já passar a palavra para você para fazer as considerações específicas sobre as considerações da Christina e depois eu volto. O que você acha? O SR. THIAGO LUÍS SANTOS SOMBRA (Por videoconferência.) - Claro, maravilha! Eu só queria fazer alguns comentários muito rápidos. Acho que a Christina conseguiu endereçar de forma muito clara quatro aspectos muito importantes aos quais eu acredito que nós vamos ter que nos dedicar. Primeiro, a perspectiva da corregulação. É natural que num país com a tradição do Brasil, marcada pela civil law, ou seja, em que tudo depende efetivamente da regulamentação legislativa, o Legislativo tenha uma dificuldade de acompanhar todo o movimento de inovação do setor e da indústria da tecnologia. Então, é natural que a distribuição, ou uma atuação, ou um modelo de corregulação nos facilite e permita sempre que nós tenhamos disposições com uma capacidade maior de dar espaço para a iniciativa privada, mas, simultaneamente, estabelecer aquilo que o Estado entende que são as bases, especialmente no que envolve direitos e garantias. O segundo aspecto diz respeito à padronização e à consistência, que eu acredito também que é um ponto muito relevante da fala da Christina. Esse é um aspecto fundamental, não temos como trabalhar em cenários de regulação sem um mínimo de consistência e padronização dos marcos que forem estabelecidos, especificamente das premissas, além do tema da interoperabilidade. É fundamental que no desenvolvimento de soluções com inteligência artificial nós tenhamos condições efetivas de uma maior intercambialidade, de uma maior comunicação ou de uma maior capacidade de integração existente nas mais diversas soluções, especialmente naquilo que é o setor financeiro brasileiro. Hoje, provavelmente, o Brasil tem um setor financeiro, um setor bancário que é provavelmente um dos mais robustos do mundo, especialmente no tema de tecnologia, na utilização de inteligência artificial nas mais diversas funcionalidades. E, por último, quero enaltecer a iniciativa de um comitê de ética e responsabilidade com uma distribuição vertical da accountability por parte de empresas que empreguem essas soluções, e o exemplo das vacinas é muito importante. O Brasil foi um país que poderia ter se beneficiado mais de soluções de inteligência artificial durante a pandemia, mas, em virtude de dificuldades naturais, especialmente algumas que foram apontadas pelo próprio Christian na sua fala, que envolvem a transferência internacional de dados, isso acabou sendo dificultado. Ana, eu acredito que foi uma fala muito oportuna para nós, sobretudo, por trazer uma perspectiva de mercado, e eu devolvo a palavra a você para endereçar as perguntas e para que possamos aqui distribuí-las entre os nossos convidados. A SRA. PRESIDENTE (Ana de Oliveira Frazão) - Muito obrigada, Thiago. É muito interessante, eu acabei de receber aqui da Secretaria do Senado várias perguntas feitas pelos inúmeros cidadãos que estão nos assistindo e que mostram, de fato, o engajamento das pessoas nesse tipo de debate.
14:56 R	Recebemos perguntas do Rio de Janeiro, de São Paulo, do Distrito Federal, de Rondônia, Santa Catarina, Minas Gerais, Bahia. Normalmente, as pessoas muito curiosas sobre os reais impactos não só da inteligência artificial como também da regulamentação da inteligência artificial na economia, no mercado de trabalho. Enfim, são perguntas muito gerais, mas é claro que, se os nossos palestrantes quiserem antecipar algumas das suas posições a respeito desses temas nos seus comentários finais, seria muito bom. E também - é claro, nós sabemos das limitações de tempo -, sobre alguns pontos que causaram bastante discussão ao longo desse seminário internacional que foi tão rico para todos nós. Foram, em primeiro lugar...Parece que há, realmente, uma grande convergência de muitos especialistas em torno da necessidade de uma abordagem baseada em riscos. Ao mesmo tempo, há uma cerca preocupação de que essa abordagem possa ser muito formalista, muito procedimental que, em alguns aspectos, ela desconsidere ou não trate suficientemente alguns aspectos substantivos e que dizem respeito, realmente, à proteção dos direitos humanos, dos direitos fundamentais envolvidos. Há, também, um certo receio de que isso acabe deixando as empresas ainda com um grau de discricionariedade muito grande. Então, embora haja muita convergência no sentido de uma corregulação, muitas vezes é difícil encontrar esse ponto de equilíbrio entre a regulação, a autorregulação. Então, caso vocês queiram tocar nesses assuntos, sem dúvida nenhuma seriam pontos muitos importantes para nós. Um segundo eixo de discussões diz respeito à questão, também, de transparência e accountability, ou seja, se de fato todos aqueles que se utilizam de sistemas de inteligência artificial precisam passar por essas análises de risco, precisam adotar inúmeros procedimentos, incluindo documentação, incluindo registro, em que medida não deveria, também, ser dada maior transparência, maior publicidade a esses procedimentos, até para que se possibilite efetivamente um controle social? Então, esse também é um ponto extremamente importante e caro para nós. Por fim, sem prejuízo, claro, de outas considerações que os nossos painelistas considerem importantes, outro ponto também de bastante preocupação é a compatibilidade entre o desenvolvimento da inteligência artificial e a ideia de proteção de dados, já que, às vezes, parece que a inteligência artificial precisa, realmente, de muitos dados. O sistema de proteção de dados, por outro lado, caminha no sentido de tentar assegurar uma minimicidade, propósitos específicos. Então, a gente gostaria de saber como é que, também, os nossos palestrantes veem esse problema, se de fato estamos diante de regulações convergentes ou se há trade offs que precisam ser enfrentados. Eu acho que, com isso, então, Thiago, eu encerro por aqui, já antecipando o quanto eu fiquei muito feliz e agradecida por ter a oportunidade de participar desse painel com todos vocês. Então, Christian, Pat, Christina, foram extremamente enriquecedoras as considerações de vocês hoje. E a gente já, aqui, manifesta a nossa mais profunda gratidão pelo tempo de vocês. Muito obrigada. Já passo a palavra, então, ao Thiago. O SR. THIAGO LUÍS SANTOS SOMBRA (Por videoconferência.) - Obrigado, Ana. Acredito que possamos fazer uma rodada final começando pelo Christian, depois as Profas. Pat e Christina, cada um com cinco minutos para endereçar uma resposta a essas questões levantadas pela Profa. Ana e fazer suas considerações finais para que possamos encerrar. Então, começando pelo Christian, cinco minutos; Pat, e depois Christina.
15:00 R	O SR. CHRISTIAN TRONCOSO (Por videoconferência. Tradução simultânea.) - Claro, farei o meu melhor para cobrir um pouquinho cada uma dessas perguntas nas minhas considerações finais neste seminário. Acho que o primeiro tema que foi levantado aqui, o impacto potencial da IA na força de trabalho e na economia, acho que isso é uma questão fundamental que o comitê realmente deve considerar. Na nossa visão a IA irá promover algumas mudanças na economia. A economia irá mudar a natureza do emprego e do trabalho, mas vemos a necessidade de garantir que a força de trabalho esteja preparada para os trabalhos do futuro. Não vemos, no momento presente, empregos desaparecendo, vemos, na verdade, uma necessidade imensa para novos empregos e para a força de trabalho estar mais familiarizada com a tecnologia. Empregos que, no passado, não envolviam tecnologia irão envolver tecnologia cada vez mais no futuro. Então, essa questão é cada vez mais crucial. Acho que a segunda pergunta está relacionada a como pode haver uma grande convergência na abordagem de risco, se isso criará regulações que são formalistas demais por natureza? Eu realmente entendo essa preocupação e acho que há diferentes maneiras de endereçar isso. Eu falei brevemente antes que, em vez de um foco em IA em específico, é melhor, na verdade, olhar como a tecnologia está sendo aplicada, independentemente de a tecnologia estar sendo usada em computação e dados, se estão sendo usados de maneira que terão um impacto consequencial na vida das pessoas, o foco realmente deveria estar nos direitos humanos, em sistemas automatizados e algo que impactaria a capacidade de alguém desempenhar um determinado tipo de trabalho. Então, essa abordagem com base em risco, aí sim, faz sentido e talvez não seja tão formalista. A terceira pergunta acho que fala na questão de transparência. Aqui também é sobre o uso e como esses sistemas estão se comunicando uns com os outros, porém, além disso seriam, especificamente, as limitações. Vemos aí como seria importante manter essa abordagem mais consistente e a promoção de análise de dados.
15:04 R	A última pergunta seria se há trade-offs entre inovação de IA e proteção de dados. Com certeza, sim. A proteção de dados, para ser claro, é extremamente importante em termos de direitos humanos. As pessoas têm o direito de saber como os seus dados estão sendo usados, e nós não sugerimos que seria o contrário e, sim, temos que ser claros que a limitação do uso de dados irá afetar o desenvolvimento de IA. Isso, talvez, não seja antecipado e, talvez, haja desvantagens que temos que pensar além. Então, falando um pouco mais da minha apresentação, a tendência de IA e o acesso a dados pode ser uma das maneiras principais que podemos ter para regulamentar o uso de dados de maneira mais representativa. Claro que assim, através disso, podemos pedir para empresas divulgarem os seus dados. Poderíamos exigir que uma empresa possa ter acesso a avaliação de dados e, se isso for feito para diferentes tipos demográficos, em algumas circunstâncias, as empresas estariam relutantes em divulgar seus dados, obviamente. Em alguns países, isso estaria, na verdade, proibido - essa coleção de dados -, em alguns contextos. Então, sim, há uma interseção da proteção de dados e IA que levanta várias discussões, mas devemos reconhecer que inovação é importante, mas a proteção de dados também. Nós temos que estar conscientes dessa interseção e decidir, como uma sociedade, onde queremos delinear esses limiares, mas é importante, principalmente, que tenhamos leis transparentes e claras sobre como implementar essas regulamentações e que as empresas tenham orientações claras sobre o que é permitido e onde estão as limitações. Então, vou parar aqui, porque eu acho que já posso ter falado demais. Muito obrigado. O SR. THIAGO LUÍS SANTOS SOMBRA (Por videoconferência.) - Muito obrigado, Christian. Pat. A SRA. PAT AUFDERHEIDE (Por videoconferência. Tradução simultânea.) - Muito obrigado. Algumas dessas perguntas não lidam com o meu tópico principal hoje, que trata de acadêmicos, pesquisadores e pessoas independentes do setor privado para que possam pesquisar sobre a mineração de textos e dados. Entretanto, acredito que cada uma dessas questões é uma ilustração da importância real em se ter transparência na disponibilidade de dados fora de um contexto corporativo, em um contexto prioritário, o limite governamental, de modo que as pessoas possam explorar essas questões.
15:08 R	Então, acredito que normas e leis, em termos de ética e risco, acredito piamente que tudo vai junto, esses dois âmbitos andam de mãos dadas, a norma de ética e a proteção de dados individuais. A não exploração é uma norma muito forte da academia. Toda universidade tem seu próprio código de ética relacionada a quaisquer pessoas numa pesquisa. É uma regra muito forte, mas é uma norma que não, necessariamente, se alinha convenientemente com o ponto principal dos interesses corporativos. Nem toda empresa pode... Não se pode esperar que toda empresa elabore sistemas como a IBM faz, de forma recomendável. Assim, acredito que é preciso estabelecer, legislativamente, expectativas numa abordagem que honre as preocupações éticas. Em termos de privacidade de dados, acho que é uma questão de velho oeste praticamente. Em diversos sentidos, eu concordo com o Christian que existem aqui desvantagens, mas acho que uma das coisas que eu acho muito estimulante pensar a respeito é que estamos a dois passos das questões de hoje, a interoperabilidade de adversários, porque, se você tivesse a capacidade de movimentar seus dados pessoais, isso encorajaria, seria um movimento de transparência que permitiria aos indivíduos que tivessem maior controle sobre seus dados e ainda estimulasse a economia a fornecer uma área de competição real. Essa é uma questão que eu havia comentado com vocês. Muito obrigada. O SR. THIAGO LUÍS SANTOS SOMBRA (Por videoconferência. Tradução simultânea.) - Perfeito. Christina. A SRA. CHRISTINA MONTGOMERY (Por videoconferência. Tradução simultânea.) - Olá! Essas são perguntas muito interessantes e talvez soe um tanto repetitiva com relação às minhas respostas, Christian, mas, com relação à força de trabalho, eu acho que, sim, é uma área que temos focado muito ao longo dos últimos anos da IBM. Nós sabíamos já que a inteligência artificial mudaria a posição dos trabalhos, das profissões não no sentido de eliminar ou criar. Não sabemos ao certo, mas sabemos que todo trabalho irá mudar. Assim, garantir que haja literalidade da inteligência artificial, a preparação da força de trabalho para a era das inteligências artificiais. Digo isto também de uma perspectiva cultural a partir da IBM que todo mundo é responsável. E, com relação aos demais postos de trabalho, a tecnologia vai mudar muita coisa, e a educação representa boa parte daquilo que fazemos aqui na IBM. De uma perspectiva prescritiva de recomendação, a abordagem baseada em riscos demandará, de antemão, os contextos de uso da inteligência artificial. Assim, uma breve avaliação de vez em quando, seja qual for o contexto ou a estrutura, seja o quadro, é algo que demandará mais avaliação, um mergulho profundo sobre o tema. Uma das coisas que tentamos fazer - porque nós temos organizações, temos pessoas dedicadas a observar o código de ética contemplado pela inteligência artificial, avaliação de privacidade e as questões - é utilizar esses programas para lidar com o inventário e o processamento sempre que for necessária qualquer outra avaliação em aplicativos de inteligência artificial da perspectiva de uma empresa.
15:12 R	Nós fizemos uma espécie de veto inicial para observar qual é o contexto que devemos ter em mente. Com relação às perguntas, pode-se customizá-las para algo que já está sendo feito operacionalmente da nossa parte, pois é algo importante que, como falei de um programa governamental, e foram muitos comentários a respeito, as pessoas no conselho diretor... Mas há mais na governança do que as pessoas... Tem a ver com os processamentos e as considerações éticas com relação a uma tecnologia responsável, ao uso responsável de dados e à melhor utilização dos processamentos no sistema da empresa. De modo que, como havia falado, avaliações de privacidade: deve-se expandi-las e aumentar as metodologias de avaliações de inteligências artificiais. Dentro dos processos existentes isso é algo que já estamos observando e contemplando. E aí chegamos ao ponto em que... a responsabilidade e o controle e a transparência sendo entregues a essas pessoas. Uma ferramenta pode ser um exemplo: sobre as pessoas, sobre o processamento e os processos. Estamos buscando a melhor forma de empregar ferramentas que permitam às pessoas que fizerem mudanças... E, com relação a princípios, como transparência, que já mencionamos, como o uso transparente de dados, a transparência quanto ao chat... Se for um chat board, é preciso que você saiba que não há um ser humano do outro lado da linha, e isso tem a ver com o tópico da transparência. Agora, de uma perspectiva de ferramenta, são os kits de ferramentas que devem ser liberados em open source, mas que não somente... Deveria procurar tendências, certificando-se de que essas... que haja transparência. Aqui temos kits de ferramentas que poderão ajudar a fazê-lo, há uma forma de fazê-lo. Assim, coisas como as folhas de checagem de fatos de inteligências artificiais serão interessantes para saber o que há dentro do modelo de uma inteligência artificial de modo a fornecer mais transparência, e isso será necessário no caso da utilização de uma inteligência artificial. E, mais uma vez, no tocante a essa dinâmica e a toda a disrupção provocada por isso... Ela sempre vai trabalhar com imensas quantidades de dados, porém existem, creio eu, duas coisas a serem consideradas. Como disse antes, temos um conselho de ética de inteligência artificial e um programa sobre a privacidade. E há algo sobre o qual já estamos debruçados, sobre as perguntas com relação a quais dados são necessários para treinar o modelo e a como lidar com as proteções de dados e a privacidade desses dados de acordo com as leis vigentes. Estamos tentando agregar isso aos programas de modo a podermos responder essas perguntas. Concomitantemente estamos utilizando inteligência artificial no nosso programa de... Uma inteligência artificial pode ser muito benéfica para ajudá-los a aplicar governança e na avaliação de risco nesse tipo de estrutura, apontando os dados como metadados, de modo que vocês saberão que são dados classificados, se isso é de interesse público, é de interesse pessoal ou não. A inteligência artificial pode ser utilizada para aprimorar e proteger esses dados e a natureza desses dados ao mesmo tempo, de modo a sermos capazes de continuar a treinar modelos e o aumento da privacidade a partir das tecnologias virá a seguir. No caso de uma inteligência artificial, coisas do tipo irão ocorrer. Assim, esses tipos de tecnologias e técnicas de preservação da privacidade ou todos os pontos que estamos observando irão nos ajudar, em última instância, ao longo do tempo, a lidar com essas tensões reais que demandam mais dados, a partir de uma perspectiva de inteligência artificial e na necessidade de preservar a privacidade dos usuários.
15:16 R	O SR. THIAGO LUÍS SANTOS SOMBRA (Por videoconferência. Tradução simultânea.) - Muito obrigado, Christina, e mais uma vez obrigado, Christian, Patricia. Para nós foi um grande prazer a oportunidade de tê-los conosco neste enriquecedor debate. Eu volto a palavra à Profa. Ana Frazão, para suas conclusões finais e encerramento. A SRA. PRESIDENTE (Ana de Oliveira Frazão) - Eu só tenho a agradecer mais uma vez a todos os nossos palestrantes, que realmente nos ofereceram hoje um momento de muita reflexão. Além das brilhantes apresentações iniciais, as reações também às perguntas foram extremamente ricas. Então, fica aqui o registro da nossa gratidão e de todo o reconhecimento da importância que vocês tiveram aqui neste processo, que, como vocês podem imaginar, é bastante complexo, de elaboração de uma norma com esses objetivos, mas certamente este processo se torna muito mais fácil, pelo menos difícil, com a ajuda de tantos especialistas importantes, generosos e gentis como vocês. Em nome da Comissão, eu agradeço mais uma vez a todos, agradeço ao Thiago pela ajuda na moderação e já declaro encerrado este painel, lembrando a todos que estão nos assistindo que teremos logo mais o último painel deste seminário, que começará às 15h30. Muito obrigada a todos e uma ótima tarde. (Suspensa às 15 horas e 18 minutos, a reunião é reaberta às 15 horas e 21 minutos.)
15:20 R	O SR. PRESIDENTE (Fabrício da Mota Alves) - Com licença. Boa tarde a todos. Estou assumindo então agora a Presidência dos trabalhos. Sou membro da Comissão, Fabrício da Mota meu nome. Os membros Filipe e Victor, prazer em tê-los aqui. Vamos dar continuidade, então, à parte final do nosso seminário. O último painel, Painel 7: Sistemas de responsabilização. Vou passar a palavra para Filipe e Victor. Eu não estou vendo o Victor aqui, Filipe. Será que ele... O SR. FILIPE MEDON (Por videoconferência.) - Fabrício, eu acho que a gente tem que aguardar até 15h30, que é o horário que está agendado. O SR. PRESIDENTE (Fabrício da Mota Alves) - Tudo bem. Aguarda, então? Bom, os palestrantes já se encontram todos presentes? O SR. FILIPE MEDON (Por videoconferência.) - Já. O SR. PRESIDENTE (Fabrício da Mota Alves) - Então, acho que podemos dar seguimento sem a necessidade de... Vamos privilegiar o grande evento de antecipação do painel e também privilegiar a presença dos nossos palestrantes aqui também. Bom, então, dando continuidade ao seminário, agora passo a palavra aos membros Filipe e Victor para que conduzam a moderação do painel. Obrigado, Filipe. Obrigado, Victor. O SR. FILIPE MEDON (Por videoconferência.) - Eu que agradeço. Boa tarde a todos e a todas. Em primeiro lugar, gostaria de dizer da grande honra que é receber os Professores Teresa, David e Mafalda aqui conosco nesta mesa, que vai realmente encerrar essa série de dois dias de audiências públicas, seminário internacional, em que temos ouvido contribuições riquíssimas de diversos especialistas de todo o mundo, que nos têm ajudado nessa missão árdua, embora extremamente necessária, de regular a inteligência artificial no Brasil. Então, podem ter certeza de que todos os subsídios que estão sendo oferecidos serão utilizados para a nossa resolução interna, para o nosso debate. Esta Comissão muito se honra em recebê-los. Agradeço também a presença daqueles que nos assistem em casa neste momento e cumprimento o querido Victor, que divide comigo esta moderação, além do nosso querido amigo e membro Fabrício, que realiza esta Presidência in loco. Bom, especificamente falando sobre o tema, o tema da responsabilidade civil tem sido apontado em diversos painéis, tanto das audiências públicas com especialistas nacionais como nos temas internacionais, como sendo um dos pontos centrais dessa discussão. E, ao longo do último ano, temos visto entendimentos bastante divergentes a esse respeito. Nas audiências públicas brasileiras, a recomendação dos especialistas foi no sentido de que não deveríamos legislar em matéria de responsabilidade civil pelos danos causados pela inteligência artificial.
15:24 R	Os assuntos mais discutidos são, portanto, a necessidade ou não de se alterar a legislação brasileira e, caso seja necessário, qual seria a melhor forma de endereçar esse problema? Seria a partir de uma classificação baseada em riscos, tal como se sugere na União Europeia? Além disso, devemos criar um seguro obrigatório para tipos específicos de inteligência artificial de mais alto risco? E a saída dos fundos complementares seria uma boa solução? Essas são apenas algumas das muitas questões que temos enfrentado. Bom, feito esse brevíssimo panorama, eu passo imediatamente a palavra para a Profa. Teresa Rodríguez de las Heras Ballell. Farei aqui rapidamente a apresentação do seu currículo. A Profa. Teresa é professora de Direito Comercial na Universidade Carlos III, de Madrid; atualmente ocupa o cargo de Sir Roy Goode Scholar na Unidroit, em Roma, nos anos de 2021 a 2022; é membro do grupo de peritos da Comissão da União Europeia em Responsabilidade e Formação de Novas Tecnologias; membro do Grupo de Especialistas da Comissão Europeia em Economia de Plataformas; delegada da Espanha e perita no Grupo de Trabalho VI da Uncitral sobre comércio eletrônico para o projeto de IA; membro do Conselho e do Comitê Executivo do ELI (European Law Institute); e correlatora do Project on Algorithmic Contracts e também do Project on AI Liability e dos Principles for Automated Decision-Making. Então, Profa. Teresa, agradecemos, mais uma vez, imensamente pela sua participação, e já lhe passo a palavra. A SRA. TERESA RODRÍGUEZ DE LAS HERAS BALLELL (Por videoconferência. Tradução simultânea.) - Muito obrigada pela honra, pelo privilégio que é para mim ter a oportunidade de falar com vocês e compartilhar algumas das ideias relacionadas às regulamentações e à responsabilidade pelos danos causados por inteligências artificiais. Assim, aos participantes distintos, membros do painel, coparticipantes, muito obrigada. Estou muito feliz de estar aqui com vocês. Gostaria de compartilhar a minha tela, porque gostaria de criar uma narrativa sobre as diferentes políticas a partir da perspectiva da União Europeia, que estamos, neste exato momento, considerando, de modo a oferecer-lhes um painel, literalmente um catálogo de opções, tentando vislumbrar quais são as distintas possibilidades e quais são os fatores distintos que deveriam ser considerados e quais são as implicações na decisão entre diferentes opções de política com relação à responsabilidade e quais são, de fato, as combinações possíveis, de modo a criar uma estrutura de responsabilidade devida para a inteligência artificial. E tendo isso em mente, vou compartilhar minha apresentação, na qual tento, de forma precisa, discutir com vocês, a partir da perspectiva da União Europeia, sobre como, de fato, a inteligência artificial e essa responsabilidade se tornaram um quebra-cabeça, no qual temos não só que explorar, como também decidir sobre como empregar e alimentar todos esses diferentes componentes, essas partes componentes que podem ser utilizadas de modo a entender a responsabilidade. Deixem-me apresentar-lhes uma breve linha do tempo com relação às distintas iniciativas que têm sido adotadas ou propostas na União Europeia. Gostaria de propor duas ideias que essa linha do tempo revela. A primeira ideia é de que, como podem ver, o início desse processo gira em torno de 2017, 2018. Ele começou com um grupo de especialistas, precisamente sobre as questões relacionadas à responsabilidade de tecnologias emergentes. Assim, a primeira preocupação da perspectiva da União Europeia tem sido, exatamente, a adequação das regras de responsabilidade aos danos causados por inteligências artificiais e outras tecnologias emergentes.
15:28 R	A outra ideia que eu gostaria de ressaltar, ao observarmos essa linha do tempo, é a de que nós estamos, ao mesmo tempo, observando diferentes iniciativas, lidando com inteligências artificiais, porém a partir de diferentes metas políticas e de diferentes ângulos. A famosa proposta de abril de 2021 se chama lei de inteligência artificial e parece oferecer um papel que, talvez, não seja absoluto. A lei de inteligência artificial é apenas uma das partes desse quebra-cabeça. E essa lei de inteligência artificial é, certamente, exclusivamente focada nos aspectos regulatórios da inteligência artificial. Assim, essa lei de IA vislumbra decidir quais são os usos específicos da inteligência artificial, de seus sistemas, que a Comissão da União Europeia proibiu ou que devem ser considerados como de alto risco. Assim, não temos regras de responsabilidade no tocante à lei de inteligência artificial. O fato é que, caso precisemos, haverá outro elemento, de modo a ajustar essa estrutura, esse dispositivo legal sobre inteligência artificial, pois a definição dessa proposta, talvez, seja equivocada, pensando que tem um estudo relacionado às inteligências artificiais nessa lei, o que, de fato, não é o caso. A segunda ideia que eu gostaria de compartilhar com vocês é a de que, quando o grupo de especialistas foi criado, uma das primeiras ideias, uma das primeiras descobertas que percebemos com os nossos debates, foi a de que somente devido à inteligência artificial - que não é uma tecnologia nova, talvez, necessariamente - não precisemos começar uma ação legal, uma ação judicial. Não é porque a inteligência artificial é algo novo, relativamente novo, que temos a necessidade de produzir uma regra específica para a inteligência artificial. E sim, na minha opinião, esse experimento ou esse exercício, como podem ver na sua tela neste exato momento, é um esforço para compreender até que ponto a inteligência artificial e seus sistemas possuem características que são tão disruptivas, distintas, que demandam uma nova abordagem regulatória. Somente após esse exercício de mapeamento, somente após a identificação desses futuros distintos, dessas características distintas, poderemos decidir qual será o alcance desse marco regulatório. Esse grupo de especialistas chegou à principal conclusão de que existem características de sistemas de inteligências artificiais que, pelo menos, demandam alguma atenção, de modo a ver até que ponto essa característica é tão conflitante com o regime de responsabilidade que demandou alguma adaptação.
15:32 R	Por exemplo, opacidade ou complexidade podem impactar na forma tradicional de aplicação e avaliação da relação causal entre o dano e o fato. Assim, por que isso é tão importante? Porque, talvez, a forma de aplicação dos elementos de responsabilidade não baste de forma eficaz onde temos sistemas de inteligência artificial. Então, assim, deixe-me tratar dessa ideia com vocês. A inteligência artificial possui regras específicas, que não necessariamente... Temos certeza de que essa característica, o aumento da autonomia, a dependência de dados, a opacidade, a complexidade são tão disruptivos dentro do sistema tradicional, que demandam uma atenção específica. Do contrário, devemos criar regras diferentes para um funcionamento equivalente nessa situação. E, então, isso deve guiar o trabalho do legislador nessa regulamentação, nessa regulação. Qual seria realmente o resultado da análise? Seria olhar, por um lado, quais são os elementos do seu regime de responsabilidade, no caso, por exemplo, da União Europeia, e ver até onde essa característica anterior afetaria de maneira significativa na maneira de interpretar e de aplicar esta maneira tradicional de analisar e alocar essa responsabilidade. Então, essa é a primeira parte, mas seria o que foi feito em 2019? Qual é a situação atual? É que na, União Europeia, considerando essas opções de políticas, a primeira opção é nenhuma ação. Ação nenhuma. Temos, então, que, em diferentes regimes de responsabilidade, nós não modificamos o modelo existente, mais do que em nenhuma outra situação. A segunda possibilidade que pode acontecer, é que essa característica requeira uma interpretação renovada da lei por causa da característica que é tão extensiva da inteligência artificial. Um exemplo bastante ilustrativo seria: se temos, por exemplo, no caso da União Europeia, um regime legislativo para um produto com defeito, uma legislação para um defeito num produto, a inteligência artificial seria um produto? Precisaríamos dos esforços para que um produto inteligente, um produto que incorpora um sistema de inteligência artificial... Nós poderíamos solucionar esse problema apenas com esforço de interpretação. Então, essa seria a minha segunda opinião para que qualquer legislação possa considerar. E, claro, a terceira possibilidade seria de menos reforma no nosso sistema atual para abraçar as especificidades da inteligência artificial. Então, a terceira possibilidade seria, naturalmente, reformar e a União Europeia está considerando a reforma nas diretivas de produtos com defeito.
15:36 R	Claro que, talvez, tenhamos de ir além, e a próxima opção que podemos levar em consideração seria desenhar um novo sistema adaptado para um sistema de inteligência artificial. Como vou mostrar em um minuto, essa foi uma das possibilidades que foi ponderada quando, em 2020, foi elaborada uma proposta para a regulação, ou seja, a harmonização máxima possível, uma regulação para a responsabilidade por danos causados por sistemas de IA. Então, é um sistema vertical específico em IA, e o que está sendo feito seria insertar novas medidas. Precisamos de um novo pilar específico. Indo além, para considerar qual seria a melhor opção, o que um legislador deveria levar em consideração? Na minha opinião, os quatro aspectos a seguir. O primeiro seria who (quem). Quem irá querer ser responsável? Para quem queremos alocar e atribuir a responsabilidade? Se o sistema de responsabilidade está funcionando bem, isso será um sistema de alocação e tem que ser eficaz e justificador. Por favor, me avisem se o meu... Eu estou bem de tempo aqui, mas vou mostrar, daqui a pouco, que as possibilidades são os produtores, o operador, a terceira parte, o usuário, mas a decisão é importante: quem? Por que esse quem seria aquele que deve tomar as medidas preventivas mais eficazes para mitigar os riscos de responsabilidade. E o próximo ponto seria on which ground. Em que território queremos atribuir a responsabilidade: risco, culpa, defeito ou falta de conformidade? Isso, imediatamente, nos leva a diferentes componentes. Se achamos que isso é um problema de risco, iremos obviamente nos recorrer a diferentes questões de responsabilidade. No fim, seria um problema de risco, de padrões de segurança para aplicar em diferentes... Dependendo do padrão. E um outro ponto a ser levado em consideração seria que danos queremos compensar. Quais são os principais riscos que queremos mitigar e aliviar? Grandes danos, massivos, patrimoniais, econômicos... Então, isso deve ser levado em consideração, porque alguns desses regimes de responsabilidade podem ter limites em termos de compensação. Outra coisa que não deve ser ignorada ou desconsiderada seria até onde essa característica que temos discutido - vulnerabilidade, complexidade -, que acontecem no ecossistema de inteligência artificial, até onde isso pode impactar nos procedimentos que grandes equipes devem realizar, porque há procedimentos que podem ser mais imediatos, em que, óbvio, o fardo de prova pode ser aliviado ou não, e veremos qual seria o procedimento que estaria funcionando de maneira mais eficaz.
15:40 R	Então, essa tabela, na minha opinião, devemos mantê-la em mente: quais são os territórios e como queremos tratar a inteligência artificial: como um produto, como um serviço ou como um sistema autônomo - seria talvez um pouco controverso. E, finalmente, quem deveria ser a pessoa responsável? Eu gostaria de concluir com as seguintes ideias: gostaria de mostrar a vocês quais seriam as diferentes opções que a União Europeia considerou; que, às vezes, desconsiderou e, outras vezes, colocou no catálogo de opções possíveis para poder nos mostrar quais são provavelmente as opções mais viáveis e, enfim, confiáveis. Seria uma boa ideia criar uma nova ficção legal ou decidimos adiar essa ideia, a ideia de personalidade eletrônica em que atribuímos responsabilidade e a compensação e a obrigação ao sistema em si? Então, é como um patrimônio separado. Então, essa não é a opção escolhida pela União Europeia. Seria uma responsabilidade baseada em culpa? Seria esse o sistema básico que deveríamos usar? E a resposta é sim. Claramente, uma responsabilidade baseada em culpa seria a que provavelmente cobriria a compensação de danos de maneira mais eficaz em termos de inteligência artificial. Então, o sistema padrão deve ser baseado em culpa - e já falarei sobre a responsabilidade subjetiva também -, mas a pergunta é, a questão é "quem": quem deve ser responsabilizado? Esse, na verdade, é um dos elementos mais importantes: seria o operador. Não seria o supervisor, não é o usuário, não é um produtor; é o operador. Quem é o operador? O operador é aquele onde dois elementos convergem: controle e benefício. O operador é a pessoa que controla o risco do sistema e - isso é muito importante - se beneficia da exploração do sistema de IA. O hospital que decide incorporar esse sistema não só na equipe de trabalho, no pessoal, mas também em outras áreas; a empresa que decide incorporar esses sistemas. O banco, por exemplo, que decide incorporar esse trabalho no oferecimento de serviços, esse seria o operador e ele estaria responsável com base em culpa, responsabilidade subjetiva.
15:44 R	Porém, como podem ver, há casos onde responsabilidade estrita pode ser justificada, pode ser razoável, pode ser eficaz quando as circunstâncias factuais justificam ou endossam a necessidade de uma responsabilidade com base em riscos. Como podemos fazer isso? Há duas possibilidades. A primeira é a proposta do Parlamento europeu anexada a uma lista muito previsível e explícita de sistemas de inteligência artificial que, porque são de alto risco, devem ser sujeitos à responsabilidade subjetiva. Qual seria o benefício disso? Claridade, certeza, credibilidade. Não estamos confundindo os atores no mercado e não estamos capacitando. É importante lembrar que eles estariam sujeitos a esse tipo de responsabilidade. E a segunda: definir critérios gerais é muito importante quando estamos operando em ambientes não privados, quando estamos pondo outros em altos riscos. É claro que não estaria oferecendo certeza ao mercado. Mas, enfim, seria uma opção. Irei concluir com mais duas ideias. O próximo elemento que a União Europeia decidiu adotar é reformar o sistema de produto de responsabilidade para poder assegurar que a inteligência artificial, que produtos movidos à inteligência artificial também podem ser beneficiados por esse sistema. É desafiador, fascinante, mas requer realmente uma análise meticulosa de cada provisão legal para que possamos estar seguros das decisões a tomar. Temos aqui uma pessoa responsável, o operador, e outra possível pessoa seria o produtor. Nesse caso, o gatilho, a culpa não é o risco, e sim o defeito, o risco de defeito no sistema. E assim atribuímos a responsabilidade ao produtor. É claro que podemos falar um pouco mais sobre isso depois. Deixe-me concluir com essa ideia final, que eu acho que é fascinante. Um produto inteligente, produtos que incorporam sistemas de inteligência artificial e plataformas, etc. estão se tornando cada vez mais complexos, e o sistema está totalmente desprotegido. Por quê? Porque é muito difícil entender quem está por trás; quantos fornecedores, quem realmente é o responsável aí. Então, qual é a ideia? Seria reconsiderar o conceito de produto e começar a falar de ecossistema ou unidade tecnológica e olhar que do outro lado o que há é uma unidade tecnológica. Não importa quem é o responsável, pode ir para qualquer uma: Alexa, o produtor da Alexa, os produtores desses dispositivos inteligentes que você tem em sua casa e todos, na verdade, estão conectados nesse ponto.
15:48 R	Vou concluir por aqui. Estou disposta a discutir mais, mas realmente devemos considerar com cuidado. E essas políticas devem ser coerentes, para garantir que o sistema não está oferecendo um privilégio ou mitigando uma outra tecnologia, somente falando da tecnologia em si. Obrigada. O SR. VICTOR MARCEL PINHEIRO (Por videoconferência.) - Gostaria de agradecer à Profa. Teresa Rodríguez de las Heras Ballell a sua brilhante exposição. Aproveito para cumprimentar todos os palestrantes que nos brindam com a sua presença e com o seu tempo, nesta tarde, aqui no Brasil. Cumprimento o Dr. Fabricio da Mota Alves, que preside os nossos trabalhos hoje, e meu colega também de mesa e amigo Filipe Medon. Acredito que a exposição a Professora mostra a complexidade do tema regulação da responsabilidade civil dos sistemas IA e as diferentes posições e alocação de responsabilidades, riscos, benefícios. Eu acho que essa diferenciação de operador, enfim do produtor, do sistema de tecnologia é muito esclarecedora para o nosso debate. Sem mais delongas, eu queria passar a palavra ao Prof. David Vladeck. Ele é A.B. Chettle, Jr., Professor de Direito no centro... O SR. DAVID VLADECK (Por videoconferência. Tradução simultânea.) - Muito obrigado por estar aqui, neste seminário de regulações e de inteligência artificial. Eu falarei de alguns pontos principais, porque os sistemas nos Estados Unidos resolvem a responsabilidade por regimes não autônomos, porque essas máquinas são agentes de pessoas ou corporações. E essas entidades suportam a responsabilidade de tal maneira. Segundo, as máquinas, no senso de que elas podem sentir, agir, novos regimes de responsabilidade serão necessários, porque, para a nova geração de máquinas... Em terceiro lugar, para toda a apresentação de carros autônomos, seria necessária uma arquitetura de responsabilidade para missões de IA. Invariavelmente, isso seria feito não somente por um fornecedor, mas por inúmeros componentes. Como o meu colega falou sobre o "quem", será bastante difícil revelar quem estaria aí responsável. Empresas como Tesla, os carros da Tesla, a criação desses carros depende de um número incontável de fornecedores. E, quanto mais inteligente a máquina, mais difícil será regulamentar isso. Falando sobre essas máquinas de IA, supercomputadores algoritmos que tomam decisão por si só, essas máquinas que criam seu próprio caminho, piloto automático, robôs, como os que fazem cirurgias delicadas, algoritmos que decidem, fazem decisões, supercomputadores, redes elétricas que estão aí engajadas, em alta velocidade, sistemas de transporte - todos são ferramentas e são extremamente sofisticadas, programadas, inventadas e usadas por humanos e esses humanos serão responsáveis por elas.
15:52 R	Então, agora, olhando a sofisticação tecnológica em termos da tomada de decisões, precisamos focar num processo de desenvolvimento onde não há pessoas a serem responsabilizadas... Onde há agências, elas estariam responsáveis pelos algoritmos dessas máquinas. Nós estamos agora num limiar de máquinas totalmente autônomas. São diferentes das máquinas guardadas por humanos, diferentes da primeira geração de máquinas que já estão aí presentes, os carros autônomos da Tesla, Google e outras empresas. Esses carros são equipados por inúmeros componentes e radares, sensos de laser, câmeras, GPS, computadores, chips, programas analíticos, algoritmos e muitos outros componentes que estão além da minha compreensão e que possibilitam com que o carro se movimente melhor do que uma pessoa, se uma pessoa o estivesse dirigindo. Assim, a pergunta é: o que acontece se um carro adentra, entra em uma colisão? Esse carro não usa ferramentas usadas por humanos. Uma coisa que pode ser feita é observar no YouTube, assim, milhares de vídeos de carros... em que o carro bate na rodovia. Isso pode acontecer em qualquer carro não pilotado. Eles atuam com base em informações que o carro adquire, analisa e toma decisões consequenciais, em circunstâncias em que a maioria das máquinas não pode lidar. Essa é a pergunta conceitual chave relacionada à inteligência artificial. Não necessariamente são agentes de pessoas ou entidades. Como esses sistemas jurídicos podem decidir que outras pessoas, que os agentes seriam os responsáveis? Então, permitam-me passar a vocês algumas perguntas. Assim, a tarefa será complicada. Então, vamos lidar com algumas hipóteses. Suponhamos que um carro não dirigido atropele uma pessoa.
15:56 R	Se tivesse uma pessoa atrás do volante, talvez essa pessoa, o motorista, não tivesse conseguido evitar a colisão. O que precisamos entender é que o carro dirige a si mesmo. Nos Estados Unidos, a resposta é, certamente, sim. Por quê? Porque, sobre a expectativa do teste do consumidor, a fabricação e o fabricante elevou a um ponto que não é alcançável por seres humanos, um nível de direção. Agora, essa é a pergunta que será respondida pelo júri. E a pergunta do "quem" que meu predecessor abordou. Uma das falhas de um dos milhares de componentes desses carros causou o acidente. O carro está funcionando adequadamente? Se ele estivesse funcionando, ele teria parado em tempo para evitar a colisão. Porém, não o fez. E aí? Talvez seja difícil, é praticamente impossível apontar qual foi a falha. Esse é o problema do "quem". Por vezes, talvez descobrir a partir do manual do fabricante seja algo muito diferente, e sejamos claros que o ônus, na prova do componente que sofreu defeito, caia sobre o colo do fabricante. Em muitos casos, o fabricante será o responsável, muito embora tenha sido um componente, e não quem fabricou o carro. Isso faz sentido? Agora, suponhamos que a falha do carro possa ser atribuída ao computador, que é operado por um software, dos quais há milhões de variantes de carros e diversos componentes de carros não pilotados. Assim, não temos uma resposta clara. Mesmo em casos nos Estados Unidos em que carros Toyota, inesperadamente, aceleraram, e a teoria é de que havia um problema. Mesmo a Nasa não foi capaz de determinar se o software causou a falha que causou o acidente. Com base nesses exemplos de casos reais, todos estão nos tribunais, que já estão tentando resolver. Assim, a pergunta sobre quem, minha colega Teresa, você tem um problema sério quanto a quem toma as decisões num carro não pilotado. Agora, alguns pontos breves. Máquinas completamente autônomas sempre irão encontrar situações em que os fabricantes das máquinas não puderam lidar da forma apropriada. Vamos supor que o fabricante do carro, o programa que roda no carro seja responsável. Mas suponhamos que, para evitar o atropelamento desse pedestre que estava na frente do carro, o veículo tivesse duas escolhas. Uma: ele pode virar na direção de uma parede de tijolos para não acertar o pedestre. Mas há sérios riscos de que o impacto cause danos ao passageiro. A outra opção é usar os freios, muito embora não seja claro se os freios irão interromper o curso de colisão na direção do pedestre. Então, qual é a regra de responsabilidade aqui? Os princípios de agência não têm nada a ver com isso. Google, Tesla, as melhores empresas não conseguem resolver essa questão. Assim, a pergunta é: quem é o responsável? Os princípios de agência não têm nada a ver, não têm nada a responder nesse tocante. Assim, diversos regimes de responsabilidade podem ajudar a resolver esses casos onde o princípio de agência não possa ser aplicado.
16:00 R	Para começar, podemos criar uma regra sobre problemas de fabricação. Foi uma escolha hobbesiana, e em que essa teoria é útil? Se uma alternativa de design tornaria o carro mais seguro. Porém, a resposta hipotética é que, talvez, não. Podem-se sugerir dificuldades aqui. Deveria haver um regime de responsabilidade clara, como a Profa. Teresa debateu? Bem, talvez a teoria seja de que os fabricantes sejam os mais passíveis de responsabilização. Sem uma abordagem... O ponto mais saliente com relação às máquinas controladas por IA... Essa é a parte mais tecnológica, mais complexa. Num sistema automatizado, os sensores de radar, a orientação, os chips, a codificação, os computadores que fazem as decisões de percurso... Pode ser uma falha detectável, então como resolver isso? Simplesmente estabelecendo uma regra estrita? Talvez seja a melhor forma de responsabilizar uma parte para aplicar quaisquer regras de responsabilidade por parte dos fabricantes, mas, essencialmente, essa abordagem é simples. É mais fácil aplicar, porém ela pode colocar um ônus econômico na outra parte. Assim, minha perspectiva é dar a essa questão uma lei civil. As regras de responsabilidade podem gravitar em torno de formas que não satisfazem a questão. Há uma série de componentes internos relacionados. Talvez todo fabricante devesse ter uma parte de responsabilidade, talvez seja uma série de componentes responsáveis, porém a abordagem para ter a responsabilização do fabricante ao menos garante alguma compensação para a parte que sofreu danos. Como avançar na legislação para máquinas de inteligência artificial? O custo do acidente... Mesmo que não tenha ocorrido uma falha do fabricante... Um outro argumento, que é um pouco fora da caixinha, mas que serve para uma reconceitualização de uma constituição a partir de pessoas... As empresas e corporações não têm o caráter de personalidade... Uma máquina de inteligência artificial remonta à possibilidade de que sejam as obrigações judiciais, como algum seguro. Devemos propor esse tipo de regra nos Estados Unidos. Esse é um tipo diferente de foco, nos criadores das máquinas.
16:04 R	Talvez tenha uma virtude, que pode ser a necessidade de direitos mais amplos, incluindo os proprietários do veículo e utilizando grupos de seguros. A questão aqui não é propor um litígio em sistemas de confiabilidade, em máquinas autônomas de inteligência artificial. Acredito que teremos que adaptar, à medida que desenvolvemos os nossos sistemas legais, às regras, aos famosos casos nos Estados Unidos que acabaram privilegiando... Eu gostaria de pontuar que a utilização de carros não pilotados é apenas a superfície. É preciso saber qual é a função delegada a esses dispositivos. O ponto principal é que a autonomia muda tudo. Ela expõe a confiança, ela é diferente nas noções adicionais de agência e demanda um novo conjunto de normas. Profa. Teresa, eu adorei as questões que você trouxe, mas isso jaz no âmago da responsabilidade, certo? Simplesmente recorrer à responsabilidade do fabricante ou os fabricantes descobrirem como esses carros são construídos ou quem os concebe. De qualquer forma, estou muito feliz de fazer parte deste debate, fiquei muito entretido pela apresentação da Profa. Teresa e estou ansioso pela fala dos meus próximos colegas. Muito obrigado. O SR. FILIPE MEDON (Por videoconferência.) - Muitíssimo obrigado, Prof. David, pela sua contribuição, que com certeza nos traz muita reflexão. Devo dizer que o Professor nos apresentou um panorama bastante rico sobre as possibilidades de inclusão de sistemas de imputação da responsabilidade a partir da perspectiva norte-americana. Além disso, o Professor nos mostrou a importância que deve representar nesse tema a questão da autonomia. O grau de autonomia de uma inteligência artificial é um dos componentes decisivos para entendermos a responsabilidade civil, fazendo também esse diálogo com a questão da complexidade dos sistemas. Muitas vezes aqueles que colocam aquela inteligência artificial em circulação nem mesmo conseguem prever o que vai acontecer, e depois, na apuração, eventual perícia às vezes também não consegue determinar. Falando dos veículos autônomos, nós temos a discussão sobre as chamadas caixas-pretas, se elas seriam ou não úteis para entender o caso dos veículos autônomos. Dito isso, já vou passar a palavra, na sequência, para a Profa. Mafalda Miranda Barbosa, que é Mestre e Doutora em Direito pela Faculdade de Direito da Universidade de Coimbra, na área de especialização de Ciências Jurídico-Civilísticas. É Professora Associada da Faculdade de Direito da Universidade de Coimbra e membro integrado do Instituto Jurídico. É Diretora da revista de Direito da Responsabilidade e membro da Direção do Instituto Jurídico da Comunicação, também da Faculdade de Direito de Coimbra. Professora, agradecemos mais uma vez pela sua participação e lhe passo desde já a palavra. A SRA. MAFALDA MIRANDA BARBOSA (Por videoconferência.) - Muito obrigada. Eu gostaria de começar por cumprimentar a todos os participantes, o Prof. Victor, o Prof. David, a Profa. Teresa, todos aqueles que nos ouvem, e agradecer muito penhoradamente o convite para estar aqui. É uma honra e um gosto poder participar nesta discussão tão rica e tão intensa e aprender também com todos aqueles contributos que nos vão sendo transmitidos.
16:08 R	Nesta minha intervenção, até porque muito já foi dito sobre responsabilidade civil, eu tentarei focar aquelas que são as principais linhas de discussão ou as principais perspectivas em função desses problemas a nível da responsabilidade civil, tentando transmitir também algo da minha visão sobre essas matérias. Já percebemos quais as principais dificuldades que nos são comunicadas pelo caráter disruptivo dos sistemas autônomos, dos sistemas de inteligência artificial e que se vão projetar em termos dogmáticos em questões atinentes quer à culpa, quer à própria ilicitude nos sistemas, como o português, em que ilicitude e culpa surgem como dois conceitos autônomos, de alguma maneira, e ainda com grande intensidade a nível de causalidade. As vias de solução que têm sido pensadas passam pela responsabilidade do próprio algoritmo em primeiro lugar, e, apesar de essa ser uma ideia eventualmente atrativa, parece-me que é uma ideia que deve ser recusada em... E deve ser recusada em... porque a atribuição de uma personalidade jurídica ao algoritmo, ao software, ao sistema de inteligência artificial implicaria, no âmbito do ordenamento jurídico tal qual nós o conhecemos, uma analogia ou com a personalidade das pessoas singulares ou uma analogia com a personalidade das pessoas coletivas. Ora, parece-me que essa analogia com a personalidade jurídica das pessoas singulares acabaria por se tornar indignificante para o ser humano sobrevindo a autonomia do ser humano a uma mera e ignóbil incapacidade de escolha. A autonomia dos sistemas de inteligência artificial, que nós falamos, é uma autonomia tecnológica, fundada nas potencialidades de combinação algorítmica, que é função do software, e, portanto, essa inteligência artificial baseia-se, afinal, na acumulação de conhecimento, sendo incapaz de interpretações criativas e sendo incapaz de julgamentos acerca do que é certo e do que é errado. Ela estará sempre condicionada pelos inputs do programador, não sendo suscetível de suportar a responsabilidade, não sendo suscetível de ser vista como um verdadeiro agente no sentido filosófico do termo. E esses sistemas de inteligência artificial estão muito longe das ideias dos seres humanos, em que resulta, afinal, o ser pessoa, porque lhes falta, em cada tomada de decisão, aquela percepção ética, a noção de cuidado com o outro, até porque, em muitos casos, essa ideia de cuidado com o outro pode mostrar-se incompatível com a eficiência, que está na base da programação computacional. No que diz respeito à personalidade coletiva, esta não resulta de uma necessidade ex logica de conhecimentos, tal como se pensa a nível da personalidade das pessoas singulares, em nome de uma qualquer dignidade que subjaz a essas corporações, mas ela é atribuída em função de determinados interesses das pessoas que estão na base da sua constituição. Só que tal atribuição de personalidade jurídica não funciona no vazio. Ela resulta da elevação de um determinado substrato, que pode não ser o mesmo, por consequência, a cada uma das categorias das pessoas coletivas, à condição de sujeitos... pelo que, a par de uma ideia de expediente técnico ou jurídico, nós teremos a considerar um substrato no qual se integra o fim em torno do qual a pessoa coletiva se organiza. E é exatamente esse fim, central para inúmeros aspectos da disciplina das pessoas coletivas, designadamente para a delimitação da sua capacidade de gozo, que justifica a atribuição da personalidade jurídica a esses entes.
16:12 R	A verdade é que não se consegue discernir um fim para a atribuição da personalidade jurídica aos algoritmos, aos sistemas de inteligência artificial, a não ser a própria desresponsabilização dos sujeitos. É verdade que alguns autores, designadamente um autor alemão, Teubner, fala aqui da possibilidade de configuração de uma personalidade parcial, que resolveria alguns problemas, designadamente ao nível da propriedade intelectual. O certo é que ele próprio alerta que essa atribuição, mesmo dessa personalidade parcial, apenas faria sentido se existisse depois um patrimônio acoplado àquele sistema autônomo, até porque a responsabilidade se concretizaria exatamente por via desse patrimônio, o que significa que essa atribuição de uma personalidade jurídica, a configuração de uma personalidade eletrônica acabaria por se traduzir, no fundo, na configuração de um sistema de responsabilidade sem responsabilidade, que choca com a ideia maior de juridicidade, que deve estar sempre presente nos nossos ordenamentos jurídicos. Uma segunda via de solução será exatamente a constituição de fundos de compensação. Quem é que contribui para o fundo seria uma questão-chave. Poderia ser um grupo limitado de pessoas, ou então todos os cidadãos, e a responsabilidade simplesmente desapareceria, para dar lugar a uma solução de diferença social, com impacto negativo em termos financeiros. E isso implicaria que não se apuraria sequer a responsabilidade. No fundo, nós estaríamos a renunciar, a avocar a responsabilidade com base em critérios internacionais e, com isso, garantiríamos uma dimensão social do Estado, mas anularíamos a dimensão de justiça do Estado de direito, com consequências nefastas do próprio ponto de vista da eficácia dessas soluções. Por quê? Porque contribuiria para um aumento da opacidade, que já caracteriza os sistemas, e contribuiria para uma perda do sentido preventivo que pode ser reconhecido à responsabilidade civil e aos limites da responsabilidade civil. A rejeição desses fundos de compensação em bloco, como solução prioritária, não significa que não seja de se saudar a previsão de seguros obrigatórios, que possam surgir paredes-meias, pela definição de critérios de importação baseados no risco, que é uma das propostas ao nível europeu. Repare-se, aliás, que a responsabilidade objetiva que se parece desenhar no horizonte europeu não se traduz numa pura responsabilidade pela causalidade, que aliás resulta, muitas vezes, problemática a este nível, mas excepcionada que seja aquela previsão excepcionalíssima de uma responsabilidade de garantia, no quadro da responsabilidade por culpa; configura-se verdadeiramente como uma responsabilidade assente num risco que é ponderado e avocado em função das especificidades de cada sistema de inteligência artificial. E, portanto, parece-me, de fato, preferível que, a existirem fundos de compensação, eles tenham um caráter subsidiário, à boa maneira do que já se verifica noutros domínios, como, por exemplo, no domínio dos acidentes com veículos de circulação terrestre. E em Portugal, nós temos o caso do Fundo de Garantia Automóvel. Já agora uma outra nota: que a previsão de seguros ficará no âmbito dessa responsabilidade objetiva, ou essa responsabilidade pelo risco, necessariamente ligada ao estabelecimento de limites aos danos indenizáveis. E, na proposta europeia, no que diz respeito à previsão de sistemas de responsabilidade, de modelos de responsabilidade pelo risco ligados aos sistemas de inteligência artificial considerados de alto risco, por vezes, está atinente a um montante máximo do ressarcimento.
16:16 R	É provável que esses montantes máximos de ressarcimento têm que ser cuidadosamente pensados. Por quê? Porque, se nós tivermos em conta a dimensão coletiva do impacto que os sistemas de inteligência artificial podem ter, os limites que muitas vezes podem ser previstos podem se afigurar como manifestamente insuficientes, o que acabaria por pôr em causa, também, algumas das funções e das finalidades da responsabilidade civil. Portanto, dito isso, parece-me essencial que haja, efetivamente, uma intervenção do legislador no sentido de criar novas hipóteses de responsabilidade objetiva ou de redefinir algumas das hipóteses de responsabilidade objetiva que já existem. Concordo que devemos ter em conta o produtor, o programador, e que devemos, nessa medida, readaptar e repensar a disciplina da responsabilidade por produtos defeituosos. Parece-me que, sempre que o dano resulte de uma espécie de concessão ou de programação do ente dotado de inteligência artificial ou, então, devido a uma omissão de informação acerca do correto uso ou dos riscos inerentes à autorização do sistema de inteligência artificial, a responsabilidade vai ser assacada ao produtor. Só que isso implica tal necessidade de alteração do regime. Primeiro, o regime da responsabilidade do produtor tem que ser alargado e alterado no sentido de estender o próprio conceito de produto. Há, no âmbito europeu, já propostas nesse sentido. Por quê? Porque, claro, a maioria dos autores considera que o software pode ser visto como uma coisa. É ainda muito difícil e muito complexa a codificação dos softwares de utilização única, bem como dos bens com componentes digitais e conteúdos digitais como produtos. E, nesse contexto, seria necessário efetivamente alargar a noção do que era o produto para poder incluir todas essas realidades. Esse lugar deve ser alargado com o site do próprio produtor, de modo a abarcar outros sujeitos que não aqueles que estão, hoje em dia, pensados no âmbito dessa disciplina, e para integrar, inclusive, aquele que recondiciona o produto - que não se confunde com o que repara o produto ou com aquele que vende o produto exclusivamente sem alterar o produto -, para incluir também aquele que fornece as atualizações dos elementos digitais e que continuamente fornece o suporte a essas atualizações e os online marketplaces mercadológicos, o que também já aqui foi falado. Num terceiro ponto, a necessidade de repensar o regime passa pela necessidade de repensar o próprio conceito de danos na realidade, de modo a abarcar outros danos, que não os danos causados à vida, à integridade física ou a coisas diferentes do produto defeituoso de um comprador distinto. É um uso não profissional. É que tudo alcança efetivamente problemas particularmente atinentes no que diz respeito à indenização dos chamados danos puramente patrimoniais, ou seja, danos que ocorrem sem que haja a violação de direitos absolutos, no sentido de direitos com eficácia erga omnes, direitos que vinculam todos os membros da comunidade jurídica, e, desde logo, naquela ideia dos danos que se causam aos dados que estão incluídos no próprio produto que seja fornecido e que seja colocado no mercado.
16:20 R	Aliás, quanto a este ponto - e, já, agora, fazendo aqui uma ponderação daquela que já é a proposta europeia -, a limitação dos danos indenizáveis no quadro da proposta de regulamento europeu em matéria de responsabilidade civil por danos causados pelos sistemas de inteligência artificial, esta limitação ocorre por outra via. Na tradução portuguesa da diretiva da proposta de regulamento, pode-se ver que ela é aplicável quando uma atividade ou um dispositivo de inteligência artificial integrado num sistema de inteligência artificial tenha causado prejuízos ou danos à vida, à saúde, à integridade física de uma pessoa singular, ao patrimônio de uma pessoa singular ou coletiva, ou que tenha causado danos não patrimoniais significativos que resultem numa perda econômica verificável. Do ponto de vista dogmático, o legislador europeu parece confundir aqui o ilícito de culpa, ao mesmo tempo em que parece ignorar a essência daquilo que são os danos não patrimoniais, associando-os a consequências econômicas relevantes. E, se a solução é estranha e causa algum embaraço do ponto de vista dogmático, não menos criticável parece ser a referência ao patrimônio de uma pessoa singular ou coletiva em detrimento da referência que resultaria de uma acepção literal à propriedade. Por quê? Porque se abrem aqui as portas à indenização dos tais danos puramente patrimoniais e abre-se aqui a porta a eventuais situações ou eventuais hipóteses de hiper-responsabilidade. E me parece fundamental que tenhamos em conta que não faz sentido levar uma responsabilidade por danos causados por sistemas autônomos de inteligência artificial mais longe do que aquilo que resultaria, em geral, da interação entre os seres humanos, o que significa que, se, no quadro geral europeu, não há, em regra, indenização desses danos puramente patrimoniais, só em situações excepcionalíssimas é que se deveria, efetivamente, poder indenizar estes tipos de danos quando esteja em causa um sistema de inteligência artificial. E, para isso, pode ser fundamental chamar à atuação das regras próprias da responsabilidade contratual. Por exemplo, no âmbito da utilização do robô adwisers no quadro do aconselhamento ao nível dos mercados financeiros. Mas, continuando naquela ideia da necessidade de alteração do regime da responsabilidade do produtor, parece-me, em quarto lugar, que a atualização desta disciplina deve se estender à questão da exclusão da obrigação de indenização pela invocação de um risco de desenvolvimento. Na prática, o produtor ou programador está continuamente a promover a entrada no mercado de produtos intangíveis e, portanto, relevante não deve ser apenas o momento da entrada em circulação do produto, mas também o momento de cada atualização, o que se aplica à própria definição do produto. E o grupo de peritos em matéria de responsabilidade civil em novas tecnologias acaba por ir mais longe e defender que a exceção do risco de desenvolvimento não deveria se aplicar a casos em que é previsível que o desenvolvimento imprevisível venha a ocorrer.
16:24 R	Essa questão da atualização acaba por estar, depois, relacionada com a própria definição de produtor, ou melhor, com a determinação do sujeito responsável. E temos aqui que ter em conta todas as atualizações, sejam elas ou não atualizações de segurança e que sejam continuamente fornecidas. Em um segundo nível, é fundamental, como aqui já se referiu hoje, a responsabilização do operador. Esse conceito do operador, que foi introduzido a nível europeu, é um conceito que me parece digno de aplauso, exatamente porque vem, no fundo, solucionar alguns problemas e vem dar resposta, uma resposta mais ampla, ao problema de saber se deveria responsabilizar o utilizador, o proprietário, aquele que tem o dever de vigilância ou de guarda. Com o operador e com essa dupla noção de operador como front-end operator e o back-end operator, nós conseguimos, de fato, encontrar aqui uma vantagem conceitual no sentido operacional e objetivo que os conceitos do ponto de vista jurídico devem ter. A responsabilidade ficará, neste caso, limitada pela materialização do risco, o que implica que, se nós pensarmos em termos de responsabilidade objetiva e em termos de responsabilidade pelo risco, ela poderá não ser adequada para entes dotados de inteligência artificial que não envolvam um especial perigo. E isso significa e torna particularmente importante a ideia, contida também na proposta de regulamento, de complementar uma eventual responsabilidade pelo risco que apenas se deverá aplicar neste momento aos sistemas de alto risco, que são definidos em função da potencialidade do sistema para causar danos a uma ou mais pessoas de uma maneira aleatória e de forma que ultrapasse aquilo que é razoavelmente aceitável. Esta potencialidade a que se alude depende, por sua vez, da gravidade do possível dano, do grau de autonomia dos sistemas de decisão, da probabilidade de materialização do risco e do contexto de utilização do sistema de inteligência artificial. Portanto, a par dessa hipótese de responsabilidade pelo risco em que a responsabilidade apenas se pode excluir por via da invocação da força maior, a hipótese de responsabilidade subjetiva assenta-se na culpa. Só que essa responsabilidade assenta-se na culpa exatamente porque a culpa dificilmente poderá vir a ser provada no quadro de atuação autonômica de um sistema de inteligência artificial e configurará aqui de uma forma especial, de uma forma heterodoxa e de uma forma que evidencia um agravamento da própria responsabilidade. Por quê? Porque, desde logo, nessas hipóteses de sistemas que não sejam sistemas de alto risco, a responsabilidade baseia-se na culpa. A exclusão da responsabilidade ocorre por via da invocação da força maior. Exclui-se também a responsabilidade do operador se este provar a ausência de culpa, designadamente se provar que o sistema de inteligência artificial foi ativado sem o seu conhecimento, apesar de ter adotado todas as medidas razoáveis e necessárias para evitar tal ativação, ou se provar que foi observada a diligência devida na execução dos diversos procedimentos, mas não se excluirá a responsabilidade com base na ideia de que a ilusão foi causada por uma atividade autônoma ou por um processo levado a cabo pelo sistema de inteligência artificial. Da mesma maneira, o operador responderá pelos danos causados pela interferência de um terceiro neste sistema de inteligência artificial desde que aquele terceiro não seja identificado ou não tenha a possibilidade de vir pagar a indenização.
16:28 R	Essa previsão de um sistema, de um regime, de uma disciplina de responsabilidade objetiva parece-me digna de aplauso. No fundo, essas características dos sistemas de inteligência artificial determinariam um nível de periculosidade que torna plausível e desejável esta solução. Questiona-se, é verdade, se a diferenciação entre os sistemas de inteligência artificial devem ou não apenas ter em conta a potencialidade viva, ainda que referida por aqueles critérios ou por aqueles fatores a que eu referi, ou se deverá entrar aqui em linha de conta com o nível de justiça distributiva que estará sempre presente na configuração dos próprios sistemas de responsabilidade independentemente de culpa. Eu diria, porém, que o critério dogmático de identificação do operador acaba por garantir a justeza da solução, dispensando os outros níveis de diferenciação que não sejam aqueles baseados no risco potencial, risco esse potencial que é referido porque também com base naqueles elementos. Tendo em conta os diversos fatores de ponderação do nível de risco, poder-se-á dizer que a regra, enquanto a autonomia dos sistemas não conhecerem a evolução que se prognostica para o futuro, deverá exatamente ser esta responsabilidade subjetiva, sem que, contudo, se enfrentem aqui as dificuldades comunicadas pelos clássicos modelos de responsabilidade baseada em culpa exatamente pela heterodoxia desta hipótese de responsabilidade, que apresenta claros indícios de objetivação. No fundo, estabelece-se aqui uma presunção de culpa, e, sempre que não se prove que foram tomadas todas as medidas razoáveis e necessárias para evitar a ativação do sistema ou que foi observada a diligência devida através da execução de certas ações, o problema deixa de colocar-se do ponto de vista da culpa, mas passa a deslocar-se para o nível da causalidade. E aqui eu gostaria de deixar uma outra palavra: é que este problema da causalidade é um problema particularmente complexo. É um problema que suscita e suscitará dificuldades ao jurista quando esteja a lidar com danos causados pelos sistemas de inteligência artificial. Mas há uma ideia que me parece fundamental: é que a confluência de múltiplas causas, muitas das quais desconhecidas, não é exclusiva deste traço de realidade, nem sequer é exclusiva deste traço da realidade a possibilidade de o dano diferir muito tempo do Apso algorítmico que lhe deu origem. O que se verifica neste domínio é a eventual possibilidade de não se descortinar qualquer violação de um dever por parte do utilizador do software ou do programador inicial, e, por outro lado, o que se verifica é a complexidade do sistema que funciona como um verdadeiro ecossistema. O que significa que, mais do que repensar o problema da causalidade, tentando estabelecer presunções de causalidade ou tentando inverter o ônus da prova, uma vez que facilmente poderia depois ser elidida essa presunção, nós temos que assumir verdadeiramente o problema da causalidade como ela deve ser assumida em geral, que é como um sistema de imputação objetiva. Portanto, o problema da causalidade deve ser necessariamente ponderado a este nível como um sistema efetivado e alicerçado no confronto de esferas de risco.
16:32 R	O operador, ao assumir o risco e o controle do risco inerente a um sistema de inteligência artificial, assume uma determinada esfera de risco e tem que cumprir uma série de deveres de inteligência no manuseamento desse sistema de inteligência artificial. Se o fizer, ele não será responsabilizado; se não fizer esse role responsability de que parte, confirmada por esses deveres, transformar-se-á numa outra esfera, numa esfera de liability, numa esfera já não de responsabilidade pelo outro, mas numa esfera de responsabilidade perante o outro. O que significa que, em relação a todos os danos ou todas as lesões que sejam possivelmente causadas por aquele sistema de inteligência artificial, cujo risco e controles poderão ser encurtados, ele poderá ter que vir a responder por esses danos, o que não significa que efetivamente venha a responder. Por quê? Porque depois nós temos que confrontar essa primitiva esfera de risco de responsabilidade com outras esferas de risco de responsabilidade, designadamente, a esfera de risco de responsabilidade geral, de vida, e vamos recusar a imputação sempre que a presença do bem jurídico apenas tenha sido determinada no tempo e no espaço pela utilização do sistema de inteligência artificial, mas também com a própria esfera de risco de responsabilidade do usado e com a esfera do risco de responsabilidade de eventuais terceiros. O que significa que, em última instância, confluindo de várias causas, é possível que haja ou soluções de solidariedade obrigacional e de responsabilidade solidária ou eventualmente a afirmação de um único responsável, quando possa ser identificado. Mas essa identificação ocorrerá depois, no seio das relações internas, e muitas vezes no quadro do exercício de direito de regresso entre os vários corresponsáveis solidariamente, cuja responsabilidade se desenha nesses termos imputacionais, a partir desse confronto de esferas de risco. Muito obrigada pela atenção de todos. O SR. VICTOR MARCEL PINHEIRO (Por videoconferência.) - Então, eu queria agradecer enormemente à Profa. Mafalda. Acho que foi uma fala muito rica, que mostrou os desafios e as fronteiras dogmáticas sobre a responsabilidade civil e o desafio de fazer frente às novas emergências e necessidades, ao se pensar esse tema dos sistemas de inteligência artificial. Nós já avançamos aqui no horário. Eu gostaria só de fazer uma pergunta e, na sequência, passarei a palavra ao meu colega Filipe Medon para também fazer alguns questionamentos. Depois, faremos uma rodada de respostas dos palestrantes, caminhando, então, para o nosso encerramento. A pergunta que eu gostaria de fazer é, talvez dando um passo atrás na discussão, sobre a própria estratégia de regulação da responsabilidade civil, e acredito que o exemplo dos Estados Unidos e da União Europeia sejam diferentes e interessantes para nós aqui no Brasil. Nós estamos aqui na Comissão debatendo diversos temas de inteligência do sistema de inteligência artificial. Estamos num determinando momento com alguns aspectos regulatórios: as questões de governança; as exigências de transparência; accountability; os relatórios de impacto, o que se espera sobre esses sistemas; e também estamos discutindo a responsabilidade civil. Então, o questionamento que eu faço é: tanto sob a perspectiva americana quanto sob a europeia, em que medida o debate regulatório sobre os sistemas de inteligência artificial dialoga com os debates sobre responsabilidade civil? E o quão interessante é que um seja feito antes do outro, na experiência europeia e americana, ou que seja feito separadamente ou em conjunto? Eu gostaria de trazer essa experiência dos nossos palestrantes sobre o intercâmbio que existe entre esse debate regulatório, seja da governança, vamos dizer assim, do sistema de dados, seja do tema da responsabilidade civil. Então, agradeço mais uma vez e passo a palavra, como eu falei, ao Filipe. O SR. FILIPE MEDON (Por videoconferência.) - Muitíssimo obrigado, Victor.
16:36 R	Bom, só posso dizer o quanto nós fomos privilegiados pela oportunidade de ouvir, nesta mesa, e de aprender muito, falas muito complementares, trazendo, ao mesmo tempo, realidades muito particulares de cada sistema jurídico que estamos verificando aqui. As perguntas que eu preparei estão bastante objetivas. Vou falar pausadamente, para facilitar também a tradução. A primeira pergunta seria a seguinte: os danos causados por atos autônomos da inteligência artificial são considerados oriundos de defeito? Podemos falar que existe uma presunção de defeito, que se comprova pela própria ocorrência do dano? Esse foi um ponto trazido na nossa discussão da audiência nacional. Uma segunda questão, para deixar bastante claro: a responsabilidade dos operadores, discutida no Parlamento europeu, seria diferente da responsabilidade dos produtores, que, aqui no Brasil, estaria albergada pelo Código de Defesa do Consumidor, e que, na Europa, já tem uma diretiva própria, que está sendo, como foi dito pelas Profas. Teresa e Mafalda, atualizada neste momento? Então, eu gostaria de confirmar apenas se esse entendimento se aplica, porque, muitas vezes, nós ouvimos aqui algo diferente disso. Então, gostaria de confirmar se se aplica. Além disso: a discussão do Parlamento europeu ainda entende que, caso a figura do operador coincida com a figura do produtor, ainda vai continuar sendo aplicável a normativa do produtor - quando houver coincidência entre produtor e operador? Além disso, uma pergunta bem objetiva: a ideia de que as inteligências artificiais de alto risco sejam definidas em abstrato em um anexo não seria muito rígida? O que fazer no caso de uma inteligência artificial que, no momento em que é colocada em circulação, is deployed, ela se mostra como de baixo risco, mas, ao longo de sua utilização, ela se torna de alto risco? Então, podemos definir abstratamente considerando os vários tipos de inteligência artificial, dando uma única saída jurídica para um tema que tem tantas complexidades, tantos tipos, tantos níveis de autonomia e tantos sujeitos envolvidos? Porque, se o Estado estiver presente, temos uma responsabilidade do Estado. Se o consumidor e o fornecedor estiverem presentes, responsabilidade pelo Código de Defesa do Consumidor. Finalizando, nós precisamos tomar cuidado para não nos espelharmos, na linha do que disse o meu colega Victor, numa legislação que ainda não é certa. Então, gostaria de perguntar: existem indícios concretos do que será aprovado pelo Parlamento europeu sobre este tema? E quando isso será aprovado? Nos Estados Unidos, existe algum encaminhamento de propostas sobre este assunto? Por derradeiro, como ficam as medidas de accountability e prevenção de danos neste contexto? Será que elas podem ser utilizadas para limitar o montante indenizatório? Agradeço mais uma vez e passo a palavra, em sequência, à Profa. Teresa; depois, ao Prof. David e à Profa. Mafalda. A SRA. TERESA RODRÍGUEZ DE LAS HERAS BALLELL (Por videoconferência. Tradução simultânea.) - Muito obrigada pela sua excelente pergunta. Eu acompanhei a pergunta em português. Então, acredito que tenha compreendido tudo. Corrijam-me se estiver enganada, se não for o caso.
16:40 R	Com relação à questão, que é uma pergunta excelente, que diz respeito à forma como a estratégia regulatória vai agir de modo a voltar-se para os desafios dos ângulos da inteligência artificial: a União Europeia, até o momento, está adotando ou está no processo de adoção de quatro distintos grupos de regras dos diferentes níveis relacionadas à inteligência artificial de forma separada. Por um lado, aspectos regulatórios, a inteligência artificial e sua lei, que imputa, audita a avaliação de risco, faz a proibição, a limitação de usos - a primeira. O segundo está relacionado à responsabilidade civil. Assim, aspectos de responsabilidade civil têm sido debatidos separadamente. Eu vou responder à última pergunta em alguns instantes, e, no caso de adoção de alguma espécie de ação judicial, será fora da lei de inteligência artificial e, portanto, separadamente. Quanto mais longe eu vou, temos aí o ângulo do aspecto ético, e esse, até então, cristalizou-se em um grupo de recomendações, um conjunto de recomendações soft wall, aspectos relacionados à proteção dos valores democráticos, a evitar argumentos tendenciosos. Temos aí, então, uma perspectiva voltada para aspectos éticos que ainda não foi incorporada ao corpo que já foi discutido. O quarto aspecto é algo que, provavelmente, vai começar a ser considerado no próximo mês, que é o aspecto contratual da inteligência artificial, então, uma vez utilizado o sistema de inteligência artificial no contexto de uma transação, no propósito de negociar, através de um agente eletrônico, para a finalidade de difusão ou de desempenho de um contrato em particular. Então, como podem ver, a União Europeia e a sua estratégia parecem ter o foco em diferentes ações judiciais a partir dos diferentes ângulos relacionados à inteligência artificial. Os benefícios em cada uma dessas perspectivas têm, possivelmente, diferentes metas políticas e demandam diferentes especialistas. Naturalmente, sempre existe uma desvantagem, que é que precisamos garantir que tudo seja coerente. Deixem-me oferecer um exemplo que acredito que revela a necessidade de adequar tudo. Na lei de inteligência artificial, existe uma classificação de sistema enquanto de alto risco ou de baixo de risco. Essa classificação serve à finalidade de conformidade com certos requisitos regulatórios. Porém, nossa pergunta é: se for designado como de alto risco a partir da lei de inteligência artificial, deveria se compreender a partir daí enquanto um sujeito de responsabilidade subjetiva, pois precisamos de alguma espécie de alinhamento entre os dois sistemas judiciais? Assim, para concluir, até o momento, separadamente, a responsabilidade civil tem sido debatida fora do escopo do debate. O risco deve ser, pelo menos, considerado e mitigado até o máximo possível? Há consistência entre os diferentes elementos. Rapidamente, vou responder agora à quarta pergunta de Filipe. Muito obrigada. A primeira é: um dos debates sobre defeito, no contexto de responsabilidade de produto defeituoso, é até que ponto podemos considerar que um sistema de inteligência artificial autônomo tenha tomado uma decisão? Isso poderia configurar uma situação como defeito, pois isso seria o mesmo que dizer que uma tomada de decisão humana é defeituosa? Pode estar errada, pode carecer de informações, porém não é defectiva em si. A questão do defeito é que ele é o pilar da responsabilidade do produto defeituoso. Isso é algo que tem sido questionado de forma bastante crítica no contexto de inteligência da tomada de decisão de inteligências artificiais. Então, sim, eu concordo com você. É um ponto-chave, um ponto-chave muito importante.
16:44 R	O próximo ponto é a questão entre operadores e produtores. Você está completamente certo. A possível regulamentação de um sistema de responsabilização de inteligências artificiais para a atribuição da responsabilidade ao operador separadamente e, portanto, em adendo ao produtor, que pode ser responsabilizado também, pois existe um defeito. E aí conecto com a questão que eu abordei anteriormente, que o defeito de uma inteligência artificial é algo que faz sentido. São o mesmo ponto. Ainda que sejam o mesmo ponto, o que dispara é um diferencial, um dos fundamentos. No caso do produtor, é o defeito. Assim, talvez estejamos numa situação em que o operador e o produtor sejam a mesma pessoa. Não há defeito, porém existe uma brecha. Não se aplica à responsabilidade do produto com defeito, mas aplica-se à responsabilidade da operação sobre o produto, ainda que seja inclusive o produtor. A próxima pergunta é uma pergunta excelente. A forma de definir o sistema de alto risco para a finalidade de aplicar responsabilidade objetiva. Existe, em um anexo produzido que traz certa previsibilidade, mas, certamente, ele ignora alguns aspectos fantásticos, que é a evolução desses sistemas de inteligência artificial no mercado. Os sistemas que misturam ou hibridizam sistemas de inteligência artificial no mercado, alto risco com baixo risco operados conjuntamente: o fato de um sistema que inicialmente não seja de alto risco e que, porém, torna-se arriscado durante o desenvolver. Então, eu concordo completamente com você com relação à previsibilidade, que é um dos méritos de uma lista, porém é, definitivamente, uma fraqueza significativa que não "encompassa" a dinâmica do mercado. Assim, definir uma estrutura com critérios seria, definitivamente, na minha opinião, uma solução de veto. E, por fim, a pergunta com relação à circulação na Europa. Até então o Parlamento Europeu propôs uma resolução para a Comissão da União Europeia, que deveria tomar a iniciativa. Assim, não temos, até o momento, nenhuma lei ou responsabilidade legal, que será decidida durante... Então, provavelmente, até o ano que vem será muito importante em termos da reforma de responsabilidades sobre o produto defeituoso, e ainda considerando a necessidade, ou não, da adoção de uma nova legislação. Com relação a isso, então, existe um alto nível de incerteza. Não consigo prover a você mais detalhes com relação a isso. Muito obrigada, mais uma vez. O SR. FILIPE MEDON (Por videoconferência.) - Prof. David. O SR. DAVID VLADECK (Por videoconferência. Tradução simultânea.) - Há muitas perguntas aí na mesa, e não temos tempo suficiente para responder a todas elas. Mas uma das perguntas feitas foi com relação ao defeito, que é algo que se dá de forma quase automática. A pergunta é se isso caberia num litígio com relação a dano. Sim, ainda que esses sistemas autônomos possam ter defeitos que causem danos, esse é um tipo de ação padrão na lei norte-americana: o defeito previsto nas leis do common law desde muitos séculos atrás. Assim, isso pode se aplicar no caso de algum dano oriundo de defeito, e deve haver a compensação por isso.
16:48 R	Entretanto, vamos falar sobre a questão do operador e do produtor. Não discordo da Profa. Teresa, porém às vezes essas perguntas são muito difíceis de desenrolar. Assim, por exemplo, você tem um carro sem motorista que pode ou não ter um defeito e pode ter um motorista atrás do volante e houve um acidente. Eu acho que a Profa. Teresa diria... E o motorista adormeceu e o carro ocasionou um acidente. Nos Estados Unidos, o principal fabricante acabaria sendo responsabilizado muito embora o motorista tenha adormecido. E por quê? Porque a causa do ferimento não foi o motorista adormecido, foi um defeito em alguma parte do carro. Agora, ainda mais complicado do que isso: a empresa que fabricou o carro talvez não tenha que render indenizações a todos os defeitos. Isso seria o processo normal de fato em litígios nos Estados Unidos, mas isso ficaria a critério do fabricante, isolar qual foi o defeito que causou precisamente o acidente para proceder à indenização. Assim, essas são perguntas muito complexas. Em termos do que os Estados Unidos têm feito com relação a inteligências artificiais autônomas. Nós fazemos tudo em base setorial. Assim, tem a administração de tráfego nacional, que trata de veículos autônomos, a comissão federal também tem muita preocupação com relação a isso, e já falamos sobre os drones, porém os drones autônomos... Essa é a próxima questão séria com relação a inteligências artificiais, e isso remonta à questão do produtor, do operador ou do fabricante dos componentes. E isso... Descobrir qual será a parte responsável será um grande desafio. Agora, a abordagem setorial... Compete aos especialistas a habilidade de supervisionar de forma especializada as inteligências artificiais. Por exemplo, na bolsa de ações: ela gere e processa câmbios de alta velocidade, e as pessoas observam os mercados. Seria preciso observar esses mercados para se certificar de que essas ferramentas não estejam atuando de forma injusta. Assim, há muito trabalho em curso com relação a inteligências artificiais em todas as partes do mundo. Nos Estados Unidos temos passos que têm sido tomados dentro dessa abordagem setorial. Sinto que a abordagem com base em riscos é algo que tem sido bastante utilizado, e, muitas vezes, podemos acabar supervisionando o uso de inteligências artificiais dentro dos setores. Por outro lado, existe uma preocupação com relação aos gargalos da inteligência artificial.
16:52 R	O progresso não será interrompido, ele vai seguir e, da forma como o Governo dos Estados Unidos funciona, trabalha de forma setorial, ele pode oferecer fácil acesso aos tribunais sempre que um dano for causado por quaisquer desses sistemas de inteligência artificial. É isso. Acho que respondi a todas as perguntas até o momento. O SR. FILIPE MEDON (Por videoconferência.) - Muito obrigado, Professor. Passamos a palavra à Profa. Mafalda. A SRA. MAFALDA MIRANDA BARBOSA (Por videoconferência.) - Muito obrigada por essas questões. Eu acho que, ao contrário dos contribuintes anteriores, não vou responder a todas porque algumas delas já foram suficientemente e excelentemente respondidas, portanto eu estaria a repetir. Mas acho que há aqui algumas ideias que me parecem fundamentais - algumas ideias triviais que me parecem fundamentais. Uma ideia que me parece fundamental é que, no que diz respeito à responsabilidade do produtor e no que diz respeito à concepção do defeito, de fato, não existe um defeito ou não parece que possa existir uma presunção de um defeito, sempre que existir qualquer dano que resulte da utilização de um sistema de inteligência artificial, tal como, hoje em dia, não é possível, no que diz respeito a outros produtos, considerar que existe um defeito apenas e só porque há um dano que seja gerado por esse produto, até porque essa noção do defeito está muito ligada à segurança do que se pode razoavelmente esperar, no que diz respeito a isso. Portanto, temos aqui uma dimensão subjetiva dessa própria concepção do defeito. O que não significa que não possa descortinar-se, no que diz respeito aos sistemas da inteligência artificial, de fato, a existência de alguns defeitos que podem ser defeitos de programação, podem ser defeitos de concepção. Imaginemos, por exemplo, a existência de determinados mecanismos de discussão da vulnerabilidade dos softwares, dos sistemas, etc. E depois uma ideia que me parece também extremamente importante é que, cada vez mais, o programador produtor terá que ter uma obrigação de acompanhamento do produto, exatamente porque o produto, o momento relevante já não pode ser apenas o momento de entrada em circulação do produto, mas o momento das constantes atualizações de segurança. Portanto, do ponto de vista nem tanto dessa responsabilidade objetiva, mas até de uma responsabilidade subjetiva, o produtor pode vir a ser chamado a responder se efetivamente tiver omitido determinados deveres de prover pela segurança do software quando tenha sido inclusive alertado para determinadas falhas que se vieram a constatar depois da entrada em circulação do produto. Estamos aí já no âmbito de uma responsabilidade subjetiva e não de uma responsabilidade objetiva. Outra ideia que me parece fundamental passa pelo tal problema de definição do que são os sistemas de alto risco, se faz ou não sentido cristalizar numa lista esses sistemas. Eu acho que aí a crítica que eu dirijo é uma crítica mais ampla, no nível das instâncias europeias. As instâncias europeias têm certa obsessão pela regulamentação e pela criação de diplomas que apresentam um leque de definições e que apresentam longuíssimas, extensíssimas listas, esquecendo-se daquilo que é a essência da construção jurídica, que é a mobilização de conceitos, conceitos operativos, conceitos, muitas vezes, indeterminados e que são depois concretizados em função da remissão para os casos concretos e em função da remissão para os princípios que nos permitem compreender a intencionalidade desses mesmos conceitos.
16:56 R	E, depois, é fundamental aqui uma racionalidade de pendor analógico, sendo embora esta uma analogia que é uma analogia que tem que ser adequadamente compreendida do ponto de vista metodológico, exatamente porque estamos no campo da exceção e no campo da tipicidade próprias dos sistemas de responsabilidade independentemente de culpa. Portanto, parece-me, de fato, que, muito mais importante do que o estabelecimento de um elenco cristalizado e que terá que constantemente ser adaptado em função do surgimento de novos sistemas e novos mecanismos de inteligência artificial é definir claramente quais os parâmetros que permitem perceber que existe uma periculosidade que justifique uma imputação por responsabilidade independentemente de culpa. Uma outra nota que eu gostaria também de transmitir é que essa opção das instâncias europeias pela regulamentação do problema da responsabilidade civil pela inteligência artificial em termos de harmonização máxima, depois, tem uma desvantagem. Tem vantagens, obviamente; tem vantagens pela uniformidade legislativa que vai se estabelecer no quadro europeu, mas tem desvantagens. Tem as desvantagens que passam exatamente pela necessidade de criar um modelo único que congrega no fundo diversos modelos e diversos sistemas de responsabilidade civil a nível europeu. Tem a desvantagem de criar alguns constrangimentos dogmáticos pela mobilização menos rigorosa de determinadas categorias a nível da responsabilidade civil, por um lado. E, depois, tem o risco que já se constatou quando se tentou debater a existência de uma eventual uniformização até no Direito europeu da responsabilidade civil, que é a perda de riqueza dos vários sistemas da responsabilidade civil, com os quais podemos, até numa lógica de Direito comparado, dialogar, enriquecendo o nosso próprio sistema. Isso para dizer que, independentemente dessa regulamentação que existe a nível europeu, parece-me que os problemas concretos da responsabilidade civil causados com base nos danos causados pelos sistemas de inteligência artificial não podem depois ignorar, no quadro de cada ordenamento jurídico de cada Estado-membro, os próprios sistemas e a própria disciplina de responsabilidade civil que possam existir em outras áreas. Por exemplo, se nós temos uma disciplina própria da responsabilidade do Estado, se existir uma qualquer lesão e com qualquer dano provocado por uma decisão discriminatória no quadro de uma decisão pública, essa disciplina da responsabilidade do Estado tem que, necessariamente, no âmbito do nosso ornamento jurídico particular, ser articulada com a responsabilidade civil, que resultaria para o operador. E, por exemplo, temos que ver se o Estado é ou não o operador, como se articula essa responsabilidade do Estado operador ou não com a própria responsabilidade do Estado e a anuência dessa responsabilidade do estado que não podem deixar ser tidas em conta. Então, eram essas as ideias que eu queria também trazer aqui para o debate.
17:00 R	O SR. VICTOR MARCEL PINHEIRO (Por videoconferência.) - Então, em breves palavras, eu queria agradecer enormemente à Profa. Teresa Rodríguez, ao Prof. David Vladeck, à Profa. Mafalda Miranda pelas suas valiosas contribuições, que serão de grande utilidade para os nossos debates aqui da Comissão. O desafio é grande, porque as questões trazidas são contemporâneas, são obviamente ainda não sedimentadas, nem no plano doméstico de nenhum país, ou internacional. Então nós temos muito material para refletir. E quero apenas agradecer a disponibilidade e o interesse dos senhores e das senhoras de estar com a gente. Muito obrigado. Na sequência, eu passo a palavra ao nosso Presidente em exercício, Prof. Fabrício. O SR. PRESIDENTE (Fabrício da Mota Alves) - Muito obrigado, Dr. Victor. Agradeço aos nossos painelistas. Muito obrigado, Prof. David, Profa. Mafalda, Profa. Teresa. Reforço o pedido da Secretaria da Comissão no sentido de que nos encaminhem suas apresentações, para que nós possamos disponibilizá-las aqui no site da Comissão. Dito isso, declaro então encerrado o último painel, assim como o nosso seminário internacional. Muito obrigado a todos. Bom fim de semana a todos. Obrigado. (Iniciada às 9 horas e 01 minuto, a reunião é encerrada às 17 horas.)

Atividade Legislativa

Notas Taquigráficas

10/06/2022 - 8ª - Comissão de Juristas responsável por subsidiar elaboração de substitutivo sobre inteligência artificial no Brasil