29/04/2022 - 3ª - Comissão de Juristas responsável por subsidiar elaboração de substitutivo sobre inteligência artificial no Brasil

Horário	Texto com revisão

09:03 R	O SR. PRESIDENTE (Fabricio da Mota Alves) - Bom dia a todos. Havendo número regimental, declaro aberta a 3ª Reunião da Comissão Temporária Interna destinada a subsidiar a elaboração de minuta de substitutivo para instruir a apreciação dos Projetos de Lei nºs 5.051, de 2019; 21, de 2020, e 872, de 2021, que têm como objetivo estabelecer princípios, regras, diretrizes e fundamentos para regular o desenvolvimento e a aplicação da inteligência artificial no Brasil. A presente reunião destina-se à realização de audiência pública, que será dividida da seguinte maneira: Painel 4 - contexto econômico-social e benefícios: desenvolvimento sustentável e bem-estar; concorrência e inovação; consumo e marketing, pesquisa e desenvolvimento de inteligência artificial; bases de dados, direito autoral e mineração. Quanto à duração do painel, está previsto para ter início agora, às 9h; sua conclusão será às 10h45. São convidados hoje: Dra. Rosilda Prates, Presidente Executiva da P&D Brasil, que veio acompanhada do Dr. Gustavo Xavier de Camargo, Assessor Jurídico da P&D Brasil; Dra. Samanta Oliveira, Líder do Comitê de Proteção de Dados da ABO2O e DPO Brasil do Mercado Livre; Dra. Mariane Schettert, Presidente do Instituto Geoc e membro do Observatório Político do Setor de Serviços; Dr. Allan Rocha de Souza, Professor da UFRJ, PUC-RJ e IBDAutoral; Dra. Rogéria Leoni Cruz, Diretora Jurídica e DPO do Hospital Israelita Albert Einsten. Logo em seguida, teremos o Painel 5 - experiências setoriais: segurança pública, execução de políticas públicas, inovação na indústria, transformação digital nas empresas, proteção à criança. Previsão de início às 10h45 e conclusão às 12h30. Convidados: Dr. Sergio Paulo Gallindo, Presidente Executivo da Brasscom; Dra. Mariah Rafaela Silva, Pesquisadora da UFF e O Panóptico; Dr. Pedro Hartung, representante do Instituto Alana; Dra. Gianna Cardoso Sagazio, Diretora de Inovação da CNI; Dr. Bruno Jorge, representante da ABDI; Dra. Crisleine Yamaji, Gerente Jurídica de dados pessoais da Febraban e Professora de Direito Privado do IBMEC-SP. Por fim, o Painel 6 - inteligência artificial e riscos: gradação de riscos; hipóteses de riscos inaceitáveis e princípio da precaução, com início previsto às 14h e finalização às 15h45. Convidados: Dra. Maria Cecília Oliveira Gomes, Data Privacy Brasil; Dra. Joamila Brito, Cientista de Dados e membro da Rede PretaLab; Dra. Priscila Lauande Rodrigues, Advogada e Pesquisadora, Sapienza Università di Roma; Dr. André Lucas Fernandes, representante do IP.rec; Dr. João Paulo Candia Veiga, Professor da USP; Dra. Heloisa Estellita, Professora da FGV-SP. Esclareço que o tempo de cada convidado será de 15 minutos. Este primeiro painel será moderado pelos membros da Comissão, a Dra. Mariana Valente e o Dr. Victor Marcel Pinheiro. Passo a palavra, então, aos moderadores, na pessoa da Dra. Mariana, para que faça, então, a condução dos debates com os participantes presentes e os participantes virtualmente presentes. Obrigado. A SRA. PRESIDENTE (Mariana Giorgetti Valente. Por videoconferência.) - Muito obrigada. Eu gostaria de saudar o senhor primeiro, Dr. Fabricio da Mota Alves; o Sr. Presidente da Comissão, Ministro Villas Bôas Cueva; a Sra. Relatora, Laura Schertel Mendes; os Senadores e as Senadoras presentes; meu colega moderador do painel, Sr. Victor Marcel Pinheiro e todas as pessoas que nos assistem, em nome da Comissão de Juristas responsável por subsidiar a elaboração de um substitutivo sobre inteligência artificial.
09:07 R	Como disse o Dr. Fabricio, hoje damos início ao segundo eixo das audiências públicas. Ontem, em três painéis, nós discutimos temas relacionados aos conceitos, compreensão e classificação de inteligência artificial; e hoje o dia se destina à colheita de subsídios de especialistas sobre os impactos da inteligência artificial, tendo em vista, em última instância, as contribuições para o marco legal que estamos aqui discutindo. Eu saúdo, então, os participantes e agradeço a disponibilidade, especialmente dos convidados e convidadas. Gostaria de passar a palavra para o meu colega Dr. Victor Marcel Pinheiro. O SR. PRESIDENTE (Victor Marcel Pinheiro. Por videoconferência.) - Desejo um bom-dia a todos e a todas que estão presentes aqui virtualmente e presencialmente no Senado Federal e também nos acompanhando pela TV Senado, pelo YouTube do Senado. Queria cumprimentar todos colegas aqui de Comissão na pessoa Dr. Fabricio, que hoje está presidindo os trabalhos aí na sede do Senado Federal. Queria cumprimentar também a Profa. Mariana Valente, minha colega aqui de comoderação da nossa mesa; cumprimentar todos os especialistas que gentilmente cederam o seu tempo para estar conosco aqui e debater temas tão importantes. Nós, desde ontem, já começamos os debates e as reflexões sobre as diversas dimensões dessa nova tecnologia nos âmbitos mais diversos da vida social, especialmente com o referencial no Brasil, embora ela seja uma tecnologia de aplicação global. E acredito que esse painel de hoje tem a importância fundamental de mostrar realmente diversos benefícios e alguns dos riscos associados, obviamente, que essa tecnologia traz para essas diversas dimensões do nosso dia a dia, seja no consumo, seja para fins de pesquisa e educação, seja para fins de serviços de saúde, para fins de liberdade de expressão e democracia. Então, nós estamos muito animados com os nossos especialistas neste painel para podermos conhecer e aprender um pouco mais sobre quais são os impactos positivos e riscos associados à inteligência artificial nos diversos setores de suas atuações. Então, como o Dr. Fabricio pontuou, cada convidado vai ter 15 minutos para sua exposição; na sequência, nós fazemos uma abertura para perguntas dos membros da Comissão e debate com os nossos convidados. Então, sem mais delongas, eu queria passar a palavra para a Dra. Rosilda Prates, que está presente aí no Senado Federal. Agradeço e peço para nossa Secretaria fazer a passagem da palavra para a Dra. Rosilda. A SRA. ROSILDA PRATES - Um bom-dia a todos. Dr. Fabrício, Presidente desta Comissão, muito obrigada pela oportunidade de estarmos aqui. Agradeço também à Mariana e ao Dr. Victor pelo ambiente absolutamente propício no compartilhamento de informações e de expectativas, tanto do setor privado quanto da sociedade. Eu sou Presidente Executiva da P&D Brasil, uma associação de indústrias que tem como DNA desenvolver tecnologia e uma área de P&D (pesquisa e desenvolvimento) tecnológicos bem estruturados, mas também faço parte de vários fóruns importantes dentro do próprio Governo, inclusive do Conselho Nacional de Ciência e Tecnologia e do próprio Cati, que é um comitê de avaliação de tecnologias e investimentos em P&D, entre outros comitês de 4.0.
09:11 R	Então, a P&D Brasil tem uma preocupação muito importante em colaborar e em trazer as expectativas e as necessidades do setor produtivo, principalmente das empresas de base tecnológica nacional. Então, eu gostaria que pudesse passar a apresentação, por favor. De forma bem sucinta, mostramos o porquê da importância de estarmos aqui conversando e compartilhando algumas informações bem importantes. A P&D Brasil é uma associação de indústrias de desenvolvimento tecnológico nacional que tem como finalidade agregar as empresas que têm este DNA de investir em P&D agressivamente. Pode passar, por gentileza. Aqui, para dar uma contextualização rápida, nós temos um total de R$32 bilhões de faturamento, mas o mais importante é que, em função deste nosso DNA de desenvolver tecnologia e de investir agressivamente em P&D, a gente tem capacidade de exportação de quase um terço do total do nosso faturamento. No ano de 2020, a gente teve um investimento em P&D de quase R$1 bilhão. Isso deixa clara a importância do tema que hoje a gente está discutindo, o de inteligência artificial, porque ele é uma agenda absolutamente relevante na evolução tecnológica, na transformação digital, na inclusão digital e na capacidade de a tecnologia ser um indutor da melhoria da qualidade de vida do cidadão e do bem-estar do cidadão. A P&D Brasil tem 10% do seu RH em pesquisa e desenvolvimento, nas áreas do conhecimento, justamente com esta preocupação de que as tecnologias sejam transformadoras. Para a P&D Brasil, inovação existe quando ela impacta efetivamente o ambiente, quando a sociedade é impactada por ela, quando a inovação e o produto chegam à sociedade. Por isso a inteligência artificial, como uma agenda absolutamente importante para esta nova onda, para este novo momento da tecnologia, é um tema, então, de absoluta responsabilidade, mas com foco na sua criticidade, na sua finalidade. Pode passar, por gentileza. A P&D Brasil, então, tem um investimento agressivo em P&D. Aqui a gente traz um diferencial importante das indústrias de base tecnológica nacional. O Brasil tem um dispêndio médio em P&D em relação ao PIB de 1,14%. Na P&D Brasil, o nosso dispêndio em P&D em relação ao faturamento bruto é de 2,86%. Ele é uma relação direta com o mesmo índice que os Estados Unidos hoje aplicam em pesquisa e desenvolvimento. Em relação ao nosso faturamento incentivado, ou seja, o faturamento que advém do estímulo de políticas e incentivos, como a Lei de Informática, nós investimos 16% em pesquisa e desenvolvimento. Por isso este debate relacionado à tecnologia, à sua aplicação e à sua regulamentação é absolutamente importante e necessário para a discussão do conteúdo de que as empresas precisam ter previsibilidade, orientação e responsabilidade no uso da tecnologia, sabendo até onde ela pode contribuir e intervir na vida do cidadão. Por gentileza... Aqui é só para os senhores e as senhoras terem uma ideia dos ambientes de desenvolvimento tecnológico da P&D Brasil. A gente está, então, presente em automação bancária, automação industrial, energia, informática, redes, semicondutores, segurança, Telecom e ICTs.
09:15 R	Dentro da P&D Brasil a gente tem oito institutos de pesquisa, porque o que nos une, o que nos agrega é esse forte DNA de investir em P&D. Então, hoje a gente traz aqui algumas informações importantes com relação à preocupação da indústria quanto à construção de uma regulamentação que estimule o ambiente com a responsabilidade, mas também com a preocupação de não amarrar os incentivos, a expectativa do investimento em P&D. Então, a gente precisa olhar o desenvolvimento tecnológico com esse olhar da finalidade, não é? E aí eu gostaria de passar a bola para o nosso colega Gustavo Xavier, que é da nossa assessoria jurídica lá na P&D Brasil e pode complementar essa minha fala com questões mais técnicas e com o que a gente apurou internamente na contribuição do nosso GT com relação a esse tema. Por favor, Gustavo. O SR. GUSTAVO XAVIER DE CAMARGO - Muito obrigado, Dra. Rosilda. Bom dia. Dando continuidade à apresentação, é importante destacar que, do ponto de vista da indústria nacional, as tecnologias baseadas em inteligência artificial são absolutamente estratégicas, e elas são estratégicas em duas perspectivas, não é? A primeira, no desenvolvimento das próprias soluções: a indústria nacional desenvolvendo soluções baseadas em inteligência artificial. Mas também uma outra perspectiva bastante relevante é a indústria brasileira consumindo, não é? Ela é usuária, a indústria brasileira é usuária de soluções baseadas em tecnologia da informação e em tecnologias baseadas em inteligência artificial. Então é bastante relevante a gente observar que a inteligência artificial é aplicada, por exemplo, na otimização de processos industriais, otimização de processos logísticos, nas estruturação e racionalização das cadeias de suprimento. Existem uma série de aspectos, de melhorias que os sistemas de inteligência artificial trazem para os próprios processos produtivos. Então é bastante importante a gente observar, na regulação de inteligência artificial, a existência de sistemas que podem gerar mais altos riscos e sistemas que podem gerar menos riscos, não é? As aplicações industriais, muitas vezes, são áreas onde a inteligência artificial gera baixo risco. Essa visão baseada em risco é superimportante no momento de regulação efetiva da inteligência artificial, e é muito relevante, é muito importante que se leve em consideração a finalidade específica do uso do sistema de inteligência artificial, para a definição do risco. Ontem o Prof. Fabro foi muito preciso no exemplo que ele deu sobre os veículos autônomos. O risco associado a um veículo autônomo utilizado nas fazendas, em processos agrícolas para plantio de sementes, por exemplo, é um risco muito diferente do risco associado a veículos autônomos que andam nas ruas, carros autônomos, não é? Então, a ideia de regulação baseada em risco e os riscos baseados na definição de finalidades específicas, isso é um aspecto bastante relevante, e essa diferenciação pode gerar um impacto muito grande não só na possibilidade de criação de soluções baseadas em inteligência artificial pelas indústrias brasileiras, mas também na adoção de soluções baseadas em inteligência artificial pelas indústrias brasileiras.
09:19 R	Então, quando a gente fala de regulação de inteligência artificial, nós falamos de uma regulação com um alto impacto econômico, porque a inviabilização de uma determinada tecnologia num processo industrial, em que essa tecnologia gera um baixo risco por excesso de obrigações regulatórias, pode gerar um resultado econômico bastante prejudicial para a indústria brasileira e para o desenvolvimento tecnológico brasileiro. Outro aspecto bastante relevante, bastante importante com que a gente tem que se preocupar no processo de regulação é com relação às regras de responsabilidade civil. As regras de responsabilidade civil precisam também seguir essa sequência, essa perspectiva baseada em riscos. A gente precisa pensar a regulação e a alocação de responsabilidades baseada no risco e o risco baseado nas finalidades. Essa perspectiva de responsabilidade baseada em riscos já foi suscitada, por exemplo, na resolução do Parlamento europeu sobre regime de responsabilidade aplicável à IA de 2020, em que o regime de responsabilidade subjetiva foi aplicado para as soluções baseadas em inteligência artificial de baixo risco. Então, é bastante importante a gente estabelecer um regime claro de responsabilidade civil, que leve em conta as categorias de risco das soluções baseadas em inteligência artificial, o.k.? Outro ponto bastante relevante para se tratar na questão da regulação, do ponto de vista da indústria, na perspectiva da indústria, é a existência de um ambiente regulatório que incentive a inovação. A inteligência artificial é um grande vetor de inovação. A gente está entrando em uma nova geração de desenvolvimento tecnológico e o Brasil não pode ficar de fora desse processo de participação dessa nova geração de tecnologias como um player global. Então, a legislação precisa trazer sim uma regulação que permita o desenvolvimento de inovação, com sandbox regulatórios e outros mecanismos que viabilizem a inovação e que se crie um ambiente em que a inovação possa prosperar e a regulação venha a acontecer em cima dos processos evolutivos da própria tecnologia. Um outro ponto bastante relevante e que também foi discutido na audiência pública de ontem diz respeito ao órgão de controle, à definição dos órgãos de controle. E essa é uma definição que, do nosso ponto de vista, precisa vir na lei, a lei precisa definir o modelo de regulação ou a existência de um órgão regulatório central, pelo menos para que esse órgão regulador central dê as bases de regras para aplicação das tecnologias de inteligência artificial e possa coordenar também as regulações setoriais, porque inteligência artificial é o tipo de tecnologia muito difícil de ser regulada de forma central.
09:23 R	A gente vai precisar que o sistema de regulação também seja visto do ponto de vista setorial. Como a gente está falando de aplicações específicas, de olhar os riscos a partir das finalidades específicas, isso gera uma necessidade regulatória também setorial. Então, é bastante importante a gente estabelecer quais vão ser essas regras e como esse processo vai acontecer, esse trâmite de responsabilidades regulatórias de um órgão central, se ele vier a existir, e dos órgãos setoriais que vão ficar responsáveis pela regulação e pela fiscalização também do ponto de vista setorial. Outro ponto bastante relevante é o estabelecimento de regras claras das responsabilidades fiscalizatórias e também dos sistemas sancionatórios. A LGPD fez isso com muito sucesso do ponto de vista da definição do arco sancionatório. A gente tem um arco sancionatório bastante preciso na LGPD. Então, essa ideia de um arco sancionatório pré-definido também ajuda a dar estabilidade para a indústria e facilita o ambiente competitivo. Outro ponto bastante relevante do ponto de vista da atuação dos órgãos de controle, dos órgãos de fiscalização está na ideia de divisão das responsabilidades pelos atores na cadeia de valor da inteligência artificial. Ontem também o professor trouxe uma ponderação bastante relevante no sentido de que uma determinada aplicação pode conter dezenas de sistemas de inteligência artificial embarcadas. Então, para uma determinada finalidade eu posso ter diversos sistemas de inteligência artificial e cada um dos players que fornecem esses sistemas individuais tem um grau de responsabilidade com relação à sua participação na solução global. No processo de fiscalização e de sanção do órgão responsável pelo controle regulatório, a gente precisa levar em consideração exatamente esse fluxo, essa cadeia, que muitas vezes é muito complexa, de fornecedores que compõe uma determinada solução específica, sob o risco de termos uma situação regulatória que possa prejudicar as pontas mais frágeis do processo de fornecimento. A gente tem que sempre levar em consideração que a proporção de responsabilidade de um player é muito diferente da de outro. Eu posso ter, no oferecimento de soluções baseadas em inteligência artificial, a atuação de startups, de empresas de menor porte, e essas empresas têm, muitas vezes, um nível baixo de participação no aporte de tecnologia baseada em inteligência artificial frente a outros players que compõem a mesma solução. Então, entender esse accountability separado por fornecedor é bastante importante no processo de fiscalização e de aplicação de sanções. Bom, acho que esse é o contexto geral que nós gostaríamos de passar. E, como última mensagem, a gente gostaria só de reforçar que inovação tecnológica e proteção a direitos fundamentais não são excludentes; elas podem ser harmonizadas.
09:27 R	E um dos grandes legados dessa legislação certamente será esse processo de harmonização entre a inovação e a proteção de direitos fundamentais. Muito obrigado. A SRA. PRESIDENTE (Mariana Giorgetti Valente. Por videoconferência.) - Agradeço muito, em nome da Comissão, a contribuição de vocês. E gostaria de, imediatamente, convidar a Dra. Samanta Oliveira, que é líder do Comitê de Proteção de Dados da ABO2O e DPO do Mercado Livre Brasil - desculpe; me corrija, se falei errado -, a palavra é sua. A SRA. SAMANTA OLIVEIRA (Por videoconferência.) - Bom dia! Bom dia a todos e todas! Quero começar parabenizando a Comissão de Juristas pelo esforço e dedicação no estudo do tema. Sabemos dos desafios e oportunidades a ele atinentes e depositamos, nesse processo democrático, do qual tenho a honrosa missão de participar, o desejo de um marco legal para a inteligência artificial que equilibre direitos fundamentais, inovação e, a partir disso, torne o nosso país uma referência a ser seguida. Cumprimento meus colegas de mesa, os integrantes da Comissão de Juristas, na pessoa da Dra. Mariana Valente, do Dr. Victor Pinheiro, que mudaram esse painel, no qual a discussão se debruça sobre o contexto econômico-social e os benefícios da IA. Minha fala de hoje representa, aí, sim, a nossa associação, a ABO2O, e não exclusivamente posicionamentos do Mercado Livre, porque, assim, entendo que posso trazer informações do setor e ampliar o objeto de discussão. Para contextualizar a dimensão do tema de IA, cuja regulação se pretende alcançar, vale parafrasear o Fabio Rua, em sua contribuição no livro Inteligência Artificial: Sociedade, Economia e Estado. O Brasil sozinho concentra 42% dos projetos de desenvolvimento da IA na América Latina. Segundo um estudo da consultoria Everis, em parceria com o instituto Endeavor, o número de empresas que criam soluções de IA no país subiu de 120, em 2018, para 206, em 2020, e continua crescendo progressivamente. De modo agregado, o estudo calcula que o volume de vendas na região gerou em torno de 4,2 bilhões no período, propiciando a criação de 38 mil novos postos de emprego. Vale destacar também que o perfil desses investidores que têm acreditado na expansão do mercado de IA na América Latina, ainda segundo a Everis e a Endeavor, se alteram entre capital semente, representando 49%, seguido aí de investidores anjos, de 23% do total, e o remanescente de 18%, outros tipos de investidores. Certamente tais números ilustram que a participação de todos os setores, por meio de sua pluralidade de visões, traduz benefícios que fomentam uma sociedade brasileira e mais igualitária. Acredito que seja por isso, inclusive, que um dos tópicos trazidos ontem foi justamente: há necessidade de regular a IA? Essa é uma pergunta inicial relevante. A segunda seria: o que se deve regular? Em geral, a legislação surge para abordar os anseios da população ou se antecipar quando são identificados os riscos que possam afetar as pessoas. O que observamos no momento não é algo novo. O receio em geral está justamente em não conseguir compreender a dimensão dos riscos que sejam considerados inaceitáveis provocados pelos usos da IA no seu contexto de aplicação, com o que concordamos. Por isso, acredito que os debates e reflexões anseiam alcançar transparência, ou governança ética e responsável, distanciando-se de preocupações de ordem meramente técnicas atreladas ao desenvolvimento da IA em si. Nesse sentido, parece que uma futura regulamentação deve seguir nessa linha, propor critérios para a classificação de alto risco ou de riscos inaceitáveis, considerando o uso da IA em seu contexto, sem inviabilizar o desenvolvimento da tecnologia, cujo potencial pode implicar ganhos de eficiência e facilidade para a sociedade.
09:31 R	Nesse sentido, a resolução da União Europeia, que já foi apresentada com maior propriedade pelos participantes da audiência de ontem, o Dr. Virgílio e o Dr. Fabro, pode novamente ser utilizada como essa fonte inspiradora. Falando do atual estágio do desenvolvimento da IA e dos cuidados necessários para um desenvolvimento sustentável dela, ingressando efetivamente como tópico do bem-estar e benefícios, nada melhor do que usar uma referência no assunto para abrir esse tópico. A OCDE determina que os desenvolvedores da inteligência artificial devem usar a IA para buscar resultados positivos para as pessoas e para o planeta, para aumentar capacidades e criatividades, ampliar a inclusão de pessoas, reduzir desigualdades econômicas, sociais e de gênero, entre outras, inclusive de proteção do meio ambiente. Essa disposição ressalta uma característica importante da IA: ela é uma tecnologia colocada à disposição da sociedade, e não o contrário. Ela pode e deve ser utilizada para diversos propósitos. Enquanto ela estiver sendo desenvolvida e utilizada para agilizar e aprimorar processos, reduzir custos, tornar serviços e políticas públicas mais assertivas e relevantes para o indivíduo, ela vai estar cumprindo o seu propósito. Um exemplo dessa maximização de eficiências e que já foi inclusive mencionado na audiência de ontem, pela Dra. Tainá, foi a utilização de IA no próprio Judiciário brasileiro, aquela que ficou conhecida com Dr. Victor, cujos resultados, além de materializar o princípio da celeridade processual, entregam acesso à Justiça, direito esse constitucionalmente assegurado a todos os cidadãos. Esses dados podem ser visualizados anualmente no relatório Justiça em Números, que é elaborado pelo nosso CNJ. A IA está, em determinado grau, inserida no nosso dia a dia. Nas relações de consumo, podemos identificar recomendações de músicas, vídeos, notícias, produtos adquiridos e facilitadores de atividades domésticas. Sobre outra vertente, vou citar aqui novamente o exemplo do livro que eu já comentei, dessa vez, a coautoria é da Juliana Oliveira Domingues, atual Procuradora-Chefe do Cade, que citou novamente um documento da OCDE, intitulado Delivering Better Policies Through Behavioural Insights, de 2019. O Documento apresenta uma coletânea de diversos estudos sobre a utilização de medidores eletrônicos de energia elétrica, que permitem o acesso instantâneo ao consumo de energia e aos valores das tarifas. Com essas informações, o consumidor pode tomar decisões sobre o seu consumo de energia, evitando a utilização em momentos nos quais as taxas estejam no horário de pico, por exemplo. De acordo com os resultados apresentados pela OCDE, mais de um estudo afirma que a instalação desses instrumentos acarretou a diminuição do uso de energia elétrica, mostrando a relevância da IA para fins de execução de políticas públicas no setor de energia. Os exemplos que citei, em especial esse segundo, apontam que a IA torna o consumidor mais consciente sobre suas próprias necessidades de consumo, criando melhores mecanismos de escolha e um mecanismo de compreensão sobre os produtos e serviços que adquire. Esse é inclusive o entendimento da própria Dra. Juliana Domingues, no livro que eu citei, com o qual estou de acordo integralmente. Em termos de política pública, o mesmo exemplo serviu, de forma valiosa, para contribuir com a maximização e eficiência de políticas que já eram existentes na região. Por outro lado, no setor da saúde, trazemos novamente o exemplo do Projeto Linda, aqui citado pela Dra. Loren, da Abes. O Projeto Linda é baseado no desenvolvimento de uma IA que auxilia no diagnóstico de doença, de câncer de mama, que é a doença número um em morte de mulheres. Para auxiliar os médicos, o Linda desenvolveu um sensor infravermelho capaz de capturar a imagem da mama, e a IA realizar uma análise no banco de dados, com mais de 5 milhões de informações, para dar indicação ao médico se a imagem é suspeita ou não. A decisão é sempre do médico e do paciente, o que também reforça a legitimidade do processo da IA.
09:35 R	Muitas dessas tecnologias são benéficas e facilitam a nossa vida. A IA surgiu como uma tecnologia que possibilita, entre outras coisas, tratar uma grande quantidade de dados. E aqui eu reforço que esses dados podem ter caráter pessoal ou não, identificando características que possibilitem, inclusive, se forem dados pessoais, um tratamento individualizado aderente ou que contribuam com a formação de políticas públicas. Por isso, enquanto setor privado, entendemos que o mais adequado seria regular as hipóteses da usabilidade dessa tecnologia de forma que ela se torne cada vez mais transparente, o que já se encontra parcialmente tratado no PL 21, de 2020. Ele prevê transparência sobre critérios gerais que orientam a aplicação e o monitoramento da inteligência artificial, e essa deve ser a tônica adotada. Novamente, apenas destaco que essa é a mesma orientação trazida na resolução da União Europeia. Isso porque, dentro de qualquer espectro de IA, o ciclo de vida da inteligência artificial pode ser dividido em planejamento e modelagem, verificação e validação, aplicação e operação e monitoramento, sendo que os dois primeiros - o planejamento, a modelagem, a verificação e a validação - compõem um ciclo de desenvolvimento primário, por assim dizer, enquanto os demais estão atrelados ao caso de uso contextual, evolução e aprimoramento contínuos da IA. É importante destacar ainda que existem legislações e regulamentações setoriais que podem e devem ser aplicadas subsidiariamente ou complementarmente às normas do marco legal que aqui tratamos. Isso porque inúmeros setores da economia brasileira já estão submetidos a regulamentações, inclusive sendo supervisionados por autarquias independentes e bem estruturadas, pegando aqui, por exemplo, o setor financeiro, o setor da saúde e fármacos. O uso de IA nesses domínios já está sendo paulatinamente regulamentado, especialmente para endereçar preocupações epistêmicas do sistema, como, por exemplo, normas relativas a gestão e acurácia, qualidade das informações, obrigações de responsabilização e prestação de contas, obrigações de uso benéfico, transparência, segurança e robustez na análise de impacto, entre outras. Tais regulamentações podem ser objeto de contínua atualização de modo a entender que essas crescentes preocupações sejam endereçadas, ainda que já estejam submetidas a essas determinações, ao uso responsável de IA, prevendo, inclusive, obrigações de transparência e aplicabilidade. Citamos aqui a própria LGPD, o Código de Defesa do Consumidor, o Cadastro Positivo, entre outros. Na dimensão normativa, em que questões de privacidade e questões éticas ganham relevância, temos a mencionada LGPD como marco normativo relevante a ser observado e também a competência normativa fiscalizatória da ANPD, que vem gradativamente adotando regulamentações, inclusive com previsão de regulamentar o exercício do direito de decisões automatizadas. Como dito nos painéis de ontem, o modelo de regulação deve facilitar e incentivar a produção de tecnologias de IA por pessoas, empresas e organizações brasileiras para que o Brasil seja não apenas o consumidor, como também o produtor dessas tecnologias. Portanto, o modelo de regulação a ser estruturado deve ser aquele que visa a estimular o ambiente socioeconômico brasileiro, as capacidades de criação de soluções originais em termos de IA e que permitam a mitigação de problemas brasileiros, como desigualdades sociais, de raça e gênero e mudanças climáticas. Por isso, apesar de termos alguns modelos de legislações estrangeiras de IA, esse trabalho conduzido pela Comissão de Juristas é de suma importância para que nós possamos ter em mente as preocupações da sociedade brasileira e dos setores brasileiros econômicos.
09:39 R	Para solucionar essa questão, a IA pode ser dividida em categorias de alto risco e baixo risco: quanto mais arriscada a atividade ser desenvolvida pela IA, maior as restrições impostas à sua aplicabilidade contextual. Uma atividade de alto risco pode ser entendida como aquela que congrega as seguintes características: seja aleatória ou altamente autônoma, que é aquela que não consegue definir parâmetros que foram utilizados para obter os resultados ou que realize a atividade com mínima intervenção humana; dois, seja empregada por um setor que potencialmente causará sérios danos às pessoas, seja utilizada para um propósito que represente risco ao indivíduo, a gravidade do dano que o indivíduo estará sujeito em sua reversibilidade, considerando o direito da pessoa, potencialmente será afetada por ela, a possibilidade do dano se concretizar e o número de pessoas potencialmente afetadas pela utilização da IA. A regulamentação não deve se dar sobre a tecnologia, mas sobre o uso dela. Quanto mais integrada com outras tecnologias, mais complexa a regulamentação. É preciso definir áreas de risco em que a IA deverá ser regulamentada, como, por exemplo, o setor de segurança pública, que vai ser objeto de um painel subsequente, os tipos que a IA podem trazer riscos em sua própria função. Quando a quando a IA for de baixo risco, por exemplo, a responsabilidade dos seus desenvolvedores deve se encerrar na medida em que demonstrar de forma clara a compreensão e observando os seus segredos comerciais. E, para não me alongar mais, já me encaminhando para o final da minha fala, eu posso sumarizar aqui esse meu entendimento nesse espaço que é necessário um equilíbrio em diversos setores. O poder público deve incentivar o quanto antes o desenvolvimento do mercado de trabalho para que apresentem habilidades adequadas a trabalhar com novas tecnologias da informação, ao mesmo tempo poderá criar um ambiente para a validação das IAs, como foi mencionado, o sandbox regulatório. Do lado do setor privado, os desenvolvedores continuarão seguindo os padrões e os parâmetros utilizados pela IA de forma cada vez mais transparente e responsável para que possam continuar desenvolvendo essa nova tecnologia. Enfim, são essas as minhas singelas contribuições que julgo importante compartilhar com todos nesse precioso tempo que me foi concedido. Eu fico à disposição da Comissão. O SR. PRESIDENTE (Victor Marcel Pinheiro. Por videoconferência.) - Eu queria agradecer à Dra. Samanta Oliveira. E, já na sequência, passo a palavra para a Dra. Mariane Schettert, do Observatório Político do Setor de Serviços. Então, Dra. Mariane, a senhora tem a palavra. A SRA. MARIANE SCHETTERT (Por videoconferência.) - Olá! Bom dia, pessoal. Muito me honra estar aqui presente nesta Comissão de Juristas sobre inteligência artificial. Agradeço ao Dr. Fabricio da Mota Alves, Presidente da mesa, Dra. Mariana Valente, Dr. Victor Marcel Pinheiro e aos demais presentes do nosso painel. Eu gostaria de pedir para a Bruna, que está nos ajudando, para colocar o nosso PowerPoint, mas eu posso já seguir, porque eu sei que o nosso tempo é curto. Eu represento o Observatório Político do setor de serviços, que é uma associação nacional representativa de diversos segmentos do setor de serviços, como telecobrança, medicina diagnóstica, universidades privadas, consórcios, promotores de crédito, recursos humanos, terceirização de mão de obra e marketing promocional. O OPS busca não apenas representar o setor perante os ambientes institucionais e governamentais, mas também construir um espaço de debate na construção de ideias e atuação em defesa do setor de serviços.
09:43 R	Prestamos suporte para a Frente Parlamentar do Setor de Serviços e fornecemos subsídios técnicos e apoio operacional das atividades. Eu gostaria - antes de entrar aqui no tema propriamente, que é as relações com o mercado - de falar um pouco de que a IA já está presente na nossa vida de várias formas. Eu fiz uma reflexão sobre isso, para trazer para vocês, e eu concordo com o que foi dito anteriormente de que a gente deve avaliar os riscos de acordo com as criticidades, porque hoje já estão presentes nas nossas vidas. Como exemplo, vários chatbots, como o chatbot do Banco Original, da Leroy, a Bia do Bradesco, a Lu do Magazine Luiza e tantos outros. Isso é uma inteligência artificial focada em linguagem que consegue entender a palavra, transcrever para a escrita e entender o que a pessoa está falando. Outra parte da inteligência artificial é o desenvolvimento dos manuais cognitivos - a Volkswagen é um exemplo disso. A robótica também é um tipo de IA, e hoje já existem diversos robôs construindo automóveis e fazendo algumas atividades, inclusive domésticas, nas nossas casas. Outras inteligências que facilitam as nossas vidas, como os sistemas de recomendação - como falou a Dra. Samanta -, estão presentes no YouTube, Spotify, Amazon e tudo mais. Há a IA na detecção de fraudes bancárias, que é um tipo de algoritmo de inteligência artificial de detecção de anomalias tão importante para barrar as fraudes hoje em dia. Os sistemas de localização, o Waze, além de todo tipo de aplicação para automatização de rotas, para grandes empresas de logística. A IA na educação que nós podemos presenciar nesses últimos dois anos de pandemia. Então foram situações presentes nos nossos dias, que trouxeram muitos benefícios, não é? Mas existe aqui um outro lado que é a preocupação da sociedade e o medo da sociedade pela perda de empregos. O mercado se tornou muito mais dinâmico, e hoje a gente pode perder o emprego por defasagem intelectual, por empregos em que a sociedade hoje não enxerga mais valor. E existem aquelas profissões em que o trabalho humano é necessário, mas não é necessário mais um trabalhador, porque nós mesmos podemos executá-los. Então, esse é o cerne aqui da nossa apresentação. O ponto que eu gostaria de trazer para atenção dos senhores e senhoras membros desta prestigiosa Comissão está relacionado a um aspecto fundamental da discussão sobre regulação jurídica quanto ao uso da inteligência artificial: a necessidade de se prever incentivos adequados para que os governos e as empresas promovam políticas e iniciativas de capacitação técnica, e educação da população para o uso de tecnologias. Bruna, se você puder passar o Powerpoint...
09:47 R	Afinal, a essência das tecnologias baseadas em inteligência artificial deve ser a de promover a inovação, mas, sem educação, haverá empecilhos naturais para o aumento da competitividade e do crescimento econômico sustentável e inclusivo e a promoção do desenvolvimento humano e social, também diretrizes da regulação proposta nos projetos de lei em curso nesta Casa. Não é por acaso que a Estratégia Brasileira de Inteligência Artificial, apresentada pelo Governo Federal, em 2021, reconhece, como alguns dos eixos verticais para nortear as ações do Estado brasileiro, em prol do desenvolvimento de soluções e inteligência artificial, dois itens que convergem com o que estamos discutindo aqui: qualificação para o futuro digital e força de trabalho e capacitação. Merecem destaque aqui alguns dos objetivos desses eixos por sua clareza e visão de futuro: preparação dos estudantes em conceitos gerais e no uso consciente da inteligência artificial; formação de professores para esta demanda; estímulo ao interesse na inteligência artificial; fornecimento de conhecimento de base; e imersão no cotidiano de crianças e adolescentes no tema de inteligência artificial e ciência de dados, não somente como usuários, mas também como possíveis desenvolvedores e especialistas no assunto. Para tanto, são previstas ações estratégicas que devem ser incorporadas ao substitutivo que esta Comissão deverá elaborar, particularmente voltadas a estimular o interesse dos brasileiros por disciplinas do grupo de STEM, matemática, ciências, tecnologia e engenharia - e aqui fazemos uma colocação importante: em português -, nessa idade escolar e com foco em promover conhecimento para o futuro. Nós trouxemos aqui um exemplo do Governo dos Estados Unidos sob a liderança do então Presidente Barack Obama, que publicou um documento chamado "Preparando-se para o Futuro da Inteligência Artificial". Nesse documento, há diversas propostas baseadas na visão de pensar a educação em IA e no conhecimento do IA, interagindo com outras iniciativas para capacitar todos os estudantes americanos, desde o jardim de infância até o ensino médio, para aprender ciência da computação e desenvolver habilidades de pensamento computacional não somente como consumidores, mas como futuros desenvolvedores. Aliás, esse documento reconhece que a ciência da computação é o novo básico das habilidades necessárias para promover oportunidades econômicas e mobilidade social, concentrando-se em esforço dos pais, professores, setores educacionais, governos e líderes do setor privado de todo o país, movidos pelo propósito de enfrentar o desafio de preparar a nossa futura força de trabalho. Portanto, o OPS vem perante esta Comissão sugerir algumas mudanças no texto dos projetos de lei, de forma a contribuir para a construção de um substitutivo que preveja elemento especial para programas de inclusão de gênero, de raça nessas áreas.
09:51 R	São, enfim, objetivos que devem ser incorporados ao debate sobre o texto final, fruto do processo de regulação de IA. Dito isso, gostaríamos de sugerir algumas complementações ao PL 21, de 2020, mais precisamente no seu art. 4º, que trata dos fundamentos da inteligência artificial. Propomos a inserção de um novo inciso que contemple a promoção de incentivos e propostas de capacitação, e a educação à inteligência artificial e à ciência computacional como fundamento da nova regulação, para que toda concepção sobre o assunto esteja sempre e definitivamente associada ao preparo da população brasileira sobre o tema. No art. 5º, quando se trata do inciso IV, sobre a necessidade de se promoverem medidas para reforçar a capacidade humana e preparar a transformação do mercado de trabalho à medida que a inteligência artificial é implantada, entendemos que o texto possa ser mais bem desenhado para contemplar a capacitação e a educação da população, bem como a inserção de cadeiras de conteúdo específico de tecnologia computacional de dados nos currículos acadêmicos em todos os níveis educacionais. Nesse sentido, inclusive, entendemos ser imprescindível a concepção de uma política nacional de inteligência artificial, como aliás já está sendo proposto neste Senado Federal, onde tramita de forma autônoma o PL 5.691, de 2019, de autoria do Senador Styvenson Valentim - acreditamos ser fundamental o apensamento ao PL 21, de 2020, e demais matérias que tramitam em conjunto. Inclusive, em nome da Frente Parlamentar em Defesa do Setor de Serviços, estamos direcionando um ofício ao Exmo. Sr. Ministro Ricardo Villas Bôas Cueva, Presidente desta Comissão, e ao Senador Rodrigo Pacheco, Presidente do Senado Federal, um apelo pela reunião dessas matérias. Dessa forma, já me encaminhando para a conclusão, reforçamos a necessidade de não se negligenciar, nesse debate, a concepção de incentivos e mecanismos de promoção da educação, capacitação e força de trabalho orientado para tecnologias decorrentes do uso da inteligência artificial. Muito obrigada. A SRA. PRESIDENTE (Mariana Giorgetti Valente. Por videoconferência.) - Dra. Mariane, agradeço muito a sua contribuição. Passo a palavra ao Dr. Allan Rocha de Souza, que é Professor da UFRJ e Diretor Científico do Instituto Brasileiro de Direito Autoral. O SR. ALLAN ROCHA DE SOUZA (Por videoconferência.) - Bom dia a todos. Em primeiro lugar, eu queria agradecer o convite e honrar esta Comissão, que está com um trabalho bastante difícil em suas mãos, no que eu puder contribuir. E eu imagino que todos nós estejamos aqui interessados justamente em avançar o tema, em aprofundar o tema e melhorar essa regulação. Obviamente, uma regulação não vai ser definitiva, até pela evolução da própria tecnologia, mas que ela permita que essa tecnologia se desenvolva. O tema que eu vou tratar é um tema muito específico - muito mais específico -, chamado de mineração de dados e textos, tá? Eu vou compartilhar aqui a apresentação, se possível. (Pausa.) Já estou aqui compartilhando. Enfim, meu nome é Allan e eu sou o Diretor Científico do Instituto Brasileiro de Direitos Autorais.
09:55 R	O instituto tem por objetivo desenvolver pesquisas aplicadas em direitos autorais, inclusive nas suas fronteiras, nas suas relações com a inovação, com o desenvolvimento, com o direito de acesso, com o qual eles precisam estar sempre harmonizados. Esse trabalho dentro do instituto é desenvolvido por mim, mas também com o Dr. Luca Schirru e o doutorando Miguel Alvarenga, todos da UFRJ também, no Programa de Políticas Públicas e Desenvolvimento do Instituto de Economia. Bom, a primeira coisa a tratarmos aqui é o que é de fato, o que é que estou falando quando a gente fala de mineração de textos e dados ou data and text mining. O que nós estamos falando, na verdade, é um processo de análise computacional de um grande volume de dados e de textos para você extrair as informações e dados de qualquer objeto que seja o seu foco. É uma prática comum, necessária e corriqueira tanto para a pesquisa contemporânea como, obviamente, para a inovação. É essencial principalmente para quê? Para o desenvolvimento de qualquer pesquisa com grandes volumes de dados, e a pesquisa contemporânea hoje é bastante focada nesse tipo de análise. Ainda que ela não seja o único tipo de análise que se faça, ela passa a fazer parte integrante do dia a dia das pesquisas em qualquer das áreas, inclusive de humanidades, biológicas, médicas, químicas, ambientais e por aí vai. É essencial para o desenvolvimento de tecnologias digitais, é parte intrínseca e inexorável do ecossistema de inovação estabelecermos uma limitação em favor da mineração, possibilitando a mineração de textos e dados, que vai dar, vai trazer mais segurança jurídica para todos os negócios intensivos em dados e vai também posicionar o Brasil, permitir que o Brasil entre nesse pequeno grupo de países que já têm essa possibilidade, e, com essa possibilidade de fazer a mineração de textos e dados, eles se colocam na frente do processo de inovação em relação aos demais países. Para já dissipar alguns dos mitos ou algumas das possíveis projeções inadequadas sobre o que a mineração de dados faz e o que que ela pode fazer, é importante a gente falar o que ela não faz, o que não tem a ver com mineração de textos e dados. Não é permitido você fazer a mineração? Isso não quer dizer que você vá fruir das obras protegidas. Não haverá nenhuma fruição de obra protegida por direitos autorais, também não irão se disponibilizar essas obras ao público, também não vamos aproveitar economicamente das obras em si, muito menos prejudicar autores ou concorrer com a exploração do filme, da música, do livro, do texto científico do qual as informações e dados serão extraídos. Então, não há nenhuma restrição, nenhum impacto direto, muito menos substancial sobre a exploração de obras protegidas por direitos autorais. É muito importante isso ficar claro porque a mineração não toca, não trata da exploração das obras em si. Por que que eu digo isso? Eu digo isso porque a própria legislação de direitos autorais estabelece muito claramente que dados e informações, assim como ideias, abstrações, sistemas, nada disso é protegido por direitos autorais. A única coisa que está protegida por direitos autorais é a expressão, a expressão concreta, aquela expressão literária, artística, científica e, hoje eu diria também, tecnológica, afinal de contas o software, todas as interfaces e assim por diante também são alcançados pelos direitos autorais. Então, nós temos que afastar a ideia da obra em si, que é, por exemplo, aquela música ou aquele filme ou aquele livro ou aquele texto científico, dos dados sobre ela. Por exemplo, em uma pintura do Van Gogh, além da sua beleza intrínseca, há também vários elementos, como as suas dimensões, como o tipo de cor que é usado, o contraste entre as cores e assim por diante.
09:59 R	Todos esses são dados e informações sobre a obra. Não há obra em si. Então, é muito importante que nós façamos essa distinção, para facilitar o nosso entendimento do que que nós, na verdade, queremos. Então, como ideias, procedimentos, dados, nada disso é protegido, é alcançado por direitos autorais, o que de fato é alcançado por direitos autorais, quando nós falamos de uma limitação em favor de uma mineração de dados e textos, é justamente o direito exclusivo do organizador desses dados, do compilador desses dados. Ou seja, do dono da base de dados. Mas só que não são todas as bases de dados que são protegidas. Para que elas sejam protegidas, é preciso que elas tenham um elemento de originalidade e de criatividade - portanto, também de distintividade - com relação ou à sua seleção de dados - então, dados simplesmente comuns não fazem uma base de dados original suficiente para obter proteção -, à forma como eles são organizados e obviamente relacionados ou à sua disposição e apresentação. A mineração permite você extrair algumas dessas informações, que não são por si protegidas, e usá-las com um grande volume de dados, conectá-las, interagi-las, para promover um entendimento melhor talvez até sobre a obra, mas como um conjunto de uma economia daquele setor e assim por diante, tendências de produção, de gosto, de obtenção, de utilização e assim por diante. Então, quando a gente fala de mineração de dados e textos, a gente está atuando... Nenhum autor, nenhum artista vai ser minimamente afetado por esse tipo de limitação. Os únicos grupos que poderiam eventualmente ser afetados são os titulares de grandes bases de dados originais, o que não é o caso para a maioria do setor cultural. Então, para já ficar claro que, quando a gente fala dessa limitação, a gente não está permitindo uma utilização, uma disponibilização ou usufruir, fruir daquela obra artístico-literária. Ao contrário: nós queremos é extrair dados e informações sobre essa obra ou sobre um conjunto de obras para podermos fazer os diversos tipos de análise e pesquisa. Bom, dito isso, nós vemos que diversos países - e aqui eu trouxe só alguns exemplos: Japão, Singapura e União Europeia. Outros países - Canadá, Austrália, Estados Unidos e assim por diante - permitem expressamente a mineração de dados e textos. Há um paralelo entre esses países e o índice de inovação tecnológica, o grau de inovação tecnológica comparado nessas sociedades. Ou seja: não há, claramente, nenhum empecilho, nenhum problema com relação aos tratados internacionais. Caso contrário, não teríamos todos esses países tendo já incorporado... E note que todas essas incorporações foram recentes: 2021, 2018. Enfim, no fim da década passada para cá, diversos países fizeram essa modificação, para que entrem, sim, num ambiente competitivo com relação à inovação, para que possam entrar no clube dos países inovadores. Dentre esses países, contudo, não está o Brasil. Infelizmente, nós não estamos. Por quê? Quem faz essa mineração de textos e dados no Brasil está, para usar uma palavra antiga, no limite da legalidade, para dizer o mínimo. Então, esse mapa nos mostra, é um mapa que fala do direito à pesquisa, que é o grande impacto que se tem com essa restrição que os bancos de dados podem trazer, e aí nós vemos uma gradação entre os países identificados em verde, que são aqueles em que isso é possível de ser feito legalmente, sem problema, ainda que com alguns condicionantes, até os vermelhos, que são aqueles em que isso não pode ser feito, em que isso não está autorizado.
10:03 R	E a gente vê essa concentração grande na América Latina. E dá para ver Canadá, Estados Unidos, Austrália, Inglaterra, Alemanha, até a África do Sul, inclusive, todos esses países promovendo um ambiente, um ecossistema de inovação e principalmente de pesquisa que permite essas práticas essenciais para o desenvolvimento de tecnologias digitais, essenciais para a inovação contemporânea, essenciais para o desenvolvimento, para o futuro. Nós vemos que a nossa situação não está muito boa. E nós temos algumas justificativas. Eu fui buscar principalmente na diretiva europeia mais recente, a de 2019, que traz algumas das razões pelas quais, agora, a União Europeia obriga os seus países, as suas nações a implementarem nas suas leis nacionais uma limitação expressa para mineração de dados e textos sem qualquer tipo de remuneração. Existem várias justificativas, e, dentre elas: promoção de um ambiente de inovação tecnológica, promoção da pesquisa, dar a segurança jurídica, obviamente ressaltando o que eu falei, no início, que é a questão de que esse ato de uma análise computacional dos dados e informações sobre, eventualmente, obras artísticas - não necessariamente sobre obras artísticas, mas também pode ser sobre elas - em nada afeta a exploração regular dessa obra. Então, os autores, artistas podem ficar despreocupados, porque vocês não serão afetados na sua capacidade de serem remunerados pela utilização e fruição de suas obras. Aliás, é bom deixar claro que jamais os autores e os artistas teriam direito sobre esses dados e informações, porque eles não são apropriáveis como tais, eles só são apropriáveis enquanto organizados, enquanto coletâneas, portanto, enquanto base de dados, e essas bases de dados jamais são dos artistas, elas são na verdade dos grandes titulares. Então, isso é importantíssimo frisar. Para que serve a mineração de textos e dados? E aí nós temos uma série de possibilidades e usos para esse instituto. É um instituto ainda pouco conhecido no Brasil, eu diria quase desconhecido, e intocado na nossa legislação. Na verdade, a primeira vez que isso veio foi justamente nesse processo de regulação de IA, e ainda bem que isso veio. Então, são vários... Um deles, que é essencial, é que não é possível o treinamento dos sistemas de inteligência artificial e dos algoritmos sem o uso, obviamente, substancial - o que não possível ainda - de dados, de grandes volumes de dados. E possibilitar utilizar esses dados para esse treinamento é essencial para a própria pesquisa científica contemporânea em todos os sentidos. E aí há muito mais: no cruzamento de dados de múltiplas fontes, numa análise linguística e desse próprio material... Um exemplo de uma análise linguística: nós tivemos aqui algumas das falas não só hoje como ontem nos sistemas de tradução, por exemplo, que nós utilizamos ou que nós podemos utilizar agora muito mais livremente, eles estão muito mais aperfeiçoados. Eles necessitam justamente dessa mineração de textos e dados para análise de sintaxe, análise de conversão e assim por diante. Todas as análises de mídias sociais, tendências e assim por diante necessitam dessa mineração de dados e textos, assim como pesquisas em humanidades digitais... Enfim, é um conjunto infinito de exemplos, crescente a cada dia. Aqui eu trago apenas alguns. Aqui é só para dar um exemplo deste eslaide aí. Se você olhar aqui na medRxiv, há pelo menos 21 mil artigos só sobre covid realizados num período de menos de um ano, publicados.
10:07 R	Impossível qualquer pesquisador fazer essa análise desses conjuntos de artigos, mas, com o auxílio de um sistema de inteligência artificial que possa fazer uma mineração de texto de dados, você consegue fazer uma análise pelo menos das tendências, dos focos principais, dos objetos que vêm sendo discutidos, e assim por diante. Então, a pesquisa científica contemporânea - inclusive a médica, e nós estamos esperançosamente saindo de uma pandemia - foi essencial. Se não houvesse esse tipo de possibilidade, nós não teríamos saído de onde estivemos, de forma razoavelmente rápida. E aqui tem vários usos que são feitos e resultados (Falha no áudio.) ... que necessitam de fazer uso dessa técnica de análise computacional de grandes volumes de dados. Bom, e para voltar a um ponto que é muito importante, esses dados e essas informações sobre determinadas obras, sobre determinado objeto, não são apropriadas pelos direitos autorais, não fazem parte dos objetos dos direitos autorais, inclusive as informações com relação à sua titularidade: quem é dono daquela obra, como eles são partilhados. Mas se essas informações sobre quem é dono dessa obra, qual o seu percentual de participação e assim por diante não são apropriáveis, menos ainda são as dimensões dessa obra, a sintaxe que ela usa, a sequência que ela usa e assim por diante. Isso aí é uma demonstração, é uma decisão recente que mostra claramente como as informações sobre uma determinada obra artística não são alcançadas pelos direitos autorais. No entanto, uma vez organizadas e colocadas em um conjunto, como um banco de dados, elas passam a ser protegidas não como informação em si, mas pela sua organização, pela sua compilação. Desde que, obviamente, no nosso caso, haja algum critério de originalidade. Bom, e aí nós chegamos a um outro ponto. Recentemente - bem recentemente -, a Organização Mundial de Propriedade Intelectual produziu esse relatório sobre direção da inovação. E nessa direção da inovação, como um elemento essencial para a solução de diversos dos nossos problemas, um dos focos foi justamente as tecnologias digitais, como elas são e continuarão sendo essenciais; não só as tecnologias digitais, mas como o papel fundamental da pesquisa para o desenvolvimento dessas soluções, sejam soluções climáticas, soluções médicas, soluções sociais. A essencialidade da pesquisa para o desenvolvimento de tecnologias digitais e para a inovação é muito claro e transparente. Isso ficou mais claro e transparente agora e há um consenso internacional com relação a isso. No entanto, a pesquisa contemporânea não pode ser feita adequadamente sem que nós tenhamos a nossa legislação para fins de segurança jurídica mesmo, para dar segurança e uma limitação nesse sentido. Para além disso - vou pedir mais 30 segundos, só para completar mesmo -, nós temos duas outras questões que se alimentam. Uma delas é a digitalização desse material, para que possa ser feita essa extração desses dados e informações, e também uma abertura e acessibilidade a esses dados e informações. Obviamente não é possível a gente cobrir todos esses assuntos num tempo tão curto, mas a mensagem que eu quero passar para vocês é: essencialidade, urgência de nós termos uma limitação para mineração de texto de dados, sob pena de nós colocarmos na ilegalidade praticamente todas as pesquisas de ponta que se realizam no Brasil, colocarmos sob risco todo o ecossistema de inovação.
10:11 R	Sem essa chave, nós não teremos um ecossistema viável de inovação. Muito obrigado a vocês. Um bom dia a todos nós. O SR. PRESIDENTE (Victor Marcel Pinheiro. Por videoconferência.) - Gostaria então de agradecer ao Dr. Allan Rocha, pela sua exposição; e já, na sequência, passo a palavra para a Dra. Rogéria Leoni Cruz, do Hospital Israelita Albert Einsten. Por favor, Dra. Rogéria, a senhora tem a palavra. A SRA. ROGÉRIA LEONI CRUZ (Por videoconferência.) - Bom dia! Bom dia a todos e a todas, Dr. Fabricio, Dra. Mariana, Laura, Victor e demais painelistas. Eu agradeço imensamente a oportunidade de contribuir nesta discussão representando o setor da saúde, um setor que é um dos mais sensíveis quanto à aplicabilidade da inteligência artificial, em razão das suas possíveis consequências, seja para o bem, seja para o mal, enfim, a gente falou aqui um pouco de responsabilidade. E o que eu queria trazer para vocês é que a saúde é um campo muito explorado na parte de inteligência artificial. Ela pode possibilitar maior precisão, ela pode apoiar diagnósticos, identificar doenças, antecipar eventualmente cenários e também pode monitorar respostas a surtos e de doenças ao redor do mundo. A gente sai aí de dois anos de uma pandemia - e eu gosto de falar que a gente sai, eu sou positiva nesse sentido, enfim -, e nós vimos que, durante a covid, muita coisa foi feita nesse sentido. Possibilitou-se, por exemplo, planejamentos de equipe com o uso da inteligência artificial, você conseguiu fazer planejamento de equipamentos, necessidade de mais hospitais, menos hospitais, equipamentos, materiais, enfim, apoiou a epidemiologia durante muito tempo ali para entender o que estava acontecendo dentro do nosso país e também teve a oportunidade de fazer georreferenciamento, através de outras ferramentas que já existiam, como o Waze. Enfim, houve a possibilidade de você, de alguma forma, trabalhar tudo isso. É importante também destacar que, na área da saúde, ela pode também apoiar a distribuição de recursos públicos, por exemplo, de forma mais inteligente, de forma a coibir, por exemplo, a má judicialização, evitar fraudes. Então, na área da saúde você tem uma amplitude de uso muito grande. Ao mesmo tempo, eu destaco que no início - e deve ser um início muito próximo, porque o tempo ficou muito reduzido - existia aí grande receio, por exemplo, quanto ao uso dessas ferramentas, mas aos poucos foi se compreendendo que a inteligência artificial não vai substituir as pessoas, ela vai aprimorar, ela vai expandir as nossas capacidades e pode nos tornar melhores naquilo que nós sabemos fazer. A autonomia do médico é preservada e sempre será preservada. E a tecnologia na medicina é fundamental, nos equipamentos, nas imagens, apoiando a precisão de diagnósticos; mas eu destaco também que os modelos de inteligência artificial não são testados para qualquer modelo. Nós precisamos ter um olhar crítico para isso. E, quando eventualmente for utilizado, é importante que se considere então o contexto dessa aplicação. Como os algoritmos não explicam qual o racional para se chegar a essa predição de determinada condição médica do paciente, é importante sempre então considerar as consequências, quando as coisas não dão certo. É importante que haja um olhar.
10:15 R	A saúde lida aqui com dados sensíveis. Portanto, a saúde, assim como outros segmentos, claro, é suscetível a maiores erros em si, quando não construído o algoritmo com as variáveis necessárias, primeiro, porque a ferramenta pode não ser tão precisa como deveria e, segundo, porque mesmo que o nível de precisão seja elevado, devem ser consideradas então as inúmeras variáveis. Não diferente disso, o mundo pensa dessa forma, não é? E a Organização Mundial da Saúde, no ano passado, soltou um guia de boas práticas justamente tratando sobre ética e governança de inteligência artificial na saúde. É um guia extenso, de aproximadamente 150 páginas, mas é um guia que tenta trazer essa discussão aprofundando justamente esses pontos importantes. Ter transparência, então, do algoritmo é muito importante; saber as suas variáveis, como o algoritmo aprendeu, enfim, porque isso vai permitir um melhor entendimento do uso desta ferramenta. Além disso, ter dados heterogêneos. E aqui eu chamo a atenção para uma oportunidade que nós temos: o uso eventualmente de banco de dados. Talvez aí trabalhar como a gente pode trabalhar melhor os bancos de dados, como regulamentar isso talvez de forma mais transparente, porque o uso de dados heterogêneos aprimora as nossas ferramentas. O uso ético também de inteligência artificial começa, portanto, no acesso aos dados, na sua seleção, que não deve ser discriminatória. A gente tem visto inúmeros casos, muitas vezes, casos não necessariamente no Brasil, enfim, mas onde você vê algoritmos que não reconhecem, por exemplo, pessoas de outras raças ou alguma outra situação, havendo aí então uma condição discriminatória. Há, portanto, obrigatoriedade de se fazer uso do modelo de forma responsável. E isso envolve conhecimento das suas características e compreensão do seu uso. Mais uma vez eu digo que a necessidade de compreender a finalidade daquela inteligência artificial é fundamental para o seu uso adequado. Não adianta nada a gente conseguir algo, por exemplo, na área de tuberculose se as imagens que foram utilizadas não são imagens de qualidade, por exemplo, nítidas; você vai induzir o seu algoritmo a aprender de forma equivocada. A importância, portanto, da Lei de Proteção de Dados e do Quality by Design cada vez mais é percebida pelas organizações responsáveis. A questão de adesão aos requisitos da Lei de Proteção de Dados, você identificar se há ou não dados ali sensíveis, como eles foram tratados, se foram tratados. Enfim, é cada vez mais importante reduzirmos essa distância que existia entre a execução de desenvolvimento de um algoritmo, de uma inteligência artificial, e a adesão às boas práticas. Há necessidades, sim, de as áreas estarem ali numa governança múltipla. Não há um dono, é um programa e todos devem trabalhar neste sentido. Lembro que a saúde trabalha com dados importantíssimos, e por isso eu fiquei feliz com o convite, porque é um dado sensível, é uma área sensível e é onde nós temos muitas oportunidades de ganho com a precisão dessas ferramentas. Portanto, lembrando que os dados genéticos não são passíveis de serem anonimizados, e aí é uma grande discussão.
10:19 R	Eu coloco aqui que - e eu não quero me alongar muito para permitir essa discussão, que é muito rica, com os painelistas - o médico, hoje, se apoia em ferramentas. Portanto, precisa existir responsabilidade no seu desenvolvimento. O desenvolvimento de um algoritmo deve ser ético, responsável, em razão do alto risco que ele traz quando não bem utilizado. É diferente de um algoritmo desenvolvido para induzi-lo na escolha de um filme, ou para você ouvir uma determinada música. Aqui, nós estamos falando do bem maior, que é a vida, que deve ser tutelada por nós. O avanço da tecnologia é irreversível. Portanto, nós temos que garantir transparência, ética e responsabilidade no seu desenvolvimento e no seu uso. Eu finalizo, destacando aqui seis princípios da Organização Mundial da Saúde quanto ao desenvolvimento de inteligência artificial: que ela proteja a autonomia humana; que promova bem-estar e segurança humana em interesse do público; que garanta transparência, inteligibilidade e explanabilidade; que promova a responsabilidade identificada; promova inclusão e equidade; e, por fim, que promova uma inteligência artificial responsiva e sustentável. Obrigada. A SRA. PRESIDENTE (Mariana Giorgetti Valente. Por videoconferência.) - Agradeço muito, Dra. Rogéria. Eu vou tomar a palavra, então, para começar a conduzir os debates. Vou fazer duas perguntas curtas aos participantes - acredito que o Victor também vá fazer uma pergunta - e, depois, a gente pode abrir também para as perguntas que venham de outros membros. A gente sabe aqui que o Fabricio da Mota já tem também uma pergunta a fazer. Vou colocar uma pergunta transversal para ouvir vocês. Muitos de vocês falaram dos benefícios da inteligência artificial nas respectivas áreas de atuação; alguns de vocês mencionaram também riscos e a necessidade de diferenciação de riscos; e também veio o tema de tecnologias sendo empregadas para a diminuição das desigualdades. A pergunta é: como uma lei pode melhor abordar questões como assimetrias de informações, vieses de julgamento e possibilidade de discriminação, heterogeneidade nos dados - que a Dra. Rogéria mencionou agora - e questões de segurança e proteção à vida? Então, concretamente, como esses riscos podem ser abordados ou essas questões podem ser abordadas em uma legislação? E aí vou só embutir uma questão, porque eu creio que isso não tem muita relação com a fala principalmente do Prof. Allan, que falou de um outro tema. Eu gostaria de saber, Prof. Allan, como você vê a disposição que entrou, então, no PL 2.120, a respeito dessa atividade da mineração de dados, que não se relaciona com direitos autorais, e se essa e outras questões, como a propriedade sobre produtos de inteligência artificial, por exemplo, devem estar numa lei neste momento? E aproveito para colocar a questão sobre se os demais participantes têm alguma posição também sobre esses tópicos trazidos, tentando juntar as diferentes falas que foram feitas. Passo a palavra aqui para o meu colega Victor Pinheiro. O SR. PRESIDENTE (Victor Marcel Pinheiro. Por videoconferência.) - Obrigado, Dra. Mariana.
10:23 R	Eu queria agradecer a todos os palestrantes especialistas, que fizeram contribuições muito importantes aqui para a reflexão da Comissão. Eu tenho uma pergunta pontual, para aproveitar a expertise dos senhores e das senhoras que compareceram hoje aqui. Um tema que é fundamental nesse debate, pontuado basicamente em todas as falas que nós temos recebido aqui na Comissão, é a questão da transparência e a possibilidade de explicação para aquela pessoa que tem seus interesses afetados por um sistema de inteligência artificial do porquê de aquela decisão ou aquela sugestão ser oferecida a ela naquele momento. E aqui eu acredito que nós temos uma oportunidade muito interessante de contar com pessoas que atuam de modo muito próximo nos setores específicos de aplicação de sistemas de IA, especialmente consumo, especialmente automação industrial e área da saúde, no sentido de que... No Brasil, eu acho que a nossa Lei do Cadastro Positivo, em 2011, e depois a jurisprudência do STJ - o nosso Ministro Presidente Cueva muito bem conhece - foram responsáveis por alguns avanços em termos, especialmente, de uma questão dos chamados profilings, ou seja, da categorização de pessoas em certos padrões de consumo e de comportamento social, que é um dos grandes temas candentes na regulação da IA. E isso obviamente se relaciona diretamente com a possibilidade de explicar para as pessoas o porquê de elas serem enquadradas nessa ou naquela outra categoria para fins de definição do seu perfil comportamental. Então, especialmente à Dra. Samanta, à Dra. Mariane, que trabalham diretamente com setores que têm experiência nisso, eu questiono se há, enfim, algum aspecto que gostariam de destacar da experiência do setor, com a Lei do Cadastro Positivo e essa possibilidade de explicação dos scores e dos profilings, para que nós possamos aproveitar a reflexão na Comissão sobre a possibilidade de explicação e transparência desses sistemas para as pessoas que são por eles afetadas. Com essa pergunta, eu vou passar a palavra ao Dr. Fabricio, que tem um questionamento também. Dr. Fabricio, como o senhor está presencialmente aí no Senado, se algum outro colega da Comissão tiver um questionamento, eu peço para passar-lhe a palavra para fazer o questionamento. O SR. PRESIDENTE (Fabricio da Mota Alves) - Muito obrigado, Dr. Victor e Dra. Mariane. Antes, porém, de formular o meu questionamento, faço apenas um alerta aos participantes, aos painelistas, em relação à apresentação: caso tenham ou tenham tido apresentação da qual se valeram, por gentileza, não deixem de encaminhá-la para o e-mail da Comissão: cjsubia@senado.leg.br. Muito obrigado. Registro aqui a presença da Relatora, a presença virtual da Relatora, Profa. Laura Schertel, que nos brinda aqui com a sua participação e o seu acompanhamento aqui dos trabalhos. O meu questionamento é orientado aqui para o Dr. Gustavo e a Dra. Rosilda, em relação a um ponto que ele abordou. E, novamente, muito embora saiba que teremos um painel especificamente sobre essa temática, ela é de tal relevância que os painelistas têm trazido essa questão espontaneamente. Ela diz respeito exatamente ao aspecto da regulação e fiscalização, que é algo extremamente tormentoso em relação a como nós vamos desenvolver os instrumentos adequados para assegurar a eficácia e a aderência da norma. É uma norma de tal relevância que afeta direitos extremamente valiosos, e temos de enfrentar esse debate.
10:27 R	O Dr. Gustavo nos trouxe aqui a questão em relação à preocupação que ele manifestou, sobretudo em função da necessidade - e ele usou a LGPD como referencial -, de se desenvolver uma proposta de regime de sanções administrativas, uma proposta de fiscalização muito semelhante ao que está disposto na legislação de proteção de dados. Eu, enfim, já abordei essa questão e tive o privilégio, também, de participar de um painel, a convite da Profa. Laura em Lisboa, de que participaram a Profa. Dora Kaufman e o Prof. Domingos Farinho, Professor da Universidade de Lisboa. E ele trouxe uma colocação muito interessante, para além da discussão de um órgão de fiscalização e de regulação, da necessidade de sempre enfrentarmos, no desenvolvimento da política legislativa, com a qual nós estamos lidando, a visão de que, se não enfrentarmos essa questão, fatalmente o Judiciário irá fazê-lo, e da pior forma que se pode imaginar num espectro de resultados sociais, que é se arvorando de atribuições de regulação e de fiscalização, que não lhe competem numa visão de essência. Então, eu gostaria de ouvir a sua posição em relação a essa questão, já traduzindo essa preocupação para o ambiente jurisdicional, o ambiente da atuação judicial. Era basicamente isso. Muito obrigado, Profa. Mariana e Prof. Victor. (Pausa.) O SR. PRESIDENTE (Fabricio da Mota Alves) - Desculpe-me, eu estava concentrado no painelista nosso colega presente. A Dra. Estela, que é membro da Comissão, levantou a mão, e eu vejo também que a Dra. Samanta registrou interesse em se pronunciar. Então, vou passar a palavra à Dra. Estela para que ela faça suas considerações. Obrigado. A SRA. ESTELA ARANHA (Por videoconferência.) - Bom dia a todos e a todas! Enfim, são temas muito ricos e complexos, então há várias perguntas, e eu queria entender um pouco mais, mas vou me concentrar no tema de mineração de dados, que, enfim, é um tema novo trazido aqui na Comissão. Eu também tenho uma série de questões em relação a isso, para entender mesmo melhor a proposta, até porque eu brinco dizendo que vim de anos de trabalho na mineração física, então essa história da mineração digital também me interessa. É óbvio que tem a questão, hoje, de acesso a dados, e a questão tanto, enfim, de propriedade intelectual, quanto de propriedade industrial ou de estar em mãos de empresas, independentemente de estarem licenciadas nesses regimes... É um problema muito grave para a pesquisa, para o desenvolvimento tecnológico, para o desenvolvimento industrial, para o crescimento de startups. E eu acho que é um ponto de que nós temos que falar, inclusive, essas questões de licenciamento de dados intensivos, agora ainda mais com o 5G, senão a gente não tem o desenvolvimento da inteligência artificial. Isso é muito importante. Então, eu queria, por um lado, saber um pouco também sobre esse debate, se é o caso de se falar disso. E outra coisa são algumas dúvidas sobre a mineração digital, pensando em alguns problemas. Por exemplo, é claro que a gente não está falando que vai atingir o direito econômico de quem tem o direito autoral, mas existem ganhos financeiros e econômicos, e, obviamente, hoje, a gente já conhece o poder de extração de quem tem capacidade computacional, e, obviamente, isso vai gerar danos financeiros e econômicos. Então, eu tenho muito problema com essa concentração - a gente tem uma concentração de capacidade computacional -, em como limitar esse acesso. Outra coisa: a internet também ainda é um recurso finito. A gente tem uma disponibilidade de acesso ainda pequena. Com o 5G, vai aumentar, mas a gente está trabalhando ainda com recursos finitos, e aí a mineração também interfere nessa disponibilidade de infraestrutura que nós temos. A outra questão é a questão ecológica. A gente sabe que, hoje, as técnicas que usam a mineração para outras questões, não as que foram colocadas aqui, mas de cripto, entre outras coisas, têm questões de vestígios ecológicos ou de impactos ecológicos muito grandes. Como a gente trabalha se for colocar isso em outra escala? A minha preocupação... É claro, entendo e acho que é muito importante a necessidade da pesquisa e desse acesso para a pesquisa, para o desenvolvimento geral, para o desenvolvimento da pequena e média empresa, estou de acordo, mas eu justamente tenho medo dos grandes negócios, da capacidade computacional muito grande e de como funcionaria um sistema com equilíbrio, para impedir esse tipo de coisa. Então, é mais ou menos isso que eu queria entender.
10:31 R	Enfim, é muito pouco tempo para a gente conhecer, e para mim é um assunto absolutamente novo. Pode ser que outros membros da Comissão tenham mais domínio e já tenham essas perguntas respondidas, mas é um assunto que eu comecei a ver justamente nesta sessão. Por isso vieram essas curiosidades. O SR. PRESIDENTE (Fabricio da Mota Alves) - Agradeço, então, à Profa. Estela Aranha os seus questionamentos. Eu vejo aqui que a Dra. Samanta tem a mão levantada. Dra. Samanta, eu faço a proposta, que temos seguido aqui na Comissão, de passar a palavra a todos os membros do painel, se a senhora concordar, para que todos tenham a possibilidade de fazer as suas considerações finais, infelizmente, no período de mais ou menos três minutos, porque temos a hora dos nossos trabalhos. Podemos fazer assim? A SRA. SAMANTA OLIVEIRA (Por videoconferência.) - Podemos, sim. O SR. PRESIDENTE (Fabricio da Mota Alves) - Perfeito. Então, maravilha. Seguindo a ordem das apresentações, eu gostaria de passar a palavra à Dra. Rosilda e ao Dr. Gustavo, para suas considerações às perguntas e considerações finais, se possível, no período curto de três minutos. Por favor, Dra. Rosilda e Dr. Gustavo. O SR. GUSTAVO XAVIER DE CAMARGO - Muito obrigado, Dr. Victor. Bom, respondendo à questão do Dr. Fabricio, realmente, eu acredito que a posição do Prof. Farinho faz muito sentido, porque, se a gente tiver um sistema sem segurança jurídica, os custos de investimento também aumentam. Então, a segurança jurídica é fundamental para que se tenha um ambiente de produção tecnológica que incentive a inovação e que também garanta os direitos fundamentais. Quando a gente fala de uma construção jurisprudencial, a gente fala de um grande tempo de estabilização do entendimento. Uma atuação regulatória mais forte permite que esse tempo de estabilização de entendimento com relação à legislação diminua. E, diminuindo esse tempo, você aumenta a segurança jurídica. Então, é fundamental que a legislação traga um ambiente bastante claro tanto sancionatório quanto de fiscalização e de aplicação de sanções. É fundamental que se estabeleça quem são os órgãos que ficarão responsáveis por esse processo, até porque existe também uma questão de esclarecimento dos órgãos de regulação, num papel que vem sendo muito bem-feito pela ANPD, pela Autoridade Nacional de Proteção de Dados. É um papel de esclarecer e de deixar mais claro, de diminuir arestas. Então, ter um ambiente regulatório e uma organização regulatória clara permite também que os órgãos de regulação tenham essa postura participativa no processo de definição dos entendimentos com relação ao texto legal. O SR. PRESIDENTE (Fabricio da Mota Alves) - Um pequeno comentário, Dr. Victor e Dra. Mariana, moderadores aqui do nosso painel, não somente esclarecimento dos órgãos, mas, sobretudo, capacitação dos servidores e das autoridades que efetivamente vão atuar nesse órgão. A gente tem que se lembrar da importância dessa proposta de capacitação do Estado.
10:35 R	E aí eu uso emprestado até um pouco da fala da Dra. Mariane Schettert, que trouxe a necessidade, muito embora com um olhar voltado à população no aspecto geral, mas eu destaco dentro desse olhar a importância de capacitação de agentes do Estado para o enfrentamento dessas questões por esse viés. Acho que a Dra. Rosilda quer fazer um comentário. A SRA. ROSILDA PRATES - Isso! Dr. Fabricio, há uma preocupação grande quando a gente constrói políticas públicas quanto à sua execução, ao seu acompanhamento e aos resultados dela. Como uma agenda nova - digo nova porque nos últimos cinco anos isso se tornou uma necessidade -, se nós não nos preocuparmos agora com a capacitação, a preparação desses jovens, daqui a 10, 15 anos eles estarão sentados aqui para estabelecer políticas e estabelecer regulamentos que disciplinem esse novo ambiente. Então, acho que faz todo sentido a preocupação que a Dra. Mariane trouxe de termos na legislação a preocupação de incluir nos jovens, incluir na educação essa preocupação de preparação para essa nova tecnologia, esse novo ambiente de gestão, de governança de dados. Acho que faz todo o sentido. O SR. PRESIDENTE (Fabricio da Mota Alves) - Obrigado. Até registro aqui a importância de receber o ofício que a Dra. Mariane nos trará, através do OPS, para direcionar o Ministro Cueva e a Profa. Laura no sentido de apensar os projetos sobre os quais esta Comissão está tratando ao projeto também que institui a Política Nacional de Inteligência Artificial, que está tramitando apartadamente. Bom, Dr. Victor, vou devolver-lhe a palavra para que faça a condução - acho que a Dra. Samanta teria algo a acrescentar -, e aí, enfim, conduzimos aqui ao encaminhamento do painel. O SR. PRESIDENTE (Victor Marcel Pinheiro. Por videoconferência.) - Perfeitamente. Sem mais delongas, eu passo imediatamente à Dra. Samanta Oliveira. A SRA. SAMANTA OLIVEIRA (Por videoconferência.) - Obrigada, pela palavra. Eu sei que o tempo é curto, então eu vou só sintetizar o que eu iria responder aqui sobre as duas perguntas que foram formuladas pela Dra. Mariane e pelo Dr. Victor. Com relação à responsabilidade da base de dados, eu queria só mencionar rapidamente - depois eu posso apresentar o material com mais fundamentos - que já há uma discussão sobre governança, ética e transparência da base de dados dentro do MCTI, conduzido ali pelo Ebia, e inclusive a possibilidade de uma formação única da base de dados para eventuais testes, da qual os setores poderiam se alimentar e em que poderiam fazer a inclusão. Isso propiciaria, inclusive, a inserção de dados que fossem diversos, inclusivos e permitissem aí esse trabalho, reduzindo riscos, mitigando eventualmente potenciais vieses. Mas é uma discussão bastante longa. Eu só queria lançar a ideia aqui. E o segundo item que eu gostaria de falar é, na pergunta do Dr. Victor, sobre a transparência algorítmica dos scores e a Lei do Cadastro Positivo. Atualmente, tanto IPs como IFs precisam apresentar essas informações para os gestores de bancos de dados, e aqui eu estou falando dos GBDs, como Quod, Serasa e similares, esse setor como um todo. Existe um manual em que as empresas ali precisam depositar informações que são previamente estabelecidas. É com base na leitura desse relatório, que tem uma linguagem unificada, centralizada pela Sipe, que os GBDs fazem as suas modelagens algorítmicas. Então, está aí também uma janela de oportunidades nesse sentido. De novo, quero somente lançar a ideia, porque sei que o tempo é escasso e outros participantes convidados também desejam a palavra. Muito obrigada pelo espaço. Parabéns à Comissão de Juristas pelo belíssimo trabalho desenvolvido.
10:39 R	O SR. PRESIDENTE (Victor Marcel Pinheiro) - Obrigado, Dra. Samanta. Então, na sequência, a Dra. Mariane. A SRA. MARIANE SCHETTERT (Por videoconferência.) - Bom, eu... (Falha no áudio.) ... do Dr. Allan, complementado pela Dra. Samanta, com relação à mineração de dados. São os dados que vão nos dar o caminho de onde a gente pode chegar. Quanto ao ponto sobre criticidade e aplicação de riscos, falado pela Dra. Rosilda: nós temos, sim, que olhar para isso, porque os riscos têm que estar de acordo com a aplicação. A Dra. Rogéria falou de um ponto muito importante e que me fez pensar aqui que a IA não vai ter solução para tudo, a IA vai ter que servir de apoio. O que é que a IA não consegue fazer, e foi o que ela falou? Isso para mim foi um ponto muito importante aqui: ela não consegue explicar o racional das suas respostas. Então, se ela não consegue, ela não consegue pensar como nós. Então, isto é um ponto importante para a gente pensar: ela não consegue tomar decisões éticas e não consegue, no nosso caso aqui de serviços, ter empatia para se colocar no lugar do consumidor. Então, são esses três pontos. Eu gostaria que a gente trabalhasse e refletisse sobre eles. Essa é a minha contribuição. Muito obrigada. A SRA. MARIANA GIORGETTI VALENTE (Por videoconferência.) - Obrigada, Dra. Mariane. Você pode assumir, Dr. Fabrício. (Pausa.) Eu vou, então, passar aqui para o Dr. Allan Rocha, seguindo a ordem. O SR. ALLAN ROCHA DE SOUZA (Por videoconferência.) - Vou ser o mais breve possível. Obrigado pelas perguntas, Profa. Estela, e pelos comentários, Profa. Mariane. Obviamente, em três minutos, eu não vou conseguir responder e tirar essas dúvidas sobre mineração de dados e texto, mas o que eu posso dizer é que é uma prática onipresente e necessária, mas o debate é extremamente escasso, é inversamente proporcional à sua prática. Então, isto é uma coisa de que precisamos, sim: aprofundar o debate, no sentido do conhecimento. Isso faz parte desse processo de educação de que a própria Mariane falou, em breve. É essencial esse processo como um todo, mas a gente tem tentado levar as pesquisas nesse sentido e trazendo algumas reflexões de fora. Bom, respondo bem pontualmente. Com relação à capacidade computacional, eu vejo que a mineração ou uma limitação de mineração de textos e dados, justamente, permite, impede ou promove um ambiente de maior equilíbrio, porque permite, justamente, que evitemos essa superconcentração de poder em determinados grupos específicos, que, aí, podem usar o seu poder de domínio de mercado para, enfim, eventualmente, chegarmos a um caso até de abuso de poder, uma superconcentração, práticas anticoncorrenciais etc. A mineração evita justamente isso. Ela permite que tanto os pequenos como os grandes utilizem esses mesmos dados para tentar, justamente, promover a elevação, avançar, dar passos além. É claro que isso aí eu posso explicar mais detalhadamente em uma outra oportunidade que nós tivermos, estou à disposição para isso. Bom, com relação ao impacto ambiental, a mineração de dados e textos é diferente da blockchain. Ela não usa a da criptomoeda etc., onde concentra-se boa parte dessas questões. A mineração de dados não utiliza blockchain, é apenas uma prática de análise computacional de um grande número de dados, não de você fazer um tracking, um roteiro de onde cada item foi; então, eles não são necessariamente a mesma coisa e não têm necessariamente o mesmo impacto.
10:43 R	Então, com relação ao ambiental, claro, podemos também explorar melhor, mas só para aliviar um pouco a sua apreensão: não, não é a mesma coisa que a criptomoeda e não tem o mesmo impacto que um blockchain teria na sua sequência, até porque não tem um registro de cada operação. Não é essa a finalidade da mineração dos dados e texto; na verdade, no fundo, ela seria sinônimo de uma análise computacional de um grande volume de dados, espaços diversos para poder conectá-los e organizá-los para buscar tendências, padrões e assim por diante. Estou tentando ser o mais rápido possível aqui. Com relação ao artigo, à redação do artigo: primeiro eu quero parabenizar o fato de terem entrado nessa questão no projeto porque, senão, no que se quer, em várias outras iniciativas de promoção da inovação, o plano de estratégia da inovação, de TI... Nada disso entrou, e acho importante ter entrado. No entanto, a redação pode sim, pode e deve, ser melhorada nesse processo. Eu irei fazer uma contribuição à consulta pública, mas posso também encaminhar via ofício para a Comissão algumas sugestões e algumas ponderações a esse respeito. Quem tiver outras perguntas também posso incluir nisso sem problema algum. Sim, o artigo foi muito bom no sentido de abrir essa discussão e trazer isso para dentro. Ele é melhor do que o que nós temos, que nós não temos nada, mas ele pode, sim, e deve, ser melhorado nesse processo de apuração, de depuração de algumas das questões. Por outro lado e para encerrar, esse é um tema, ao contrário de outros aspectos da inteligência artificial, que no mundo já está bastante maduro. Nós vimos ali por aquele mapa como nós e o resto da América Latina estamos atrasados. Então, isso não é um tema que seja tão impreciso ou ainda não discutido ou imaturo, como alguns outros aspectos da regulação da IA. Eu ainda recomendaria que esse tema, esse especificamente, essa limitação, virasse quase que um spin-off e tivesse uma regulação própria e até mais rápida e urgente. Eu acredito que ele sobrepõe, que seja de interesse muito amplo da sociedade e está mais maduro que vários outros aspectos da regulação da IA e poderia, então, já ser regulado, isso já ajudaria bastante, tiraria uma enorme quantidade de pesquisadores e de startups da sombra da ilegalidade. E, para complementar, eu posso lhe garantir, até pela minha prática pessoal de pesquisa e de relações comerciais, que, em muitos dos acordos internacionais de pesquisa e convênios de que muitos de nós participamos, nós, brasileiros, acabamos perdendo espaço porque a mineração de dados não pode ser feita aqui no país. Então, esse processo de mineração e análise computacional dos dados acaba sendo feito em outros países com os quais nós temos algumas parcerias, mas quem de fato faz esse processo acaba sendo um pesquisador em Singapura, um pesquisador na Coreia, um pesquisador no Japão, um pesquisador nos Estados Unidos. Claro, nós acabamos obtendo resultado e compartilhando a análise daquele resultado, mas nós não somos aptos a fazer formalmente por conta da sombra dessa ilegalidade. Trazer isso para a legislação é fundamental se nós queremos ter uma pesquisa brasileira desenvolvida em todas as áreas com tecnologias digitais como um todo. É isso. Fico à disposição para outros esclarecimentos. O tempo não permite mais agora um assunto que... (Falha no áudio.) Obrigado. A SRA. MARIANA GIORGETTI VALENTE (Por videoconferência.) - Passo rapidamente, então, para a Dra. Rogéria fazer as suas considerações finais. A SRA. ROGÉRIA LEONI CRUZ (Por videoconferência.) - Mariana, vou ser bem breve e vou em direção à sua provocação: o que nós poderíamos eventualmente estar propondo, o que fazer, como definir?
10:47 R	Acho que a primeira coisa seria definir, então, limites para a utilização de soluções baseadas em inteligência artificial, no sentido de garantir meios para entendimento de quais informações foram relevantes para o resultado do seu uso. Segundo: talvez estabelecer condições de manutenção das suas propriedades ao longo do tempo e, consequentemente, supervisão e monitoramento de eventuais efeitos adversos decorrentes do seu uso. Pautar, talvez, ações regulatórias no uso de inteligência artificial e promover condições seguras do uso de dados durante o seu desenvolvimento. Também estabelecer meios de avaliar o impacto da interrupção de uso ou depreciação do seu desempenho. Por exemplo: se, ao longo do tempo, aquela inteligência perdeu a sua precisão. E, por fim, gerar talvez elementos que permitam manter o potencial criativo, de maneira inclusiva, na sociedade. Acho que hoje às vezes isso fica restrito a grandes corporações, não é? Mas talvez permitir que essa criação, essa criatividade hoje possa ser mantida. Agradeço a oportunidade e permaneço à disposição desta Comissão. O SR. PRESIDENTE (Fabricio da Mota Alves) - Bom, não havendo mais painelistas e membros que queiram fazer uso da palavra, eu encerro este painel, bastante profícuo e muito assertivo. Peço apenas um minuto para o desfazimento da mesa, porque temos convidados aqui do painel seguinte que estarão presentes aqui conosco. Apenas um minuto de intervalo. Obrigado. (Pausa.)
10:51 R	O SR. PRESIDENTE (Fabricio da Mota Alves) - Declaro aberto o próximo painel. Vou passar a palavra aos moderadores, Dr. Thiago Sombra e Dr. Bruno Bioni, para que façam a condução dos trabalhos. O mesmo tempo regimental para todos os participantes, a mesma ordem dos trabalhos. Eu agradeço. Então, o Dr. Bruno e o Dr. Thiago têm a palavra. Obrigado. O SR. BRUNO JORGE (Por videoconferência.) - Boa tarde a todos e todas! Gostaria de agradecer a presença de todos os painelistas, dos convidados e das convidadas que estão acompanhando mais uma rodada, mais uma painel de discussão, desta vez sobre o tema experiências setoriais, segurança pública, execução de políticas públicas, inovação na indústria, transformação digital nas empresas e proteção a crianças e adolescentes. Vou moderar este painel com o colega e também membro da Comissão de Juristas Thiago Sombra, a quem franqueio a palavra para a gente poder iniciar os trabalhos, considerando 15 minutos de exposição para cada participante. O SR. THIAGO LUÍS SANTOS SOMBRA (Por videoconferência.) - Obrigado Bruno, obrigado a todos. Primeiramente quero agradecer a presença e o interesse em colaborar. Nós temos aqui alguns painelistas. Em primeiro lugar, apenas para anunciar a sequência dos trabalhos, ouviremos o Dr. Pedro, depois a Dra. Crisleine, depois o Dr. Pablo Nunes, a Dra. Jaqueline e o Dr. Sergio Paulo Gallindo, nessa sequência. Ao final vamos ter uma rodada de perguntas e a oportunidade de cada um poder endereçá-las. Acredito que, sem mais delongas, podemos começar com o Dr. Pedro Hartung. O SR. PEDRO HARTUNG - Bom dia a todas e todos! É um prazer, em nome do Alana, representar aqui a nossa organização, que atua pela defesa e promoção dos direitos de crianças e adolescentes no Brasil, inclusive dos direitos digitais em diferentes perspectivas, inclusive a proteção contra toda forma de exploração comercial no ambiente digital. A missão de que fui incumbido aqui... Antes disso, gostaria de agradecer o convite da Comissão, nas pessoas do Dr. Fabrício, do Dr. Bruno Bioni e de todos aqueles que nos acompanham, para que a gente possa fazer uma discussão - nessa missão que nos foi trazida - sobre como entender a criança, os seus direitos, no ambiente digital e no ambiente da inteligência artificial e suas aplicações. Preliminarmente é importante a gente destacar que, quando se fala de direitos de crianças e adolescentes e inteligência artificial, a gente não está falando somente de produtos e serviços que crianças utilizam ou que são tipicamente do universo infantil, como brinquedos conectados, como, por exemplo, assistentes pessoais ou chatbots que crianças utilizam, reconhecimento facial e identificação biométrica em escolas.
10:55 R	Nós vamos falar aqui sobre todo o ecossistema tecnológico que se utiliza de ferramentas de inteligência artificial e suas aplicações que estejam no entorno ou que impactem, direta ou indiretamente, crianças no seu cotidiano, inclusive sobre todas as mídias digitais, as novas tecnologias de informação e comunicação, como também a internet das coisas, porque as crianças transitam nas smart cities, estão dentro dos lares onde tem objetos conectados o tempo inteiro. Então, pensar sobre criança não é pensar somente numa realidade, entre aspas, "tipicamente infantil", mas é entender como o ecossistema tecnológico de inteligência artificial impacta o indivíduo que está numa fase peculiar do desenvolvimento. E aqui esta é a grande mensagem: uma criança e um adolescente não são um indivíduo qualquer e por isso que receberam da nossa legislação uma proteção especial e integral. Crianças e adolescentes são indivíduos que estão numa fase peculiar do desenvolvimento. Eles estão num momento tão sensível do desenvolvimento biopsíquico e emocional - inclusive, biologicamente, é um dos períodos de maior plasticidade cerebral do desenvolvimento humano - que a nossa preocupação como sociedade, inclusive sociedade tecnológica e de dados, é nos preocupar, em primeiro lugar, com esses indivíduos, porque eles são mais vulneráveis. Outro ponto fundamental: por que falar de criança numa discussão de inteligência artificial? Crianças representam um terço dos usuários de internet no mundo e no Brasil. Isso é muito significativo. Elas são um terço da população brasileira, e eu fico impressionado como elas são sub-representadas em todas as discussões políticas, mas fico feliz que a Comissão tenha incluído a criança como um ponto focal aqui, porque elas são 33%, no mínimo, de crianças e adolescentes no nosso país e representam um terço de usuários da internet no mundo, que só vêm crescendo. Quanto mais nova a geração, mais usuários e mais cedo elas se tornam. E um terceiro ponto fundamental quando a gente fala de criança: todas as tecnologias impactam crianças de uma forma ainda mais grave, justamente pela sua vulnerabilidade. Sem dúvida que nós do Alana acreditamos em estratégias tecnológicas para apoiar o desenvolvimento dos indivíduos, especialmente crianças, e vemos muitas oportunidades para a inteligência artificial compor esse apoio do bem-estar e dos direitos e garantias de crianças e adolescentes, como, por exemplo: auxílio no desenvolvimento em processos educativos de crianças, especialmente de crianças com deficiência, apoiando uma educação personalizada, com tecnologias assistivas; benefícios de saúde, como já foi muito bem falado antes no diagnóstico médico e predições com maior acuidade; combate à desigualdade pela proteção de vulnerabilidades; e reforço positivo de oportunidades. Sem dúvida, essas tecnologias e a inteligência artificial têm um poder muito grande para revolucionar algumas áreas da nossa sociedade, inclusive diminuindo a distância social, as desigualdades, esse abismo social em que, infelizmente, o Brasil ainda vive. Contudo, não é essa a aplicação que nós temos visto desse tipo de tecnologia de inteligência artificial. Infelizmente, o que ocorre hoje em dia e o cenário da inteligência artificial, o uso dela no mundo, desse recurso no mundo, está atrelado ao modelo de negócio típico do universo digital que é a exploração comercial dos usuários, nesse caso, de crianças, especialmente pela sua massiva presença no digital - um terço delas, como eu já bem falei -, e do seu comportamento e dados pessoais. Então, ao invés de utilizarmos a inteligência artificial para a promoção de direitos e apoio ao desenvolvimento humano, nós temos visto o uso da inteligência artificial para a exploração comercial dentro de uma lógica de negócio, de um modelo de negócio típico do universo digital de grandes empresas de tecnologia e que tem um impacto significativo no desenvolvimento humano, especialmente no desenvolvimento humano numa parte que é a mais sensível, que é a infância e a adolescência.
10:59 R	E, aqui, destaco quatro grandes áreas desses impactos negativos - e, repito, nós não queremos proteger a criança da internet, da inteligência artificial; nós queremos proteger a criança na internet e dentro da lógica e das aplicações da inteligência artificial. Vou destacar aqui os efeitos negativos, porque isso nos ajuda a ter uma regulação adequada desse espaço, nos ajuda a entender como isso atravessa as vivências de infâncias e adolescências no Brasil. O primeiro ponto: modulação comportamental, especialmente utilizada para uma modulação comportamental para o consumo. Nós sabemos que, hoje, a inteligência artificial é utilizada para microssegmentação publicitária, o que permite que crianças, desde pequenas, sejam endereçadas por mensagens comerciais altamente persuasivas, muito segmentadas a determinado cluster de crianças e desejos de idades, para permitir uma maior persuasão. E isso traz uma modulação comportamental especialmente voltada ao consumo. Além disso, o que se impacta aqui, primeiro, é o direito de a criança ser protegida contra toda forma de exploração comercial e as suas próprias liberdades. Uma liberdade, já que estamos falando de direitos fundamentais, a liberdade de escolha, não pode ser ameaçada por uma alta persuasão de uma estratégia muito bem feita, muito bem pensada e mecanizada para o convencimento de determinados públicos, utilizando-se das suas vulnerabilidades pessoais, que são os dados pessoais, muitas vezes sensíveis, inclusive. Além disso, a formatação das informações que as crianças recebem. Então, a inteligência artificial, muitas vezes, formata a forma como a criança acessa as informações, o que gera uma percepção de mundo, muitas vezes, enviesada ou não gera uma diversidade de informações tão necessária para o desenvolvimento infantil. Quando a gente fala de criança e adolescente, a gente precisa garantir uma diversidade de informações para que elas próprias possam ter uma visão de mundo mais completa, mais dialógica inclusive. Além disso, oportunidades que podem ou não acessar. Decisões automatizadas por meio de inteligência artificial podem diminuir a diversidade de informações - e, por sua vez, as oportunidades que crianças encontram no seu cotidiano - e podem impactar não só o acesso à educação, mas acesso ao trabalho, enfim, até opções de cuidado, de autocuidado. E, por fim, os impactos na privacidade desses indivíduos, como já foi muito bem falado por outras pessoas antes de mim - não vou investir tempo nisso -, e impactos no seu desenvolvimento biopsíquico e emocional. Especificamente, quando a gente fala de inteligência artificial, a gente pode destacar, portanto, a questão da exploração comercial, feita pela publicidade microssegmentada; a discriminação e a exclusão sistêmica e automatizada por meio de vieses... E a gente sabe que esse já é um debate grande, mas, quando a gente fala de criança, isso fica ainda mais exacerbado, porque a criança, por estar nesse momento muito sensível do desenvolvimento humano, algoritmos com discriminação já embutidos, que tenham um viés específico na sua construção, podem gerar uma percepção de mundo que tem muito mais probabilidade de perdurar ao longo da vida do que para a gente, que já tem uma capacidade crítica maior da realidade. Uma criança que recebe esse tipo de estímulo enviesado da realidade, como estímulos com relação a racismo, machismo ou outras formas de percepção do mundo, têm uma propensão muito maior de carregar esse comportamento, essa visão de mundo se não for feita, realmente, uma diversidade e um processo de educação. Mais uma vez, é o que a gente não tem visto: o uso dessas tecnologias para apoiar um modelo mais diverso e mais centrado no ser humano, nos seus direitos de inteligência artificial.
11:03 R	Além disso, limitações das oportunidades, das análises preditivas e perfis baseados, utilizados por inteligência artificial com relação à moradia, trabalho, saúde, escola. A gente sabe, por exemplo... Inclusive, recentemente, a gente viu no Reino Unido crianças que se rebelaram, fizeram protesto nas ruas contra o algoritmo utilizado pela escola para gerar a nota que elas receberam para aplicação depois para a universidade. Então, isso já está acontecendo, as crianças já estão sendo afetadas nesse tipo de decisão séria para as vidas dessas pessoas, com relação à universidade, com relação a acesso à educação e, futuramente, ao trabalho. Imaginem só: nós não fomos uma geração que teve a infância registrada na internet. Imaginem essas crianças, o uso dessas informações, desses dados pessoais no futuro, do trabalho, da saúde, em planos de saúde que se utilizam de dados coletados por relógios espertos e que, depois, são utilizados de forma que diminuam a garantia de direitos?! E, por fim, o impacto no desenvolvimento e na experiência do brincar livre e não condicionado por predições ou algoritmos enviesados. E aqui vou trazer um exemplo muito evidente disso: nós compramos, inclusive, no Alana um brinquedo chamado Hello Barbie, que era uma boneca que tinha, pretensamente, uma aplicação de inteligência artificial para diálogo com a criança. A gente testou essa boneca, e era muito interessante ver que todo caminho que ela respondia, supostamente de forma inteligente para a criança, era enviesado para a questão da moda, para a questão de cores específicas, o que, além de funcionar como um grande promotor de vendas, no sentido de coletar informações do que a criança atualmente está pensando - e é isso que muitas vezes essas tecnologias dentro de casa fazem, ouvindo ali nos jogos de videogame; enfim, com todos os brinquedos inteligentes ou supostamente inteligentes, conectados, acabam fazendo isso -, gera uma ameaça à privacidade, ao mesmo tempo, enviesando uma conversa. Até os assistentes... Nós, no Alana, acompanhamos alguns assistentes pessoais voltados para a criança que ensinam a hora em que ela vai tomar banho, em que ela vai escovar os dentes - o que pode ser uma facilidade para as famílias -, mas o que isso representa de emulação de interação? Não é a verdadeira relação pessoal necessária para a criança, mas acaba emulando uma relação e acaba diminuindo a interação, inclusive, da própria família. Agora, por fim, terminando aqui já minha breve fala, as recomendações. E aqui é importante pensar para esta Comissão pontos importantes: nós precisamos colocar as crianças no centro da discussão. Elas não podem ser só mais um grupo pesquisado ou debatido por esta Comissão. A criança, pela nossa legislação, pelo art. 227 da Constituição, recebeu prioridade absoluta, e é um dever nosso colocar isso no centro da discussão, inclusive, de inteligência artificial. É por isso que nós defendemos aqui os direitos da criança por design na inteligência artificial. Não basta só pensar nos efeitos disso, tem que vir antes, no próprio desenvolvimento, e pensar na intencionalidade: o que eu quero com essa inteligência artificial? É promover direitos, apoiar o desenvolvimento ou explorar comercialmente crianças?
11:07 R	E para isso trago como referência as recomendações da Unicef, que fez um trabalho excelente sobre inteligência artificial - o Comentário Geral 25 da ONU, que é atrelado à Convenção sobre os Direitos da Criança da ONU -, além de toda a nossa legislação nacional, como o ECA e o próprio art. 14 da LGPD, que estabeleceram já de maneira muito clara: nós precisamos colocar o melhor interesse da criança em primeiro lugar, porque direitos de crianças e adolescentes são dados sensíveis, devem ser tratados como dados sensíveis, e nenhum legítimo interesse pode se sobrepor ao melhor interesse de crianças e adolescentes - conforme o art. 14 da LGPD. Por isso é importante que a gente possa apoiar o desenvolvimento, que as tecnologias de inteligência artificial possam apoiar o desenvolvimento e o bem-estar das crianças, garantir a inclusão para as crianças e de todas as crianças, priorizar a justiça e não a discriminação para as crianças, garantir espaços livres de exploração comercial e de publicidade infantil. Eu queria ver uma inteligência artificial que pudesse identificar a publicidade infantil em vídeos camuflados e que a gente possa realmente ter esse tipo de inteligência que proteja a criança e garanta espaços livres de publicidade; que proteja os dados de privacidade, garanta a segurança das crianças, forneça, como já foi muito bem falado, transparência, explicabilidade, responsabilidade com as crianças. E antes de falar de educação de usuário... Porque, no fim, sempre a culpa cai em quem? No usuário e na família, sempre é assim. A família é a grande responsável, o pai e a mãe têm que dizer "não" e têm que educar etc. Mas, antes de falar disso, o que a gente gostaria de ver mesmo é uma educação para os governos e empresas sobre direitos da criança, para que os desenvolvedores e os agentes empresariais possam entender a relação da criança com a tecnologia e possam implementar isso. Então, nesse novo projeto de lei ou substitutivo que venha a ser elaborado, o que nós precisamos é de uma educação e literacia de direitos da criança para os desenvolvedores e para empresas e governos desse tipo de aplicação de inteligência artificial. E, por isso, consentimento não é suficiente. A base do consentimento, que é muito utilizada em LGPD, não é suficiente. Nós precisamos de uma tecnologia por design, que garanta os direitos de crianças e adolescentes. Já terminando aqui, é fundamental, portanto, pensar até nessa classificação recentemente utilizada pela União Europeia de risco inaceitável. Para nós, o risco inaceitável são aquelas práticas de aplicação de tecnologias de inteligência artificial que violem direitos de crianças e adolescentes. E é assim que nós esperamos que a Comissão possa tratar, de maneira séria e grave, esse tipo de ameaça ou violação a crianças e adolescentes, porque é importante que novas legislações, especialmente com essa velocidade do mundo digital, dialoguem com as legislações já existentes e com o que diz a nossa própria legislação na proteção da criança, que garantem prioridade absoluta para os seus direitos. Há o art. 227, como já mencionei, a Convenção sobre os Direitos da Criança, o Comentário Geral 25 e outras leis específicas, como o Código de Defesa do Consumidor, o próprio Código Civil, que fala de adolescente e protege até 16 anos esse grupo, e, por fim, a própria LGPD, que estabeleceu o princípio do melhor interesse da criança acima de qualquer outro princípio. No fim, eu queria citar aqui a Sonia Livingstone, que é uma grande pesquisadora sobre criança e mundo digital. Ela, em recente trabalho, disse que uma internet boa para as crianças é uma internet melhor pra todo mundo. Eu ouso aqui aplicar esse raciocínio dela e dizer que uma inteligência artificial boa para as crianças será uma inteligência artificial melhor para todos nós. Por isso, o nosso pedido é que esta Comissão coloque as crianças no centro de toda e qualquer discussão que possa ser feita sobre esse tema. Muito obrigado. O SR. BRUNO RICARDO BIONI (Por videoconferência.) - Obrigado, Pedro. É sempre um prazer poder dialogar com você, com o Instituto Alana, resgatando a própria constitucionalização e prioridade absoluta desse titular, desse ente considerado inclusive como hipervulnerável. Aviso à audiência que o próximo painel também vai desbravar e avançar nessa questão do que seriam considerados ou não riscos inaceitáveis.
11:11 R	Eu gostaria de passar, imediatamente, a palavra para a Dra. Crisleine Yamaji, Gerente Jurídica e DPO da Febraban, Federação Brasileira de Bancos, e também Professora de Direito Privado do Ibmec São Paulo. A senhora tem 15 minutos. A SRA. CRISLEINE YAMAJI - Obrigada, Bruno. Agradeço, antes de mais nada, a oportunidade a toda a Comissão de Juristas nas pessoas do Bruno Bioni e do Thiago Sombra, que moderam este painel, e também na pessoa do Fabrício da Mota, que preside esta mesa. Mais uma vez, obrigada pela oportunidade. Falar de experiência setorial de indústria e setor bancário traz uma dimensão para a gente da importância da inteligência artificial. Hoje a gente tem um setor que, já de longa data, utiliza tecnologia em sentido amplo, mais do que inteligência artificial, mas que vem, cada vez mais, trazendo a inteligência artificial para o foco da sua atuação, seja por um grande volume de clientes, grande volume de dados, dados que são não só os dados pessoais, já tratados pela LGPD, mas também dados financeiros, e aqui, especialmente por conta da pandemia, a gente teve aí uma mudança, a consolidação de uma tendência de mudança de um comportamento que se verificou especialmente no setor bancário. A gente sabe aqui, da própria experiência, da importância da agência, que continua a existir, claro, mas o quanto se encaminha o serviço bancário, ou a busca do cliente, pelos canais digitais. E essa busca, é claro, leva a uma necessidade de identificação. No momento em que eu levo o meu RG na agência e sou bem identificada ali pelos sistemas presentes ou tenho formas de identificação que são analógicas, o digital passa a ser fundamental na identificação, e claro que isso envolve um volume de dados impressionante e, mais do que tudo, sistemas capazes de verificar com fins de prevenção à fraude, de correta identificação biométrica à distância, mas também de cumprir uma série de regulamentações de setor que levam a uma correta validação do cliente, um correto controle e também uma colaboração do setor bancário no combate à criminalidade, especialmente lavagem de dinheiro e financiamento ao terrorismo. Nesse sentido também a inteligência artificial passa a ser muito usada pelo setor bancário na segurança cibernética e, especialmente se eu preciso do canal digital para identificação, eu preciso desse canal para uma eficiente melhoria da experiência do cliente. Não se pode falar de experiência do cliente sem se pensar numa personalização do serviço, e é claro que, para isso, a inteligência artificial passa a ser fundamental no universo financeiro. Qual é a importância de tratar de tudo isso? O setor bancário vem, de longa data, usando tecnologia em geral, antes mesmo de pensar em inteligência artificial. E preocupa muito uma grande abrangência da inteligência artificial, um conceito que seja muito amplo e, por sua amplitude, traga uma enorme insegurança com sistemas que já existem.
11:15 R	A gente sabe que há uma série de softwares que envolvem a indústria hoje, bancária, mas não só bancária, a indústria como um todo, uma série de modelos matemáticos e lógicos que são envolvidos no processo, esse conjunto de processos computacionais que são usados também na execução de tarefas mínimas ou até em tarefas do processo fundamentais e que não necessariamente refletem uma forma de inteligência humana no próprio software ou no próprio modelo. São simplesmente padrões de uso que devem ser considerados para a gente começar uma diferenciação clara. E eu acho que esse é um desafio bastante grande da Comissão de Juristas, essa definição e boa compreensão do conceito na inteligência artificial, não é? A gente vê, por exemplo, só para fazer referência, que a própria ideia de programa de computador já é definida na nossa legislação há bastante tempo. E mesmo quando você vê, o conceito traz uma série de aspectos que estão sendo discutidos hoje no âmbito da inteligência artificial, como linguagem natural, a codificação, esse envolvimento humano na determinação da automação dos processos. Então aqui a gente ressalta o papel fundamental da Comissão nessa clara conceituação da inteligência artificial. Depois, sem dúvida, há um forte apoio aqui, não teria como não apoiar uma ideia de ética na atuação dessa inteligência artificial, com respeito absoluto a direitos fundamentais. E aí é claro que todos os projetos de lei que já foram apresentados e começaram a discutir a matéria, sem dúvida, trouxeram, de forma bastante evidente, essa questão do respeito à dignidade, à liberdade, à democracia, aos direitos humanos e até mesmo, muitos deles, tendo dado como matéria-prima, muitas vezes, da inteligência artificial, trazendo também a proteção à privacidade. Mas é importante lembrar que aqui a gente vai trabalhar numa seara em que há uma série de fontes, não é? A própria Lei Geral de Proteção de Dados, que com a atuação da ANPD, já tem uma excelente atuação, na nossa perspectiva, do ponto de vista dos dados pessoais, inclusive com previsões sobre o trabalho automatizado, que tem sido acompanhado de perto pela agência e que a gente acha importante que seja ali delimitado em relação a outras questões. A gente tem uma regulamentação do cadastro positivo, a questão dos dados financeiros relacionados ao próprio sigilo bancário. Outros marcos legislativos, como o Marco Civil da Internet, na medida em que ele se aplique, ou a própria Lei do Software, como a gente mencionou, o direito concorrencial, o direito do consumidor. Então cada um já tem uma esfera que deve ser respeitada. E aqui essa busca fundamental do equilíbrio no diálogo das fontes e o respeito nessa leitura é fundamental. Um outro ponto que eu gostaria de ressaltar é: o setor bancário já tem, de longa data, uma atuação, por conta dos controles internos e da regulamentação setorial, de abordagem baseada em risco. E a gente entende que essa é uma abordagem vincente: ela se mostra adequada e sob medida para uma regulação de criticidades.
11:19 R	Então, sem dúvida, um aspecto daqueles riscos, como vem já sendo discutido na Europa, do que é inaceitável, do que afronta efetivamente a vida, a dignidade, a liberdade, do que é um risco maior e do que é um risco menor, que pode ser abarcado numa política sólida com uma atuação diversa de monitoramento periódico ou de uma revisão, sem dúvida, essa análise de uma abordagem baseada em risco é fundamental, até mesmo para não considerar tudo com uma régua alta a ponto de estrangular o processo econômico. Então, a gente acha aqui que essa análise tem que ser deixada um pouco sob medida, ainda mais sabendo que a gente está aqui com um desafio, que a nossa Comissão vai enfrentar o desafio de traçar uma regra, uma norma ampla a ponto de abarcar, de forma transversal, todos os setores - setores tão diversos. Ouvindo a fala do meu colega Pedro, aqui, eu fiquei pensando em quão diversos são os desafios que a gente tem que enfrentar aqui nesse processo da normatização da inteligência artificial, porque, sem dúvida, ela transborda fronteiras setoriais. É uma norma que deve ser ampla, mas, ao mesmo tempo, deve ter esse respeito pela regulação, pela especificidade setorial, lembrando, é claro, que a grande maioria dos agentes econômicos no país não são regulados. Então, aqui também a Comissão vai enfrentar certamente um desafio. Acredito que a inteligência artificial ainda caminha para sua maturidade - ela ainda é bastante incipiente no país - e busca um ambiente de fomento, de desenvolvimento, mas ao mesmo tempo ela tem essa situação em que, sendo transversal, se aplica para setores regulados ou não. Os setores regulados já estão um passo à frente. Eu digo, por exemplo, do nosso setor bancário, em que diversos aspectos dos riscos operacionais que são regulamentados pelo Banco Central perpassam a questão da própria tecnologia, chegando a ter aspectos da inteligência ou mesmo em relação a aspectos da própria segurança cibernética. Então, eles já delimitam em alguma medida essa atuação. Mas essa norma de caráter amplo, principiológica, com uma série de direitos e deveres transversais, sem dúvida, vai ter o desafio de olhar para todos os setores e ao mesmo tempo conseguir diferenciar aspectos. Nesse sentido, há ainda uma dúvida efetivamente de quão maduros estamos para ter um órgão setorial, aqui, que encabece a inteligência artificial. Sem dúvida, a gente tem diversos desafios aqui na análise da legislação do setor. É importante a gente proteger o que é direito fundamental, sem dúvida, inclusive, dando a proteção adequada para o bem jurídico tutelado, também na esfera penal, se necessária, mas há uma dúvida de como isso pode ser regulado de forma administrativa, sabendo que aqui a gente vai ter que sopesar diversos interesses e diversas experiências de setores na matéria. Outro aspecto que eu quero colocar é uma preocupação muito grande numa regulação, especialmente saindo da questão da gradação de riscos, um olhar para uma abordagem baseada em risco que paute um pouco uma atuação até de modelos preditivos, programáticos que coloquem uma política adequada para o tratamento da inteligência artificial, setor a setor, instituição a instituição, e que a gente também evite arranjos institucionais de fiscalização que imponham situações de bis in idem. Seria uma pena a gente encontrar essas situações, mas, ao mesmo tempo, eu entendo o desafio que se possa ter aqui em delimitar bem competências numa esfera de regulação e de fiscalização, ainda mais nessa situação de setores regulados e não regulados em que a gente corre o risco, a depender do peso que a gente dê aqui a alguns arranjos, de criar fortes assimetrias dentro de setores econômicos que a gente sabe que, apesar dessas delimitações do regulado ou não, acabam atuando de forma bastante transversal, vide, por exemplo, os serviços financeiros, em que, hoje, há forte atuação não só de agentes regulados, os bancos, mas também de outros novos agentes. E assim deve ser também por conta do incentivo à própria tecnologia e ao próprio desenvolvimento.
11:23 R	Então, aqui é um desafio muito grande pra Comissão pensar um pouco nesse arranjo institucional de fiscalização que efetivamente não imponha um ônus demasiado ao desenvolvimento econômico e tecnológico no país, que concorre em esfera internacional, inclusive do ponto de vista bancário, sendo um dos setores mais sólidos, do ponto de vista internacional também, e espera continuar com esse desenvolvimento. Então, o desenvolvimento da inteligência artificial e da inovação no país não depende só de cooperações e parcerias, mas também de uma legislação e de uma regulamentação que deem espaço para esse aprendizado, para essa curva de aprendizado de longo prazo, não é? E, por fim, eu gostaria de, mais uma vez, agradecer a oportunidade à Comissão de Juristas e me colocar à disposição para o debate. Muito obrigada. O SR. PRESIDENTE (Thiago Luís Santos Sombra. Por videoconferência.) - Obrigado, mais uma vez. É muito importante a posição da Febraban. Isso já vem sendo utilizado já de longa data para o marco do setor financeiro, como uma fonte sobretudo de prevenção de fraude, que é um cuidado e uma atenção muito relevante para toda a indústria. E essa perspectiva dialética, não é? Eu vi partes com perceptivas, com cenários muito importantes, e acho que isso vai acabar engrandecendo a nossa visão no momento aqui de contribuir com as nossas sugestões para esse projeto de lei. Sem mais delongas, eu queria passar a palavra à Gianna Cardoso, Diretora de Inovação da Confederação Nacional da Indústria (CNI). A SRA. GIANNA CARDOSO SAGAZIO (Por videoconferência.) - Olá. Bom dia. Primeiramente, eu gostaria de agradecer o convite à Confederação Nacional da Indústria para participar desta importante audiência pública sobre inteligência artificial. Eu represento aqui o nosso Presidente Robson Braga de Andrade, que, infelizmente, não pôde comparecer. Não sei se todas as pessoas conhecem a CNI. A CNI representa todas as indústrias no Brasil, indústrias de todos os portes e de todos os setores. Então, eu falo aqui em nome da indústria brasileira. A inteligência artificial é uma das tecnologias habilitadoras da indústria 4.0 e da indústria 5.0 e tem potencial para integrar inovações disruptivas que podem transformar a dinâmica do setor empresarial.
11:27 R	Além disso, espera-se um grande impacto na própria civilização, porque a inteligência artificial é central para essa próxima revolução industrial, que nós já estamos vivendo, paralelamente à indústria 4.0, no sentido de combinar o ser humano com a própria máquina. Então a gente tem, na indústria 5.0, um retorno a essa humanização da manufatura, mas nela a inteligência artificial é fundamental. Ela pode ser utilizada em sistemas ciber-físicos para processar e tomar decisões automizadas, sendo descentralizadas e autônomas. As suas aplicações podem produzir efeitos radicais sobre os processos, sobre os produtos, insumos, organizações, infraestruturas e mercados. Além disso, seu desenvolvimento habilita a evolução de outras tecnologias. Na indústria a inteligência artificial já tem aplicações consolidadas, mas tem um potencial ainda muito mais amplo. No âmbito da CNI, nós coordenamos a MEI, que é a Mobilização Empresarial pela Inovação, um movimento que nasceu em 2008 e que hoje reúne mais de 500 das principais lideranças empresariais do país. E, no âmbito da MEI, nós fizemos um estudo, o Indústria 2027, que pode ser encontrado no nosso site. Esse estudo mostrou que todos os sistemas produtivos conviverão no futuro, mas já estão sendo impactados pelas tecnologias disruptivas, entre as quais a inteligência artificial é uma das mais importantes. Então, a indústria brasileira deve se preparar para essas mudanças tecnológicas que já estão ocorrendo e que já estão nos impactando. Os modelos de negócios das empresas e suas cadeias de valor estão evoluindo para modelos integrados, conectados, inteligentes e servitizados. Para a gente ter uma ideia: a inteligência artificial poderá adicionar até por volta de US$16 trilhões à economia mundial até 2030, aumentando em quase 15% o PIB mundial - esses são dados da PricewaterhouseCoopers; na América Latina, o impacto deve ser de algo acima de 5% do PIB total, o que é aproximadamente US$0,5 trilhão. Ainda segundo as estimativas dessa instituição, a inteligência artificial impactará de diferentes formas e em diferentes períodos os setores da economia: 83% de todo o setor manufatureiro conseguirá adotar integralmente a tecnologia em seus processos num período médio entre 3 a 7 anos; 54% de todo o setor varejista conseguirá adotar integralmente a tecnologia nos seus processos em um curto período de tempo, de 3 anos; e 40% de todo o setor de saúde conseguirá adotar integralmente a tecnologia em seus processos num longo período, de aproximadamente 7 anos.
11:31 R	Então, o tema é muito relevante. Ele é tão relevante que, segundo um estudo da OCDE, o investimento global de venture capital só em inteligência artificial em 2020 movimentou cerca de US$80 milhões. Nos Estados Unidos existem 55 iniciativas nacionais para inteligência artificial em diversos temas; na China, são 22 iniciativas; e no Brasil temos hoje, de acordo com a OCDE, 10 iniciativas. Os impactos da inteligência artificial já se fazem sentir em todos os setores da vida social. Em sociedades emergentes, como a brasileira, marcada por altos índices de pobreza e desigualdade, avançar nesse tema pode fazer toda a diferença e contribuir para a superação do nosso atraso tecnológico, estimulando, assim, um desenvolvimento inclusivo e sustentável. Porém, é preciso tratar o assunto com toda a cautela que processos radicais de inovação exigem. Como a ciência já mostrou, os algoritmos, por mais inteligentes que sejam, falham. E, quando o assunto é a saúde da população, um carro autônomo e eventuais acidentes, a segurança pública, a reprodução de preconceitos de raça e gênero, a disseminação do ódio, a quebra da ética e da privacidade, é normal e fundamental que as sociedades se protejam. A OCDE traz princípios que buscam promover o uso da inteligência artificial de forma inovadora e confiável e respeitando os direitos humanos e os valores democráticos. Os princípios são: crescimento inclusivo; desenvolvimento sustentável e bem-estar; valores centrados no ser humano e na justiça; transparência e explicabilidade; robustez, segurança e proteção; prestação de contas. O Brasil é um dos 42 signatários do princípio para o desenvolvimento de inteligência artificial da OCDE. O maior desafio que temos é combinar prosperidade com progresso tecnológico e processos de civilização. É preciso muita sabedoria para exercer a proteção sem engessar a inovação, pois, como a história ensina, não está dado que o futuro será melhor para todas as pessoas, povos e países automaticamente. Em outras palavras, fazer a inteligência artificial beneficiar a todos exige constante atuação responsável dos setores público e privado. Dada a complexidade desse tema, a CNI e a MEI (Mobilização Empresarial pela Inovação) realizaremos agora, no dia 9 de maio, uma reunião do GT de marco regulatório com especialistas para debater o PL, esse PL 2.120. Então, caso os senhores e as senhoras tenham interesse, podem vir participar, porque nós buscamos aprofundar em sobre como podemos aprimorar essa regulamentação.
11:35 R	Esse projeto de lei precisa ser cauteloso, a fim de trazer regramentos sem ferir os direitos individuais e dificultar os processos inovativos nas empresas. Então, muito obrigada pela oportunidade. O SR. PRESIDENTE (Bruno Ricardo Bioni. Por videoconferência.) - Obrigado, Gianna, pela sempre valiosa contribuição da CNI. Acho que agrega, aglutina a visão de um setor, de uma indústria que é transversal, então não apenas é de um determinado setor específico. A gente gostaria de passar imediatamente a palavra, para até otimizar o tempo, à colaboração e à contribuição do Sergio Paulo Gallindo, Diretor-Presidente da Brasscom. Seja bem-vindo, Gallindo! Você tem quinze minutos. O SR. SERGIO PAULO GALLINDO (Por videoconferência.) - Obrigado, Bruno. Obrigado também ao Thiago por essa possibilidade falar aqui. Eu gostaria de projetar uma apresentação, se for possível. Não sei se alguém precisa me habilitar para isso. O SR. PRESIDENTE (Bruno Ricardo Bioni. Por videoconferência.) - Você já é coanfitrião, Gallindo. Acho que agora você já está habilitado para compartilhar sua tela. O SR. SERGIO PAULO GALLINDO (Por videoconferência.) - O.k. Vamos lá. Conseguem ver aqui? O SR. PRESIDENTE (Bruno Ricardo Bioni. Por videoconferência.) - Sim, pode prosseguir, por favor. O SR. SERGIO PAULO GALLINDO (Por videoconferência.) - O.k., muito obrigado. Bom, eu estou aqui representando a Brasscom, que é a associação que representa as empresas de tecnologia da informação e comunicação e também empresas digitais. Eu tenho uma formação, para quem não me conhece, que é dupla. Eu sou engenheiro e mestre em Ciência da Computação e também sou advogado e mestre em Direito Político e Econômico. Eu vou passar um pouco sobre esses dois temas no discorrer aqui da apresentação. Essa é a Brasscom, é o nosso cartão de visita. São 87 grupos empresariais. Os modelos de negócio que as empresas têm, todos são trabalhados aqui, e inteligência artificial é claramente um deles, inclusive com um grande contingente de empresas que militam nessa área. A Brasscom tem uma representatividade importante em todas as geografias intensivas em tecnologia. A gente tem uma parte muito importante de governança interna. Inclusive neste ano a gente liberou um relatório sobre ISG no setor de tecnologia e, agora mais recentemente, um relato integrado de ISG na própria Brasscom. Esse é o nosso propósito e pelo que a gente trabalha, então estamos contentes de termos sido lembrados nessa questão. Temos também vários associados institucionais, muitos deles são de instituições de ensino, o que faz também uma inserção da pauta de formação de talentos e também de pautas mais diversas dentro da ciência, tecnologia e inovação.
11:39 R	E esse é o setor, um setor que continua crescendo aqui no Brasil. O Brasil de fato tem vocação para a tecnologia: atingimos no ano passado 6,9% de proporção do PIB e chegamos a 1,9 milhão de profissionais no setor, com uma taxa de crescimento de 13,8%. Portanto, trabalhar inteligência artificial é fundamental para a continuidade da pujança do setor e a sua capacidade de empregabilidade. No ano passado, as empresas colocaram para dentro um montante de novos profissionais sem precedentes: 198 mil novos profissionais. Bom, eu vou passar bem rapidamente por aqui, mas a questão das definições - a gente vai ver mais à frente - tem um papel importante e é um papel diferente entre definições técnicas e definições jurídicas, tá? Aqui, por uma definição minha mais técnica, ela é só uma aproximação daquilo que a inteligência artificial demanda: a inteligência é baseada em algoritmos, em capacidade computacional intensiva e também é dependente de uma abundância de dados. E isso é uma característica específica da inteligência artificial que traz alguns desafios quando a gente coloca isso numa lei. Creio que todos já estão informados, mas essa questão de inteligência artificial já não é nova. A minha passagem por isso foi na década de 90, e fiz vários experimentos naquela ocasião na Universidade do Texas, em Austin. Isso é basicamente uma forma matemática de você ter assertividade em modelos de seleção. Basicamente, o que a inteligência artificial procura é isto: assertividade em seletividade, não é? Isso avançou bastante, e hoje a gente acha que isso é quase que uma mágica. Mas uma questão importantíssima e que precisa perpassar as nossas conjecturas em termos de segurança jurídica é que inteligência artificial não é só uma coisa. Aqui vocês estão vendo: são várias metodologias ou várias fenomenologias de inteligência artificial, cada uma com um paradigma técnico e cada uma com os seus cuidados que precisam ser tomados para que não haja invasão de privacidade ou comprometimento dos nossos deveres, das nossas prerrogativas. A Brasscom tem sido bastante ativa: emitimos uma carta de princípios de inteligência artificial, estamos fazendo novas gestões, deve ter mais coisas sendo colocadas no espaço público, e atuamos muito fortemente no Projeto de Lei 21, de 2020, que é considerado dentro da Brasscom um bom projeto, mas existem, sim, possibilidades - e eu vou tratar disso - de melhoria a partir inclusive da contribuição desta Comissão.
11:43 R	Bom, em termos de conceituação, a gente tem uma conceituação teleológica que começa basicamente com a visão da OCDE e que é bastante etérea. Curiosamente, no projeto de regulamento europeu, ele chama para uma IA que seja claramente definida para garantir segurança jurídica. Então, aparentemente, a verbero europeia foi numa situação de procurar mais segurança jurídica. E eles, de fato, conseguiram fazer isso com uma técnica que, francamente falando, não é das melhores, mas que parece ser uma técnica necessária, no caso de inteligência artificial. A primeira coisa que eu gostaria de destacar é que a União Europeia reconheceu a inteligência artificial como de categoria de software, e isso me chamou muito a atenção porque no Brasil nós tivemos várias polêmicas de bitributação de software e também de coisas de direitos autorais, então me parece adequado que a nova lei indique claramente que inteligência artificial é software. Temos repercussões importantes inclusive no âmbito tributário. Então, é importante que a lei dê essa segurança jurídica para todos nós. No entanto, a própria União Europeia vai classificar a inteligência artificial, no seu anexo 1, como técnica. E ela tem aqui um rol de técnicas que é inclusive mais enxuto do que aquele que eu coloquei inicialmente. Acho que precisamos debater um pouco mais, para ter mais assertividade sobre o que essa inteligência artificial significa efetivamente e talvez fazer salvaguardas para não embotar a evolução da inteligência artificial. Eu sempre fui fã de que as leis não deveriam adentrar em tópicos tecnológicos, mas aqui parece ser uma exceção. Então, essa é uma primeira contribuição aqui para esse debate. A segunda contribuição vem da análise das duas abordagens que temos aqui à mão. Não são as únicas, mas são as duas talvez mais importantes. A abordagem europeia é centralizada, e isso é em função da própria estrutura da União Europeia, entre as características da União e dos Estados-membros. Ela é baseada em risco, o que a gente poderia traduzir aqui no português como potencial de geração de danos, e tem atividades de risco já estipuladas, o que é razoável do ponto de vista da gravidade dessas atividades, mas não é razoável que a gente faça uma avaliação do que é alto risco ou baixo risco de forma dura, porque baixo risco e alto risco são coisas que serão tratadas a partir do desenvolvimento das próprias tecnologias. Então, nesse sentido, o.k., mas a gente não pode abusar disso daí.
11:47 R	Por outro lado, a abordagem norte-americana mobiliza não para uma abordagem centralizada. Os Estados Unidos têm várias agências regulatórias, e essa ordem executiva faz um chamamento às agências regulatórias para o enfrentamento ou engajamento na inteligência artificial. Então, os Estados Unidos mantiveram a sua abordagem de não querer inovar e colocar uma agência regulatória para inteligência artificial; está delegando às agências regulatórias já existentes. Se elas são regulatórias, é porque elas merecem regulação, está certo? A conclusão que eu trago aqui para debate é que nós podemos, aqui no Brasil, fazer um bom uso das duas experiências. Primeiro, nós já temos a centralização garantida na Constituição, no art. 22, inciso IV, porque nós estamos falando aqui de informática, e inteligência artificial é do ramo da informática. Então, isso já está garantido. Temos também agências regulatórias com focos técnicos altamente especializados. Veja, garantir higidez na inteligência artificial é matéria de especialistas. Muitos aqui já participaram e participarão desta Comissão. Então, é possível e necessário valorizar isso. Então, é também oportuno incluir na lei - isso também vem da União Europeia - o contorno da atuação do Estado. Isso é muito claro na preocupação da União Europeia e não está sendo tratado no projeto de lei que nós temos. E a ativação das agências regulatórias para que elas assumam o protagonismo da análise do impacto da IA dentro das suas áreas de controle. O exemplo mais emblemático seria o exemplo da própria saúde; a Anvisa está muito mais capacitada para analisar essas coisas do que qualquer outra entidade dentro do próprio Governo. Então, essa é uma sugestão que eu estou trazendo. Outra coisa importante é que os países avançados adotam legislação tardia. Para quê? Para estimular a inovação. Então, é possível e é necessário que haja regulação? Sim. Mas ela tem que ser cirúrgica. O ponto mais possível, ex post, ou seja, deixe que os fenômenos tecnológicos se maturem, e a gente vai tratar da regulação na medida em que ela for efetivamente necessária. Nesse sentido, eu queira colocar aqui também dois precedentes legislativos muito importantes. O primeiro diz respeito à responsabilidade civil. A LGPD consagrou um novo regime de responsabilidade civil para a parte de proteção de dados pessoais no art. 4 e o fez muito bem. E essa responsabilidade civil não é uma dicotomia; é uma responsabilidade civil acolhida pela doutrina e também é acolhida pelo STJ, sendo uma responsabilidade subjetiva imprópria. A recomendação aqui é que isso seja também cotejado dentro desta Comissão para o aperfeiçoamento da lei. E a LGPD também valorizou boas práticas, governança e códigos de conduta. Isso também deveria ser objeto do corpo da lei.
11:51 R	Eu acho que vou extrapolar um pouquinho, mas, se vocês me derem essa licença, estou terminando aqui. Em termos das necessidades que o Brasil tem, ele precisa de mais fomento. Nós estamos muito atrasados em relação a investimentos em IA. Nós temos aqui um grande potencial de crescimento. A inteligência artificial já pulou para ser a quarta força em termos de investimentos no futuro. Temos algumas iniciativas aqui no Brasil do empresariado, mas os investimentos colocados pelo poder público são de apenas 1,3% daquilo que o empresariado está gastando. Então, o Estado precisa fazer uso de meios de fomento para a inteligência artificial. Encerrando, eu já tinha colocado isto numa audiência pública aqui mesmo, no Senado: o arcabouço de uma lei de IA. Já comentei tudo, só queria acrescentar esta outra proposta: seria interessante concebermos um conselho consultivo multissetorial nos moldes do CGI, que é um grande sucesso. Para quê? Para que seja uma instância de coordenação e desenvolvimento de IA. A mobilização das agências reguladoras que nós já temos, em confluência com esse conselho consultivo, seria, a nosso ver, a relação possível do ponto de vista de custo e adequada do ponto de vista de uma governança geral em matéria de inteligência artificial. Mil perdões pelo atraso! Muito obrigado pela oportunidade. O SR. PRESIDENTE (Bruno Ricardo Bioni. Por videoconferência.) - Nós lhe agradecemos, Gallindo. Obrigado pela contribuição, também relembrando alguns outros arranjos que já foram contemplados no ordenamento jurídico brasileiro, como a questão de corregulação na LGPD e também a própria perspectiva de multissetorialidade e governança em rede a partir do Comitê Gestor da Internet. Então a gente vai passar a palavra para o nosso último painelista, que é o Bruno Jorge Soares, da ABDI (Agência Brasileira de Desenvolvimento Industrial). A palavra é sua, Bruno. O SR. BRUNO JORGE (Por videoconferência.) - Obrigado, Bruno, na pessoa de quem cumprimento toda a Comissão de Juristas. Agradeço o convite para participar deste momento tão importante. O Brasil vem se debruçando sobre esse tema do ponto de vista das políticas públicas, como a Estratégia Brasileira de Inteligência Artificial e seus programas, mas também no seu braço regulatório aqui no Senado - primeiro, isso se deu na Câmara e agora no Senado - sobre esse tema. Eu vou colocar aqui, para me orientar, na verdade, uma apresentação. O que a gente quer destacar aqui são três perguntas que têm orientado a nossa atuação. A ABDI é focada na questão do aumento da competitividade e da transformação digital, que pode habilitar um novo padrão para a economia brasileira e para a sociedade em termos de serviços e produtos.
11:55 R	Deixe-me colocar aqui... A ABDI está aqui em Brasília, somos ligados ao Ministério da Economia e temos, como foco, a transformação digital. A primeira pergunta que eu coloco é: por que acelerar a adoção de inteligência artificial? Os meus colegas da CNI e da Brasscom, além da Febraban e de outros, também colocaram a relevância estratégica da inteligência artificial hoje. Quando você pensa numa discussão mais ampla sobre os mercados digitais que a União Europeia está travando, sobre uma regulação específica de uma tecnologia que tem um propósito tão geral e uma aplicação tão ampla, muitas vezes a gente pensa na inteligência artificial só na parte de software, mas também podemos pensar na robótica, como foi colocado, na automação, na conectividade. A inteligência artificial traz benefícios para a população, no sentido de serviços de saúde e sistemas de saúde mais eficientes, diagnósticos de saúde mais eficazes. Temos a possibilidade da individualização do ensino, naquilo que o nosso colega Hartung colocou, de soluções que tragam a melhor experiência e o respeito à individualidade do estudante, do aluno, da criança e do adolescente, que estão em processo de formação. Então, a inteligência artificial traz esses benefícios. E, para os negócios, para as empresas, traz redução de custos, traz redução de tempo, traz novos negócios. Num levantamento que a gente fez em parceria com o Instituto de Inteligência Artificial, identificamos mais de 500 startups, que são novos negócios que estão utilizando essa tecnologia para oferecer produtos e serviços para a sociedade, para as outras empresas, para o consumidor. Então, o nosso papel na adoção da tecnologia e da inteligência artificial na ABDI é viabilizar arranjos e mecanismos que permitam que a gente trabalhe com as capacidades, com o aumento das capacidades. Aqui foi falado no painel anterior sobre a capacitação de servidores, de empresários e da mão de obra, quer dizer, é uma capacitação da sociedade como um todo. Por quê? Porque, por meio desses projetos-piloto que nós fazemos hoje na indústria, na agricultura e na saúde, a gente habilita, por exemplo, um produtor rural a usar a tecnologia de uma maneira mais adequada, que traga mais benefícios para esse produtor. Na indústria, o responsável pela operação tem mais segurança nas suas decisões. E essa capacitação vem por meio da prática. Por isso essa discussão da regulação é tão importante, porque a prática vai definir muito padrões que devem ser seguidos ou devem orientar insights que devem orientar a regulação. Então, acelerar a inteligência artificial é muito importante. Você vê estratégias de países - o Sergio Paulo, da Brasscom, trouxe essas experiências -, mas na ABDI nós estamos preocupados com as estratégias de desenvolvimento do país. E, nesse sentido, a inteligência artificial tem ocupado um papel central. Os Estados Unidos, por meio da sua ordem executiva, designaram uma comissão, e a lei de incentivo à política de inteligência artificial nos Estados Unidos, por exemplo, tem mais de mil páginas, destacando vários instrumentos de incentivo e regulação. O marco europeu também traz isso. A China também tem, na sua estratégia de desenvolvimento, a inteligência artificial, e vem se destacando como uma das lideranças tecnológicas do mundo por ter essa preponderância na inteligência artificial. Então, é uma tecnologia que o Brasil precisa no seu projeto de desenvolvimento ter no seu radar, ter como componente e ter isso no seu dia a dia das empresas, das políticas públicas e dos ambientes regulatórios.
11:59 R	E aí, considerando essa importância, existe uma relação muito importante entre dados e inteligência artificial. Aqui há muitos especialistas, principalmente na questão de proteção de dados. Em que sentido a Lei Geral de Proteção de Dados... Um dilema que a gente tem é sobre a explicabilidade dos mecanismos de IA, das soluções de inteligência artificial. Um pesquisador americano que estuda inteligência artificial na área de defesa escreveu um livro recente sobre o dilema do Centauro. Nós usamos a inteligência artificial para expandir as capacidades humanas, seja a capacidade de memorizar, de armazenar informações, de categorizar essas informações e de tomar melhores decisões. Então, quando um radiologista usa um sistema de inspeção de imagens de laudos para olhar um banco de imagens e chegar ao melhor diagnóstico, ele está expandindo a capacidade dele de diagnóstico. Por outro lado, como esse sistema de diagnóstico chegou àquela decisão? Se a gente exagerar na dose da explicabilidade desse mecanismo, a gente conseguiria fazer esse processo sem a inteligência artificial, ou seja, a gente estaria deixando de ganhar um benefício da tecnologia que está a serviço e construída para aquele propósito do melhor diagnóstico, para ter uma premissa de transparência e explicabilidade absolutas, não é? Então, é preciso ponderar essa questão. Muitas soluções de inteligência artificial começam pela coleta de dados, que nem sempre tem seu propósito específico naquele momento. Quando a gente fala de mineração de dados, quem assume num caso clássico que o consumo de cerveja, por exemplo, num supermercado - esse é um caso que existe há mais de 30 anos de relação entre variáveis - estaria associado à compra de fraldas? Quem consegue chegar a essas relações? E aí as soluções de inteligência artificial precisam dos dados pessoais e das máquinas, e das coisas - a internet das coisas também é um ponto importante aqui.
12:03 R	E, por fim, como equilibrar inovação e regulação? Ao analisar as estratégias dos países e das principais forças aí - basicamente a China, os Estados Unidos e a União Europeia; e aí eu retomo o debate para o Brasil -, a gente tem, pelo lado da China, por exemplo, um caráter muito forte regulatório e um incentivo também muito forte. A gente está falando de uma ordem de grandeza. Apenas para critérios, a China hoje forma dez vezes mais engenheiros, enfim, em inteligência artificial do que os Estados Unidos e tem um gasto per capita também muito grande em relação a esse tema. Do outro lado, a gente tem os Estados Unidos, que têm as grandes plataformas em que a internet está emergindo daquele ecossistema, e aí há o Vale do Silício e as grandes empresas de tecnologia; nós temos também uma grande potência em relação a isso, à inteligência artificial. E, no meio, nós temos a União Europeia, que, nos últimos 50 anos, não desenvolveu nenhuma grande empresa nova nessa área de tecnologia que pudesse fazer frente às grandes plataformas digitais - nós não temos uma grande plataforma, como as americanas ou as chinesas em função de volumes - ou desenvolveu um arcabouço regulatório que possa ser utilizado também como instrumento de inovação. E aí eu fico pensando aqui nessas reflexões, nas interações com o setor público e o setor privado, qual é o projeto para o Brasil em relação a isso. Como calibrar a questão do incentivo com a regulação? Como calibrar a proteção da sociedade de direitos fundamentais e a inovação, que vai permitir com que o Brasil cresça e tenha um projeto de prosperidade, crescimento econômico, desenvolvimento e geração de empregos? Que essa inteligência artificial permita isso. Muitas vezes a gente fala que as tecnologias avançadas da indústria 4.0, por exemplo, como a robótica ou a inteligência artificial, tiram empregos, mas estudos recentes com empresas, acompanhando o painel de empresas, mostram que as empresas que investem nessas tecnologias contratam mais - contratam mais e contratam profissionais melhores, mais bem remunerados. Essa questão da capacitação passa a ser também um fator fundamental em relação a isso. Então, encerrando aqui meu tempo, eu quero agradecer novamente o convite e fico à disposição para as perguntas e discussões. O SR. PRESIDENTE (Thiago Luís Santos Sombra. Por videoconferência.) - Obrigado. Foi uma boa participação. O Bruno falou dessa experiência internacional, especialmente o que os principais países desenvolvedores de soluções tecnológicas com inteligência artificial têm feito, especificamente China e Estados Unidos. Acho que é um bom parâmetro para que nós avancemos aqui numa melhor forma de regulação. Acredito que não temos mais perguntas. Só queria fazer um reforço de um aspecto que a secretaria nos solicitou anteriormente. É que todos aqueles que utilizaram algum tipo de apresentação possam encaminhar essas apresentações para a secretaria.
12:07 R	Bruno. O SR. PRESIDENTE (Bruno Ricardo Bioni. Por videoconferência.) - Acho que é isso. E, até por conta de que a gente está um pouquinho avançado no horário, a minha sugestão seria a gente tentar fazer um bloco de perguntas. Também tem aqui alguns outros membros da Comissão que gostariam de fazer alguns questionamentos de duas, no máximo três perguntas. E aí a gente devolve a palavra para os painelistas, para reagirem a esses questionamentos e também fazerem alguma outra consideração que assim desejem. Da minha parte, tentando estabelecer uma dialética, como o próprio Thiago Sombra colocou, com a apresentação de vocês, acabou sendo mencionado um pouco da abordagem da proposta de regulação de IA da União Europeia, alguma abordagem principalmente tocando em alguns riscos que seriam considerados inaceitáveis. E esse grau de inaceitabilidade decorreria necessariamente de alguns contextos, dois deles que a gente procurou tentar endereçar aqui e trazer algum tipo de experiência, ainda que a painelista ou o painelista que poderiam colaborar e contribuir no campo de segurança pública não pudessem estar. E a proposta da regulação da União Europeia traz alguma coisa do que seria considerado esse risco inaceitável. Dois deles me chamam atenção: o primeiro, que tocou muito a fala do próprio Gallindo e também do Pedro, é o de que a IA poderia vir a explorar qualquer tipo de vulnerabilidade de grupos específicos, tais como de crianças e adolescentes em uma vulnerabilidade cognitiva. O segundo, também citado pela proposta de regulamentação da União Europeia, fala de identificação biométrica à distância, em tempo real e em espaços acessíveis, para efeitos de manutenção de ordem pública; isso está diretamente relacionado com tecnologias de reconhecimento facial. Então, eu gostaria de saber a opinião de vocês sobre essas regras proibitivas gerais e até mesmo as suas respectivas exceções, porque também a regulamentação da União Europeia traz alguns cenários para tanto. Esse seria o meu questionamento. Eu vejo aqui também o Filipe Mendon... Eu não sei se você também, Thiago, gostaria já de fazer algum tipo de questionamento para esse primeiro bloco. O SR. PRESIDENTE (Thiago Luís Santos Sombra. Por videoconferência.) - Eu queria aproveitar e endereçar uma pergunta especificamente ao Sergio e ao Bruno, quanto às formas de desenvolvimento da tecnologia, como vocês exploraram aqui, se vocês já enxergam, hoje, gargalos normativos ou de natureza regulatória que precisariam ser identificados especificamente pela Comissão, desde logo, na elaboração do projeto (Falha no áudio.) ... se existe algum outro aspecto, algum outro tema que deveria ser objeto da atenção aqui por parte de todos. O SR. SERGIO PAULO GALLINDO (Por videoconferência.) - Bom, eu fui citado aqui, duas vezes. Então, acho que... Em primeiro lugar, sobre essa questão que tem na proposta da União Europeia sobre o uso de reconhecimento facial, pelo que eu entendi da proposta, ele é mitigado, ou seja, há hipóteses da União Europeia onde isso é possível.
12:11 R	A minha conjectura aqui para o Brasil é a seguinte: a gente já tem, no nosso arcabouço, salvaguardas para atuação das persecuções penais. Então, eu acho que a gente só precisaria pontuar, dentro dessas salvaguardas, as caracterizações de inteligência artificial. Vou ser mais claro: a persecução penal poderia vir a usar - isso é só uma hipótese, isso é uma conjectura minha, pessoal, não é propriamente da Brasscom -, na hipótese de... Haveria, sim, a possibilidade de usar dados sensíveis humanos desde que seja autorizado pelo juiz. Então, o que eu acho que é impensável é você fazer um monitoramento da sociedade, de toda a sociedade continuamente. Isso é contrário à nossa privacidade e ao nosso direito de ir e vir. Mas, dentro de uma estratégia de persecução penal, dada a criticidade e o beneplácito do juiz, isso poderia ser feito, e eu acho que é até muito importante, até considerando a situação que a gente tem hoje no Brasil com relação à criminalidade. Eu acho que essas ponderações é que têm que estar encaixadas na lei. É aquilo que eu chamei do delineamento do papel do Estado. É importante que isso esteja na lei e que, se não for exauriente, pelo menos dê um norte para que o Estado entenda qual é o seu papel no uso da inteligência artificial e aquilo que é vedado ao próprio Estado fazer. Eu senti essa cautela muito forte no documento da União Europeia. O SR. PRESIDENTE (Bruno Ricardo Bioni. Por videoconferência.) - Obrigado, Gallindo. O SR. SERGIO PAULO GALLINDO (Por videoconferência.) - E acho eu fiquei devendo a do Thiago. Thiago, se eu entendi bem, você está preocupado com a questão do uso e dos investimentos? Não sei se foi bem isso. O SR. PRESIDENTE (Thiago Luís Santos Sombra. Por videoconferência.) - Não, não, a colocação no final é a seguinte: com o trabalho da Comissão, eu vou ter que lidar com uma série de temas de natureza regulatória desde logo e endereçar eventuais compatibilidades que nós vamos ter que fazer com alguma outra legislação sobre a perspectiva setorial ou geral: se já existiria algum aspecto regulatório, algum gargalo regulatório, algum obstáculo regulatório hoje que você enxerga, Sergio, que precisaria ser objeto de algum tipo de adequação ou de exame por parte da Comissão para evitar um incongruência futura. Por que eu pergunto isso? Porque você fez até uma observação muito interessante sobre o papel das agências. Cada agência tem a sua regulação setorial. E precisaria ter aqui uma forma de compatibilizar quando houver um risco de não convergência. Então, se eventualmente você já veria algo em antecipação que precisaria ser olhado como uma forma de compatibilização. O SR. SERGIO PAULO GALLINDO (Por videoconferência.) - A minha resposta é não, mas é uma resposta precária, porque a gente não se debruçou sobre isso. O entendimento que eu pelo menos tenho é o seguinte: o fato de a gente já ter agências regulatórias já faz com que essa matéria seja digna de regulação. Então, o que eu estou preocupado é que haja a valorização de boas práticas de governança e de códigos de conduta para que as próprias agências regulatórias comecem a trabalhar no impacto da IA nos mandatos que elas já têm. Está certo?
12:15 R	O futuro pode demonstrar que a gente precisaria de alguma outra regulação em alguma outra situação; neste momento, a gente não fez essa avaliação na Brasscom. E eu arriscaria dizer que o setor produtivo em especial está o.k., mas a mobilização das agências eu acho que é muito importante. Elas é que têm a característica de tecnicidade para poder fazer essas avaliações e introduzir aquilo que for necessário para as próprias regulações que elas já têm. O SR. PEDRO HARTUNG - Posso só... O SR. PRESIDENTE (Bruno Ricardo Bioni. Por videoconferência.) - Eu não sei se... Acho que agora o Pedro gostaria de reagir, mas eu sei que o Filipe Medon, membro aqui da Comissão, também teria mais uma pergunta direcionada para o Pedro. Eu não sei se alguns dos outros painelistas gostariam de reagir ainda neste primeiro bloco, antes de franquear a palavra para o Filipe e também, consequentemente, para o Pedro. A SRA. GIANNA CARDOSO SAGAZIO (Por videoconferência.) - Desculpa, Bruno. Eu só queria dizer que, como eu informei na minha apresentação, nós continuamos estudando o tema junto com as empresas. Então, caso vocês tenham alguma questão específica, podem ficar à vontade para nos enviar, porque a gente vai se dedicar, vamos pesquisar com mais profundidade, consultar para que a gente tenha um posicionamento do setor empresarial, pelo menos das empresas com as quais a gente trabalha diretamente, para ajudar nessa formulação. Obrigada. O SR. PRESIDENTE (Bruno Ricardo Bioni. Por videoconferência.) - A gente que agradece, Gianna. Filipe. O SR. FILIPE MEDON (Por videoconferência.) - Muito obrigado. Boa tarde a todos e a todas. Em primeiro lugar, gostaria de parabenizar os painelistas pelas contribuições tão ricas e agradecer pela participação. Bom, primeiro, uma pergunta; depois, uma breve consideração. A pergunta que eu faço se direciona especificamente ao Dr. Pedro e tem em vista a regulação propriamente dita. Nós já estivemos juntos em outras oportunidades de debates sobre o tema e, inequivocamente, concordamos sobre a centralidade dos direitos fundamentais da criança frente à inteligência artificial. E, pensando precisamente no cenário desse necessário protagonismo, a minha dúvida seria a seguinte: será que nós deveríamos tratar do tema como apenas um capítulo ou uma norma de eventual marco legal da inteligência artificial ou isso deveria vir por meio de uma reforma mais abrangente do Estatuto da Criança e do Adolescente ou ainda numa lei especial? Então, a uma pergunta para o Dr. Pedro é: qual a sua perspectiva sobre essa forma de regulação? Em segundo lugar, não poderia deixar de destacar que, apesar de não ter sido objeto de nenhuma das mesas de hoje, de objetos específicos, perpassou por diversas falas a defesa da responsabilidade civil subjetiva. E me parece importante e oportuno nós ressaltarmos que mesmo a aludida Resolução do Parlamento Europeu de 20 de outubro de 2020 não traz o regime de natureza subjetiva de forma pura, mas, sim, como tem entendido a doutrina europeia, com presunção de culpa e apenas para sistemas de baixo risco - isso está lá no art. 8º da aludida resolução, dentro de um cenário maior de quatro regimes a depender dos operadores, de quem está lidando com IA. Então, esse também é um ponto para ser considerado e visto com muito cuidado. Devolvo a palavra e agradeço mais uma vez. O SR. PRESIDENTE (Bruno Ricardo Bioni. Por videoconferência.) - Obrigado, Filipe. Tem algumas mãos levantadas, mas eu gostaria de imediatamente franquear a palavra para o Pedro, já que ele teria duas reflexões para fazer, do bloco anterior e agora do Filipe. E aí, na sequência, a gente inicia o segundo bloco.
12:19 R	O SR. PEDRO HARTUNG - Muito obrigado. É apenas para conversar um pouco sobre o que foi perguntado pelo Bruno sobre reconhecimento facial, identificação biométrica e essa classificação de alto risco, com que eu tendo a concordar justamente em função não... E discordando um pouco do que o meu colega Gallindo comentou sobre o juízo de admissibilidade por parte do juiz. É menos sobre admissibilidade de provas ou que possam ser decididas unilateralmente pelo juízo: a discussão sobre reconhecimento facial e identificação biométrica é mais sobre confiabilidade dessa tecnologia para identificação real do que está acontecendo. Um estudo da Universidade de Essex apontou que o uso dessas tecnologias pode incorrer em cerca de 89% de falhas, o que impacta diretamente o direito de defesa e contraditório em questões penais e, no caso, o de crianças e adolescentes, em adolescentes a quem se atribui ato infracional na questão do socioeducativo. Então, é fundamental - existem já discussões no Brasil sobre isto, inclusive no metrô de São Paulo - que a gente tenha que ficar atento, sim, ao uso dessas tecnologias que impactam diretamente a fruição de direitos desses adolescentes, dessas crianças. Então, o alto risco é justificado no uso dessas tecnologias que impactam diretamente crianças. Segundo: agora a pergunta do nosso colega Filipe Medon sobre qual é a melhor legística, quando a gente pensa em criança, tecnologia, em inteligência artificial. Sem dúvida, olhar para a criança é prioritário, é necessário, mas a boa legística, no que tange às crianças, as boas experiências nos trazem que não é reformando o ECA a cada novo tema que aparece que a gente vai conseguir chegar à proteção, mas justamente incluindo a criança e seus direitos de forma transversal nas novas legislações, e não somente em um artigo. O que a gente pede aqui é que não tenha um capítulo ou um artigo da criança, mas que, em todos os artigos, a gente possa olhar para a criança e entender como essa regulação impacta diretamente a vida e a fruição de direitos e o desenvolvimento de crianças e adolescentes. E aí, sim, pensar numa regulação adequada. Então, o nosso posicionamento é o de que a lógica dos direitos da criança e do adolescente seja espalhada pela legislação, e que possa, em todos os momentos, haver uma reflexão de como esse público é direta ou indiretamente atingido pela regulação e pelas práticas de inteligência artificial. O SR. PRESIDENTE (Thiago Luís Santos Sombra. Por videoconferência.) - Obrigado, Pedro. Eu vou passar, primeiro, a palavra ao Bruno. Na sequência, à Estela Aranha, membro aqui da Comissão. O SR. BRUNO JORGE (Por videoconferência.) - Obrigado. Ainda em relação ao primeiro bloco e à sua pergunta, Thiago, de como antever e se a gente já tem algum ponto identificado de lacunas regulatórias em relação ao uso da inteligência artificial. E aí esse é um processo que está em desenvolvimento de uma forma muito clara. Neste momento, os riscos ainda não estão mapeados. Mas por isso é que é importante o desenvolvimento de projetos - e eu acho que vai ser objeto de um novo painel - do sandbox regulatório, dos espaços regulatórios, não é? É importante que esse mecanismo de inovação que a legislação hoje tenta regulamentar, de temas tão mutantes que nem a inteligência artificial... A gente está falando de um processo, imaginem, que começou nos anos 1950 com Alan Turing e vem se desenvolvendo nos últimos 60, 70 anos, enfim. E agora a gente está regulando pelos seus impactos, pela escala que esse processo tem na sociedade e também pelos benefícios que ele traz. Então, o uso de pilotos, de test base, de projetos de laboratório, enfim, de espaços controlados em que a regulamentação permita esse tipo de coisa, esse tipo de instrumento e mecanismo para o aperfeiçoamento dessa regulação, talvez venha ao encontro do que você colocou, Thiago, no sentido de a regulação prever, porque é quase impossível a gente não limitar algum desenvolvimento tecnológico que poderia acontecer quando se regula. Então, que esses mecanismos, como o sandbox regulatório, esses espaços de regulação que permitem, por exemplo, que um Pix acontecesse, para permitir, por exemplo, que a telemedicina aconteça, sejam previstos na legislação.
12:23 R	O SR. PRESIDENTE (Thiago Luís Santos Sombra) - Obrigado, Bruno. Estela. O SR. FABRÍCIO DE MOTA ALVES - Dr. Thiago, a convidada Crisleine gostaria de fazer algumas considerações, se for possível, antes de passar a palavra à Dra. Estela. O SR. PRESIDENTE (Thiago Luís Santos Sombra) - Claro. A SRA. CRISLEINE YAMAJI - Obrigada, Fabrício. Ainda sobre o primeiro bloco, em relação às provocações do sistema de identificação biométrica e da responsabilidade. Julgar simplesmente o sistema sem entender a finalidade, a função, a necessidade, a adequação do uso me parece bastante prematuro da União Europeia, e condenar um sistema, vedando-o, leva a deixar de ter proveito em diversos aspectos desses sistemas. Trabalhando com o setor bancário, que se preocupa tanto em colaborar com o combate à criminalidade, a proteção à fraude, a gente vê como é fundamental às vezes contar com sistemas de validação e identificação precisos. E aqui mais para ponderar o fato de a gente colocar simplesmente o sistema como algo que traz um risco por si só inaceitável. A modulação é a destinação, é a finalidade que nos diz isso e esse é o aspecto que eu queria ponderar sobre isso. Em relação à responsabilidade, falando um pouco da responsabilidade civil e concordando com outros colegas painelistas que abordaram o tema do nosso lado, também acreditamos aqui que a responsabilidade civil seja subjetiva, eventualmente com inversão aqui do ônus da prova, como é colocado na União Europeia. Eu só me permito discordar porque nem todos os países olham simplesmente pelo viés do risco baixo. A Itália tem diversos julgados inclusive anteriores à regulação da própria IA, que trazem uma análise de risco um pouco mais precisa, na medida em que a mitigação de riscos, ainda que um pouco mais altos - claro que o alto ou baixo aqui é muito analisado caso a caso -, é feita numa análise que leva a medida também da própria responsabilidade e a adoção de medidas de segurança adequadas, de uma postura diligente adequada, conforme determinados padrões e políticas que possam suportar aquela assunção de risco que diz respeito ao uso da inteligência em si. Então, falando da responsabilidade civil, só para concordar com os colegas que estabelecem aqui a sua visão de responsabilidade civil subjetiva imprópria ou subjetiva com o ônus da prova sui generis, como gostam de falar alguns, mas sem limitá-la a riscos baixos e sim com adoção de medidas adequadas para as mitigações de risco que se apresentam. Obrigada.
12:27 R	O SR. PRESIDENTE (Bruno Ricardo Bioni. Por videoconferência.) - Obrigado, Crisleine. Eu gostaria de fraquear a palavra para a Dra. Estela Aranha, membro da Comissão. A SRA. ESTELA ARANHA (Por videoconferência.) - Bom, novamente aqui - desculpem-me -, porque a gente tem tão pouco tempo para entregar os trabalhos que eu aproveito para fazer alguns comentários até na nossa própria Comissão. Primeiro, sobre segurança pública e a importância da discussão do tema, que eu acho que acabou ficando menor aqui. Mesmo que eventualmente seja excluída do diploma essa relação entre a segurança pública e também esses debates aqui, é só para levantar um exemplo - já que a gente teve a fala aqui do setor financeiro, por exemplo, setores obrigados pela lei de lavagem, pela lei de terrorismo - de como serão tratados esse tipo de dados e essas informações, como, por exemplo, o uso de sistemas preditivos, que pode acontecer nesses sistemas. Eles não são propriamente... Podemos encaixá-los como segurança pública, persecução penal ou investigação criminal, mas eles, de certa forma, alimentam esses sistemas, e as consequências são exatamente as mesmas: a eventual violação de um direito, a violação do direito de ir e vir, por exemplo, a restrição de liberdade. Então, eles são absolutamente equivalentes em consequências e finalidades. Então, sempre que, enfim, uma reflexão de tratar... Quando a gente for tratar esses temas de, principalmente, separar os riscos, a gente deve olhar sempre a finalidade do uso da tecnologia, porque eu acho que ajuda. Eu queria ressaltar também a necessidade de destacar só rapidamente a questão de criança e adolescente, mas eu não vou me alongar mais, porque a pergunta é um pouco mais longa. O Sr. Sergio Paulo Gallindo - excelente apresentação, sempre muito boas suas contribuições - foi muito rápido. A gente não tem tempo. Então, eu queria entender um pouco mais. Quando a gente estava falando de regulação baseada em risco, você somente pontuou que deveria ser uma regulação ex post e não desenvolveu mais. Aí eu queria fazer um comentário, até pegando como bibliografia a Julia Black, no sentido da literatura clássica de regulação baseada em risco. Eu vou rapidamente colocar que, em geral, quando os riscos recaem sobre os indivíduos e podem ser compensados, obviamente essa regulação é composta por esse regime de responsabilidade ex post. Mas, quando existem riscos de danos individuais, quando se considera necessária uma abordagem preventiva - tais como aqueles que fabricam algum produto, fornecem algum serviço, podem ser obrigados, por exemplo, a ter uma autorização específica, como os serviços financeiros, aqui bem colocado -, quando os riscos recaem sobre indivíduos, mas não são compensáveis ou são aquilo que chamam de arrependimento profundo, como ameaça à vida, por exemplo, são requisitos impostos ex ante, mais onerosos, como, por exemplo, licenciamento, monitoramento, execução contínua, e os padrões de consentimento à exposição do risco são maiores. Por outro lado, quando esses riscos são sistêmicos, embora ainda sejam compensáveis, eles não são individuais. É inadequado obviamente esses sistemas dependerem de consentimento individual, porque eles impactam toda a sociedade, e novamente é necessária a regulação ex ante, bem como a remediação ex post, como a gente está falando aqui sempre da regulação ex ante e ex post e, principalmente, da história de responsabilização, do regime de responsabilidade.
12:31 R	E, finalmente, quando esses riscos são sistêmicos e os danos não são compensáveis ou não são remediáveis, por exemplo, nas aplicações de segurança pública, então os regimes regulatórios ex ante geralmente são mais restritivos. Até a regulação do desenvolvimento deve ser mais restritiva, bem como da sua implantação, do seu uso e da sua colocação no mercado; exige testes superextensivos, como a gente falou na questão de saúde, uma regulação super-rigorosa e, às vezes, até mesmo a vedação do uso da tecnologia. Então, diante dessa variedade que a gente tem de tecnologia, como a gente fala, de inteligência artificial, que é uma tecnologia geral, há uma variedade de riscos enormes, e, obviamente, cada aplicação tem o seu risco. Como que a gente faz para predefinir uma forma de regulação? Acho que a gente tem todas essas e no cardápio vai ter que usar todas essas, porque os riscos são muito diversos. O SR. SERGIO PAULO GALLINDO (Por videoconferência.) - É para eu falar? O SR. PRESIDENTE (Thiago Luís Santos Sombra. Por videoconferência.) - Gostaria de falar alguma coisa, Dr. Sérgio? O SR. SERGIO PAULO GALLINDO (Por videoconferência.) - Eu não sei... Fui citado e não sei se eu posso falar um pouco. O SR. PRESIDENTE (Thiago Luís Santos Sombra. Por videoconferência.) - Fique à vontade. Temos alguns minutos ainda, fácil de concluir. O SR. SERGIO PAULO GALLINDO (Por videoconferência.) - Estela, eu acho que tudo que você falou está dentro do contexto que eu estava tentando explanar, certo? Os instrumentos de regulação estão aí para serem usados. Eu vou dar só um pequeno exemplo para identificar o que que estou falando: na questão de geração de energia elétrica, você tem um nível de risco para energia elétrica de matriz hidráulica e um risco totalmente diferente em matriz nuclear. Tudo é energia, mas o uso da energia ou a forma como a energia tem que ser tratada é diferente. É isto que, na verdade, entendo que os países mais avançados fazem: eles identificam aquilo em que é necessária uma regulação ex ante daquilo que é regulação ex post. Nós estamos tratando aqui de uma tecnologia, e é uma tecnologia de uso geral. Então, crivar um tipo de adequação, seja ex ante ou ex post, a priori, não me parece razoável para uma tecnologia geral. A tecnologia de inteligência artificial vai estar na usina atômica nuclear e vai estar também na geração hidráulica, na geração hidrelétrica. A tecnologia inclusive vai ser diferente para essas duas coisas, mas é o uso da tecnologia que vai caracterizar aquilo que a gente deve fazer numa ex post, deixar fazer, deixar acontecer, daquela em que a gente tem que dizer que os cuidados são maiores e que precisa de outro regramento. É mais ou menos essa a minha visão. Não sei se dialogou com a sua. A SRA. ESTELA ARANHA (Por videoconferência.) - Eu acho até que há concordância, porque o sentido é não regular a tecnologia, e sim seus usos. E aí, sim, temos esse cardápio completo de soluções que vamos ter que buscar. O SR. PRESIDENTE (Thiago Luís Santos Sombra. Por videoconferência.) - Com isso, acho que podemos encerrar o painel. Não temos mais perguntas no chat e, acredito, Fabrício, que presencialmente também não. O SR. PRESIDENTE (Fabrício de Mota Alves) - Desculpa, Thiago. Houve um questionamento que chegou aqui da audiência, mas não será formulado então, não é? O SR. PRESIDENTE (Thiago Luís Santos Sombra. Por videoconferência.) - Já foi endereçado aos painelistas. O SR. PRESIDENTE (Fabrício de Mota Alves) - Tudo bem, está o.k. Então, pode concluir.
12:35 R	Eu faço só um alerta no final, só uma advertência no final. O SR. PRESIDENTE (Thiago Luís Santos Sombra. Por videoconferência.) - Quero só agradecer a todos. Acho que foi uma excelente oportunidade de ouvir aqui posições muito distintas do setor empresarial e da sociedade civil. Teremos outros painéis. Vamos retornar agora às 14h. Quero reforçar o pedido que a Secretaria fez a quem utilizou uma apresentação: que a encaminhasse, para que nós pudéssemos aqui considerar nos nossos trabalhos. Passo a palavra ao Fabricio, para encerrar. O SR. PRESIDENTE (Fabricio da Mota Alves) - Está o.k. Muito obrigado, Dr. Thiago, Dr. Bruno, demais membros da Comissão, nossos convidados painelistas. Apenas faço o comunicado de que o painel que está previsto para hoje, às 14h, será exclusivamente virtual. Todos os membros, a Profa. Ana Frazão, assim como os painelistas, participarão na modalidade online. Então, muito obrigado. Retomamos os trabalhos às 14h. Obrigado a todos. O SR. SERGIO PAULO GALLINDO (Por videoconferência.) - Muito obrigado. Boa tarde a todos! O SR. FILIPE MEDON (Por videoconferência.) - Tchau! Boa tarde! Obrigado. (Suspensa às 12 horas e 36 minutos, a reunião é reaberta às 14 horas e 03 minutos.)
14:03 R	A SRA. PRESIDENTE (Ana de Oliveira Frazão. Por videoconferência.) - Boa tarde a todos. Declaro reaberta a terceira reunião da Comissão. Na verdade, esta é a última do dia e a última desta primeira rodada de audiências públicas. Vamos falar nesta tarde sobre um tema extremamente importante, instigante, que já apareceu aqui de diversas formas nos debates anteriores, cujo título é: "Inteligência artificial e riscos: gradação de riscos; hipóteses de riscos inaceitáveis e princípio da precaução". Então, vejam que é um tema que entra no âmago de várias das discussões fundamentais de uma regulação de inteligência artificial, ou seja, se regular, por que regular, como regular, quando regular. E muitas dessas discussões, como eu já reiterei aqui, apareceram em painéis anteriores. Muitos dos nossos expositores já mostraram a necessidade de pensarmos, sim, em um modelo que se baseia em riscos, em uma gradação de riscos. É claro que, a partir desse momento, as controvérsias existirão: como vamos fazer essa graduação de riscos, há riscos inaceitáveis que eventualmente justificariam, inclusive, o banimento de determinadas utilizações, como vamos lidar também com as questões de baixo risco. E, para além dessa discussão, surge também uma que eu particularmente considero extremamente importante que é a própria discussão a respeito do princípio da precaução, ou seja, como lidar com as incertezas, com aquilo que não pode ser previsto. E nós sabemos que aqui talvez se concentre uma das grandes divergências a respeito do tema. Aliás, há uma controvérsia até sobre qual seria o conteúdo do próprio princípio da precaução, em que medida ele seria ou não aplicável à inteligência artificial, havendo desde aqueles que entendem que isso levaria a decisões irracionais até aqueles que entendem que precisaríamos considerar o princípio da precaução e que ele, inclusive, seria compatível até com modelos de regulação por evidências. Então, eu acredito que aqui, neste momento, nós estaremos diante de vários dos dilemas da regulação da tecnologia, até aquela questão do quando regular, porque, se regulamos um pouco sem informação, temos o problema informacional; se esperamos um pouco, podemos ter informação, mas aí teremos o problema de poder e de controle, já que muitas vezes aquela tecnologia já causou danos irreversíveis e dificilmente será possível se conter essa própria trajetória que já foi então alcançada. Então, acredito que vai ser uma discussão bastante interessante. E para isso nós temos cinco convidados especialistas nessa matéria, que vão contribuir conosco com toda a sua expertise nesses assuntos. Esses convidados são os seguintes: a Dra. Maria Cecília Oliveira Gomes, do Data Privacy Brasil; a Dra. Priscila Lauande Rodrigues, Pesquisadora da Sapienza Università di Roma/USP; Dr. João Paulo Cândia Veiga, do Center for AI (USP/FAPESP/IBM); a Dra. Heloisa Estellita, da Fundação Getúlio Vargas, São Paulo; e Dr. André Lucas Fernandes, do Instituto de Pesquisa em Direito e Tecnologia do Recife. Eu aproveito para cumprimentar a todos os nossos convidados e agradecer enormemente por terem aceito o convite. Quero cumprimentar também muito especialmente todos aqueles da Comissão que estão aqui conosco.
14:07 R	Estou vendo aqui a Dra. Estela, o Dr. Victor, o Dr. Danilo, a Dra. Clara, o Dr. Filipe, se tiver perdido algum, então, peço desculpas. Faço um cumprimento também muito especial ao nosso Presidente, Ministro Cueva, à nossa Relatora, Profa. Laura Schertel. E também desejo uma boa tarde e excelentes trabalhos para aqueles a que nos assistem. Sem mais delongas então, já vamos iniciar a fase inicial da exposição dos nossos convidados, em que cada um terá 15 minutos para fazer as suas considerações. Portanto, já passo a palavra à Dra. Maria Cecília Oliveira Gomes. Doutora, muito obrigada mais uma vez pela sua presença conosco. A SRA. MARIA CECÍLIA OLIVEIRA GOMES (Por videoconferência.) - Boa tarde! Boa tarde a todos! Agradeço o honroso convite da Comissão de Juristas e a oportunidade de contribuir para um debate tão importante quanto o que tem por objetivo abordar as audiências públicas que estão sendo promovidas. Cumprimento a moderadora do painel, a Dra. Ana Frazão, os demais membros da Comissão que estão presentes e os caros colegas. Pude acompanhar os debates e todas as contribuições têm sido muito ricas. Espero poder contribuir também através dos comentários e endereçamentos que irei fazer no presente painel. Sou Professora do Data Privacy Brasil, bem como doutoranda na USP, onde pesquiso o tema de relatório de impacto e risco e risco associado ao relatório de impacto. O painel se trata sobre inteligência artificial e riscos, gradação de riscos, hipóteses de riscos inaceitáveis e o princípio da precaução, que é tão importante quanto a Dra. Ana Frazão estava comentando. Vale mencionar que há diversas formas de fazer gestão de risco em sistemas de inteligência artificial. E vários autores, no âmbito internacional, já vêm debatendo esse tema sob diferentes perspectivas, como na União Europeia, Unesco, OCDE, Conselho da Europa, National Institute of Standards and Technology, entre vários outros que já foram mencionados nas audiências. Conforme as recomendações da Unesco para questões éticas envolvendo IA, precisamos considerar que essas tecnologias podem ser de grande utilidade para a humanidade, mas também é preciso considerar que existem preocupações éticas fundamentais, como, por exemplo, em relação aos preconceitos que elas podem incorporar e exacerbar potencialmente resultando em discriminação, desigualdade, exclusão digital e uma ameaça à diversidade cultural, social e biológica e divisões sociais ou econômicas. Bem como há uma necessidade de transparência e compreensão do funcionamento dos algoritmos e dos dados com os quais foram treinados e o seu potencial impacto, incluindo, mas não se limitando, a dignidade humana, direitos humanos, liberdades fundamentais, igualdade de gênero, democracia, entre outros. Considerando esses aspectos e o que está previsto nos projetos de lei aqui analisados, decidi direcionar a minha fala para uma das formas de gestão de risco, que leva em consideração questões éticas e avaliam impacto nos direitos humanos, liberdades fundamentais, entre outros, que é a avaliação de impacto. A avaliação de impacto existe em diversas áreas e em diferentes contextos e é uma ferramenta que vem sendo utilizada há décadas. Só na área de proteção de dados estamos falando de quase 30 anos de debate sobre ela. Contudo, este é um debate recente no Brasil, levando em consideração a norma sobre relatório de impacto à proteção de dados pessoais, prevista na LGPD a partir de 2018. E, no que concerne às discussões envolvendo inteligência artificial, a avaliação de impacto tem ocupado um lugar de destaque como uma forma de avaliar riscos.
14:11 R	Nesse sentido, a avaliação de impacto pode seguir diversas metodologias, sendo a mais comum em proteção de dados - e a que vem sendo bastante debatida em inteligência artificial - a da abordagem baseada em risco ou, no inglês, risk-based approach, que já foi mencionada várias vezes nos painéis de ontem e de hoje das audiências. Essa é a metodologia que alguns atores internacionais têm discutido como caminho para avaliar riscos em sistemas de IA e é a que parece ser referenciada mais diretamente no PL 21, de 2020, o qual menciona gestão baseada em risco, em seu art. 6º, inciso III. Vale indicar que as expressões "risco" e "formas de mitigação de risco" aparecem em outros artigos desse mesmo projeto, bem como aparecem mencionadas no PL 872, de 2021, no qual a mitigação de risco está indicada no art. 4º, inciso VII. Sobre isso é necessário compreender o que podemos considerar como gestão baseada em risco e mitigação de risco, que são mencionadas nesses projetos. Para isso é importante entender um pouco sobre o debate internacional envolvendo a abordagem baseada em risco. Podemos considerar que existem perspectivas distintas nesse debate, isso porque a abordagem baseada em risco tem sido objeto de estudo e análise há anos sobre o quanto ela é adequada ou não para a prevenção de riscos aos direitos fundamentais, e isso porque ela tem sido interpretada por alguns setores de maneiras diferentes da sua real função. A variação de impacto ou a sua derivação, como um relatório de impacto previsto aqui no Brasil na LGPD, tem por função a prevenção de riscos aos direitos, bem como promover uma maior accountability e transparência. Essa função também vale para avaliação de risco em IA, e muitos dos debates têm se voltado para a reflexão de como através da avaliação de impacto é possível prevenir e evitar - é uma palavra muito importante - riscos éticos que envolvam direitos humanos e uma inteligência artificial. Nesse cenário, temos na mesa orientações distintas sobre como essa variação de risco precisa ser feita. Para alguns setores, trata-se de uma mera conformidade legal, ou o que chamamos de checklist compliance ou risk compliance, na qual a preocupação é estar em conformidade com a regulação ou a lei, e não necessariamente com a prevenção de riscos aos direitos. Em contrapartida, alguns acadêmicos têm se posicionado de que a abordagem baseada em risco precisa ser orientada a direitos e ter como norte central a prevenção de riscos aos direitos dos seres humanos. Portanto, não se trata apenas da escolha sobre qual metodologia vai ser utilizada, mas também de como ela vai ser interpretada - o que foi um pouco a provocação feita no Painel 2, de ontem, ao questionar riscos e direitos, na audiência. Eu concordo com o que foi mencionado de que não há uma dicotomia entre riscos e direitos, mas entendo que, na verdade, se trata da forma de interpretação e implementação dos modelos metodológicos. Nessa perspectiva, a avaliação de impacto vem sendo debatida sobre a terminologia de "avaliação de impacto em IA", "avaliação de impacto ética" e "avaliação de impacto de direitos humanos", sendo que todas elas possuem como um guia uma abordagem voltada a princípios e a direitos, para que efetivamente possam ser prevenidos os riscos.
14:15 R	Algumas recomendações como a da OCDE falam da variação de impacto em direitos humanos e valores democráticos e listam modelos e referências a esses valores. Assim como acontece no Relatório de Impacto à Proteção de Dados Pessoais, o relatório de impacto em IA pode considerar os direitos fundamentais previstos na Constituição Federal, as liberdades civis também previstas na Constituição Federal e os princípios éticos em IA, que estão sendo discutidos no cenário internacional, como por exemplo os dez princípios recomendados pela OCDE e os princípios recomendados pela Unesco. Portanto, é imprescindível que seja considerada pela Comissão a adoção de avaliações de impacto em IA, que possuem sua sistematização no substitutivo; uma orientação à prevenção de riscos aos direitos com embasamento nos princípios éticos; e ter como eixo central de análise o ser humano, quando o sistema for a ele aplicado, podendo compreender tanto indivíduos quanto grupos. É possível seguir diferentes abordagens metodológicas, como a abordagem baseada em risco, que já foi muito mencionada, a abordagem baseada em direitos ou a abordagem baseada em riscos e benefícios. Contudo, o mais importante é compreender que o ser humano é o eixo central dessa análise. E esse é um ponto que está ausente em todos os três projetos de lei ora analisados, quando o tema risco é abordado por eles. Eles se voltam para uma gestão, com uma abordagem baseada em risco através da menção de mitigação de risco, por exemplo, sem necessariamente procedimentalizá-lo ou criar o instrumento da avaliação de impacto como uma das formas de gerir e evitar esse risco, assim como parece se voltar para um momento a posteriori, ou seja, não foca em a abordagem baseada em risco ser feita em modelos de IA que ainda não foram disponibilizados no mercado e ainda não têm riscos concretizados. É necessário que fique claro que essa avaliação precisa ser feita no momento do desenvolvimento da IA e que os riscos precisam ser avaliados e prevenidos antes de se concretizarem, sempre na lógica da prevenção e de se evitar o risco, o que está alinhado com o princípio da precaução, e não necessariamente da mitigação, o que pode ser entendido quando os riscos já se concretizaram e a tecnologia está sendo avaliada depois de ser disponibilizada no mercado. Compreendido isto, é possível avaliar como esse risco será mensurado através da matriz de risco, que pode possuir gradações e níveis diferentes de mensuração, indo do mais simples, três níveis - baixo, moderado, alto -, até quatro a cinco níveis de risco, o que varia a partir do referencial que está sendo utilizado. E no cenário internacional existem hoje diversos tipos de sugestões de frameworks diferentes. Um caminho que pode ser seguido quando for regulamentado o presente tema é se valer de estudo de caso em diferentes setores, para avaliar os tipos de risco em IA de maneira setorial, a partir de modelos de IA diferentes, sendo essa uma forma que se aproxima mais da realidade da avaliação de risco de um sistema específico e que pode servir como norte de análise e recomendação setorial sobre o tema. Considerando esses pontos, recomendaria à Comissão a inserção da avaliação de impacto em IA orientada a princípios e a direitos, bem como a sua sistematização no substitutivo que será desenvolvido, a fim de que tenhamos uma prevenção de riscos aos direitos dos seres humanos, impactados pela IA de forma mais completa e efetiva.
14:19 R	Eram essas as minhas considerações iniciais sobre o tema. Agradeço pela oportunidade e continuo à disposição para os debates. Muito obrigada. A SRA. PRESIDENTE (Ana de Oliveira Frazão. Por videoconferência.) - Muito obrigada, Dra. Maria Cecília. Vamos, então, já passar para a nossa segunda exposição. Imediatamente, aqui, Dra. Priscila Lauande Rodrigues, por favor. A palavra está contigo. A SRA. PRISCILA LAUANDE RODRIGUES (Por videoconferência.) - Obrigada. Boa tarde a todos e a todas! Eu gostaria de cumprimentar os integrantes do presente painel, os membros da Comissão também presentes, na pessoa da Profa. Ana Frazão. Eu agradeço imensamente o convite que me foi feito, especialmente à Profa. Estela Aranha, a quem estendo os meus cumprimentos. Quero dizer que muito me honra estar presente aqui, hoje, para tratar de um assunto de extrema importância e interesse para o Brasil, que é a regulação da inteligência artificial. E espero que eu possa contribuir com esse debate, trazendo uma visão voltada para os riscos que impactam as relações de trabalho. Eu inicio me apresentando brevemente. Eu sou doutoranda pela Sapienza Università di Roma; Mestre em Direito das Relações Sociais e Trabalhistas pela UDF. Faço parte do Comitê Científico do Instituto Ítalo-Brasileiro de Direito do Trabalho. Sou pesquisadora do Núcleo Trabalho além do Direito do Trabalho, da USP, e sou advogada trabalhista. Esse tema de que me ocupo é muito rico e amplo, mas irei me ater em tratar dos riscos que reputo mais impactantes nas relações de trabalho, sob a premissa de que o confronto da inteligência artificial com o direito não pode se ater somente ao plano do Direito Civil, mas também deve incorporar a proteção aos direitos sociais. Quanto mais as atividades de inteligência artificial correspondem ao trabalho, mais se torna imprescindível colmar essa lacuna. E o primeiro ponto que gostaria de destacar são os riscos em relação à ocupação e às mudanças das competências pessoais para acessar ou permanecer num mercado de trabalho que se torna cada vez mais restrito. A inteligência artificial, a utilização de big data, a gestão por algoritmo já são uma realidade no mundo do trabalho. Ainda que considerada inicialmente, a IA se difunde por diversos setores distintos: do transporte com veículos autônomos, da pesquisa e segurança com os drones, da saúde com os robôs e as intervenções restaurativas e de melhoria do corpo humano; alcança não apenas os setores manufatureiros e de comércio, mas também a assistência médica, a educação, a agricultura e diversos outros. Um estudo da OCDE de 2019, "The Future of Work", estima que empregos de média qualificação são crescentemente expostos a riscos: 14% dos empregos existentes podem vir a desaparecer como resultado da automação nos próximos 15, 20 anos e, adicionalmente, 32% podem sofrer mudanças radicais à medida que tarefas individuais venham a ser automatizadas. O nosso ordenamento jurídico já prevê essa proteção em face da automação, na forma da lei, no capítulo referente aos direitos sociais, art. 7º, inciso XXVII, dispositivo que ainda não foi regulamentado. E o que se começa a se observar é um debate já crescente sobre uma taxação em razão da automação, como uma forma de diminuir os impactos sociais dessas demissões em massa e perdas de postos de trabalho, bem como a instituição de mecanismos de proteção social, instituição de uma renda mínima universal e outras formas de apoio à renda. Outras iniciativas que seriam complementares dizem respeito à requalificação dos trabalhadores para o inferimento na indústria 4.0. Isso também foi abordado num projeto de lei em discussão, o PL 5.051, que estabelece a promoção da educação para o desenvolvimento mental, emocional e econômico harmônico com a inteligência artificial. Cito também a criação de políticas específicas para a proteção e para a qualificação dos trabalhadores; o PL 21, que prevê a instituição de medidas para reportar a capacidade humana e preparar a transformação do mercado de trabalho à medida que a inteligência artificial é implantada; e ainda o PL 872, que, ainda que não faça menção especificamente ao trabalho, estabelece como diretriz a promoção da educação digital.
14:23 R	Eu faço menção a uma iniciativa do sindicato alemão IG Metall, no projeto Arbeit 2020, que introduz um sistema cujo propósito é fomentar a capacidade de administrar essa inovação em processos de desenvolvimento digital nos locais de trabalho e que diz respeito substancialmente ao desenvolvimento e à atualização de habilidades, aprendizagem, tempo de trabalho e proteção de dados pessoais. O último contrato coletivo nacional do Metal Mechanics, assinado aqui na Itália, já passa a reconhecer essas novas competências pessoais dos trabalhadores, estabelecendo novos sistemas de classificação, avaliando não apenas as tarefas, mas também o reconhecimento de habilidades relacionais e de comunicação, bem como a capacidade de resolução de problemas, competências que agora estão sendo reconhecidas. Então, eu acho que uma pauta extremamente importante é a que se refere à formação de profissionais para atuar na área, à qualificação de trabalhadores de um modo geral ou ainda à requalificação dos trabalhadores que perderam seus empregos, visando promover um ambiente de igual oportunidade para todos. Vejam que as aplicações da inteligência artificial podem, de fato, ter efeitos libertadores, especialmente se essa substituição se refere a trabalhos pesados, perigosos, penosos ou repetitivos. Entretanto, ela também pode estar associada com a mercantilização do trabalho humano, não associada à perda de empregos, mas à disseminação do trabalho precarizado. Uma das últimas, mas não exclusivas, implicações desse fenômeno tem sido recentemente associada com a forma de trabalho da chamada gig economy. E aqui eu já passo para o segundo ponto da minha exposição para abordar o trabalho em plataformas digitais e a gestão algorítmica. Lembro que a gestão algorítmica não se limita ao trabalho em plataformas digitais, mas aqui, em razão do tempo, eu me limitarei a fazer esse recorte. O trabalho de plataformas digitais diz respeito, então, à realização de processos intensos de produção de bens e serviços que são completamente externalizados de qualquer lugar produtivo tradicional. Aqui se observa uma dupla função: a de afirmar níveis enormes e constantes de extração de dados e informações sobre consumidores e trabalhadores, o data mining; e a de externalizar e decompor esse processo de produção em microtarefas, restaurando a uma unidade através da ação da gestão algorítmica. Nesse mecanismo de reprodução, a troca não envolve apenas o empresário e o trabalhador, mas também o cliente que utiliza o valor desses serviços. De fato, as plataformas podem combinar eficientemente a oferta e a demanda de mão de obra e oferecer oportunidades ou uma renda adicional, inclusive para pessoas que enfrentam barreiras de acesso ao mercado de trabalho, tais como jovens, pessoas com deficiências, migrantes ou pessoas com responsabilidade de cuidado. No entanto, muitos desses trabalhadores são equivocadamente classificados como autônomos e, consequentemente, desprovidos de uma proteção social trabalhista, mas que, de fato, experimentam a subordinação e diferentes graus de controle pelas plataformas, por exemplo, no que diz respeito a níveis salariais ou condições de trabalho. Isso é feito através do que é chamado de gestão algorítmica, que é utilizado para designar tarefas, monitorar, avaliar e tomar decisões. Aqui eu faço menção à proposta de diretiva da União Europeia publicada em dezembro de 2021, que ainda não foi aprovada, mas que traz esta inversão de um enquadramento jurídico, presumindo como relação de emprego quando há um efetivo controle do desempenho do trabalho. Esse controle pode ser observado quando estiverem presentes ao menos dois dos requisitos ali estabelecidos.
14:27 R	Essa mesma proposta de diretiva trata, em um capítulo específico, o Capítulo 3, a gestão algorítmica, estabelecendo transparência e uso de sistemas automatizados de monitoramento e tomada de decisão, em que as plataformas devem informar aos trabalhadores: quais são os sistemas de monitoramento automatizados utilizados para supervisionar e avaliar o desempenho do trabalho; quais são os sistemas automatizados de tomada de decisão que são usados e que afetam significativamente as condições de trabalho, em particular o acesso a tarefas, ganhos, segurança e saúde ocupacional, tempo de trabalho, promoção e sua situação contratual, incluindo restrição, suspensão ou rescisão de sua conta. Particularmente quanto ao sistema automatizado de tomada de decisão, devem informar os principais parâmetros que tais sistemas levam em consideração e a importância desses parâmetros na tomada de decisão automatizada, incluindo a forma como os dados pessoais ou o comportamento do trabalhador influenciam essas decisões, bem como os fundamentos das decisões de restringir, suspender ou encerrar a conta do trabalhador, de recusar a remuneração pelo trabalho realizado sobre o status contratual, ou qualquer decisão com efeitos similares. Todas essas informações devem ser fornecidas ao trabalhador, assim como no caso de qualquer mudança substancial, devendo ser apresentadas de forma concisa, transparente, inteligível e facilmente acessível, usando linguagem simples e clara. Ainda devem assegurar recursos humanos suficientes, devidamente treinados, capacitados e com garantias contratuais para assegurar essa autonomia, para monitorar o impacto das decisões individuais tomadas ou apoiadas por sistemas automatizados de monitoramento e tomada de decisão. As plataformas digitais de trabalho não devem ainda processar quaisquer dados pessoais relativos aos trabalhadores que não estejam intrinsecamente ligados e sejam estritamente necessários para a execução do trabalho. Outra questão importante diz respeito ao monitoramento humano de sistemas automatizados. Os Estados-membros devem assegurar que as plataformas monitorem e avaliem regularmente o impacto das decisões individuais tomadas ou apoiadas por esses sistemas, avaliando os riscos para a segurança e a saúde dos trabalhadores, em particular no que diz respeito a possíveis riscos de acidentes de trabalho, riscos psicossociais e ergonômicos; avaliar se as salvaguardas desses sistemas são apropriadas para os riscos identificados, tendo em vista as características específicas do ambiente de trabalho; bem como introduzir medidas de prevenção e proteção adequadas. Já avançando para o final da minha fala, aqui também trago como parâmetro a proposta da União Europeia sobre regras harmonizadas em matéria de inteligência artificial, que - como já foi mencionado aqui - propõe uma abordagem baseada no risco.
14:31 R	Os usos de IA prejudiciais aos valores fundamentais são considerados inaceitáveis e são proibidos, entendidos esses como sistemas que implantam técnicas subliminares que exploram vulnerabilidades e distorcem o comportamento humano ou são usados para pontuação social algorítmica. Especificamente quanto ao emprego, gestão dos trabalhadores e acesso ao trabalho por conta própria, a proposta trata como aplicações de alto risco. Os sistemas listados incluem aquele usado para recrutar, selecionar, anunciar vagas, selecionar, filtrar, avaliar candidatos durante entrevistas ou testes, tomar decisões sobre promoção e rescisão do contrato de trabalho, alocar tarefas, monitorar e avaliar desempenhos e comportamento. Isso significa que, potencialmente, todos os trabalhadores serão expostos a esses riscos. E, no contexto específico do emprego, esse risco é ainda agravado pela relação de subordinação existente entre trabalhador e empregador. A proposta, então, seria estimular a produção de inteligência artificial embasada em pesquisas específicas relacionadas aos riscos no contexto das relações de trabalho e aplicar soluções éticas principalmente nos campos da equidade e não discriminação, fairness, responsabilidade, prestação de contas, accountability, e transparência guiada pelo princípio da precaução. Eu agradeço mais uma vez a oportunidade e me coloco à disposição para o debate. Muito obrigada. A SRA. PRESIDENTE (Ana de Oliveira Frazão. Por videoconferência.) - Muito obrigada, Dra. Priscila. Já passo, então, a palavra imediatamente ao Dr. João Paulo Cândia Veiga. O SR. JOÃO PAULO CÂNDIA VEIGA (Por videoconferência.) - Eu tirei a máscara aqui. O protocolo aqui na USP é de todos e todas usarem a máscara, mas, como eu estou sozinho na sala, eu posso tirar a máscara. Em primeiro lugar, eu queria agradecer o convite de estar aqui na Comissão de Juristas para pensar o marco regulatório da inteligência artificial, agradecer particularmente à Profa. Ana Frazão e à Profa. Laura e cumprimentar a todos e todas neste evento importante, estratégico, eu diria, para a gente avançar na regulação de inteligência artificial. Eu vou fazer uma pequena introdução aqui. Eu acompanhei algumas apresentações e ouvi que vários expositores falaram um pouco: "Ah, o Brasil está atrasado, enfim, tem dificuldade nisso e naquilo". Eu acho que a gente pode iniciar aqui a apresentação. Bom, em primeiro lugar, eu não tenho formação jurídica, eu sou um cientista político que está tentando pensar o arranjo institucional do que seria esse marco regulatório, tá? Então, talvez eu destoe um pouco aqui da maioria dos expositores, porque eu vou fazer uma apresentação com um recorte um pouquinho diferente. Mas eu acho que toda essa discussão que nós estamos enfrentando agora - com muita responsabilidade pelo Senado Federal ao criar esta Comissão -, de alguma forma, é beneficiária de um ecossistema robusto, que foi desenvolvido no Brasil nos últimos 30 anos para ciência, pesquisa e inovação. Eu acho que, assim, a gente está aqui hoje discutindo regulação de inteligência artificial e acho que nós somos devedores de todo um esforço de bancos de fomento, de centros de pesquisa, de fundos que financiam a ciência, a inovação e a tecnologia, que fez com que o Brasil chegasse a 13º maior produtor de ciência no mundo.
14:35 R	Estou só chamando a atenção para que isso explica um pouco o fato de nós estarmos aqui discutindo o marco regulatório da inteligência artificial. Seguindo em frente, eu acho que é importante a gente ter certa cautela de não avançar de forma açodada nessa discussão, porque, veja, a maior parte dos países desenvolvidos ainda não dispõem de marco regulatório da inteligência artificial; estão em discussão. Tem protocolos, tem leis infraconstitucionais em países europeus, as coisas estão avançando, mas não é por acaso isso; é porque é muito difícil regular inteligência artificial, devido à ubiquidade dessa atividade. Já foi dito isso aqui por vários expositores: a gente está vivendo um momento de ruptura tecnológica onde qualquer atividade humana, teoricamente, pode ser substituída por uma máquina, e uma máquina pensante. Então, imaginar que nós vamos regular a inteligência artificial é um pouco pretensioso, para dizer o mínimo. Essa cautela, ao contrário de ser uma crítica, eu acho que é positiva. Isso nos dá mais tempo para pensar instrumentos que vão na direção da mitigação dos riscos, como foi apontado aqui pelas expositoras que me antecederam. Dito isso, eu passo para o segundo ponto. Eu tenho uma pretensão aqui muito modesta de contribuir com sugestões, de forma muito tranquila. Não sistematizei isso de forma organizada, mas aqui na USP nós criamos um centro de pesquisa de inteligência artificial, junto com a Fapesp e a IBM. Pela própria configuração do centro, nós estamos muito próximos do setor privado, das empresas, dos grandes provedores, dos grandes desenvolvedores, das empresas que compram tecnologia, ferramentas, aplicações de inteligência artificial. E uma coisa que eu posso dizer para vocês com muita tranquilidade é que as empresas também não sabem muito bem como desenvolver esses protocolos que dizem respeito à ética da inteligência artificial, que dizem respeito à mitigação de risco. As empresas estão se perguntando, e toda semana nós recebemos aqui demandas de como montar esses instrumentos corporativos para, de alguma forma, neste momento se antecipar a uma futura regulação. As empresas estão trabalhando com isso, mas elas não têm respostas. As perguntas que estão sendo colocadas aqui as empresas também não sabem responder de maneira inequívoca. Por isso, indo ao ponto importante aqui, como pensar um arranjo institucional para o marco regulatório da inteligência artificial? Imagino que vocês, eminentes juristas, imaginam um órgão regulador, um órgão que faça fiscalização e auditoria. Agora, qual é a questão mais importante, o que vai muito na linha do que a Dr. Maria Cecília apresentou antes, de pensar ex ante, de pensar a precaução? No fundo, a proposta é você pensar protocolos multifocais de mitigação de risco. E o que eu escuto no setor privado, das grandes empresas e dos provedores? É preciso um marco regulatório embasado bastante num conceito que eu acho que os juristas desenvolvem com mais propriedades e qualificação do que os cientistas políticos, que é a discussão de uma regulação que possa resultar de um processo de aprendizado entre quem produz a regra e o tomador da regra jurídica.
14:39 R	O que eu estou querendo dizer com isso? Que, dentro do arcabouço institucional da inteligência artificial, deve haver o que os britânicos chamam de um consórcio. O que é esse consórcio? É um local, previsto pela regulação, onde as empresas apresentam, respondem uma série de indagações. Por exemplo, imagino que isso possa estar contido em um relatório anual obrigatório que as grandes empresas possam, obrigatoriamente, apresentar à sociedade, às autoridades, onde você tem, por exemplo, questões: como foi feita a coleta de dados? Qual foi o método utilizado para desenvolver o algoritmo? Qual é o protocolo utilizado pela empresa para reduzir o risco de viés algoritmo, tanto pelo desenvolvedor quanto pelo banco de dados? Porque o viés pode estar no banco de dados; não precisa estar necessariamente em quem está desenvolvendo o algoritmo. Então, há uma série de perguntas que compõem um protocolo onde as empresas, dentro desse consórcio... Estou pensando muito na experiência britânica, em que isso acontece já há um certo tempo. E você aprende, ou seja, a autoridade reguladora, o setor privado e a sociedade civil passam por um processo de aprendizado, identificando onde, em que pontos da aplicação daquela ferramenta de inteligência artificial o risco é mais acentuado. Isso faz parte desse arcabouço institucional que eu estou sugerindo aqui para os juristas refletirem e eventualmente pensarem em como organizar isso do ponto de vista jurídico institucional. Foi dito hoje, pela manhã, do sandbox regulatório. O sandbox é outra ferramenta muito interessante. Por quê? Porque você pode reduzir e mitigar o risco se você previr o teste do algoritmo antes de ele ser implementado, vendido por um desenvolvedor ou por uma empresa que vai utilizar. Então, o sandbox é uma ferramenta muito interessante e poderia fazer parte desse arcabouço jurídico institucional que os juristas vão propor daqui a menos de três meses. Então, eu acho que são ideias para vocês refletirem e pensarem como construir esse arranjo institucional. E a ideia é esta: pensar num processo de aprendizado. Eu não estou dizendo que não tem que haver uma regulação top-down, com norma, sanção, penalidade e responsabilização; pelo contrário, eu acho que isso tem que fazer parte mesmo desse arcabouço regulatório, e vocês são os operadores de direito, que sabem fazer isso melhor do que ninguém. Eu não estou fazendo uma proposta contrária. Eu só estou sugerindo que possam ser adicionados, dentro desse arranjo institucional, esses instrumentos: o consórcio, em que as empresas são convidadas a discutir como elas constroem o algoritmo, qual é o protocolo que pode ser seguido, que perguntas elas devem responder. Há um outro protocolo sobre ética da inteligência artificial, e há uma discussão enorme a esse respeito. Como pode ser construída a ideia de um accountability algorítmico, uma transparência algorítmica? Como as empresas reagiriam a isso? E pergunta-se: que respostas as empresas teriam, obrigatória ou voluntariamente, respondendo dentro desse arcabouço regulatório, que demandaria do setor privado questões desse tipo? Então, no fundo, o que eu estou sugerindo é, digamos, um recorte multifocal para análise de risco, na linha do que a Profa. Maria Cecília sugeriu: ex ante, que a gente possa trabalhar com o princípio da precaução, porque com isso nós vamos reduzir bastante o risco. Por quê? Porque nós vamos estar em diálogo com as empresas desenvolvedoras das ferramentas de inteligência artificial e, junto a elas, as autoridades públicas regulatórias vão poder, com muito mais propriedade, identificar riscos e construir o arcabouço legal de regras, normas e, eventualmente, é claro, de sanções que vão ser aplicadas.
14:43 R	Não vai dar tempo aqui de eu me estender mais do que essas colocações aqui, depois a gente pode mandar material com essas sugestões para os juristas refletirem e pensarem em como adicionar instrumentos de uma governança de risco. Eu vi muita gente falar em regulação, mas o pessoal fala pouco de governança, e é estranho isso porque, para um cientista político, a governança está no mesmo patamar da regulação. Se a gente não entender direito como vai se dar a governança desse marco regulatório, a gente não vai conseguir entender a efetividade da aplicação de regras e normas e eventuais sanções. Então, assim, eu estou falando de uma governança de risco embutida em protocolos dentro desse arcabouço institucional que os eminentes juristas estão aí refletindo, e vão trazer, digamos, um resultado, uma proposta daqui a menos de três meses. Passando para um outro ponto, já encaminhando para o final, ontem, por coincidência - nós fazemos uma série de mesas-redondas sobre a discussão de inteligência artificial na questão da regulação e ética -, o Manoel Galdino, Diretor-Executivo da Transparência Internacional, apresentou uma pesquisa, que já foi divulgada pela Transparência Internacional, que aborda o resultado do uso de ferramentas de inteligência artificial por órgãos públicos. A Controladoria-Geral da União aplicou a pesquisa - mandou duas perguntas - para 44 órgãos públicos que fazem o uso de ferramentas de inteligência artificial. Desses 44 órgãos públicos, em 28 deles a ferramenta tem tomada de decisão. E, na verdade, as perguntas vão nesse sentido que eu tinha relatado para as empresas: como os órgãos públicos trabalham com o problema da discriminação algorítmica, o direito à privacidade, que tipo de habilitação é desenvolvido, qual é o modelo estatístico embutido na ferramenta, os inputs e outputs? Tem um leque de perguntas aí que nós podemos organizar na forma de um protocolo para o setor público.
14:47 R	Aí fica uma dúvida, e eu não tenho resposta e coloco para vocês: nós temos que pensar numa regulação, numa governança de risco para o setor privado e outra para o setor público ou nós podemos pensar numa regulação para o público e para o setor privado? Eu não tenho resposta para isso, mas acho que é uma boa indagação para nós refletirmos juntos. E, por final, finalizando, a questão das licitações. Se vocês vierem passear aqui em São Paulo nos parques públicos, vocês vão perceber que quase todos eles são empresas privadas que receberam a concessão do poder público. E boa parte deles usa... Estou terminando. Boa parte deles usa reconhecimento facial no bom sentido, no bom uso, que é prevenir roubos e furtos, tudo isso. Imagino que essas empresas concessionárias têm o compliance da Lei Geral de Proteção de Dados; mas o que elas fazem com as imagens? Qual o nível de discricionariedade no uso das imagens? Isso nós não sabemos. Por que eu estou falando isso? Porque, na Lei de Licitações, acho que tem que estar embutido ali um protocolo que exija das empresas concessionárias a transparência e o accountability da ferramenta de inteligência artificial. Isso não existe, e tem que existir. Por final, Profa. Ana Frazão, eu sei que a gente vai discutir aí riscos inaceitáveis e tal... Acho que a gente pode deixar isso para depois. Eu termino aqui. Obrigado. A SRA. PRESIDENTE (Ana de Oliveira Frazão. Por videoconferência.) - Obrigada, Professor. Fique tranquilo que depois haverá mais uma rodada e aí eu acho que o senhor vai ficar à vontade para fazer os futuros comentários. Então, agradeço e também já passo a palavra para a Dra. Heloisa Estellita. A SRA. HELOISA ESTELLITA (Por videoconferência.) - Eu vou me controlar para esse dispositivo de inteligência artificial não me dar um cartão amarelo. (Risos.) Bom, boa tarde a todos e a todas. Eu também sou muito grata ao convite. E eu os cumprimento e agradeço, então, à Comissão, na pessoa da Ana Frazão; da Estela Aranha, que está aqui, minha amiga; do Danilo Doneda - a gente já trabalhou na LGPD-Penal. E cumprimento meus colegas de painel: a Maria Cecília, que já foi minha professora na Data Privacy Brasil; a Priscila; o João Paulo; e o André, que a gente ainda vai ouvir já, já. Eu também vou fazer uma contribuição míni e também oferecer assim alguns pontos de vista sobre esse minimundo do direito penal, que deve ser utilizado só em casos extremos, mas que também representa algumas barreiras, na linha do que falou a Maria Cecília, com relação à inadmissibilidade do uso de alguns modelos de inteligência artificial. Eu vou fazer uma apresentação com PPT, mas muito mais pela boca torta de professora. Vou tentar ser didática, já que eu estou falando num ambiente que não é exatamente de penalistas. Ainda bem que não são os penalistas que vão controlar isso. Deixe-me só procurar aqui... Aqui, pronto. Beleza. Então, eu quero falar exatamente sobre... Haveria outros vieses, mas quero falar sobre essa questão da responsabilidade penal quando um dano é intermediado por uma máquina inteligente que tem algum grau, então, de decisão autônoma. Haveria outros aspectos que a gente poderia usar, mas aqui eu vou usar alguns para ilustrar como é a resposta penal e para que a Comissão saiba onde já existe uma regulação, onde é preciso tomar cuidado nesses poucos 15 minutos aí que tenho para falar sobre isso.
14:51 R	Então, o primeiro campo que eu acho que a gente tem que considerar com muito cuidado é o dos robôs, dos killer robots que estão sendo utilizados como armamentos militares. De uma forma básica, há três graus de intervenção humana no uso dessas armas letais: sob comando humano, que é human-in-the loop; human-on-the-loop, em que a máquina toma as decisões sob supervisão apenas, portanto ex post de uma pessoa humana; e human-out-of-the-loop, quando as próprias máquinas selecionam os alvos sem intervenção humana. Os grandes problemas que esses armamentos colocam - e nós todos aqui pensaríamos em guerra, não é? - são os seguintes. Nós vivemos num país extremamente violento, e essa violência não se manifesta só sob o ponto de vista de criminosos da sociedade civil, mas também de uma tendência que a América Latina nunca pode deixar de lado, que é a do uso desse tipo de armamento contra a população civil. E os grandes problemas aqui são: esses algoritmos de inteligência artificial têm dificuldade, justamente, de lidar com os conceitos mais fundamentais de direito humanitário, como, por exemplo, distinguir alvos militares de alvos civis, distinguir combatentes de não combatentes, uma questão discutida no Direito Penal Internacional até hoje, e, principalmente, dado que essas máquinas são utilizadas para efeitos letais ou de graves danos à integridade corporal, de obediência, como programar os limites do uso da força letal no âmbito do direito humanitário, que são todos critérios que envolvem juízos de valor, como, por exemplo, a necessidade de proteção da vida humana para uso legítimo de armas letais ser o último recurso disponível naquela situação e ser um ataque proporcional à ameaça. Como é que uma máquina poderia receber uma programação que atendesse a esses dispositivos? De outro lado, há um temor justificado de aumento da severidade de ataques à população civil, em primeiro lugar, pelo aumento da severidade do ataque dessas armas e pelo emprego maciço delas, já que o custo é muito mais barato e, pela mesma razão do custo barato, o uso político contra a população civil nos países sujeitos ainda a algum resquício de ditadura ou - já olhando para o futuro - a uma possível virada ditatorial. A gente poderia pensar aqui numa aplicação do Estatuto de Roma, que é o do Tribunal Penal Internacional, e eu chamo atenção para isso apenas para destacar que a grande marca da entrada da inteligência artificial nessa intermediação entre conduta humana e vítima é a descaracterização do dolo, ou seja, quando eu falo em inteligência artificial, eu falo em perda da previsibilidade e, portanto, eu já estou falando, sob o ponto de vista penal, em culpa - eu vou chegar a isso um pouco adiante. Outro âmbito muito utilizado... E só quero ressaltar de novo: a questão dos killer robots não é só uma questão de Direito Penal Internacional e de conflitos armados internacionais, mas ela pode se tornar, em breve, uma questão de conflitos armados internos, especialmente voltados contra a população civil.
14:55 R	O outro âmbito em que isso é mais falado e tem sido mais explorado é o âmbito dos veículos autônomos, pelo impacto que isso tem de utilidade e supostamente de incremento de segurança no trânsito, que é fonte de vários danos que têm repercussão penal. E nós temos vários casos, inclusive alguns já com investigações criminais de acidentes envolvendo veículos autônomos ou semiautônomos. Quais são os impactos... E aí vocês podem também pensar em outras lógicas, tá? Vocês podem pensar, por exemplo, nos high frequency trading, os algoritmos de operações de alta frequência na bolsa, qualquer situação entre o dano e um ser humano, que é quem eu posso responsabilizar penalmente, você tem um dispositivo com inteligência artificial capaz de decisões, ainda que parcialmente autônomas. Em todo esse ambiente, o Direito Penal vai enfrentar alguns problemas, mas também há algumas soluções. No âmbito da tipicidade, que são os requisitos mínimos, se pensa em uma conduta de robôs. Eu acho que é cedo, acho que a gente não precisa pensar nisso agora, mas é interessante pensar se a conduta do veículo, por exemplo, que atropela um pedestre é uma conduta de ação ou é uma conduta de omissão de quem o programou equivocadamente. É uma conduta dolosa, ou seja, reconhecendo isso de fazer uma opção, ou é uma conduta culposa, previsível, mas não desejada? No âmbito da antijuridicidade se discute bastante como programar os veículos autônomos para situações dilemáticas, não é? Um dano é inevitável, eu escolho qual é o menor dano. Como fazer esse juízo de proporcionalidade? Uma vida? Duas vidas? Uma vida de uma pessoa mais velha? De uma pessoa mais nova? Essas não são questões só de academia; essas questões estão sendo discutidas e um pouco, como disse o João Paulo, está sendo demandado por conta da indústria, que quer produzir e quer expandir o uso desses sistemas autônomos. E, no âmbito da culpabilidade, há esse problema da previsibilidade individual, que pode se manifestar em várias pessoas. Só quero mostrar como essa questão do black box repercute no Direito Penal. O black box... Agora falando sob o ponto de vista de um penalista, que deve ser a coisa mais mirim para o pessoal de programação, não é? O algoritmo recebe um banco de dados, que, como inclusive a Maria Cecília falou, a gente tem que cuidar para que não seja já enviesado, o algoritmo processa e toma uma decisão. No nosso caso, um carro ou uma arma letal. O problema é que essa tomada de decisão aqui dentro não é necessariamente transparente e, às vezes, não é nem previsível e, muitas vezes, não é controlável ou auditável, um pouco aí na linguagem mais da avaliação de risco. Essas duas palavrinhas são o ambiente das condutas culposas no âmbito do Direito Penal. Então, o impacto é disso aqui, não é? Como essa black box tem impactos no âmbito penal. Então vou mostrar para vocês aqui com um quadrinho. Eu não tenho uma responsabilizar o carro ainda por um homicídio no trânsito. Então, eu vou começar a procurar as pessoas que estão por detrás. Eu posso chegar até o fabricante. Eu tenho fabricante, tenho programadora, eu tenho a vendedora e eu tenho o proprietário do veículo ou aquele que vai utilizar. Todas essas pessoas, desde que tenham colocado uma causa para esse acidente fatal, podem, eventualmente, ser responsabilizadas penalmente.
14:59 R	Então, o problema também não é novo. Nós temos veículos por aí. O que é novo é que esse equipamento que interage com humanos toma decisões autônomas, que podem ser imprevisíveis e incontroláveis e, no caso de algumas esferas de introdução de inteligência artificial, podem colocar em risco bens jurídicos fundamentais, como a vida e a integridade física. No âmbito de uma responsabilidade por ação dolosa, que é aquela com intenção, vamos dizer assim, o Direito Penal atual não tem muito problema para responder. Todas as contribuições são puníveis, todos que conheciam que aquilo ia causar dano e puseram isso em ação são puníveis também; eles sabiam que iam causar danos ou contavam com a possibilidade ou com a alta probabilidade de causação de danos. O Direito Penal não tem problema... O Direito Penal positivo brasileiro não tem problema para lidar com isso. Ele tem respostas. Só que essa não é a regra, porque, normalmente, justamente a inserção de uma instância de decisão autônoma ou semiautônoma corta justamente esse controle, pelo menos no nível do conhecimento, de causação de um dano: "Eu não sei se vai causar dano ou não e, depois de causá-lo, não sei explicar". Então, esse é o grande problema da introdução da inteligência artificial para que o Direito Penal consiga dar uma resposta. E isso é grave, porque a gente pode gerar lacunas de punibilidade em âmbitos de bens jurídicos de altíssima relevância, como eu disse. E, no Direito Penal, normalmente, prevalecem as condutas dolosas, ou seja, além de eu ter uma dificuldade de praticamente eliminar o dolo quando ponho inteligência artificial, eu tenho poucas figuras culposas e, ainda assim, vou ter dificuldade, eventualmente, de comprovar a culpa, se de fato o algoritmo tornar a conduta imprevisível ou incontrolável. Nesses casos, a medida mais correta seria a não introdução desses mecanismos ou dessas máquinas com inteligência artificial no mercado. Por outro lado, também não quero deixar de falar sobre riscos gerais da vida. Quando for introduzido o suficiente, não precisa haver risco, a gente simplesmente elimina certas atividades. Sempre brinco com meus alunos: "Quer não ter lavagem de capitais, nenhuma? Acabe com o dinheiro e com todas as instituições financeiras, e não há problema, acabou a lavagem!". E agora há a cripto. Mas a gente suporta um risco, por exemplo, no trânsito; esse risco está regulado. Como o Direito Penal se aproveita desses âmbitos de vida tolerados e regulados? Ele exclui a imputação do resultado, e isso está ligado a uma recomendação, ao meu recado que eu queria deixar para vocês. Também quero chamar a atenção para mais uma resposta que o Direito Penal pode dar para esse tipo de situação. E aí eu estou pensando neste cara aqui, estou pensando no fabricante. É o fabricante; estou pensando nele. Como que eu chego a ele? Eu consigo chegar a ele, principalmente se eu pensar em omissão. E aqui há omissão. Vamos pensar em um carro com defeito, em um automóvel hoje com defeito. O que que a empresa pode fazer depois que ela já o vendeu? O máximo que ela pode fazer é um recall. Leva o carro para atender ao recall o motorista que quiser. Correto? Com isso, se ele decide não levá-lo para fazer o recall, toda a responsabilidade a partir disso é exclusivamente dele. O que que é novo, quando a gente está falando em máquinas com inteligência artificial? O que pode ser novo? Isso não quer dizer que todos serão. Há uma tendência para uma manutenção do controle sobre o objeto, mesmo depois da perda do controle físico. Ou seja, o carro saiu da concessionária, mas o produtor - e aí teria que determinar quem dessa cadeia para trás - continua tendo certo controle sobre a máquina. Tanto é assim que vários os veículos autônomos têm lá um livro sobre quais atualizações em sistemas e opções são de competência do proprietário e daquele que vai utilizar o veículo. Será que a gente poderia sempre delegar um update ou a escolha de uma feature para o proprietário ou por aquele que vai utilizar o veículo, principalmente se essa feature ou esse update tem potencial para colocar em risco a vida ou integridade física das pessoas?
15:03 R	Quinze segundos, assim será. Então, a gente tem aqui um controle perpetuado sobre a fonte de perigo que a gente não tinha até hoje nessas outras situações. Minhas recomendações então: cautela, tal qual disse o João Paulo, cautela e respeito às estruturas que o Direito Penal já têm para responder às situações, e já tem, então ele não precisa de mais Direito Penal; e saber que o nível de regulamentação da tolerância do risco vai ter um impacto direto no Direito Penal. Isso vocês já sabem, mas eu queria mostrar que essa regulamentação, quanto mais precisa possível, também terá efeitos penais e efeitos bons no sentido de não utilizar muito o Direito Penal, mas também o utilizar quando tiver que ser utilizado. Então, era essa a minha contribuição. Quase tomei o segundo cartão. Agradeço a atenção de vocês. A SRA. PRESIDENTE (Ana de Oliveira Frazão. Por videoconferência.) - Muito obrigada, Dra. Heloisa. Já passo então a palavra para o Dr. André Lucas Fernandes. O SR. ANDRÉ LUCAS FERNANDES (Por videoconferência.) - Boa tarde a todos e todas! É um prazer falar diante desta Comissão e dos demais colegas interessados. Eu agradeço enormemente o convite feito e faço os cumprimentos gerais à Presidente da Mesa, Dra. Ana Frazão. Eu estou aqui representando o Instituto de Pesquisa em Direito e Tecnologia do Recife, que produz pesquisas, entre outras áreas, na área de inteligência artificial; além disso, eu sou advogado, com foco na área de direito e tecnologia, e meu doutorado, que atualmente acontece na Unicap de Pernambuco, conversa justamente sobre a aplicação dos sistemas de IA no Direito e a alteração das categorias jurídicas utilizadas ao longo da história. Além disso, destaco que nossa atuação conta com o suporte coletivo da Coalizão Direitos na Rede, que tem buscado discutir o aspecto humano das diversas tecnologias e regulamentações no Brasil. Portanto, com vistas a este espírito de coletividade, é preciso colocar de pronto que o debate precisa ser aberto, plural, interdisciplinar, com representação regional e multissetorial. E fica o alerta: isso vale para futuras iniciativas de entidades regulatórias. Só assim, respeitando esses princípios, nós conseguiremos uma revolução madura e adequada para que, além dos importantes aspectos formais, tenha uma eficácia na aplicação. O tema deste painel envolve o debate sobre os riscos da IA, o tratamento gradual desses riscos, o limite de riscos inaceitáveis e a aplicação do princípio da precaução. E eu vou tentar passar por todos eles. Antes de tudo, para situar a minha contribuição, é preciso referenciar algumas premissas. A primeira é que o debate jurídico técnico só tem sentido quando o elemento humano é trazido à centralidade. Trata-se de uma questão de ordem antropológica. Não é possível discutir qualquer razão técnica sem pensar que ela, para além do debate inerte das formas, conta com a substância. A segunda premissa é a de que a inteligência artificial é como um guarda-chuva, um meme de marketing muito utilizado, que tenta dar conta de diversas técnicas e muitas das vezes fala acerca de coisas que não seriam conceitualmente definidas como IA, e não conta com essa essência, mas se converte em algo do tipo no uso. Isso é para reforçar o já dito anteriormente, aqui nessas audiências, de que não adianta pensar numa antologia no ser da IA, num conceito geral que a gente vai inserir na norma jurídica. A IA revela suas facetas e os riscos a partir das suas aplicações, dos usos, e isso só reforça aquela ideia que a gente sempre está colocando de que nenhuma técnica ou tecnologia é apolítica.
15:07 R	A terceira premissa, e última, é algo batido e peremptório: sempre há viés. Faz parte do elemento humano, da cognição, da epistemologia. Sempre há viés. Isso é uma premissa e não uma discussão. Nós cientistas sabemos disso faz pelo menos uns dois séculos e meio. Então, premissas postas, é preciso tratar sobre os riscos da IA. A análise sobre os riscos se inicia com a constatação de um processo de aceleração da história, capitaneado por uma espécie de vontade econômica e técnica que busca executar aquilo que visualiza como futuro possível e - muito importante - rentável. A aceleração da história explica o motivo da nossa urgência em debater o tema, mas também explica a necessidade de reagir a esse movimento, que usualmente, por essa aceleração, essa ansiedade, leva à ocorrência de danos. Muitos esforços têm se concentrado com vistas a prevenir riscos, especialmente em conjuntos principiológicos, numa tentativa de softpolicy, do qual se pressupõe que a adesão voluntária de empresas geraria a adequação necessária. A resposta, como a gente analisa, da história das diversas indústrias de tecnologia se mostra inadequada. O processo de risco da IA está diretamente ligado a uma cultura distorcida de interação, de inovação com responsabilidade ex post ou de inovação sem balizas de responsabilização e tipificação dos riscos. Algumas pesquisas, como o HAI, de Stanford, mostraram que não só essas declarações de princípio fazem um aceno pequeno aos direitos humanos como ignoram os diversos riscos a direitos já existentes, como privacidade, liberdades civis, dignidade e igualdade. Aqui a gente já pode destacar uma falha grave, a partir do aspecto regulatório, na proposta do PL 21-A, que tem capitaneado essas discussões e que veio da Câmara, e ele está, além dessa, com outras propostas em apenso. Do ponto de vista jurídico, e a gente falando um juridiquês bem robusto, não está claro o conteúdo da hipótese para solucionar os suportes fáticos de obrigações e responsabilidades de empresas e criadores de IA; pelo contrário, a minuta traz uma anacrônica responsabilidade subjetiva de analítica dogmática frágil. Aqui no IP.rec, a gente tem pesquisado atentamente esses aspectos, especialmente sugerindo modelos intercalares que não foram bem entendidos por parte da doutrina e são confundidos na prática, especificamente no que se refere a uma responsabilidade civil transubjetiva. Esse modelo, que já foi bem descrito por Pontes de Miranda, por exemplo, à exaustão, dá conta de uma atribuição dinâmica de prova com a devida fundamentação em termos de culpa, nexo causal e dano, só para fazer um link também com o aspecto cível do que a professora estava falando anteriormente. Assim, e levando em conta a premissa posta anteriormente, é preciso destacar que numa lista nem um pouco exaustiva, a IA pode acarretar riscos de efeito inibitório de opiniões, que a gente costuma chamar pela expressão chilling effect, restrição aos direitos de reunião, de protesto, desdobramentos relativos ao racismo algoritmo, que vai ser muito bem tratado em outro painel, riscos de segurança à informação, vazamentos de dados, perfilamento inadequado, com falsos positivos na área de saúde, educação, bancária e creditícia. Assim sendo, a gente pode dividir arbitrariamente ao menos quatro grandes categorias de risco na IA: as relacionadas aos dados, as relacionadas ao aspecto técnico, como os riscos de ataques adversariais, as relacionadas ao aspecto de confiança e ética e a de compliance. É sabido que o erro pode estar no conjunto de dados, mas também no modelo. Entretanto, mesmo com bons conjuntos de dados e modelos pretensamente adequados, há possibilidade de falhas relacionadas sobretudo à incorreção de outputs, falta de transparência e explicabilidade.
15:11 R	Isso tudo acontece num contexto em que: um, modelos e conjuntos de dados muitas vezes são importados, criando soluções anacrônicas no tempo e no contexto brasileiro; e, dois, há propaganda sobre as benesses da IA que são verdadeiras em parte, não trazem a explicitação dos processos de funcionamento da mesma inteligência artificial em todo o seu ciclo de vida, sendo exaltados princípios na mesma lógica genérica - todos são a favor da explicabilidade e da transparência, mas as soluções apresentadas se apropriam estrategicamente de caixa-preta e não preenchem os requisito em nível de boas práticas que os próprios princípios elencam. Do ponto de vista jurídico, o tratamento da inteligência artificial precisa ser granular portanto, pois, ao mesmo tempo em que depende da sua aplicação no tema específico - como saúde, educação, agronomia e outros que já foram citados aqui -, ele também acarreta um diálogo de fontes diversas, porque nem todo risco pode ser diálogo de fontes com o CDC, por exemplo, ainda que possa e deva nos casos em que a relação consumerista esteja estabelecida. Os riscos envolvendo IA se revelam, então, em alguns casos paradigmáticos. Quanto ao trabalho, a IA está diretamente associada ao descompasso acelerado entre fechamento de postos de trabalho e reinserção de trabalhadores em novos campos, ou seja, a gente está falando de desemprego; quanto aos dados, à violação de privacidade; quanto ao tema da verdade, da opinião pública, a gente tem o tema das deepfakes; quanto à dignidade, racismo e vieses; quanto ao planejamento econômico público, a gente está falando de desigualdade de acesso, de volatilidade do mercado e centralização do poder decisório em pequenos grupos; quanto à segurança, armas autônomas e erros de vigilância, além de acidentes veiculares. Do ponto de vista ambiental ainda, a IA consome muita energia e isso é um tema importante por si, pois a IA não é a priori ecologicamente correta. Se a premissa é a da inevitabilidade de progresso como linha reta ao futuro, então a gente deve definir onde e quando queremos a IA, fazer escolhas de cunho ético, político, jurídico e científico. Por isso é importante dizer que, apesar de precisarmos aprender com experiências estrangeiras, não podemos ignorar os riscos inerentes à nossa realidade e à realidade brasileira. Assim sendo, quando falamos de reconhecimento facial, por exemplo, estamos falando de racismo algorítmico e pessoas que sofrem cotidianamente com isso, e não da análise de saúde de animais ou de bois, como foi dito anteriormente. O debate é antropologicamente humano, apesar de essa fronteira estar sendo ampliada na Filosofia e na Filosofia do Direito, e isso exige o diálogo intra e até transdisciplinar, de que eu falei antes. Se essa entrada é no humano, a análise dos riscos não pode, por exemplo, se justificar em uma medida autorregulatória que coloca humanos como meros carimbadores finais de uma decisão automatizada, sem que eles possam ter efetiva escolha no processo decisório no qual está envolvido uma técnica de IA. Isso quer dizer que, no exemplo de carros autônomos mesmo, de nada adianta pensar em riscos e responsabilidades direcionadas ao condutor, se, ao fim e ao cabo, o que tem sido praticado pelas empresas é um modelo de carimbagem, de mero o.k., que aumenta a desvantagem informacional, social e econômica do agente, ou melhor, não há agência humana nesses casos. IA deve ser sempre uma técnica de auxílio ao humano, sempre! É preciso, portanto, graduar riscos e dialogar experiências com cada um desses setores. O debate sobre riscos envolve entender que todo aspecto humano que é afetado pela IA deve ter maior valoração. Isso não é uma novidade; é preciso não discorrer sobre a ideia de IA como um neófito. Existem bens jurídicos que já são tutelados com maior grau de cuidado do que outros, o que nos leva a duas medidas claras para tratar essa questão: primeiro, diálogo setorial para cada tipo de uso e construção de diretrizes que não necessariamente precisam estar todas em lei, mas em regulamentação futura; segundo, seleção de onde não queremos ir, como nos casos de reconhecimento facial para segurança pública. Os riscos inaceitáveis envolvem, portanto, a violação de direitos que têm guarida na ordem constitucional e dela derivam. Um critério a ser lançado é quando há eventual reparação por um risco ocorrido - e aí a gente está falando já do dano pelo uso de reconhecimento facial, por exemplo, para auxiliar na restrição de liberdade ou averiguação de crimes não pudesse ser ressarcido in natura ou reconstituído ao status anterior, o status quo ante, como a gente gosta de falar no Direito. Se não se tratar de questão patrimonial ou de restauro por obrigação de fazer ou dar, estamos diante de um indício de impossibilidade de avançar na tecnologia e ter o risco como inadmissível, o que implica dizer, por questão lógica palmar, que uma aplicação como armas autônomas deve encontrar moratória ou impedimento global, assim como o reconhecimento facial para a segurança pública, o que me leva ao último ponto de encerramento.
15:15 R	No debate entre inovação e precaução, a economia de dados precisa ser retirada do espaço de nova indústria do petróleo, como se costuma dizer em algumas manchetes, como um aspecto positivo e amplamente alarmado por certos setores e pela mídia, relacionado a grandes lucros e a grandes futuros. Ela deve ser deslocada para a metáfora como um todo. Uma indústria desse tipo, como a do óleo, pode levar a graus de exploração imensa e danos coletivos sem precedentes, com a impossibilidade de restauração ao status quo ante. Portanto, o risco inerente deve ser devidamente regulamentado, chamando a depor o princípio da precaução, o tratamento voltado ao uso, em que a IA se substancializa com base em outras experiências que expressam o conjunto de metáforas que habita essa mentalidade coletiva industrial. Nós conhecemos já no Brasil e temos desenvolvimento amplo no uso do "precaucionismo" no desenvolvimento de produtos e na proteção ao meio ambiente. Esse e outros pontos citados antes podem ser um caminho a seguir. E nada disso impede; ao contrário, fortalece, aprimora e sofistica a inovação. Eu acho que era isso com que eu poderia colaborar por hoje. Estou aberto à continuidade dos debates e agradeço mais uma vez a esta Comissão. A SRA. PRESIDENTE (Ana de Oliveira Frazão. Por videoconferência.) - Muito obrigada, Dr. André. Tivemos aqui cinco excelentes exposições. Enfim, no seu conjunto, a gente percebe claramente a dimensão do quanto este debate é interessante, é complexo. Tivemos a oportunidade aqui de ouvir um pouco mais sobre os pressupostos dessa regulação pelos riscos, a questão da governança dos riscos; entramos em discussões metodológicas, como as relacionadas ao relatório de impacto; e também tivemos a oportunidade de verificar os impactos específicos da inteligência artificial em algumas áreas específicas do Direito, como o Direito do Trabalho e o Direito Penal. E aí a gente percebe o universo de questões e discussões em torno dessas matérias. Eu tenho aqui algumas perguntas que eu gostaria de sugerir para os nossos convidados. Caso também os membros da Comissão as tenham, eu peço também que se inscrevam - já vi aqui que o Dr. Filipe está com a mãozinha levantada -, aí a gente faz uma rodada talvez de perguntas - o Dr. Victor também - para a Comissão e, depois, a gente divide o tempo restante para que os nossos convidados possam, então, reagir àquelas questões que lhes pareçam mais relevantes. Eu tinha, na verdade, quatro perguntas. Quanto a essas perguntas, a gente havia definido quando se pensou na própria configuração das audiências. Na primeira, muitos já falaram. Então, às vezes, a pergunta é direcionada talvez para aqueles que não apreciaram especificamente esse tema e, eventualmente, se sintam à vontade para tratá-lo agora nesta oportunidade. A primeira questão: que riscos realmente são esses inaceitáveis, aqueles que não poderiam ser admitidos? A gente já teria como sistematizar esses riscos? Em segundo lugar, do ponto de vista metodológico, quais são as opções que nós temos realmente para a avaliação desses riscos? A Dra. Maria Cecília muito bem já apreciou a questão dos relatórios de impacto, mas, além desses relatórios, existiriam outras alternativas?
15:19 R	Essa pergunta aqui eu também já gostaria de conectar com a discussão sobre o princípio da precaução, porque, quando falamos de incertezas, não temos previsibilidade, que é normalmente a nota dos estudos de impacto. Então, como poderíamos prosseguir, do ponto de vista metodológico, quando estamos diante de incertezas? E como é possível dar uma operacionalização a esse princípio da precaução que seja compatível, claro, com aquilo que estamos querendo proteger, mas que também não cause dificuldades ou desincentivos muito acentuados para a inovação? Eu também teria uma última questão, que seria saber dos nossos convidados como eles veem o papel da supervisão do controle humano durante todo o processo, durante todo esse ciclo de utilização de inteligência artificial, portanto, desde a concepção e design, desenvolvimento, colocação no mercado, etc.; como eles veem isso diante dessa necessidade de uma mitigação de riscos e de se lidar também com as incertezas. Sei que são, realmente, muitas questões. Por isso, a gente faz essa rodada, e, depois, claro, os nossos convidados ficam convidados ficam à vontade para reagirem entenderem mais conveniente. Eu já gostaria de passar a palavra para o Dr. Filipe. Estou seguindo aqui a ordem das apresentações. Dr. Filipe, por favor. O SR. FILIPE MEDON (Por videoconferência.) - Muito obrigado, Profa. Ana. Boa tarde a todos e a todas. Em primeiro lugar, eu gostaria de parabenizá-los pelas falas tão enriquecedoras e que tanto contribuem para o nosso debate. A minha fala virá de uma pergunta primeiro direcionada a todos os painelistas, porque a comissão europeia, na proposta de regulamentação da inteligência artificial, faz uma subdivisão em quatro níveis de riscos: seriam os níveis inaceitáveis, elevados, limitados e mínimos. Isso tem sido muito debatido, porque alguns criticam o próprio enquadramento feito pela comissão europeia. Então, há algumas questões que surgem aqui dentro, e eu gostaria de ouvi-los. A primeira é se essa divisão em quatro seria uma boa divisão ou se haveria uma divisão melhor. E, em segundo lugar, uma questão que seria um pouco prévia, que é se existe, de fato, a necessidade de regularmos isso em eventual lei, prever já quais seriam as atividades que estariam incluídas dentro de cada risco. A segunda pergunta é um pouco mais específica, sobre algo que foi tratado, por exemplo, pela Dra. Heloísa, em relação aos riscos inaceitáveis, porque temos uma discussão central nos Estados Unidos - e também, me recordo, em Israel - quanto à utilização de algumas armas que são capazes de atirar para matar sozinhas, a partir de reconhecimento facial. Nos Estados Unidos, na discussão em torno das chamadas shoot to kill decision, decisões de atirar para matar, num primeiro momento, acabou ficando afirmado pelo Departamento de Defesa que deveria sempre caber ao ser humano, mas, após alguma reviravolta, já se passou a falar novamente na possibilidade de se delegar isso para a máquina, porque, se um ser humano tivesse que decidir, a inteligência artificial acabaria perdendo a sua utilidade, que é justamente conferir um pouco mais de dinamicidade a esse processo em contextos bélicos. Então, eu gostaria de saber se essa questão específica dessa decisão de atirar para matar, por envolver uma questão de vida ou morte, deveria ser objeto de uma regulação ex ante, proibindo mesmo esse tipo de prática. Agradeço mais uma vez e devolvo a palavra. A SRA. PRESIDENTE (Ana de Oliveira Frazão. Por videoconferência.) - Muito obrigada, Dr. Filipe. Passo a palavra, então, para o Dr. Victor.
15:23 R	O SR. VICTOR MARCEL PINHEIRO (Por videoconferência.) - Obrigado, Profa. Ana. Dou meus boas-tardes aqui a todos e a todas presentes. Parabenizo-os também pelas excelentes contribuições que foram feitas hoje, neste nosso último painel da primeira etapa das audiências públicas. Acho que os temas colocados foram muito interessantes, levantam questões dos mais diferentes matizes, mas eu queria me focar especialmente em dois pontos. Aqui me chamou a atenção a fala da Dra. Priscila Lauande a respeito, enfim, do impacto dos sistemas de inteligência artificial, com o surgimento dessa gig economy, dos aplicativos e produções gráficas. Os sistemas têm classificado, perfilado pessoas, trabalhadores com um rol de autonomia grande, e isso tem gerado um questionamento muito grande. E eu queria perguntar para a senhora se entende, numa sugestão de projeto de lei, que existe pelo menos algum princípio ou alguma diretriz mais específica às relações de trabalho, para além da simples, vamos dizer assim, capacitação dos trabalhadores em face da automação e digitalização nas relações de trabalho; se a senhora vê algum espaço para avançar nesse sentido e como seria; como seria, talvez, um princípio de maior proteção especificamente nas relações de trabalho relacionado à IA - também estendendo aos demais participantes com certeza. O segundo ponto é em relação à utilização da IA em um contexto de segurança pública. Eu gostaria de perguntar a todos os participantes - alguns fizeram pontuações específicas sobre isso - se consideram que o Brasil - acho que alguns comentaram - tem especificidades relevantes o suficiente para termos uma regulamentação talvez mais específica sobre esse ponto. A proposta de regulação da União Europeia traz alguns sistemas, algumas utilizações proibidas, como reconhecimento facial em massa para fins de segurança pública, com algumas exceções. E eu gostaria de saber, na opinião dos senhores e das senhoras, se existe espaço - e qual seria, na visão de vocês - para a regulação da utilização desses sistemas no contexto brasileiro, com todas as dificuldades, vamos dizer assim, democráticas que nós historicamente - já não é de hoje, já temos há muitos anos - temos, numa promoção de cultura de respeito a direitos fundamentais e, ao mesmo tempo, de combate à impunidade e promoção da segurança pública. Então, são essas duas questões. Eu agradeço. Obrigado. A SRA. PRESIDENTE (Ana de Oliveira Frazão. Por videoconferência.) - Obrigada, Dr. Victor. Antes de passar a palavra para a Dra. Estela, eu queria só pedir aos nossos convidados que, se possível, nos enviem as apresentações em PPT, eventuais escritos ou materiais que tenham, porque isso vai ajudar enormemente o trabalho da Comissão. Portanto, Dra. Estela, por favor, a palavra está contigo. A SRA. ESTELA ARANHA (Por videoconferência.) - Exatamente, Ana, até porque as contribuições deste, como de todos os painéis, são riquíssimas. E a importância desse painel é justamente a gente começar a discutir uma regulação sociotécnica. Obviamente, a ideia não é regular uma tecnologia em si, e, sim, na verdade, buscar as justificativas de regulação justamente dentro desses elementos de alteração da ordem, que o sistema jurídico não pode hoje abarcar. E a questão dos riscos é muito central, porque, na verdade, a gente está tratando de novos riscos, principalmente pelos novos usos dessas tecnologias novas. Enfim, a gente tem um monte de questões difíceis. Eu já até adianto que eu acho que há uma questão importante, de separar um pouco essas formas de regulação. O André Fernandes colocou muito da definição do que é IA. Acho que, dentro dessa perspectiva sociotécnica, essa precisão terminológica não é tão importante, mas o importante, sim, é entender justamente esses efeitos, esses riscos que nós queremos regular.
15:27 R	Dentro disso, separando robótica de uma coisa que eu acho que é central e de que eu queria falar um pouco mais, que é o que a gente chama de decisões automatizadas, para adiantar até nossas reflexões, chutando uma definição de sistemas, softwares, processos, enfim, que tenham algum elemento computacional e cujo resultado sirva de base para uma decisão ou para um julgamento, obviamente, em uma questão crítica, que impacta a vida das pessoas, relativa a acesso a bens e serviços, a direitos, a custos, a termos, a disponibilidade, ou que tenha equivalência jurídica... Enfim, tem várias definições, não é? Eu queria falar mais sobre esse risco, sobre essas decisões automatizadas, porque é muito assunto, e robótica também tem outras coisas de segurança, saúde, etc. Neste ponto de vista mais estreito, uma questão que foi colocada de certa forma aqui - não com ênfase, eu acho, mas que é muito importante - é sobre um dos riscos que a gente pode enxergar entre todos aqueles riscos éticos relacionados a direitos humanos, à questão de segurança, de saúde, a questões, enfim, de bem comum, que é a questão de disrupção de governança, de você passar algumas... É a questão de algumas decisões, inclusive de garantias de direitos fundamentais, entre outras coisas, mudarem de mãos nesse novo cenário. Então é um pouco sobre isso, a gente fala de mudança de poder: antes o poder público tomava algumas decisões que eventualmente vão ser tomadas no âmbito dessas decisões dentro desses algoritmos. Não necessariamente ele vai dar a decisão, mas ele vai embasar a decisão, e é muito difícil, a gente sabe, por uma série de motivos em que eu não posso me alongar aqui, a gente contrariar uma decisão, ou melhor, uma decisão não, mas contrariar algum elemento que vai fundamentar uma tomada de decisão vindo de uma tecnologia que tem um papel tão forte aí de recomendação para essa decisão. Então, eu queria que vocês pudessem falar um pouco disso, dessa mudança desses lugares de poderes tradicionais para um poder de decisão do algoritmo, que obviamente vem de um lugar privado. A SRA. PRESIDENTE (Ana de Oliveira Frazão. Por videoconferência.) - Obrigada, Dra. Estela. Tenho a impressão de que não temos mais perguntas, então passo agora para aquela que talvez seja a parte mais desafiadora do nosso encontro, em que os nossos convidados de fato têm um tempo - que precisa ser curto infelizmente, entre três e cinco minutinhos no máximo - para reagirem a todas essas provocações. É claro, não esperamos aqui respostas de todos os pontos, mas daquilo que entendam pertinente. Então, seguindo a nossa ordem, já passaria a palavra para a Dra. Maria Cecília. A SRA. MARIA CECÍLIA OLIVEIRA GOMES (Por videoconferência.) - Obrigada, Profa. Ana. Obrigada também pelas perguntas dos demais membros da Comissão. Acho que todos nós temos a tarefa difícil de conseguir responder a todas elas nesse tempo curto, mas eu vou focar a minha fala num ponto bastante específico que está alinhado com o que eu mencionei antes: como a gente sistematiza risco? Como a gente consegue pensar numa sistematização de avaliação de risco e, a partir daí, pensar em governança, pensar em gradação de risco, pensar em que tipos de classificação a gente pode ter para riscos e assim em diante?
15:31 R	Tem um ponto que é muito importante nesse debate sobre risco que tem relação com o princípio da precaução e o conceito de incerteza. Tanto o risco quanto a incerteza têm um elemento em comum que a gente chama de ignoramus, que quer dizer, em latim, algo que a gente desconhece, um desconhecimento. Então, a gente está lidando com um cenário e com conceitos em que a gente não tem previsão para todas as hipóteses de risco que poderiam acontecer. E a gente precisa pensar em frameworks, em desenhos com os quais a gente consiga estruturar avaliações de risco para diversos tipos de sistema de inteligência artificial em diferentes setores. Como a gente consegue pensar e refletir diante desse elemento do desconhecimento? Muitos dos debates associados a isso casam com a gente pensar primeiro qual é o referencial metodológico que nós vamos seguir. Ontem teve um painel sobre isso: seria a abordagem baseada em risco ou a abordagem baseada em direitos. São referenciais metodológicos diferentes, mas que são um ponto de partida, o ponto de entrada para a gente pensar num framework. A partir da definição da metodologia que vai ser feita pela Comissão de Juristas, num substitutivo ou não - ou não haver uma indicação expressa de uma metodologia -, pode-se pensar em tipos de classificação e gradação de risco. O membro da Comissão Filipe perguntou em relação aos quatro tipos de riscos que são classificados hoje pela União Europeia. A gente pode pensar em frameworks de até cinco tipos de riscos, outros têm três tipos, o que acaba sendo, no final, como a gente consegue definir o que é baixo, moderado, alto e inaceitável. E como a gente define isso? A partir do referencial metodológico, do desenho da matriz de risco, do framework de risco e, a partir daí, da definição do que a gente vai poder considerar para cada um. Só para poder finalizar, já que meu tempo já está acabando, em relação a esse ponto, o que eu sugeri na minha fala - e eu reforço - é a gente fazer estudos de casos. Por quê? A partir de estudos de casos setoriais, a gente consegue ter uma visão, uma fotografia mais próxima da realidade, então o quanto de risco representa uma determinada inteligência artificial quando a gente faz um estudo de caso. A partir de um relatório de impacto, isso pode ser feito, como eu mencionei, e a partir de outros tipos de análise, A Profa. Ana Frazão perguntou, inclusive, quais seriam os outros tipos de mecanismo. Código de conduta é um deles na minha visão também. Mas, a partir daí, a gente consegue classificar e pensar as diferentes formas de risco e, a partir daí, ter uma fotografia, senão acaba sendo uma classificação exemplificativa do risco feita a partir de debates entre o que eu considero como alto risco, o que eu considero como baixo risco. Então, o estudo de caso setorial específico para tecnologias de inteligência artificial acaba dando um apoio técnico-científico para que essa decisão seja tomada. E ela sai da arena política, da pólis, no aspecto de apenas ser decidido entre conversas e debates, para ter o embasamento técnico-científico de como a gente consegue pensar nessa classificação de risco. Podem ser três, podem ser quatro, podem ser cinco, não tem problema nenhum em relação a isso; mas precisa ter um embasamento técnico-científico de como eu vou classificar esse tipo de risco. Era isso. Foi o que deu para falar nesses poucos minutos. Muito obrigada. Fico à disposição. A SRA. PRESIDENTE (Ana de Oliveira Frazão. Por videoconferência.) - Muito obrigada, Dra. Maria Cecília. Aliás, incrível a sua capacidade de síntese agora, viu? Passamos a palavra já para a Dra. Priscila.
15:35 R	A SRA. PRISCILA LAUANDE RODRIGUES (Por videoconferência.) - Obrigada. Eu agradeço os questionamentos. Realmente é um cenário de muitas dúvidas e incertezas. Quanto à pergunta do Victor especificamente: nós temos esse dispositivo constitucional que protege em face da automação, mas que ainda não foi regulamentado. Eu faço menção também a um projeto que eu retratei, do sindicato IG Metall, aqui da Alemanha, que faz toda essa análise prévia de como essas tecnologias estão sendo introduzidas e faz um planejamento dessas inovações através do desenvolvimento e atualização de habilidades dos trabalhadores. O que eu busquei abordar aqui, particularmente em relação aos trabalhadores, nesse contexto mais amplo que trata dos princípios gerais, diretrizes e fundamentos, são as preocupações que estão relacionadas com as mudanças no ambiente de trabalho ou até mesmo com a substituição dessas ocupações por um sistema de inteligência artificial. Acho que, associada a isso, também é preciso ter uma preocupação voltada para as repercussões sociais, como foi demonstrado. Particularmente no trabalho, que tem essa relação de subordinação a que está submetido o trabalhador, esse poder empregatício, com suas diversas dimensões, diretiva, regulamentar, fiscalizatória, disciplinar e mesmo quando essas situações extremas são evitadas, trabalhando em um ambiente em que os sistemas de IA estão em vigor, aumentam os riscos de usos indevidos ou de abusos, particularmente em casos de monitoramento e vigilância do local de trabalho ou de práticas discriminatórias, como pontuação ou perfilização, que podem repercutir em restrições de acesso ao mercado de trabalho. Aqui a gestão de dados é fundamental, os trabalhadores precisam saber como seus dados pessoais estão sendo coletados, retidos, processados, divulgados e possivelmente vendidos e como esses dados relacionados ao seu comportamento no trabalho podem ser utilizados potencialmente contra eles. Eu reforço mais uma vez a particularidade do trabalho em plataformas digitais e a gestão algorítmica, em que os trabalhadores são constantemente confrontados com pontuações de sua reputação algorítmica e testes automatizados. Aqui existem riscos específicos, tais como insegurança no trabalho, discriminação, isolamento social, excesso de trabalho, trabalho não estruturado, opacidade e incerteza quanto às responsabilidades legais e à presença de intermediários que podem complicar ainda mais os fluxos dessas informações. Eu tomei por base a proposta de diretiva da União Europeia, mas eu acredito que cada um desses riscos desencadeia riscos cuja gravidade é tal que merece ser tratada através de uma legislação específica, dedicada. Infelizmente, não dá para esgotar esse assunto, que é extremamente complexo, mas eu louvo a iniciativa da Comissão de trazer ao debate as questões trabalhistas e agradeço mais uma vez a oportunidade. Muito obrigada. A SRA. PRESIDENTE (Ana de Oliveira Frazão. Por videoconferência.) - Nós é que agradecemos, Dra. Priscila. É muito bom ouvi-la e também essa sua síntese tão precisa ao final, que realmente nos desperta para um tema tão importante, mas que às vezes não tem recebido a devida consideração. Seguindo aqui, porque o tempo está apertado para todos, já passo, então, a palavra para o Dr. João Paulo. Dr. João Paulo, por favor. O SR. JOÃO PAULO CÂNDIA VEIGA (Por videoconferência.) - Obrigado, Dra. Ana Frazão. Vou ser muito rápido e breve aqui. Eu acho que a Dra. Maria Cecília colocou a proposta de forma muito clara. Sou muito favorável a trabalhar com boas práticas, código de conduta, criar protocolos e fazer estudos de caso setoriais dentro daquele arcabouço institucional que eu sugeri aqui.
15:39 R	Eu não sei o nome, vocês vão poder dizer se vai ser uma câmara, um conselho, um comitê, em que o setor privado possa dialogar com as autoridades competentes para pensar nessa taxonomia de risco. Então, eu faço minhas as palavras da Dra. Maria Cecília. Em relação à pergunta do Dr. Filipe, eu acho que a gente tem que ser bem assim cauteloso. Vamos usar a proposta da OCDE, que eu acho que é uma proposta interessante, tem uma taxonomia de alto, médio, baixo risco, mas vamos usar isso simplesmente como um guideline e vamos nós - acho que é uma tarefa, uma atribuição que a Comissão de Juristas poderia sugerir - criarmos essa taxonomia, a partir dessa proposta metodológica colocada pela Dra. Maria Cecília, que me parece perfeita. E, para finalizar, em relação a atividades de alto risco - eu vi colegas aí defendendo o banimento do reconhecimento facial -, eu seria favorável a casos de alto risco, atividades de alto risco se houvesse uma regulamentação própria por parte do marco regulatório. E acho que o reconhecimento facial é um caso desses, não é? Mas eu seria contra banir. Vou dar um exemplo para o Dr. Victor que ele sabe muito bem, melhor do que eu. Algumas polícias militares estão usando, nas suas abordagens, câmeras online e isso tem produzido - vocês viram aí, tem saído nos jornais - uma queda no número de furtos, roubos, de crimes, não é? Isso é uma coisa muito positiva para a gente refletir. Então, tem atividades... Por exemplo, aquilo que acontece nos Estados Unidos, de o algoritmo calcular a probabilidade de incidência de um novo crime para quem está demandando a liberdade provisória, quando o juiz tem que tomar uma decisão sobre o que o algoritmo está sugerindo, eu acho que isso seria, eu pensaria, um algoritmo que deveria ser banido. Inclusive, tem já uma decisão do Conselho Nacional de Justiça a esse respeito. Então, eu acho que tem atividades mesmo que a gente pode classificar como proibidas, vamos chamar assim, tá? Mas eu acho que são exceções, não é? E a gente tem que examinar tudo com muita cautela. Eu paro por aqui, porque senão eu vou estourar o tempo aí. Muito obrigado. A SRA. PRESIDENTE (Ana de Oliveira Frazão. Por videoconferência.) - Muito obrigada, Dr. João Paulo. Foram excelentes considerações. Já passo a palavra, então, para a Dra. Heloisa Estellita. A SRA. HELOISA ESTELLITA (Por videoconferência.) - Então, vamos lá. Vou tentar atender duas perguntas com uma consideração só. A questão dos riscos (Falha no áudio.) (Pausa.) A SRA. PRESIDENTE (Ana de Oliveira Frazão. Por videoconferência.) - Ela caiu, não? A SRA. ESTELA ARANHA (Por videoconferência.) - Estava em dúvida se fui eu ou ela. A SRA. PRESIDENTE (Ana de Oliveira Frazão. Por videoconferência.) - Eu também fiquei um pouco na dúvida, mas aí depois eu vi vocês interagindo e falei: acho que o problema não é... Eu acho... Será que talvez valesse a pena passar a palavra para o Dr. André, em razão do tempo, enquanto ela... Acho que eu vou fazer isso. Por favor, então, Dr. André. Vou antecipar sua participação, até que a Dra. Heloisa entre novamente. Agradeço desde já.
15:43 R	O SR. ANDRÉ LUCAS FERNANDES (Por videoconferência.) - Professora, obrigado. Espero que ela volte logo. De fato, é um desafio tentar responder essas perguntas. Eu já lanço um convite para que a gente faça, talvez, em outros momentos, rodadas de debate especialmente sobre esse aspecto do recorte multissetorial. Eu vou tentar me dedicar a alguns pontos. Acho que, se eu tivesse urgência para falar e para salvar o mundo, eu iria tratar deles. O primeiro são as máquinas com decisão de matar; o segundo é o reconhecimento facial para a segurança pública. Eu queria começar pelo exemplo do Prof. João Paulo. Há uma diferença, uma distinção fundamental no debate sobre segurança e sobre reconhecimento facial usado nesse aspecto, que são as câmeras que são usadas nos coletes de policiais e que ajudaram a reduzir arbitrariedades. A gente está tratando aí de monitoramento, mas não de vigilância propriamente dita, que é o problema desse reconhecimento facial cheio de vieses, como é o caso do outro exemplo que ele citou, o da reincidência de crimes nos Estados Unidos. Então, a gente precisa ter uma distinção fundamental. Pensem comigo: essa câmera no colete do policial é o dispositivo concreto da regra de legalidade, que não permite e sanciona a arbitrariedade por parte do agente do Estado, que tem o dever do cuidado, que tem uma série de restrições na sua atividade. É muito claro o movimento que o dispositivo tem aí. Por outro lado, o uso de câmeras de reconhecimento facial nas cidades de forma irrestrita, sem finalidade definida, caminha para outro lado, que é o lado da vigilância. Então, acho que esse é o primeiro ponto. Sobre a questão das máquinas de decisão, para matar, a gente tem um exemplo que é catastrófico: o uso de drones pelo Governo americano hoje. Acho que a gente pode estabelecer um paralelo inicial aí, para dizer que a gente precisa, sim, fazer uma escolha política, para que o direito acolha a escolha política de vedar isso, inclusive, no âmbito de discussões de tratados internacionais de direito público e direito penal internacional. É um sério problema. Acho que a Profa. Heloisa já falou sobre isso. Mas acho que a gente deveria se posicionar contra isso, em termos de um ambiente democrático, que preza, no âmbito constitucional, pela dignidade da pessoa humana. Mesmo no debate de guerra, a gente tem uma regulamentação específica. No caso da governança, que é o último ponto de que eu poderia dizer, porque ele é superimportante, a gente está falando, sim, de um problema sério: o deslocamento de decisão para o setor privado. A gente precisa retomar esse debate, e, como eu disse, esse debate precisa ser multissetorial. Além de falar o nome bonito "multissetorial", a gente precisa aplicar instâncias multissetoriais. Então, se vai ser a ANPD que vai absorver essa competência ou se vai ser um órgão novo criado, com todas as dificuldades orçamentárias e tudo mais, a gente precisa da participação, no mínimo, dos quatro grandes setores: além do Governo, empresas, setor acadêmico e, com toda a certeza - eu falo isto deste local -, sociedade civil. Eu acho que é isso. A SRA. PRESIDENTE (Ana de Oliveira Frazão. Por videoconferência.) - Obrigada, Dr. André. A Dra. Heloisa conseguiu voltar, não é, Dra. Heloisa? Então, por favor... A SRA. HELOISA ESTELLITA (Por videoconferência.) - Este computador ficou com medo de eu tomar o cartão amarelo e falou: "Vou cortar a palavra dela". (Risos.) A SRA. PRESIDENTE (Ana de Oliveira Frazão. Por videoconferência.) - Aqui ninguém está a salvo disso. Esse é um risco que todos corremos. A SRA. HELOISA ESTELLITA (Por videoconferência.) - Eu sei. Eu só queria fazer um acréscimo, então. Eu acho que é isto: quantidade e qualidade do que vai ser afetado. Eu acho que, numa população majoritariamente negra ou parda, um programa de reconhecimento facial que não consegue lidar com isso não deveria nunca ser utilizado, ponto, acabou. Quando a técnica puder atender, aí a gente libera. Então, é claro que não é o banimento para sempre - não existe nada disso nem no direito -, mas ele não poderia ser usado enquanto não... Nós não distribuímos um medicamento que mata 50% das pessoas que tenham o gene tal. Ele mata as pessoas que têm o gene tal. Aí a gente constata que 50% da população brasileira tem o gene tal. E você distribui o medicamento? Então, acho que é bom senso. O art. 43 do anteprojeto trata da questão do uso de câmeras e do reconhecimento de dados de forma simultânea. Você pode usar câmera de vigilância na segurança pública sem o reconhecimento automático a elas vinculado. Esse é o grande problema que era o que estava propondo, em parte, o metrô, embora ele não estivesse usando as câmeras ou não propusesse com o reconhecimento facial.
15:47 R	Com relação à decisão de atirar para matar, eu acho que é claro, é muito claro, é um dano irreversível à qualidade do bem jurídico (Falha no áudio.) ... do que existe. E eu acho que a gente não deveria usar esse tipo de equipamento enquanto a gente não tiver absoluto controle sobre o uso dele. Talvez nunca devesse usar. Às vezes tem umas coisas que a gente tem que abrir mão de usar mesmo. Era isso. Obrigada. A SRA. PRESIDENTE (Ana de Oliveira Frazão. Por videoconferência.) - Eu que agradeço, Dra. Heloisa. Foi excelente. Indago aos meus colegas de Comissão se há alguma consideração final; senão, já me encaminharia para o encerramento, considerando que já passamos um pouquinho, mas, também levando em conta a qualidade e a complexidade das discussões, acho que a gente cumpriu aqui uma missão extremamente difícil. Conseguimos praticamente cravar em horário com contribuições extremamente ricas e, além de tudo, muito sedutoras, muito leves, ou seja, esta tarde passou de uma maneira muito divertida eu acho que para todos nós que gostamos do assunto. Então, fica aqui, em nome da Comissão, um agradecimento muito especial à Dra. Maria Cecília, à Dra. Priscila, ao Dr. João Paulo, ao Dr. André, à Dra. Heloisa. Realmente foi um grande prazer tê-los aqui com a gente, poder aprender com a experiência de vocês. Muito obrigada mesmo. Agradeço também a todos os membros da Comissão que nos assistem, a todos também que estão acompanhando aqui. Declaro encerrada esta sessão. Muito obrigada. Uma excelente tarde a todos. Esperamos todos novamente nos dias 12 e 13, quando teremos a segunda rodada das audiências públicas. Um grande abraço, então, e uma ótima tarde. Obrigada. (Iniciada às 9 horas e 04 minutos, a reunião é encerrada às 15 horas e 49 minutos.)

Atividade Legislativa

Notas Taquigráficas

29/04/2022 - 3ª - Comissão de Juristas responsável por subsidiar elaboração de substitutivo sobre inteligência artificial no Brasil