Todo projeto de ML na ISE passa por uma avaliação de IA Responsável (RAI) para garantir que ele cumpra os 6 princípios de IA Responsável da Microsoft:
- Equidade
- Confiabilidade e Segurança
- Privacidade e Segurança
- Inclusão
- Transparência
- Responsabilidade
Todo projeto passa pelo processo de RAI, seja para construir um novo modelo de ML do zero ou colocar um modelo existente em produção.
O processo começa assim que iniciamos um projeto prospectivo. Começamos preenchendo um documento de revisão de IA Responsável e uma avaliação de impacto, que oferece uma maneira estruturada de explorar tópicos como:
- O problema pode ser resolvido com uma solução não técnica (por exemplo, social)?
- O problema pode ser resolvido sem IA? Tecnologia mais simples seria suficiente?
- A equipe terá acesso a especialistas no domínio (por exemplo, médicos, refugiados) na área onde a IA é aplicável?
- Quem são as partes interessadas neste projeto? Quem é impactado pela IA? Existem grupos vulneráveis afetados?
- Quais são os possíveis benefícios e danos para cada parte interessada?
- Como a tecnologia pode ser mal utilizada e o que pode dar errado?
- A equipe analisou adequadamente os dados de entrada para garantir que os dados de treinamento sejam adequados para aprendizado de máquina?
- Os dados de treinamento representam com precisão os dados que serão usados como entrada na produção?
- Existe uma boa representação de todos os usuários?
- Existe um mecanismo de fallback (um humano na sequência ou uma maneira de reverter decisões com base no modelo)?
- Os dados usados pelo modelo para treinamento ou pontuação contêm informações pessoais identificáveis (PII)? Quais medidas foram tomadas para remover dados sensíveis?
- O modelo impacta decisões consequentes, como impedir que as pessoas obtenham empregos, empréstimos, assistência médica etc., ou nos casos em que isso pode ocorrer, considerações éticas apropriadas foram discutidas?
- Medidas de re-treinamento foram consideradas?
- Como podemos abordar quaisquer preocupações que surjam e como podemos mitigar riscos?
Neste ponto, pesquisamos ferramentas e recursos disponíveis, como InterpretML ou Fairlearn, que podemos usar no projeto. Podemos alterar o escopo do projeto ou redefinir a definição do problema de ML se necessário.
Os documentos de revisão de IA Responsável permanecem documentos vivos que revisamos e atualizamos durante o desenvolvimento do projeto, por meio do estudo de viabilidade, à medida que o modelo é desenvolvido e preparado para a produção, e à medida que novas informações surgem. Os documentos podem ser usados e expandidos assim que o modelo é implantado e monitorado em produção.