Seoul National University AI usa tags de texto para colorir desenhos de linha

Digamos que você acabou de esboçar um retrato, mas não tem inclinação para colorir sua criação à mão. Não seria bom se você pudesse simplesmente dizer a um assistente de inteligência artificial quais cores você quer e ele fazer o resto? Bem, agora você pode!

Um grupo de pesquisa da Universidade Nacional de Seul apresentou recentemente o Tag2Pix, uma abordagem de rede adversarial generativa (GAN) para colorização de arte vetorial. Dada uma frase de texto que inclui informações de tag, como “ blue_hair” ou “brown_eyes,” Tag2Pix pode converter arte de linha monótona em uma imagem colorida. O artigo associado dos pesquisadores foi aceito no ICCV 2019.

As abordagens atuais para automatizar a colorização de arte de linha podem usar alguns métodos diferentes. Um é a “ colorização guiada pelo usuário ”, que delineia uma área de destino específica na imagem e faz com que o modelo preencha naturalmente os espaços. Um exemplo popular disso é o projeto PaintsChainer com tecnologia de IA, que pode escolher suas próprias cores para processamento ou seguir as instruções dos usuários sobre como proceder.

Outra abordagem é o “ método de transferência de estilo ” que usa uma imagem de amostra diferente como uma dica para a rede generativa. A saída da imagem de destino é então gerada seguindo o estilo de distribuição de cores da imagem de amostra.

A colorização guiada pelo usuário, entretanto, tende a exigir que especialistas humanos ajustem as entradas, enquanto a transferência de estilo requer imagens de amostra. Além disso, os dois métodos são caros.

A técnica de colorização baseada em tag dos pesquisadores é uma alternativa mais barata que dispensa especialistas humanos e imagens de amostra e requer apenas uma entrada humana mínima e simples para fornecer colorizações de alta qualidade.

Os principais recursos e inovações no artigo de pesquisa incluem:

Na tabela abaixo, a arte de linha em cada linha foi colorida usando dois CVTs comuns e um CVT diferente como entrada para demonstrar a capacidade do Tag2Pix de colorir arte de linha naturalmente com várias combinações de marcas de cores.

Os pesquisadores também conduziram estudos de usuários comparando o Tag2Pix a outras redes para colorização baseada em esboço e texto. Eles pediram a 20 pessoas que avaliassem vários resultados em uma escala de cinco pontos de linhas em quatro categorias: Segmentação de cores, Naturalidade de cores, Precisão das dicas de cores e Qualidade geral. Tag2Pix recebeu as pontuações mais altas em todas as categorias.


O artigo Tag2Pix: Colorização de arte de linha usando tag de texto com SECat e alteração da perda está no arXiv. O grupo de pesquisa abriu código, rede pré-treinada e outros recursos relacionados no Github.

Autor : Victor Lu | Editor : Michael Sarazen & amp; Tony Peng

Sabemos que você não quer perder nenhuma história. Inscreva-se em nosso popular <✓ Synced Global AI Weekly para receber semanalmente Atualizações de IA.

Precisa de uma revisão abrangente do passado, presente e futuro do desenvolvimento de pesquisas em IA moderna? Lançamento do Relatório de tendências de desenvolvimento de tecnologia de IA !

<✓ 2018 Fortune Global 500 Public Company Public Adaptivity Report lançado!
Compre um Kindle- relatório formatado na Amazônia.
Inscreva-se no Insight Partner Program para obter um relatório completo em PDF de cortesia.