NVIDIA предлагает распаковывать текстуры силами нейросети, при этом в 4 раза увеличивается разрешение

playground.ru:

Компания NVIDIA опубликовала статью под названием «Нейронное сжатие текстур материалов с произвольным доступом» (Random-Access Neural Compression of Material Textures). Это новый метод сжатия и распаковки, который при сопоставимом или даже меньшем размере сжатых текстур обеспечивает ряд преимуществ. Ключевое: в 4 раза больший размер самих текстур.

Если кратко и доступно, суть в использовании нейросети, которая специально обучена для каждого материала. «Ключевой идеей нашего подхода является сжатие нескольких текстур материалов и их цепочек mipmap вместе, а также использование небольшой нейронной сети, которая оптимизирована для каждого материала, чтобы распаковать их», – сказано в сообщении NVIDIA.

Что немаловажно, алгоритм Neural Texture Compression может работать с произвольным доступом. Это позволяет распаковывать текстуры в режиме реального времени с минимальными задержками, как и в случае обычного блочного сжатия.

Хотя этот подход обеспечивает намного больший размер текстур, относительно классического блочного сжатия задержки выше. Где классическому методу требуется 0,49 мс, NTC управляется за 1,15 мс.

Более детальную информацию NVIDIA раскроет в ходе мероприятия SIGGRAPH 2023 6 августа.