Поддержка 16-битных значений с плавающей запятой в WGSL
В WGSL тип f16 представляет собой набор 16-битных значений с плавающей запятой в формате IEEE-754 binary16 (половинная точность). Это означает, что для представления числа с плавающей запятой используется 16 бит, а не 32, как в случае с обычной точностью (f32). Меньший размер может значительно повысить производительность, особенно при обработке больших объемов данных.
Для сравнения: на устройстве Apple M1 Pro реализация f16 моделей Llama2 7B, используемых в демоверсии чата WebLLM, работает значительно быстрее, чем реализация f32. Как показано на скриншотах ниже, скорость предварительного заполнения увеличилась на 28 %, а скорость декодирования – на 41 %.
f32 (слева) и f16 (справа).Не все графические процессоры поддерживают 16-битные значения с плавающей запятой. Если в GPUAdapter доступна функция "shader-f16", вы можете запросить GPUDevice с этой функцией и создать модуль шейдера WGSL, в котором используется тип с плавающей запятой половинной точности f16. Этот тип можно использовать в модуле шейдера WGSL, только если вы включили расширение WGSL f16 с помощью enable f16;. В противном случае функция createShaderModule() сгенерирует ошибку проверки. Ознакомьтесь с приведенным ниже минимальным примером и ошибкой dawn:1510.
const adapter = await navigator.gpu.requestAdapter();
if (!adapter.features.has("shader-f16")) {
throw new Error("16-bit floating-point value support is not available");
}
// Explicitly request 16-bit floating-point value support.
const device = await adapter.requestDevice({
requiredFeatures: ["shader-f16"],
});
const code = `
enable f16;
@compute @workgroup_size(1)
fn main() {
const c : vec3h = vec3<f16>(1.0h, 2.0h, 3.0h);
}
`;
const shaderModule = device.createShaderModule({ code });
// Create a compute pipeline with this shader module
// and run the shader on the GPU...
В коде модуля шейдера WGSL можно поддерживать типы f16 и f32 с помощью alias в зависимости от поддержки функции "shader-f16", как показано в следующем фрагменте кода.
const adapter = await navigator.gpu.requestAdapter();
const hasShaderF16 = adapter.features.has("shader-f16");
const device = await adapter.requestDevice({
requiredFeatures: hasShaderF16 ? ["shader-f16"] : [],
});
const header = hasShaderF16
? `enable f16;
alias min16float = f16;`
: `alias min16float = f32;`;
const code = `
${header}
@compute @workgroup_size(1)
fn main() {
const c = vec3<min16float>(1.0, 2.0, 3.0);
}
`;
Преодолейте все препятствия
Максимальное количество байтов, необходимое для хранения одного образца (пикселя или субпикселя) выходных данных конвейера отрисовки для всех цветовых прикреплений, по умолчанию составляет 32 байта. Теперь можно запросить до 64, используя ограничение maxColorAttachmentBytesPerSample. Ознакомьтесь с примером ниже и проблемой dawn:2036.
const adapter = await navigator.gpu.requestAdapter();
if (adapter.limits.maxColorAttachmentBytesPerSample < 64) {
// When the desired limit isn't supported, take action to either fall back to
// a code path that does not require the higher limit or notify the user that
// their device does not meet minimum requirements.
}
// Request highest limit of max color attachments bytes per sample.
const device = await adapter.requestDevice({
requiredLimits: { maxColorAttachmentBytesPerSample: 64 },
});
На всех платформах увеличены лимиты на количество символов maxInterStageShaderVariables и maxInterStageShaderComponents, используемые для межэтапного общения. Подробную информацию можно найти в задаче dawn:1448.
Для каждого этапа шейдера максимальное количество записей макета группы привязки в макете конвейера, которые являются буферами хранения, по умолчанию равно 8. Теперь можно запросить до 10, используя лимит maxStorageBuffersPerShaderStage. См. ошибку dawn:2159.
Добавлен новый лимит maxBindGroupsPlusVertexBuffers. Она состоит из максимального количества слотов группы привязки и буфера вершин, используемых одновременно, включая все пустые слоты ниже самого высокого индекса. Значение по умолчанию – 24. Подробнее о проблеме dawn:1849…
Изменения состояния буфера глубины и трафарета
Чтобы упростить работу разработчиков, атрибуты состояния буфера глубины и трафарета depthWriteEnabled и depthCompare теперь не всегда обязательны. Атрибут depthWriteEnabled требуется только для форматов с глубиной, а depthCompare не нужен для форматов с глубиной, если он не используется. Подробнее о проблеме dawn:2132…
Обновление информации об адаптере
Нестандартные атрибуты информации об адаптере type и backend теперь доступны при вызове requestAdapterInfo(), если пользователь включил флаг "Функции разработчика WebGPU" на странице chrome://flags/#enable-webgpu-developer-features. Значение type может быть "дискретный графический процессор", "встроенный графический процессор", "центральный процессор" или "неизвестно". В поле backend может быть указано "WebGPU", "D3D11", "D3D12", "metal", "vulkan", "openGL", "openGLES" или "null". См. issue dawn:2112 и issue dawn:2107.
Удален необязательный параметр списка unmaskHints в requestAdapterInfo(). Подробнее о проблеме dawn:1427…
Квантование запросов временных меток
Запросы временных меток позволяют приложениям измерять время выполнения команд графического процессора с точностью до наносекунды. Однако в спецификации WebGPU запросы временных меток являются необязательными из-за опасений по поводу атак по времени. Команда Chrome считает, что квантование запросов временных меток обеспечивает оптимальный баланс между точностью и безопасностью, поскольку разрешение снижается до 100 микросекунд. См. issue dawn:1800.
В Chrome пользователи могут отключить квантование временных меток, включив флаг "Функции разработчика WebGPU" на странице chrome://flags/#enable-webgpu-developer-features. Обратите внимание, что этот флаг сам по себе не включает функцию "timestamp-query". Его реализация пока экспериментальная, поэтому для его использования требуется флаг "Небезопасная поддержка WebGPU" по адресу chrome://flags/#enable-unsafe-webgpu.
В Dawn добавлен новый переключатель устройства под названием timestamp_quantization, который включен по умолчанию. В приведенном ниже фрагменте кода показано, как разрешить экспериментальную функцию timestamp-query без квантования временных меток при запросе устройства.
wgpu::DawnTogglesDescriptor deviceTogglesDesc = {};
const char* allowUnsafeApisToggle = "allow_unsafe_apis";
deviceTogglesDesc.enabledToggles = &allowUnsafeApisToggle;
deviceTogglesDesc.enabledToggleCount = 1;
const char* timestampQuantizationToggle = "timestamp_quantization";
deviceTogglesDesc.disabledToggles = ×tampQuantizationToggle;
deviceTogglesDesc.disabledToggleCount = 1;
wgpu::DeviceDescriptor desc = {.nextInChain = &deviceTogglesDesc};
// Request a device with no timestamp quantization.
myAdapter.RequestDevice(&desc, myCallback, myUserData);
Функции для весенней уборки
Экспериментальная функция "timestamp-query-inside-passes" переименована в "chromium-experimental-timestamp-query-inside-passes", чтобы разработчикам было понятно, что она экспериментальная и пока доступна только в браузерах на основе Chromium. Подробнее о проблеме dawn:1193…
Экспериментальная функция "pipeline-statistics-query", которая была реализована лишь частично, удалена, так как ее разработка прекращена. Подробнее о проблеме chromium:1177506…
Это лишь некоторые из основных изменений. Ознакомьтесь с полным списком коммитов.
Что нового в WebGPU
Список всех тем, которые были рассмотрены в серии статей Что нового в WebGPU.
Chrome 155–156
- Расширение WGSL fragment_depth
- Несоответствие сжатия текстур
- Цветовые пространства srgb-linear и display-p3-linear
- Дополнительный формат вершин snorm10-10-10-2
- Поддержка f16 в Linux для NVIDIA
- Обновления Dawn
Chrome 153–154
- Расширение buffer_view для WGSL
- Расширение WGSL swizzle_assignment
- Обновления расширений WGSL
- Обновления Dawn
Chrome 151–152
Chrome 149–150
Chrome 147–148
Chrome 146
- Поддержка режима совместимости WebGPU на OpenGL ES 3.1
- Временные прикрепленные файлы
- Расширение WGSL texture_and_sampler_let
- Обновления Dawn
Chrome 145
- Расширение WGSL subgroup_uniformity
- Экспериментальное синхронное сопоставление буферов в рабочих процессах
- Обновления Dawn
Chrome 144
- Расширение WGSL subgroup_id
- Расширение WGSL uniform_buffer_standard_layout
- WebGPU в Linux
- Более быстрые функции writeBuffer и writeTexture
- Обновления Dawn
Chrome 143
- Перестановка компонентов текстуры
- Удаление использования текстуры хранилища bgra8unorm, доступной только для чтения
- Обновления Dawn
Chrome 142
Chrome 141
- Завершение проверки инсулинорезистентности
- Анализ диапазона целых чисел в компиляторе WGSL
- Обновление SPIR-V 1.4 для серверной части Vulkan
- Обновления Dawn
Chrome 140
- Запросы устройств используют адаптер
- Сокращенная запись для использования текстуры вместо представления текстуры
- Функция textureSampleLevel в WGSL поддерживает 1D-текстуры
- Прекращение поддержки текстур bgra8unorm для хранения данных только для чтения
- Удаление атрибута isFallbackAdapter для GPUAdapter
- Обновления Dawn
Chrome 139
- Поддержка 3D-текстур для сжатых форматов BC и ASTC
- Новая функция "Основные функции и ограничения"
- Пробная версия WebGPU в режиме совместимости
- Обновления Dawn
Chrome 138
- Сокращенная запись для использования буфера в качестве связывающего ресурса
- Изменения требований к размеру буферов, сопоставленных при создании
- Отчет об архитектуре для новых графических процессоров
- Поддержка атрибута isFallbackAdapter для GPUAdapter прекращена
- Обновления Dawn
Chrome 137
- Как использовать представление текстуры для привязки externalTexture
- Копирование буферов без указания смещений и размера
- WGSL workgroupUniformLoad с использованием указателя на атомарную переменную
- Атрибут powerPreference для GPUAdapterInfo
- Удаление атрибута compatibilityMode из GPURequestAdapterOptions
- Обновления Dawn
Chrome 136
- Атрибут GPUAdapterInfo isFallbackAdapter
- Улучшение времени компиляции шейдеров в D3D12
- Как сохранить или скопировать изображение с холста
- Снять ограничения режима совместимости
- Обновления Dawn
Chrome 135
- Разрешить создание макета конвейера с макетом группы привязки null
- Разрешить областям просмотра выходить за границы целевых объектов отрисовки
- Упрощенный доступ к экспериментальному режиму совместимости на устройствах Android
- Удаление ограничения maxInterStageShaderComponents
- Обновления Dawn
Chrome 134
- Как улучшить рабочие нагрузки машинного обучения с помощью подгрупп
- Удаление поддержки фильтруемых типов текстур с плавающей точкой как смешиваемых
- Обновления Dawn
Chrome 133
- Дополнительные форматы вершин unorm8x4-bgra и с одним компонентом
- Разрешить запрашивать неизвестные лимиты с неопределенным значением
- Изменения в правилах выравнивания WGSL
- Повышение производительности WGSL при использовании функции discard
- Как использовать displaySize из VideoFrame для внешних текстур
- Как обрабатывать изображения с нестандартной ориентацией с помощью copyExternalImageToTexture
- Улучшение работы разработчиков
- Как включить режим совместимости с помощью featureLevel
- Удаление экспериментальных функций подгрупп
- Прекращение поддержки ограничения maxInterStageShaderComponents
- Обновления Dawn
Chrome 132
- Использование текстур
- Смешивание текстур с 32-битной плавающей точкой
- Атрибут adapterInfo для GPUDevice
- При настройке контекста элемента canvas с недопустимым форматом возникает ошибка JavaScript
- Ограничения фильтрации текстур
- Эксперименты с расширенными подгруппами
- Улучшение работы разработчиков
- Экспериментальная поддержка 16-битных нормализованных форматов текстур
- Обновления Dawn
Chrome 131
- Как обрезать расстояния в WGSL
- GPUCanvasContext getConfiguration()
- Примитивы точек и линий не должны иметь смещения глубины
- Встроенные функции инклюзивного сканирования для подгрупп
- Экспериментальная поддержка многократного непрямого рисования
- Параметр компиляции модуля шейдера strict math
- Удаление GPUAdapter requestAdapterInfo()
- Обновления Dawn
Chrome 130
- Смешивание двух источников
- Улучшение времени компиляции шейдеров в Metal
- Устаревание метода GPUAdapter requestAdapterInfo()
- Обновления Dawn
Chrome 129
- Поддержка HDR с режимом сопоставления тонов на холсте
- Расширенная поддержка подгрупп
- Обновления Dawn
Chrome 128
- Эксперименты с подгруппами
- Удаление возможности задавать смещение глубины для линий и точек
- Скрытие предупреждения инструментов разработчика о необработанной ошибке, если используется preventDefault
- WGSL interpolate sampling first and either
- Обновления Dawn
Chrome 127
- Экспериментальная поддержка OpenGL ES на устройствах Android
- Атрибут info для GPUAdapter
- Улучшения взаимодействия WebAssembly
- Улучшенные сообщения об ошибках кодировщика команд
- Обновления Dawn
Chrome 126
- Увеличение лимита maxTextureArrayLayers
- Оптимизация загрузки буфера для серверной части Vulkan
- Улучшения времени компиляции шейдеров
- Отправленные буферы команд должны быть уникальными
- Обновления Dawn
Chrome 125
Chrome 124
- Текстуры хранилища с доступом только на чтение и на чтение и запись
- Поддержка сервис-воркеров и объектов SharedWorker
- Новые атрибуты информации об адаптере
- Исправленные ошибки
- Обновления Dawn
Chrome 123
- Поддержка встроенных функций DP4a в WGSL
- Параметры указателей без ограничений в WGSL
- Синтаксический сахар для разыменования составных типов в WGSL
- Отдельное состояние "Только чтение" для трафарета и глубины
- Обновления Dawn
Chrome 122
- Расширение охвата с помощью режима совместимости (функция в разработке)
- Как увеличить лимит maxVertexAttributes
- Обновления Dawn
Chrome 121
- Поддержка WebGPU на устройствах Android
- Использование DXC вместо FXC для компиляции шейдеров в Windows
- Запросы временных меток в проходах вычислений и отрисовки
- Точки входа по умолчанию для модулей шейдеров
- Поддержка display-p3 в качестве цветового пространства GPUExternalTexture
- Информация о кучах памяти
- Обновления Dawn
Chrome 120
- Поддержка 16-битных значений с плавающей запятой в WGSL
- Преодолейте все препятствия
- Изменения состояния буфера глубины и трафарета
- Обновления информации об адаптере
- Квантование запросов с временными метками
- Функции для весенней уборки
Chrome 119
- Фильтруемые 32-битные текстуры с плавающей запятой
- Формат вершин unorm10-10-10-2
- Формат текстуры rgb10a2uint
- Обновления Dawn
Chrome 118
- Поддержка HTMLImageElement и ImageData в
copyExternalImageToTexture() - Экспериментальная поддержка текстур хранилища с доступом для чтения и записи и только для чтения
- Обновления Dawn
Chrome 117
- Unset vertex buffer (Отменить буфер вершин)
- Отменить привязку группы
- Отключение сообщений об ошибках при создании асинхронного конвейера, когда устройство потеряно
- Изменения в создании модулей шейдеров SPIR-V
- Улучшение работы разработчиков
- Кэширование конвейеров с автоматически сгенерированной разметкой
- Обновления Dawn
Chrome 116
- Интеграция WebCodecs
- Устаревшее устройство, возвращенное GPUAdapter
requestDevice() - Обеспечить плавное воспроизведение видео при вызове функции
importExternalTexture() - Соответствие спецификациям
- Улучшение работы разработчиков
- Обновления Dawn
Chrome 115
- Поддерживаемые расширения языка WGSL
- Экспериментальная поддержка Direct3D 11
- Как по умолчанию использовать дискретный графический процессор при питании от сети переменного тока
- Улучшение работы разработчиков
- Обновления Dawn
Chrome 114
- Оптимизация JavaScript
- Метод getCurrentTexture() для ненастроенного элемента canvas вызывает ошибку InvalidStateError
- Изменения в WGSL
- Обновления Dawn