Енергоефективність структурно оптимізованих нейронних мереж

Abstract

Стрімке поширення систем штучного інтелекту в промислових, мобільних та ІоТ-середовищах загострює проблему ресурсної та енергетичної ефективності нейронних мереж. Зростання обчислювальної складності сучасних моделей глибокого навчання призводить до збільшення витрат пам'яті, часу обробки та обчислювальних ресурсів як під час навчання, так і під час інференсу на кінцевих пристроях. Особливо актуальною ця проблема є для мобільних, вбудованих та edge- систем, де модель повинна працювати за умов обмеженої оперативної пам'яті, продуктивності процесора та енергоспоживання. У таких умовах вибір архітектури нейронної мережі не може ґрунтуватися лише на точності класифікації, оскільки практичне розгортання моделі також залежить від її розміру, затримки інференсу, обчислювальної складності та використання пам'яті. Методи структурної оптимізації нейронних мереж, зокрема pruning та quantization, дають змогу зменшити окремі ресурсні характеристики моделі. Водночас їхній ефект не є однозначним: зменшення кількості ненульових ваг не завжди приводить до прискорення інференсу, a INT8-квантизація може по-різному впливати на latency залежно від архітектури моделі, процесора та програмного backend,, Тому для коректногр порівняння : рптимізованих моделей потрібна не одца окрема метрика, а узгоджена система оцінювання за кількома критеріями.