Вчені вдосконалюють метод глибокого вивчення нейронних мереж

Панда Янг-Янг вдосконалює навички малювання (Липень 2019).

Anonim

Дослідники з Інституту комп'ютерних розвідувальних систем Національного дослідницького ядерного університету МЕФІ (Росія) нещодавно розробили нову модель навчання для обмеженої машини Больцмана (нейронної мережі), яка оптимізує процеси семантичного кодування, візуалізації та розпізнавання даних. Результати цього дослідження опубліковані в журналі Optical Memory і Neural Networks.

Сьогодні глибокі нейронні мережі з різними архітектурами, такі як згорткові, періодичні та автокоддерні мережі, стають все більш популярною областью досліджень. Ряд високотехнологічних компаній, включаючи Microsoft та Google, використовують глибокі нейронні мережі для розробки інтелектуальних систем.

У системах глибокого вивчення процеси вибору та конфігурації функцій автоматизовані, що означає, що мережі можуть самостійно вибирати між найефективнішими алгоритмами для вилучення ієрархічних функцій. Глибоке навчання характеризується вивченням за допомогою великих зразків за допомогою єдиного алгоритму оптимізації. Типові алгоритми оптимізації налаштовують параметри всіх операцій одночасно і ефективно оцінюють вплив всіх параметрів нейронної мережі на помилку за допомогою так званого методу зворотного розповсюдження.

"Потужність нейронних мереж самостійно навчатися є однією з найбільш інтригуючих властивостей", - пояснив Володимир Головко, професор Інституту кіберінтеграції МЕФІ. "Точно так само, як біологічні системи, нейрові мережі можуть самостійно моделюватися, прагнучи розвинути найкращу модель поведінки".

У 2006 році сфера навчання нейронних мереж побачила прорив, коли Джефрі Хінтон опублікував науково-дослідний збірник про підготовку нейронних мереж. Він заявив, що багатошарові нейронні мережі можуть бути попередньо підготовлені шляхом тренування одного шару за допомогою обмеженої машини Больцмана, а потім точно налаштувати їх за допомогою зворотного розповсюдження. Ці мережі були названі мережами глибокої віри, або DBN.

Головко проаналізував основні питання та парадигми глибокого машинного навчання та запропонував новий метод навчання для обмеженої машини Больцмана. Дослідник продемонстрував, що класичне правило навчання цієї нейронної мережі є конкретним випадком методу, який він розробив.

"Американські вчені Мінський і Паперт якось показали, що з точки зору класифікації моделей одношаровий персептрон з функцією порогової активації утворює лінійну роздільну поверхню, що є причиною, чому він не може вирішити" виняткову "або" проблему ", Головко зазначив. "Це призвело до песимістичних висновків про подальший розвиток нейронних мереж.Однак останнє твердження справедливе лише для одного шару персептрон з порогом або монотонною функцією безперервної активації, наприклад, сигмоїдна функція. Коли хтось використовує активацію сигналу функція, одношаровий персептрон може вирішити "ексклюзивну" або "проблему", оскільки вона може розділити площу одиниць і нулів на класи за допомогою двох прямих ліній ".

Дослідження також включало аналіз перспектив використання глибинних нейронних мереж для стиснення, візуалізації та розпізнавання даних. Більше того, Головко також запропонував новий підхід до реалізації семантичної кодування або хешування, що базується на використанні глибинних автоасоціативних нейронних мереж.

Цей глибокий метод навчання може бути дуже корисним для навчання нейронних мереж пошукових систем, стверджує автор, оскільки це підвищить швидкість пошуку відповідних зображень.

Ці знахідки мають велике практичне значення: вони вже знайшли застосування в сферах комп'ютерного бачення, розпізнавання мови та біоінформатики.

menu
menu