Разумно ли проводить аналогию между сопряженными градиентами и сопряженными диаметрами эллипса? - DataScientist
1 голос
/ 25 октября

Раздел 8.6.2 из «Йен Гудфеллоу, Йошуа Бенжио и Аарон Курвиль. Глубокое обучение» использует термин «сопряженные направления» без каких-либо дополнительных пояснений.

Сопряженные градиентыэто метод, позволяющий эффективно избежать вычисления обратного гессиана путем итеративного спуска сопряженных направлений. Вдохновение для этого подхода следует из тщательного изучения слабости метода наискорейшего спуска ...

этот пост дает это определение

Таким образом, оптимальное направление не вдоль -∇f, а скорее в направлении, которое сохраняет минимизацию, достигнутую на предыдущем шаге (и, в многомерном, все предыдущие шаги)

Это называется сопряженным направлением

Чтобы получить более интуитивное понимание этой концепции, я пытаюсь провести аналогию между сопряженными градиентами и сопряженными диаметрами эллипса , это разумно?

...