Как ловить ежиков

Где проведет зиму ежик?

Не стоило опасаться, что «колючих соседей» станет слишком много. Ежи по натуре одиночки, и, занимая территорию до двух гектаров, не пустят туда не только чужаков, но даже своих сородичей. Исключение делается только для самки, и то не всегда, а во время брачных игр. Любой другой ежик, нечаянно попавший на его территорию, будет тут же атакован, и по-хорошему разойтись не получится, так как ежи воюют только до победного конца.

Всех, кто попадаются на пути, еж уничтожает. И не потому, что ему нечем питаться. Куда с большим аппетитом он съест и насекомых, и мышей, и яйца птиц, и даже ягоды.

И что удивительно, на его территории вы никогда не встретите змей. Наверное, он и ее воспринимает как соперницу, которую необходимо истребить. Борьба может быть долгой. Змея будет все время кидаться на ежа, стараясь применить свои ядовитые зубы. Но, натыкаясь на иголки, ничем не сможет ему навредить.

Но, даже если бы змее удалось укусить своего врага, еж бы выжил, так как обладает хорошим иммунитетом против яда и способен даже переварить цианистый калий и мышьяк в небольших дозах. Наверное, из-за этой живучести ежу приписывали сверхъестественные способности.

Болгары были уверены, что все ежи – долгожители, так как едят специальную омолаживающую траву. Поэтому им приписывали хорошую память и мудрость.

Жители Полесья не только не опровергали это мнение, но еще говорили о том, что ежик разбирается в травах лучше любой знахарки. Только это животное, по их мнению, знает, где растет «разрыв-трава», с помощью которой можно открыть любой замок. Этот секрет пытались выведать у ежихи, закидав вход в нору с ежатами камнями.

• его сердце оберегом от болезней,
• мордочка — от сглаза,
• жир – лекарством от ревматизма и лихорадки и средством для лечения укусов мух и комаров.
• мочой ежа было принято избавляться от алкоголизма, подмешав ее в водку.

Но, чаще ежей все же не обижали, так как считалось, что ежик может прогнать нечисть. У поляков украшением свадебного стола был хлеб в виде ежа, а на Руси калач «еж» специально изготавливали для молодоженов, как талисман в брачную ночь. Считалось, что сам Бог уважает ежа за мудрость, и прислушивается к его советам. Хотя, некоторые были уверены, что появился он из волос черта, который причесываясь, сидя на пеньке, кидал на землю свои волосы.

Но, что бы о еже не говорили, ясно одно – лучшего помощника и хранителя для вашей дачи, чем ежик не найти. Он выведет не только грызунов и змей, но даже нечистую силу, а это согласитесь, не любому под силу! Но как приручить ежика на даче?

Зимовочную «избушку» зверек может построить в дупле пня, под корнями деревьев, выпирающими из земли, в норах грызунов, естественных небольших ямках. Могут расположиться ежики и на ровном месте в куче неубранной опавшей листвы и побегов. «Избушку» еж сооружает и утепляет опавшей листвой, рыхлым мхом и сухими стеблями.

Поэтому, если вы осенью во время уборки на зиму на своем дачном участке обнаружите в укромном, тихом местечке подобную подготовку к зимовке, не трогайте «избушку», не наводите на даче идеальный порядок, не выгребайте до весны опавшую листву в низинах и у корней кустарников и деревьев.

Тогда в свой последний приезд на дачу вы обнаружите, что вход в избушку закрыт, а это значит, что ежи свернулись в калачик и ушли в спячку, прикрывшись воздушной прослойкой, образованной иголками, листвой и снежным покровом. Будьте уверены, какие бы морозы не лютовали зимой, температура в ежовом жилище не опустится ниже 5 градусов.

Во время зимней оттепели природа может обмануть ежиков, они могут подумать, что пришла весна и проснуться. Хорошо упитанные взрослые ежи на этот обман, как правило, не ведутся, и с наступлением морозов опять укладываются в спячку. А вот молодняк может погибнуть от голода. Поэтому, изредка наведываясь на дачу в зимнее время, накрывайте дополнительным слоем снега «избушку». А ранней весной не забывайте подкармливать изголодавшихся за зиму ежиков.

Проводя полевые работы и делая для различных нужд глубокие ямы, не оставляйте на ночь их открытыми, иначе еж может угодить в ловушку во время охоты.

Если на вашей даче частенько бывает детвора, то вам не помешает приручить ежа к рукам. Ведь деток ручной ежик приводит в неописуемый восторг! Эти животные достаточно легко приручаются и даже поддаются дрессуре. Они различают не только запахи, но и цвета и голоса.

Что вызывает проблему исчезающего градиента? Нестабильные градиенты в ГНС

Так что же идёт не так, когда мы пытаемся обучить глубокую сеть?

Чтобы ответить на этот вопрос, вернёмся к сети, содержащей всего один скрытый слой. Как обычно, мы будем использовать задачу классификации цифр MNIST в качестве песочницы для обучения и экспериментов.

Здесь w1, w2,… – это веса, b1, b2,… – смещения, С – некая функция стоимости. Просто для напоминания скажу, что выход aj с нейрона №j равен σ(zj), где σ — обычная сигмоидная функция активации, а zj = wjaj−1 bj — взвешенный вход нейрона. Функцию стоимости я изобразил в конце, чтобы подчеркнуть, что стоимость является функцией от выхода сети, a4: если реальный выход близок к желаемому, тогда стоимость будет маленькой, а если далёк – то большой.

Изучим градиент ∂C/∂b1, связанный с первым скрытым нейроном. Найдём выражение для ∂C/∂b1 и, изучив его, поймём, почему возникает проблема исчезающего градиента.

Структура выражения такова: для каждого нейрона в сети имеется член умножения σ′(zj), для каждого веса имеется wj, и ещё есть последний член, ∂C/∂a4, соответствующий функции стоимости. Заметьте, что я разместил соответствующие члены над соответствующими частями сети. Поэтому сама сеть является мнемоническим правилом для выражения.

Можете принять это выражение на веру и пропустить его обсуждение прямо до того места, где объясняется, как оно связано с проблемой исчезающего градиента. В этом нет ничего плохого, поскольку это выражение представляет собой особый случай из нашего обсуждения обратного распространения. Однако объяснить его верность легко, поэтому для вас будет достаточно интересно (а, возможно, и поучительно) изучить это объяснение.

Это говорит о том, что мы можем вывести выражение для градиента ∂C/∂b1, тщательно отслеживая влияние каждого шага в этом каскаде.

Для этого подумаем, как Δb1 заставляет меняться выход a1 первого скрытого нейрона. Имеем a1 = σ(z1) = σ(w1a0 b1), поэтому

И это тоже должно быть знакомо: это два первых члена в нашем заявленном выражении для градиента ∂C/∂b1.

График достигает максимума в точке σ′(0)=1/4. Если мы используем стандартный подход к инициализации весов сети, то мы выбираем веса с использованием распределения Гаусса, то есть, среднеквадратичным нулём и стандартным отклонением 1. Поэтому обычно веса будут удовлетворять неравенству |wj|{amp}lt;1. Сопоставив все эти наблюдения, увидим, что члены wjσ′(zj) обычно будут удовлетворять неравенству |wjσ′(zj)|{amp}lt;1/4.

У них есть несколько общих членов. Однако в градиент ∂C/∂b1 входит два дополнительных члена, каждый из которых имеет вид wjσ′(zj). Как мы видели, такие члены обычно не превышают 1/4. Поэтому градиент ∂C/∂b1 обычно будет в 16 (или больше) раз меньше, чем ∂C/∂b3. И это основная причина возникновения проблемы исчезающего градиента.

Конечно, это не точное, а неформальное доказательство возникновения проблемы. Существуют несколько оговорок. В частности, можно заинтересоваться тем, будут ли во время обучения расти веса wj. Если это произойдёт, члены wjσ′(zj) в произведении уже не будут удовлетворять неравенству |wjσ′(zj)|{amp}lt;1/4.

Давайте посмотрим на конкретный пример возникновения взрывного градиента. Пример будет несколько искусственным: я подстрою параметры сети так, чтобы гарантировать возникновение взрывного роста. Но хотя пример и искусственный, его плюс в том, что он чётко демонстрирует: взрывной рост градиента является не гипотетической возможностью, а может реально случиться.

Для взрывного роста градиента нужно сделать два шага. Сначала мы выберем большие веса во всей сети, допустим, w1=w2=w3=w4=100. Потом мы выберем такие смещения, чтобы члены σ′(zj) были не слишком маленькими. И это довольно легко сделать: нам нужно лишь выбрать такие смещения, чтобы взвешенный вход каждого нейрона был zj=0 (и тогда σ′(zj)=1/4).

Проблема нестабильного градиента

Фундаментальная проблема заключается не в проблеме исчезающего градиента или взрывном росте градиента. Она в том, что градиент в первых слоях является произведением членов из всех остальных слоёв. И когда слоёв много, ситуация по сути становится нестабильной. И единственный способ, которым все слои смогут обучаться с примерно одной скоростью – это выбрать такие члены произведения, которые будут балансировать друг друга.

И при отсутствии некоего механизма или причины для такой балансировки маловероятно, что это произойдёт случайно. Короче говоря, реальная проблема в том, что НС страдают от проблемы нестабильного градиента. И в итоге, если мы будем использовать стандартные обучающие техники на основе градиента, разные слои сети будут обучаться с ужасно разными скоростями.

Упражнение

• В нашем обсуждении проблемы исчезающего градиента мы использовали тот факт, что |σ′(z)|{amp}lt;1/4. Допустим, мы используем другую функцию активации, производная которой может быть гораздо больше. Поможет ли это нам решить проблему нестабильного градиента?

Мы видели, что градиент может исчезать или расти взрывными темпами в первых слоях глубокой сети. На самом деле при использовании сигмоидных нейронов градиент обычно будет исчезать. Чтобы понять, почему, снова рассмотрим выражение |wσ′(z)|. Чтобы избежать проблемы исчезающего градиента, нам нужно, чтобы |wσ′(z)|≥1.

Вы можете решить, что этого легко достичь при очень больших значениях w. Однако на самом деле это не так просто. Причина в том, что член σ′(z) тоже зависит от w: σ′(z)=σ′(wa b), где a – это входная активация. И если мы сделаем w большим, нам надо постараться, чтобы параллельно не сделать σ′(wa b) маленьким.

А это оказывается серьёзным ограничением. Причина в том, что когда мы делаем w большим, мы делаем wa b очень большим. Если посмотреть на график σ′, видно, что это приводит нас к «крыльям» функции σ′, где она принимает очень малые значения. И единственный способ избежать этого – удерживать входящую активацию в достаточно узком диапазоне значений. Иногда это происходит случайно. Но чаще этого не происходит. Поэтому в общем случае у нас возникает проблема исчезающего градиента.

Задачи

• Рассмотрим результат умножения |wσ′(wa b)|. Допустим, |wσ′(wa b)|≥1. Покажите, что это может произойти, только если |w|≥4.
• Предполагая, что |w|≥4, рассмотрите набор входных активаций, для которых |wσ′(wa b)|≥1.
• Покажите, что набор активаций, удовлетворяющий этому ограничению, может находиться в интервале с шириной не более
• Покажите численно, что это выражение сильнее всего ограничивает ширину диапазона при |w|≈6.9, и в этой точке принимает значение ≈0,45. Поэтому, даже если всё будет подобрано идеально, у нас всё равно будет достаточно узкий диапазон входных активаций, способных избежать проблемы исчезающего градиента.
• Тождественный нейрон. Рассмотрим нейрон с одним входом x, соответствующим весом w₁, смещением b и весом w₂ на выходе. Покажите, что правильно выбрав веса и смещение, можно гарантировать, что w₂σ(w₁x b)≈x for x∈[0,1]. И тогда такой нейрон можно использовать как тождественный, то есть такой, выход которого примерно равен входу (с точностью масштабирования на множитель веса). Подсказка: Полезно переписать x=1/2 Δ, предположить, что w₁ мало, и использовать разложение w₁Δ в ряд Тейлора.

Как завести на даче ежа?

Для начала вам следует завести дачу поблизости от леса. Затем вырастить там густые, живые изгороди или кустарниковые заросли, которые предпочитают ежи для обустройства в них своих жилищ – гнезд. Падуболистная магония, шиповник или кортадерия вполне для этих целей подойдут. В них легко прятаться как от назойливого внимания, так и от палящего летнего солнышка.

Не помешает узнать также, что представляет собой это симпатичное животное.

Образ жизни ежей

Размножаются ежики в наших регионах в весенне-летний период, на зиму укладываются в спячку, поэтому запасов никаких не делают, несмотря на то, что в детских книжках художники упорно рисуют ежиков с яблоками на спинке. Ни один садовод еще не встречал в своем саду яблок с проколами от ежовых иголок.

Руководства натуралиста, однако, утверждают, что ежи всеядны, но предпочитают белковую пищу животного происхождения. А это значит, что кроме мелких грызунов и змей ежики включают в свой рацион вредных насекомых таких, как слизни, улитки, черви, тараканы. Не гнушаются ежи птенцами, новорожденными зайчатами, птичьими яйцами, ящерицами и лягушками.

Ежу не страшны жалящие насекомые, поэтому при желании ежик может спокойно избавить вас от осиного гнезда. Разумеется, лишь в том случае, если осы устроили его в земле. Яды, что змеиные, что выработанные насекомыми, на это животное не действуют. Жаль, что ученые до сих пор не могут понять механизм выработки антидотов организмом этих животных. А вот вашему саду никакого урона еж не способен принести, а только пользу.

В нашей стране встречается 4 вида ежиков:

• даурский еж, исчезающий вид, который можно встретить в степях Забайкалья,
• еж обыкновенный (он же европейский), наиболее часто встречающийся представитель семейства ежовых,
• ушастый еж,
• темноиглый еж (он же лысый).

Живут они до 6 лет, предпочитают ночной образ жизни. Зоологи утверждают, что это животное довольно легко приручить. После двух-трех контактов ежик начнет вам доверять и перестанет выпускать иголки во время ваших попыток его погладить или взять на руки. Главное при этом дать ему понять, что за ваш счет еж может вкусно и легко прикормиться.

Нестабильность градиентов в более сложных сетях

Мы изучали игрушечные сети всего лишь с одним нейроном в каждом скрытом слое. Что насчёт более сложных глубоких сетей, у которых в каждом скрытом слое есть много нейронов?

Здесь Σ′(zl) – диагональная матрица, чьи элементы – это значения σ′(z) для взвешенных входов слоя №l. wl — это матрицы весов для разных слоёв. А ∇aC – вектор частных производных C по выходным активациям.

Это выражение гораздо сложнее случая с одним нейроном. И всё же, если приглядеться, его суть окажется весьма похожей, с кучей пар вида (wj)TΣ′(zj). Более того, у матриц Σ′(zj) по диагонали стоят небольшие значения, не больше 1/4. Если весовые матрицы wj будут не слишком крупными, каждый дополнительный член (wj)T Σ′(zl) склонен уменьшать градиентный вектор, что ведёт к исчезающему градиенту.

В общем случае, большее количество членов перемножения ведёт к нестабильному градиенту, как в нашем предыдущем примере. На практике эмпирически обычно в сигмоидных сетях градиенты в первых слоях исчезают экспоненциально быстро. В итоге в этих слоях замедляется обучение. И замедление не является случайностью или неудобством: это фундаментальное следствие избранного нами подхода к обучению.

Чем проще всего угощать ежа?

• молоко,
• отварные макароны,
• сыр,
• хлеб,
• орехи,
• печенье,
• семечки,
• отварной картофель или рис,
• и даже сухой корм собачий или кошачий.

Поэтому если однажды поблизости от своей дачи вы заметили ежика, то попробуйте на ночь ему регулярно оставлять угощение. Ежик, почувствовав запах еды, обязательно должен прийти, ведь ему нужно основательно подготовиться к зимней спячке в условиях нашей довольно холодной зимы.

Другие препятствия на пути к глубокому обучению

В этой главе я сконцентрировался на исчезающих градиентах – и более общем случае нестабильных градиентов – в качестве препятствия на пути к глубокому обучению. На самом деле, нестабильные градиенты – всего лишь одно препятствие для развития ГО, пусть и важное, и фундаментальное. Значительная часть текущих исследований пытается лучше понять проблемы, которые могут возникнуть при обучении ГО.

В качестве первого примера в работе 2010 года было найдено свидетельство тому, что использование сигмоидных функций активации может привести к проблемам с обучением НС. В частности, было обнаружено свидетельство того, что использование сигмоид приведёт к тому, что активации последнего скрытого слоя будут во время обучения насыщаться в районе 0, что будет серьёзно замедлять обучение.

В качестве первого примера в работе 2013 года изучалось влияние на ГО как случайной инициализации весов, так и график импульсов в стохастическом градиентном спуске на основе импульса. В обоих случаях хороший выбор значительно влиял на возможность обучать ГНС.

Эти примеры говорят о том, что вопрос «Почему ГНС так сложно обучать?» очень сложный. В данной главе мы сконцентрировались на нестабильностях, связанных с градиентным обучением ГНС. Результаты двух предыдущих параграфов говорят о том, что роль играет ещё и выбор функции активации, способ инициализации весов и даже детали реализации обучения на основе градиентного спуска.

И, естественно, важными будут выбор архитектуры сети и других гиперпараметров. Поэтому множество факторов может сыграть роль в затруднении обучения глубоких сетей, и вопрос понимания этих факторов является объектом текущих исследований. Но всё это кажется довольно мрачным и внушает пессимизм. Однако есть и хорошие новости – в следующей главе мы обернём всё в нашу пользу, и разработаем несколько подходов в ГО, которые до некоторой степени смогут преодолеть или обойти все эти проблемы.

Как приручить ежа к рукам?

В первую очередь, наберитесь самую малость терпения. Поскольку ежики начинают проявлять активность в вечернее время, то свое общение с животным начинайте с приходом вечера. Сонный ежик днем от вашего внимания будет не в восторге.

Ежовые колючки не настолько острые, чтобы нанести вам ощутимый вред. Но не пытайтесь брать ежика сверху, таким образом, чтобы его колючки смогли охватить ваши пальцы в случае внезапного испуга зверька. Лучше взять ежа в руки и приручить следующим способом:

1. Для начала дайте зверьку обнюхать вашу руку, запахи ежики различают лучше всего.
2. После этого разведите ладони по обе стороны от туловища животного и аккуратно подсуньте ладошки под его брюшко. При этом помните, что резиновые перчатки для защиты рук от иголок одевать не стоит. Так ежик привыкнет не к вашему запаху, а запаху резины. Лучше защитите их сеном, листками или махровой салфеткой. Не рекомендуется в это время пользоваться духами или лосьонами.
3. Сложите ладони в виде чашечки, поднимите ежика, легонько покачайте в руках. Если вы заметите, что ваш ежик испугался и делает попытки свернуться в клубок, то ни в коем случае не разжимайте пальцы и не роняйте его! Терпите.
4. Можно, взяв ежика в одну руку и прижав его к себе, вторую руку с мягким нажимом положить ему на спинку. Можно, если для вас эта процедура представляет сложность, положить зверька себе на колени.
5. Подождите немного, и ежик сначала развернется, а затем начнет проявлять любопытство, водя носиком то в одну сторону, то в другую. Позвольте ему спокойно и неторопливо обследовать ваши колени и руки. И сами сохраняйте спокойствие, тогда колючки вашего опасения и ежовые колючки удобно расположатся вдоль спины.
6. Пришло самое время дать ему лакомство в виде мучного хрущака или кусочка сыра.
7. Проделайте эти «упражнения» несколько раз, и спустя некоторое время ваш ежик прекрасно уразумеет, что ваши руки – это безопасное местечко, где можно получить вкусняшку.
8. Каждый раз в моменты такого общения старайтесь погладить животное, разумеется, не «против шерсти».

Вполне вероятно, что следуя этим советам, вы приручите ежика.

Но ни в коем случае не поддавайтесь детским уговорам взять симпатягу в городскую квартиру. Иначе ночные дискотеки с громким топаньем, похрюкиванием и разбросанными в самых «подходящих» местах бомбочками-какашками вам гарантированы. Куда лучше дать ежу понять, что ваш дачный участок – это его территория, а вы для него щедрый и выгодный сосед.

Посмотрит видео, насколько милы и забавны могут быть ёжики

Живите в гармонии с природой и остальным позволяйте жить в гармонии с вами.