Jak budovat neuronové sítě v této struktuře?s různými uzly se připojí na jiný počet uzlů v další vrstvě

0

Otázka

Jsem jen vědět, jak použít vestavěný-in sítě, jako RNN z LSTM v PyTorch. Ale mají tendenci se vypořádat s každý uzel v předchozí vrstvu, která bude poskytovat informace pro všechny uzly v další vrstvě.

Já chci dělat něco jiného, ale nevím, jak se kód sám. Jako na tomto obrázku: uzel a mapy pro všechny [d, e, f] tři uzly ve vrstvě 2, zatímco uzel b mapy na [e,f] a uzel c pouze mapy [f]. Jako výsledek, uzel d bude obsahovat pouze informace z a, zatímco e bude obsahovat informace z [a, b]. A f bude obsahovat informace ze všech uzlů v předchozí vrstvy. Ví někdo, jak se kód této struktury? PLS dejte mi nějaké poznatky, budu velmi vděčný :D

Struktura

1

Nejlepší odpověď

1

Když máte vrstvu, která vypadá jako Plně Propojené vrstvy, ale s vlastní připojení, použijte masku s řádnou strukturu.

Řekněme, že x = [a, b, c] je vaše 3-dim vstup a W označuje připojení matrix.

>> x
tensor([[0.1825],
        [0.9598],
        [0.2871]])
>> W
tensor([[0.7459, 0.4669, 0.9687],
        [0.9016, 0.4690, 0.0471],
        [0.5926, 0.9700, 0.5222]])

pak W[i][j] body k připojení hmotnost mezi jth vstupní a itého výstupního neuronu. Vybudovat strukturu podobnou hračku příklad, můžeme si udělat masku, jako je tento

>> mask
tensor([[1., 0., 0.],
        [1., 1., 0.],
        [1., 1., 1.]])

Pak můžete jednoduše maskovat W

>> (mask * W) @ x
tensor([[0.1361],
        [0.6147],
        [1.1892]])

Poznámka: @ je násobení matic a * je bodově násobení.

2021-11-21 18:17:35

Takže pokud můj vstup dim 3 dim výstup je 3. Můj neuronové sítě struktura bude jako {input 3 dim, LSTM_layer(3, 64), Plně connected_layer(64, 3), * dolní trojúhelníková maska matice(3, 3), výstup dim 3}. Bude to fungovat jako můj vlastní připojení, aby se poslední tři uzly získání differerent informace? Nebo bych měl dát masku matrix mezi vstupní vrstvou(3,1) a LSTM vrstva(3,64)
Aioku Takume

Je váš vstup sekvenční (LSTM v mezi) ? Váš obrázek ukazuje pouze Plně propojené vrstvy. Řešení, které jsem za předpokladu, je pouze pro maskování FC vrstvu.
ayandas

Omlouvám se, že jsem udělal obrázek jednoduché. Můj vstup je časové řady hodnot(hodnot, hour_index, week_index) a chci použít LSTM vrstva se extrahovat některé informace mezi vstupem(3 dim) a výstup(3 dim). Takže pokud jsem použít masku po LSTM vrstvu, bude výstup tři uzly být jako: d uzel obsahuje pouze týden informace, e uzel obsahuje týdnu a hodiny, f uzel obsahuje hodnoty, hodinu, týden informace?
Aioku Takume

V jiných jazycích

Tato stránka je v jiných jazycích

Русский
..................................................................................................................
Italiano
..................................................................................................................
Polski
..................................................................................................................
Română
..................................................................................................................
한국어
..................................................................................................................
हिन्दी
..................................................................................................................
Français
..................................................................................................................
Türk
..................................................................................................................
Português
..................................................................................................................
ไทย
..................................................................................................................
中文
..................................................................................................................
Español
..................................................................................................................
Slovenský
..................................................................................................................