ขนาด ConvLSTM ไม่ตรงกัน

ฉันกำลังพยายามใช้ Convolutional LSTM เพียงเซลล์เดียวและส่งเทนเซอร์ (1,3,128,128) เข้าไป ฉันได้รับข้อผิดพลาดขนาดไม่ตรงกัน


    class ConvLSTMCell(nn.Module):
        def __init__(self, input_size, input_dim, hidden_dim, kernel_size, bias):
            """
            Parameters
            ----------
            input_size: (int, int)
                Height and width of input tensor as (height, width).
            input_dim: int
                Number of channels of input tensor.
            hidden_dim: int
                Number of channels of hidden state.
            kernel_size: (int, int)
                Size of the convolutional kernel.
            bias: bool
                Whether or not to add the bias.
            """
            super(ConvLSTMCell, self).__init__()

            self.height, self.width = input_size
            self.input_dim  = input_dim
            self.hidden_dim = hidden_dim

            self.kernel_size = kernel_size
            # self.padding     = kernel_size[0] // 2, kernel_size[1] // 2
            self.bias        = bias

            self.conv = nn.Conv2d(in_channels=self.input_dim + self.hidden_dim,
                              out_channels=4 * self.hidden_dim,
                              kernel_size=self.kernel_size,
                              #padding=self.padding,
                              bias=self.bias)

        def forward(self, input, prev_state):
            h_prev, c_prev = prev_state
            print('x: {}\nh_prev: {}\nc_prev: {}'.format(x.size(), h_prev.size(), c_prev.size()))
            combined = torch.cat((input, h_prev), dim=1) # concatenate along channel axis
            print('combined: {}'.format(combined.size()))

            combined_conv = self.conv(combined)
            print('combined_conv: {}'.format(combined_conv.size()))
            cc_i, cc_f, cc_o, cc_g = torch.split(combined_conv, self.hidden_dim, dim=1)
            print('cc_i: {}\ncc_f: {}\ncc_o: {}\ncc_g: {}'.format(cc_i.size(), cc_f.size(),   cc_o.size(), cc_g.size()))

            i = torch.sigmoid(cc_i)
            f = torch.sigmoid(cc_f)
            o = torch.sigmoid(cc_o)
            g = torch.tanh(cc_g)
            print('i: {}\nf: {}\no: {}\ng: {}'.format(i.size(), f.size(), o.size(), g.size()))

            c_cur = f * c_prev + i * g
            h_cur = o * F.tanh(c_cur)
            print('c_cur: {}\nh_cur: {}'.format(c_cur.size(), h_cur.size()))

            return h_cur, c_cur

        def init_hidden(self, batch_size):
            return (Variable(torch.zeros(batch_size, self.hidden_dim, self.height, self.width)),
                    Variable(torch.zeros(batch_size, self.hidden_dim, self.height, self.width)))



    x = torch.randn(1,3,128,128)
    model = ConvLSTMCell(input_size=(128,128), input_dim=3, hidden_dim=3, kernel_size=(5,5),
                         bias=True)
    hc = model.init_hidden(batch_size=1)
    if gpu:
        x.cuda()
        model.cuda()
        hc.cuda()

    out = model(x, hc)
    print(out.size())

ฉันได้รับข้อผิดพลาดต่อไปนี้:

x: คบเพลิง.ขนาด([1, 3, 128, 128])

h_prev: torch.Size([1, 3, 128, 128])

c_prev: torch.Size([1, 3, 128, 128])

รวม: คบเพลิง.ขนาด([1, 6, 128, 128])

integrated_conv: torch.Size([1, 12, 124, 124])

cc_i: torch.Size([1, 3, 124, 124])

cc_f: torch.Size([1, 3, 124, 124])

cc_o: torch.Size([1, 3, 124, 124])

cc_g: ไฟฉายขนาด ([1, 3, 124, 124])

i: คบเพลิง.ขนาด([1, 3, 124, 124])

f: ไฟฉายขนาด ([1, 3, 124, 124])

o: ไฟฉายขนาด ([1, 3, 124, 124])

g: ไฟฉายขนาด ([1, 3, 124, 124])

Traceback (การโทรล่าสุดครั้งล่าสุด):

ไฟล์ Trial.py บรรทัด 87 นิ้ว

ออก = รุ่น (x, hc)

ไฟล์ /Users/abcde/opt/anaconda3/envs/matrix/lib/python3.7/site-packages/torch/nn/modules/module.py บรรทัด 541 ใน การโทร

result = self.forward(*input, **kwargs)

ไฟล์ Trial.py บรรทัด 66 ข้างหน้า

c_cur = f * c_prev + i * g

RuntimeError: ขนาดของเทนเซอร์ a (124) ต้องตรงกับขนาดของเทนเซอร์ b (128) ที่ไม่ใช่ซิงเกิลตัน › มิติ 3

ฉันต้องการสร้างเครือข่าย 17 เซลล์โดยใช้สิ่งนี้ และฉันต้องการใช้เอาต์พุตของทุกเซลล์เพื่อคำนวณการสูญเสียเทียบกับความจริงภาคพื้นดิน ความจริงภาคพื้นดินมี 18 (3,128,128) ภาพ

ฉันจะทำให้เครือข่ายของฉันแสดงสถานะที่ซ่อนอยู่ซึ่งมีขนาดเท่ากันได้อย่างไร


person 3venthoriz0n    schedule 25.11.2019    source แหล่งที่มา


คำตอบ (1)


ผลลัพธ์ของคุณมีขนาดเล็กลงเนื่องจากเอฟเฟกต์เส้นขอบ - การดำเนินการบิดจะคำนวณเฉพาะค่าที่พิกัดที่เคอร์เนลสามารถใส่ลงในรูปร่างอินพุตได้อย่างสมบูรณ์ วิธีแก้ปัญหาที่ง่ายที่สุดคือใช้การเสริมกับเลเยอร์ Convolution ของคุณ (ซึ่งดูเหมือนว่าคุณได้ลองไปแล้ว มีอะไรผิดปกติหรือเปล่า) หากเคอร์เนลของคุณมีขนาด 5 คุณควรแพดด้วย 2 จากนั้นเอาต์พุตการบิดจะมีรูปร่างเหมือนกับอินพุต

person Jatentaki    schedule 25.11.2019
comment
ฉันไม่อยากจะเชื่อเลยว่าฉันจำไม่ได้ว่าแสดงความคิดเห็นส่วนนั้น :| ขอบคุณที่สังเกตเห็น นั่นได้ผล! ฉันทำงานหลายโครงการพร้อมๆ กัน ดังนั้นคงพลาดไป - person 3venthoriz0n; 26.11.2019