图1所示是ROM的内部结构示意图。它是由地址译码器和存储矩阵两个主要部分组成的。
 |
| 图1 ROM的内部结构示意图 |
存储矩阵是存储器的主体，含有大量的存储单元。一个存储单元只能存储一位二进制数码“0”或“1”。通常，数据和指令是用一定位数的二进制数来表示的，这个二进制数称为字，字的位数称为字长。存储器中以字为单位进行存储，即利用一组存储单元存储一个字。在存储器中，为了存入和取出信息的方便，必须给每组存储单元（字单元）以确定的标号这个标号称为地址，不同的字单元具有不同的地址。从而在进行写入和读出信息时，便可以按照地址来选择要读、写的字单元。
在图1中，W0～WN-1称为字单元的地址选择线，简称字线；而D0～DM-1称为输出信息的数据线，简称位线。存储矩阵有N条字线和M调位线，N×M表示存储器的存储容量，即存储单元数。存储容量越大，存储的信息量就越多，存储功能也就越强。因此，存储容量是存储器的主要技术指标之一。
地址译码器的作用是根据输入的地址代码从W0～WN-1若干条字线中选择一条字线，以确定与地址代码想对应的一组存储单元的位置。选择哪一条字线，决定于输入的是哪一个地址代码。任何时刻，只能有一条字线被选中。被选中的那条字线所对应的一组存储单元中的数据经位线D0～DM-1输出。
输出端的缓冲器用来提高带负载能力，并将输出的高、低电平变换为标准的逻辑电平。通常由三态门组成输出缓冲器。