عمر اقدام به ساخت زندان نكرد، تنها خانه «صفوان بن اميّه» را براي اين منظور خريد؛ ولى در زمان امام على(ع) ايشان شخصاً زندان ساخت تا مسائل انسانى نسبت به زندانيان رعايت شود و از فرار آنها جلوگيرى شود. حضرت، ابتدا زندانی از بوريا و بعد زندان محكمی از گِل ساخت. تا زمان عثمان، زندان، محلى براى نگهدارى مجرمان، بدهكاران و ... بود؛ اما عثمان مخالفان سياسى غير قابل تحمل را به جای زندان، تبعيد ‌كرد: مانند تبعيد ابوذر به ربذه. در عصر بنى اميّه زندان به كلى دگرگون شد و جايگاه مخالفان سياسى و .... شد.

اگرچه بعضى از مورّخان اصرار دارند كه در عصر سه خليفه اوّل، زندان به معنى محلّ خاص براى نگهدارى مجرمان نبوده و در عصر امير مؤمنان(ع) ساخته شده؛ ولى قرائنی وجود دارد كه مى گويد «عمر» اولين كسى بود كه زندان تأسيس كرد. مسأله خريدن خانه اى در مكّه توسط عمر براي زندانی كردن مجرمین، يكی از قرائن است. زندانی كردن شعرا در عصر خليفه دوّم به خاطر سرودن اشعاری كه ناخوشايند خليفه يا مخالف شرع بود و هم چنين سرودن اشعار از درون زندان داير بر عذرخواهى و بى گناهى شعراء گواه ديگرى بر وجود زندان در آن عصر بوده است.

عبدالله بن عمر مى گوید: رسول خدا(ص) در روز جنگ احد چنین نفرین نمود: «خداوندا لعنت کن ابو سفیان را، خداوندا لعنت کن حارث بن هشام را، خداوندا لعنت کن سهیل بن عمر را، خداوندا لعنت کن صفوان بن امیه را». سپس این آیه نازل شد: «لیس لک من الأمر شىء أو یتوب علیهم أو یعذّبهم فإنّهم ظالمون».