通常の
刑事犯罪を取り締まる
刑事警察や、
交通取締をする
交通警察とは異なり、
市民の中にまぎれ、
政府に不満を持つ組織の監視をするのが重要な任務のひとつとなるので、通常は私服で市民と見分けがつかない。そのため、政治警察はその秘密めいた活動から、秘密警察と一般に言われている。通常は自ら秘密警察と名乗ることは少ないが、
ナチス・ドイツの
ゲシュタポ[正式名称はGeheime Staatspolizei、直訳は「国家秘密警察」となる。]のように、組織が自ら名乗っている場合も少数例ではあるが存在する。また、組織の存在自体は公然のものであってもその活動内容が一般にはほとんど知らされていない(知られてはならない)ことも「秘密」警察と呼ばれる一因であると考えられる(ゲシュタポも日本の
特別高等警察 [敗戦直後、山崎内相は「思想取締りの秘密警察は現在なお活動を続けおり、反皇室的宣伝を行う共産主義者は容赦なく逮捕する。……さらに共産党員であるものは拘禁を続ける……政府形体の変革、とくに天皇制廃止を主張するものは、すべて共産主義者と考え、治安維持法によって逮捕する」と述べている。(日高六郎『戦後思想を考える』岩波新書、1980年、3頁。) ]も組織の存在自体は公然のものである)。
通常の犯罪を取り締まるのは刑事警察であり、刑事警察はそのための権力を与えられている。ところがその刑事警察が犯罪を犯した場合や、その中に
政府転覆を図る組織の一員が入り込んだ際など、一般市民と異なり対応が難しいことが多い。そのため、刑事警察を監視・取締りするのが主目的の組織として設置されることが多い。現在多くの国々でもそういった機関として存在する。一般市民を取り締まる刑事警察と異なり、犯罪の知識があるプロフェッショナルを相手にするため、それを超えたさまざまなノウハウ、テクニックを持っている。その技術はそのまま敵国のスパイや
革命を目指す地下組織、
テロリスト相手に適用できるため、そういった分野も担当している(むしろこちらの分野の活動のほうが目立つため、一般にはこちらが主と思われることが多い)。ただし、国によって組織構造が違うため、一律にこれが秘密警察と分類するのは難しい。
独裁政権下などで体制を固める必要があるとき、また戦時下などで、敵国に支援された反体制組織の活動が活発なときには、特にこの秘密警察の
治安維持活動が重要視され、強い権力を持つ。取調べの際容疑者を
拷問を用いて
自白を強要したり、捜査の段階で市民の
盗聴・
密告を奨励するなど、人権上問題のある行為が伝わっている。また、実際に
暴力をもって政府を倒す行為及びその準備による摘発の他、
容疑者の友人・知人との会話における反体制的な発言も捜査の対象とされた。
通常の犯罪は、犯罪が起こったことに対して
捜査、
逮捕を行い、証拠がない疑わしきに関するものは罰せずという方針(
推定無罪)が基本だが、スパイ活動や
テロ対策などは、事が起こってからでは遅く、また証拠が少ない(対象者は証拠を残さない)ものが多い。このような犯罪を相手にしているため、疑わしいものというだけで捜査対象となることが多く、
冤罪も多数発生しやすい。事実、過去には多く発生している。