列車が停まることになった結果、線路（track）の片側が栄え、反対側がその逆になる。そうしたイメージから生まれたイディオムが、THE WRONG SIDE OF THE TRACKSで、

　　The painter was from the wrong side of the tracks.その画家は線路の反対側の出身だった。

のように表せます。これはa poor part of a town、a poor part of societyなどの直截的な言い方を避けたイディオムです（ただ、the wrong sideというのは決めつけ度が強い印象が有り、それをも避けてthe other sideという言い方も見られますが、wrongの定着度が強い慣用句です）。このフレーズのtracksはtrain tracks（列車の線路）を指し、「単線」でなく「複線」tracksが使われます。

ついでに、太古の話になりますが、仕事が終わると、職場近くの環状線のガード下にある居酒屋街へ、私も含む多国籍英語講師集団がワイワイと向う日々がありました。その際、”Under the tracks?”という短い問いかけがきっかけに使われていたことを思い出します。