El municipi està format per tres nuclis de població: el més gran, Rossell (gentilici rossellans), ocupa el centre del terme; les Cases (nom oficial Les Cases del Riu) és un llogaret situat a la dreta del riu de la Sénia; i a l’oest es troba Bel (gentilici belencs), poble que fins al 1971, any en què fou agregat a Rossell, tenia el seu propi terme municipal. A més, escampats pel terme hi ha gran quantitat de masos que van estar habitats fins a la meitat del segle XX i que es van anar despoblant degut als canvis econòmics i a la forma de viure.
Pel que fa al relleu, s’hi distingeixen també tres zones: al nord, la més muntanyosa i elevada, amb l’antic terme de Bel inclòs; una zona intermèdia de transició, on s’ubica el nucli poblacional de Rossell; i l’àrea meridional de les Planes, on es troben els camps de conreu. A més del Cervol i del riu de la Sénia que el delimiten en part, el terme és drenat pel barranc de Requena (que el travessa per la part central en direcció nord-oest/sud-oest) i els seus afluents, el barranc de les Tones i el de la Sotarraina; i pel barranc de l’Ullastre.
El nucli de Rossell està situat al centre del terme, els seus orígens poblacionals es remunten a èpoques ibèriques. La carta de població és del 1237 i fou concedida per Hug de Follalquer, mestre dels hospitalers. Primer va formar part de la Batllia de Cervera, que després fou traspassada, el 1317, a l’ordre de Montesa, senyor de Rossell fins al segle XIX. És especialment important la participació de la població en la guerra dels Segadors, moment en què fou incendiat, i també en les guerres carlistes.
El mot Rossell és d’origen incert. Joan Coromines en relaciona l’origen en contraposició al color de les terres de Canet: les de Canet són roges (lo Roig), les de Rossell són més clares, rosses. El gentilici és rossellà/rossellana. Actualment viuen al nucli unes 1.200 persones distribuïdes en 700 cases aproximadament.
Rossell deixa entreveure perfectament els dos nuclis separats que el van formar des del segle XVIII fins que es va produir la unió definitiva, a principis del segle XX. La Vila, que s’estenia des de la Font del Prigó, davant de l’actual escola, fins a la Bassa que estava a la sortida del poble en direcció al cementeri. I el Pla de la Font (“Palafont”, que aniria des de la plaça de l’Ajuntament fins a la Planeta. Aquesta divisió va crear, al llarg dels segle XIX i bona part del XX, una rivalitat important a tots els nivells, sobretot perquè el nucli secundari del Pla va anar creixent de manera ininterrompuda i, a mesura que ho feia, anava exigint serveis, equipaments i corresponsabilitats polítiques i d’organització.
Com el seu nom indica, la Vila és el nucli secular del poble. El seu origen el podríem relacionar fins i tot amb èpoques anteriors a la conquesta cristiana medieval. No descobrirem res si diem que les cases de la Vila, en general, són menudes i mal ventilades, producte, segurament, de les successives divisions familiars dins d’un nucli emmurallat reduït. No cal dir que, amb les reformes més modernes, moltes cases s’han adaptat als temps actuals amb la major dignitat possible. Són interessantíssimes les que han conservat el llindar de la porta amb la data de la seua construcció, generalment del segle XVIII. Siguen més grans o més menudes, més antigues o més modernes, responen al tipus de casa unifamiliar típica, amb entrada, primer pis (i, de vegades segon pis) i golfes.
Avui dia parlar del nucli emmurallat de la Vila pot semblar agosarat, però algunes pistes ens fan suposar que, efectivament, era així. La presència d’una raval i la forma d’alguns carrers i costeretes semblen indicar-ho. Tampoc ens hem d’imaginar una muralla amb carreus ben escairats, sinó una petita muralla de maçoneria semblant semblant als marges o a les parets de les mateixes cases.
El Pla de la Font és un nucli que hem de relacionar amb el creixement del segle XVIII i, segurament, amb el control del comerç de la fusta que, des dels Ports sortia cap a la costa. El camí del Ròssec, que talla el nucli pel sud és un clar exponent del que acabem de dir. El nucli va créixer d’oest a est, del carrer Cavallers a la Planeta. La planificació urbanística és molt més racional: els carrers són més amples i reticulars. Les cases, més grans, responen també al tipus unifamiliar. Moltes d’elles són ja del segle XIX i substituïen antics patis. És per això que a l’entrada s’hi podia ubicar el carro amb facilitat.