Le quartier de Harlem est situé au nord de Manhattan, à partir de la 96ème rue. Harlem est encadré par les quartier de Morningside Heights et Washington Heights à l'ouest, par l'Upper East Side au sud-est, et également frontalier du célèbre Central Park au sud.
Le quartier s’étend entre la Harlem River et l’East River. On distingue également le district Harlem, qui lui est un peu plus au sud de Manhattan, vers la 96ème rue. Les limites du quartier ont beaucoup évolué avec l’histoire de la ville.
Harlem pourrait presque être considéré comme un borough à part entière de New York, étant donné sa superficie. C’est pourquoi on peut le diviser en plusieurs parties :
- Il y a donc West Harlem, logiquement à l’ouest du quartier New Yorkais : West Harlem est précisément situé à l’ouest de St Nicholas Avenue, au nord de la 123ème rue. Lui-même est divisé en plusieurs quartiers qui sont Hamilton Heights, Manhattanville, Sugar Hill…
- Central Harlem (le centre du quartier) : Central Harlem correspond à l’ouest de St Nicholas Street et jusqu’à la cinquième avenue.
- East Harlem à l’est : délimité par la cinquième avenue : East Harlem est entre la cinquième avenue de Manhattan et l’East River. Sa population est essentiellement constituée de personnes d’origine hispaniques, comme les porto ricains.