大别山座落于中国安徽省、湖北省、河南省交界处。西接桐柏山，东延为霍山（也称皖山）和张八岭，由东到西约380公里，南北宽约175公里。西段向西北—东南走向，东段向东北—西南走向，共长270千米，大约海拔在500～800米。山地主要部分海拔1500米左右，是长江与淮河的分水岭。
以白马尖(海拔1777米)为核心景点的大别山主峰景区是国家AAAA级景区和国家地质公园，亦是整个大别山区的核心旅游景区，位于安徽省六安市霍山县境内。
大别山西望武汉，东守南京，独特的地理位置使得其对民国首都南京和中心城市武汉具有重要的军事价值，这也是当年刘邓大军挺进大别山的地理前提。大别山区是我国著名的革命老区之一，土地革命战争时期全国第二大革命根据地——鄂豫皖革命根据地的中心区域。
大别山名称的来源是我国第一部著名的地理著作《尚书·禹贡》，《禹贡》中两次提及大别（大别山），例如：导嶓冢，至于荆山；内方，至于大别（译文：开通嶓冢山到达荆山。开通内方山到达大别山）嶓冢导漾，东流为汉，又东，为沧浪之水，过三澨，至于大别，南入于江。（译文：从嶓冢山开始疏导漾水，向东流成为汉水；又向东流，成为沧浪水；经过三澨水，到达大别山，向南流进长江。）