吴川县境内很早住着南越族的先民——古越人。秦统一中国后，把许多“滴徙民”强制迁到岭南“与越杂处”，使原古越人逐渐同化为汉族。

唐宋以后，南来的中原汉人不断增多。据史料记载，吴川境内最早有吴、李、林、陈、孙等姓人定居，许多姓氏称开基始祖都是来自福建。有的是来吴川及周围州县当官，任满后定居吴川；有的是贸易经商定居吴川。如吴川芷寮港是个商埠，不少商贾落籍吴川，芷寮原有48个姓氏，现只有41个姓氏，有福建街和潮州、广州会馆，吴川梅菉镇樟洲街。芷寮还有外国商人前来贸易，如明朝末期法国商人在芷寮开挖了一口水井，俗称“番鬼井”，泉水清纯，至今当地居民仍取井水饮用。

2000年全国第五次人口普查登记，统计全市822482人，户籍在册982078人。

吴川市常住人口以汉族为主。新中国成立初期，有一些少数民族人口，是从外地调来的干部及随迁的家属。此后，由于外来婚姻、干部调入、贸易经商等往来频繁，少数民族人口迁入吴川市逐渐增多。据2000年第五次人口普查，吴川现有蒙古族、回族、藏族、苗族、彝族、壮族、满族、布依族、维吾尔族、朝鲜族、仡佬族、侗族、瑶族、白族、哈尼族、傣族、黎族、傈僳族、佤族、拉祜族、仫佬族、柯尔克孜族、布朗族、毛南族、独龙族、土族、土家族、水族、畲族、纳西族、景颇族、怒族、羌族、撒拉族、阿昌族、普米族、塔吉克族、鄂温克族、德昂族、基诺族等39个少数民族。

吴川市境内方言复杂，有吴川白话、东话、海话之分；白话又有吴阳口音、梅菉口音、塘一带其他口音的差别，但县内以说吴阳口音白话的人数最多，分布最广。除汉语方言外，还分布有少数民族语言，覃巴镇吉兆村50岁以上村民说一种叫做“吉兆话”的语言，其语音系统和基础词汇与当地汉语方言有很大差别。

前人撰修吴川县志的时候，已经有关于吴川方言的描述。例如光绪十二年（1886）甘泉毛昌善重修、十八年（1892）四月襄平启寿校刊的《吴川县志》卷二《方名》篇说：

吴川音较清婉，而过于柔。谓父曰爸曰官，亦有称叔称哥者。母曰妈，亦曰娘、曰娜。姑之长于父者曰奶，姐亦曰。谓祖父曰亚爹，祖母曰亚奶，曾祖父母曰公祖、婆祖，妇人谓舅姑曰几爹几奶，有子则曰亚爹亚奶；对人称曰家君爷、家婆。舅姑称媳曰几娘，对人称之曰新妇，称外祖曰外公，外祖母曰外婆。谓母兄弟之妻曰妗，祖母之兄弟及妻曰舅公、妗婆。谓子曰仔。凡物之小者曰仔。好排场者曰亚官仔，无赖曰烂仔，司爨者曰火仔，小婢曰妹仔。子之少者曰侬其，最小者曰侬儿。称平人曰佬，平人之妻曰夫娘，子女晚生者曰。游戏则曰荡，美人之貌曰威，亦曰靓。物之美亦曰威。取物曰逻，相候曰腾。谓欺曰洗，乘不备以欺者曰装禽宿。谓相打曰打交。谓淫曰姣。数蕉子曰几梳，数物之束者曰一子二子，数槟榔曰几口，谓米锅曰铛。去禽兽毛曰。以口啜物曰嗽（音朔）。物之盛者曰烘烘声，无言曰唈唈声。禽之窠曰薮。构茅以居曰寮。狗与九，酒与走，楼与刘，二与义，均读同音。而若屈大均新语所谓苏、逃徒、早祖之音则又未尝分别也。