Làng có 4 dòng họ lớn vào loại danh gia vọng tộc: Đinh, Trịnh, Vũ, Vương. Cách đây vào khoảng 350 năm, một người họ Vương từ Thanh Hoá về làng Ngô Khê định cư, khi cuộc sống đã khấm khá, trở thành một thế lực trong làng, họ đã đổi tên làng Ngô Khê thành làng Cự Đà để nhớ lại cố hương của mình. Nhà nghiên cứu Vũ Hiệp gốc người Cự Đà đã có công tìm về Thanh Hoá để nghiên cứu sự việc này mới vỡ nhẽ l
à tại đây cũng có một làng mang tên Cự Đà. Trong chữ Hán, Cự là lớn, Đà là triền núi, Cự Đà có nghĩa là triền núi lớn. Vào giai đoạn hưng thịnh nhất của làng, nhiều người làm ăn phát đạt ở tứ xứ đều đặt bản hiệu với chữ “Cự” lên đầu. Nhân dân làng Cự Đà nắm được thế đất thế sông và lợi dụng tốt điều kiện thiên thời, địa lợi, nhân hoà mà cộng đồng cư dân nơi đây giàu lên nhanh chóng. Chẳng mấy chốc sự giàu sang này đã không chỉ nổi tiếng khắp vùng, lan ra nhiều thành phố của cả nước, thậm chí cả ở nước ngoài.
