Nước ta vốn là nước nông nghiệp, lấy nông nghiệp làm trọng, ngoài tầng lớp nông dân thì còn có các tầng lớp cơ bản khác như nho sĩ, công thương nghiệp, thương nhân, làm nên tứ dân. Nhưng dù thuộc tầng lớp nào, thì cánh đàn ông Việt đều ham thích hội hè, đình đám. Cuộc sống của họ không hề tẻ nhạt như ta nghĩ, trái lại, cuộc sống trong làng rất sôi động và phong phú.
Có thể thấy điều đó qua những miêu tả của Petrus Ký khi ông từ miền Nam ra Bắc kỳ: “Đàn ông còn trai hay ngồi quán ngồi lều trà rượu ăn chơi, còn việc cày cấy thì nhờ đàn bà con gái làm”. Một thống kê trong sách của P. Gourou nói rằng ở Đình Bảng (Bắc Ninh) có đến 80 ngày lễ công cộng hay bán công cộng trong năm.
Những ngày lễ công cộng hay bán công cộng có thể là đám tiệc, hội hữu, hôn tế, kỳ yên, chập miễu, lễ tết. Trong những dịp này, đều có những hoạt động như hát nhà trò, hát đùm, đánh quay đất, thò lò, xóc đĩa, nấu cơm, bắt chạch, dệt cửi. Những trò dân gian như bắt chạch, tức là trai và gái quàng tay nhau, một tay người nam bỏ vào chum bắt chạch, tay kia sờ vào ngực người nữ, đặt trong bối cảnh ngày nay thì “thô lậu”. Nhưng cũng có những trò dành cho người biết chữ Nho, được coi là sang hơn đó là cờ tướng và tổ tôm điếm.
Cờ tướng ở các hội thì không phải đánh ở bàn cờ mà là dân làng kẻ một bàn cờ lớn ở giữa sân đình, dùng người làm quân cờ. Mỗi bên có 16 quân, bên nam, bên nữ, mặc áo quần theo qui định, tay cầm cái biển ghi tên mỗi quân. Hai bên bàn cờ có hai cái rạp để cho cai cờ (tức người đánh cờ) ngồi, mỗi người cầm một lá cờ. Ai hễ đi nước nào thì cầm lá cờ phất chỉ vào con cờ, con cờ theo ngọn cờ mà đi.
Trờ chơi đặc biệt ở chỗ là không được đi chậm, mỗi khi đi chậm thì có mấy đứa trẻ cầm trống, cầm đồng la đánh vào mang tai cho cai cờ rối trí. Thành ra, đánh cờ người rất khó, đi sai một nước bị cầm chịch (trọng tài) xử thua ngay. Ai đánh thắng thì được giải thưởng, thua thì thổi bài đám ma rước ra, làm cho sỉ nhục. Nhiều nơi ngày xưa phải cho trương tuần áp giải kẻ thắng về tận nhà, vì nhiều kẻ thua cuộc, xấu hổ sinh thù hằn. Vào lễ hội ngày xưa, theo Phan Kế Bính, cờ người là những môn chơi mang lại nhiều tiếng cười cho người dân vì các yếu tố đã kể trên.
Vì vậy, “cờ ngoài” có thể hiểu là khi đánh cờ người, thì người ở trong dễ bị rối trí, dẫn tới đi các nước kém. Còn người ngoài cuộc thì nhìn được các nước đi tốt hơn.
Còn từ “bài” trong thành ngữ “cờ ngoài, bài trong” thì rất khó có thể kết luận từ bài này thuộc thể loại gì chính xác bởi vì có nhiều cách chơi bài khác nhau, chỉ biết rằng bài theo từ điển định nghĩa chung là thẻ, như bài vị. Ví dụ như bài tam cúc, bài tổ tôm, trò bắt bài, bài phu điếm. Nhưng theo câu thành ngữ, nếu cờ là cờ tướng, một trò chơi trí tuệ thì bài ở đây đối lại, có thể là tổ tôm điếm.
Dân gian xưa có câu “Làm trai phải biết tổ tôm/ Uống chè mạn hảo xem Nôm Thúy Kiều”, hoặc như sách "Việt Nam phong tục" của Phan Kế Bính, trong phần trò chơi trong lễ hội, tác giả đã mô tả tổ tôm điếm và cờ người kĩ càng nhất, hẳn phần nào phản ánh vai trò quan trọng, phổ biến của hai trò chơi này.
Để tổ chức tổ tôm điếm, người ta dựng một cái rạp rộng, trong rạp có năm điếm, ở giữa là chỗ chia bài, có giá cầm bài nọc. Một hay hai ba người chung nhau một điếm, đánh to hay nhỏ tự hẹn ước với nhau. Mỗi điếm có trống và đồng la làm hiệu, có đầy tớ chạy bài, ăn cây bài… tất cả đều có hiệu trống riêng. Ví dụ ăn thì đánh một tiếng, phỗng thì đánh luôn hai tiếng. Hễ đánh sai tiếng trống thì dù ù cũng không được ăn tiền, nhiều khi phải “đền làng”.
Vì vậy, nói bài trong trong tổ tôm điếm, có thể hiểu rằng, chỉ có người chơi bài bên trong hiểu rõ cuộc chơi, gồm bài của mình, cách chơi của đối thủ - thứ mà người xem bên ngoài không thể nắm rõ được hết. “Cờ ngoài, bài trong” là một phép đối, “ngoài” và “trong”, và ý nghĩa nó cũng mang một phép đối trái ngược nhau như đã phân tích.
Chúng tôi không có nguồn để chắc chắn rằng “cờ ngoài, bài trong”, thì cờ là cờ tướng, bài là tổ tôm, nhưng trong bài viết này cung cấp cho người đọc một cách hiểu có lý nhất về câu thành ngữ và những mô tả về hai trò chơi dân gian phổ biến ngày xưa là cờ người và tổ tôm. Hai trò chơi trí tuệ trên chứng tỏ rằng các lễ hội không chỉ nhằm cho mục đích tôn giáo hay ăn uống đơn thuần, mà còn có những sinh hoạt trí tuệ tốt đẹp của người Việt.