文献上讲到河图，可以追溯到《尚书》和《论语》，而完整地讲到河图洛书，最早就是见于《周易·系辞》了。《系辞》的这一段原文是：
是故天生神物，圣人则之；天地变化，圣人效之；天垂象，见吉凶，圣人象之；河出图，洛出书，圣人则之。易有四象，所以示也；系辞焉，所以告也；定之以吉凶，所以断也。
这一段文字的意思是：天生神物，还有靠圣人来制定运用的法则；天地的变化，还要有圣人来效法；天垂示出象，呈现出吉凶，圣人就用它来模拟；黄河中出图，洛水中出书，圣人就依据它来制定规则。因此，易有四象，目的是用以呈现给我们；系之以辞，目的是用以告知我们；定之以吉凶，目的是用来做判断。
后人根据这一段文字当中的“河出图，洛出书”总结出河图洛书，其中把河出的图称作河图，把洛出的书称作洛书。
那么，河图洛书究竟是怎么来的呢？
《竹书纪年》中说：“龙图出河，龟书出洛，赤文篆字，以授轩辕。”这段文字透露出这样几个信息：一、河图洛书，一个出自河（也就是黄河），一个出自洛（也就是洛水）；二、河图为龙之图，洛书为龟之书；三、“赤文篆字”应该分别对应了龙图和龟书，龙图为赤文，也就是红色的图，龟书是用篆字书写，可见河图洛书其实是一图一书，河图为图，洛书为书；四、河图洛书授给的是古代圣王黄帝，也就是说，河图洛书出于黄帝时代。
由此可见，河图洛书本来是一图一书，但后来被普遍认作是不同的两幅图：一幅是十数图周易学习河图洛书里的秘密，一幅是九数图。而九数更像是对龟背的描摹。
元代吴澄《易纂言》说：“河图者，羲皇时，河出龙马，背之后毛，后一六，前三七，左三八，右四九，中五十。以象旋毛星点，而谓之图。羲皇则其阳奇阴偶之数，以画卦生蓍。洛书者，禹治水时，洛出神龟，背之拆文，前九后一，左三右七，中五，前之右二，前之左四，后之右六，后之左八。以其拆文如字画，而谓书。禹则自其一至九之数，以叙洪范之畴。”
显然吴澄的《易纂言》与《竹书纪年》看法不同：首先，《易纂言》认为河图洛书出于不同时代，一个是伏羲时期，一个是大禹时期；其次，《易纂言》认为河图是图，洛书也是图。这种看法其实早在宋代已经定型，所以元代的吴澄如此认为毫不奇怪。而且《易纂言》所言河图和洛书的数字排列形式，也与我们今天看到的河图洛书相同。不过，他在这里说明河图洛书的载体，分别是龙马和神龟，而且都是后背上的图案。
龟背像一个天生的九宫格，如果把龟背的分格约分为九个格，那么，按照九数洛书的数字排列填满九个格，就成了天然的九数洛书，这也许正是古人把龟背当中九数洛书载体的灵感源泉。
由此可见，河图洛书应该是一个神话传说，图和书一个来自于黄河，一个来自于洛水，都是从河水里出来的从名字上理解，最初应该是河图是一幅图，洛书是一卷书。但到了宋代，有人画出了河图洛书，因此，在宋代以后，河图洛书都成了图。其中一幅是根据九个数字画出的图，一个是根据十个数字画出的图。而两幅图的根据差不多都来自于《系辞》对天地之数的描述。通常情况下，在朱熹之前，九数图被当作河图，十数图被当作洛书；但在朱熹之后，则二者颠倒，十数图被当作河图，九数图被当作洛书周易学习河图洛书里的秘密，一直沿用至今。
