وي تحصيلات اوليه را نزد پدرش گذراند و سپس براي كسب علوم بيشتر، نزد بزرگترين عالم آن‌زمان در شهر خود شاگردي كرد. اين عالم وارسـته، "اسـتاد شهيد"، "علي بن محمدبن ابراهيم ابان"، دايي شيخ كليني(رحمةالله عليه) بود.
"ابراهيم ابان"، يكي از علماي بزرگ خاندان "علاني" بود، كه تمام مـردم آن ديار احكام و مسائل شرعي خود را از او مي‌پرسيدند، عالمي وارسته و فقيهي بي‌نظير، كه در علم و معنويات زبان‌زد خاص و عام بود و آن‌چنان در دفاع از حريم دين تلاش و ايستادگي كرد كه دشمنان دين ستيز نتوانستند وجودش را تحمل كنند و او را به شهادت رساندند.
آري يكي از توفيقات بزرگ شيخ كليني(رحمةالله عليه) اين بود كه اولين استاد اخلاق او چنين عالم با فضيلتي بود و تربيت‌هاي همين مرد خدا بود كه از كليني در همان ايام جواني، فقيهي حديث شناس و اهل معنا ساخت.
مـحـمـدابـن يعقوب پس از كسب فيض از محضر دايي بزرگوارش تصميم گرفت تا موطن خود را به قصد ري ترك كند، تا در آن‌جا بتواند از محضر ديگر علما و انديشمندان نيز بهره ببرد و با معارف خاندان عصمت و طهارت(عليهم‌السلام) بيش از پيش آشنا شود.
هرچند آن زمان ري، شهري بود كه اكثر مردمش سني مذهب بودند، ولي علماي بزرگي در آن شهر زندگي مي‌كردند كه شيخ كليني توانست در مدت اقامتش در ري، از وجود آن‌ها استفاده‌هاي فراواني ببرد.