بنای ابتدایی این آرامگاه در زمان قاجاریه ساخته شد و در سال ۱۳۳۰ انجمن آثار ملی ایران به مناسبت هزارمین سال روز تولد ابوعلی سینا تصمیم به تجدید بنای آن گرفت. طرح و نقشه بنای فعلی توسط مهندس هوشنگ سیحون به سبک معماری قرنی که بوعلی سینا در آن می زیسته از روی قدیمی‌ترین بنای تاریخ دار اسلامی یعنی برج گنبد کاووس در شهر گنبد کاووس اقتباس شده است. در نیمه سال 1326 انجمن تصمیم به اجرای طرح گرفت. سال بعد هوشنگ سیحون طرح پیشنهادی را به عنوان پایان‌نامه به دانشکده هنرهای زیبای پاریس تقدیم کرد و اوایل سال 1328 ساخت این آرامگاه آغاز شد. بنای یاد بود بوعلی سینا از دو بخش آرامگاه و برج یاد بود تشکیل شده است. دیوارهای سنگی و تمام بسته آرامگاه بر گرداگرد محوطه ای نسبتا وسیع نشسته اند تا فضاهای نه چندان بزرگ این بخش – کتابخانه ، موزه و مزار – را در بر گیرند. حد فاصل دیوارهای خارجی و فضاهای داخلی تماما با خاک پر شده اند و آرامگاه جز در محل ورودی اصلی در شرق و ورودی غربی ، ارتباطی با فضای باز اطراف ندارد. انتخاب حجم خالص مخروط به عنوان اختتامیه برج، ‌هیئتی کاملا هندسی برای برج به همراه می آورد؛ که نشانگر مقید بودن طراح به نظم ، تقارن و هندسه در این بخش از مجموعه است. انتخاب جنس بتن صاف و تراشیده برای برج موجب می شود که نظم و هندسه ای که از آن سخن رفت، چشمگیرتر شود و در نهایت ، برج به شکل حجم کاملا تراشیده و خراطی شده ای بر فراز سکوی کم ارتفاع دیده شود.