headタグ内のwp_head();より前に記述。
コメント返信用のJavaScriptを挿入してくれます。

<?php if ( is_singular() ) wp_enqueue_script( 'comment-reply' ); ?>

記事表示のループの中に以下を追加します。

<?php comments_template(); ?>

簡単にコメント機能を追加するには以上です。
フォームや、コメント表示など、デフォルトの機能で自動にやってくれます。
フォームをカスタマイズする場合は、comments.phpを作成する必要があります。
それはまた後日。。

こちらを参考にさせていただきました。
http://scianto.net/2009/03/02232201.php