あくまで個人的意見ですが、彼氏は「心が伴っているもの」といえるでしょう。
セフレの場合は「身体的な関係のみのもの」という感覚があります。
これが双方の大きな違いといえるでしょう。
友人という関係は、身体的な関係も伴わずかつ恋愛感情もないというものですよね。
それぞれの関係にそれぞれの心の置き所というものがあると思います。
ここが決定的な違いといえるでしょう。
場合によっては、その置き所があやふやだという方もいらっしゃるかもしれませんが、上記の関係は必ず「相手」がいてこそ成り立つもの。
双方の認識という点でも共通意識があるとその違いがより一層ハッキリとするものではないでしょうか。

結論から言うと、「自分自身がどのように相手を見ているか」という事になるかもしれません。
一般的な認識でいえば、性行為のみの関係がセフレで、
共に喜びや悲しみを分かち合ったり様々なことを共有していきたいと思うのが彼氏であると思います。
友人関係は認め合い尊重しあえるという部分が大きくなってくるでしょう。
しかし、こうした定義だけでは割りきりがつかないことも多々ありますよね。
例えば、一見するとセフレであるけれど心の中には「好き」という感情がある。
そのような場合はセフレであると言い切れなくなってしまうケースも存在しています。
ですから、自分自身のスタンスによって意見が分かれてしまうというのも当然かもしれません。
言い争いに発展したということですが、どちらが「絶対に正しい」という事は無いのではないでしょうか。
おのおのの意見によって捉え方が変わるというのもまた人との関係性のような気もするのです。

セフレの場合、相手の生活や考え方そのほかの交友関係などに一切興味を持つことはありません。
ですから、干渉をしたりヤキモチを焼いたりということはほとんど無いでしょう。
一方、彼氏となるとこの間逆になってくるかと思います。
どんなに些細なことでも知りたいと思うものですし、時にはヤキモチを焼くこともあるでしょう。
ここが最も大きな違いではないでしょうか。
関心の度合いというものは相手の人格や生活にどこまで興味を持っているかによって大きく変わってきます。
それによってセフレと彼氏の違いというものがハッキリしてくるものであると認識しています。
もちろん、全ての人がこの考えに該当するとは言えませんが。
例えば、セフレに対して少し束縛心を抱いたりということもあるかもしれません。
かといって全てを知りたいか？といわれたらそうではないというのもまた正直なところでしょう。
自分自身はそうでした。
干渉度合いによって関係性をはかってみると、シンプルでストレートに把握できるかと思います。
セフレの場合は割り切る気持ちが強いと思いますので、日常生活の中でふと思い出すなどということも割合少ないかとも感じます。