toolという名前のコマンドラインツールをつくるとします。

Makefile

ビルドターゲットのINSTALL_PATH/usr/local/binとします。

DSTROOT=/tmp/tool.dst

prefix_install:
	xcodebuild install -scheme tool DSTROOT=$(DSTROOT)
	mkdir -p $(PREFIX)/bin
	cp -f $(DSTROOT)/usr/local/bin/tool $(PREFIX)/bin/

Formula

brew create <url>を実行するとsha1などを埋めたテンプレートを作成してくれます。

class Tool < Formula
  homepage "https://github.com/yourname/tool"
  version "0.0.1"
  sha1 "0123456789abcdef0123456789abcdef01234567"
  url "https://github.com/yourname/tool/archive/0.0.1.tar.gz"

  def install
    system "make prefix_install PREFIX=#{prefix}"
  end
end

formulaをGitHubのhomebrew-repoというリポジトリに置くと以下のようにインストールできるようになります。

brew install yourname/repo/tool

参考