VoIP與其他VPN網絡有相似的設計方法，也需要考慮與VPN網絡相似的因素。VoIP網絡的安全設計的重要方向應該放在對身份的認證、訪問控制和VoIP的可用性方面。

　　目前多數IP電話只提供了對設備認證，而用戶認證方面正在發展中。Cisco H.323網關支持使用散列密碼的加密令牌來進行認證。加密令牌可以在VoIP網關和網守(gatekeeper)間的任何RAS消息中使用，可以用于認證消息的發送者。如果可能的話，我們應當為用戶ID和密碼校驗使用不同的數據庫。注冊請求(RRQ)、取消注冊請求(URQ)、脫離請求(DRQ)以及終止方的請求(ARQ)中的加密令牌中含有產生該令牌的網關的相關信息，包括網關ID(即在網關上配置的H.323 ID)以及網關密碼。初始方ARQ消息的加密令牌包含了發起呼叫用戶的信息，包括用戶ID和PIN。該功能通過使用網關RAS消息中的認證密鑰提供了對發送者的驗證。網守使用該密鑰來認證消息的來源并保證通信的安全性。

　　由于動態實時傳輸協議及RTP控制協議(RTOP/RTCOP)的端口被語音電話的終端占用，所以防火墻可能會引起某種問題，除非它們可以識別聲音通信并動態的允許這種通信。在控制訪問中使用Cisco PIX安全防火墻，在使用時應該注意兩點：一、如果防火墻代理安裝在未實施保護措施的防火墻外的網絡，且有記錄路由功能，則允許訪問的IP地址列表應該很小且是可管理的。地址列表是由外部SIP代理服務器的IP地址構成的。以此獲得可控的安全性。二、外部用戶不能呼叫防火墻內部的網絡，除非這些用戶被明確允許。另外在VoIP網絡中提供訪問控制非常有用的Cisco IOS軟件的功能有支持SIP的防火墻、無令牌呼叫認證、為MGCP綁定特定網關接口和SIP綁定特定的網關接口。

　　VoIP網絡和其他網絡要求相似，需要最小的停機時間，甚至在遭受DoS攻擊時仍能提供通話服務。如果VoIP服務成為某個給定網絡環境下通信的關鍵性設施，那么在VoIP的網絡基礎設施中不允許存在任何單點失效點。提供專門基于電話的冗余功能，SRS(Survivable Remote Site)電話功能結合本地網路上的路由和呼叫管理(Call Manager，CM)為IP電話提供了可靠的支持。當IP電話與遠程配置的主、二級或者第三級的CM失去連接或者WAN連接中斷時，該功能使用本地網絡的路由器來處理IP電話的呼叫。