CGNAT Bulk Port Allocation com DPDK - Histórico de revisão

Gondim em 21h45min de 7 de maio de 2023

2023-05-07T21:45:28Z

Gondim em 21h45min de 7 de maio de 2023

2023-05-07T21:45:08Z

Gondim em 12h44min de 22 de julho de 2021

2021-07-22T12:44:23Z

Gondim em 12h39min de 22 de julho de 2021

2021-07-22T12:39:01Z

Gondim em 12h34min de 22 de julho de 2021

2021-07-22T12:34:11Z

Gondim em 12h10min de 22 de julho de 2021

2021-07-22T12:10:32Z

Gondim em 12h08min de 22 de julho de 2021

2021-07-22T12:08:52Z

Gondim em 12h06min de 22 de julho de 2021

2021-07-22T12:06:50Z

Gondim em 11h58min de 22 de julho de 2021

2021-07-22T11:58:18Z

Gondim em 11h39min de 22 de julho de 2021

2021-07-22T11:39:12Z

@@ Linha 1: / Linha 1: @@
 == !!!ATENÇÃO!!! ==
-Atualização 07/05/2023 - o projeto DANOS foi descontinuado já tem uns anos. Dito isso, esse artigo serve apenas para histórico sobre essa solução e que infelizmente não houve continuidade. Caso haja algum fork deste projeto, contacte o autor deste artigo e veja como [[Usuário:Gondim|aqui]].
+Atualização 07/05/2023 - o projeto DANOS foi descontinuado já tem alguns anos. Dito isso, esse artigo serve apenas para histórico sobre essa solução e que infelizmente não houve continuidade. Caso haja algum fork deste projeto, contacte o autor deste artigo e veja como [[Usuário:Gondim|aqui]].
 == <big>Objetivo</big> ==

@@ Linha 1: / Linha 1: @@
 == <big>Objetivo</big> ==
 Mostrar a configuração do projeto [https://danosproject.atlassian.net/wiki/spaces/DAN/pages/2556033/About+DANOS DANOS] (Disaggregated Network Operating System) para funcionar como um '''CGNAT Bulk Port Allocation''' utilizando um hardware de baixo custo (não confunda baixo custo com baixa qualidade) e proporcionando uma enorme economia de IPv4 público, pois trabalha com alocação de portas '''TCP/UDP''' dinamicamente e não da forma '''Determinística''' onde pré-fixamos uma quantidade de portas por assinante. Ficou confuso? Nós temos basicamente 2 tipos de CGNAT, o '''Determinístico''' e o '''Bulk Port Allocation'''. No Determinístico nós alocamos uma quantidade de portas TCP/UDP fixas por IPv4 público, ou seja, se fizermos um '''100.64.0.0/22''' com saída usando um '''/27 público''' e '''pré-fixando 2048 portas pra cada assinante''', teremos um limite imutável de atendimento de uns '''1024 assinantes'''. Já no modelo Bulk Port Allocation, as portas TCP/UDP são alocadas conforme a necessidade do assinante, então se um assinante usar apenas 256 portas em um acesso, estaremos economizando recursos e com isso poderemos colocar muito mais assinantes com um /27 público. A grande desvantagem desse modelo é porque dependemos de gerar logs do uso das portas e armazenar essa informação para consultas futuras. Temos que ter sempre em mente que a implantação e o uso do '''IPv6''' é importantíssimo, porque o CGNAT não irá resolver todos os problemas da Internet. O CGNAT ajudará à manter a rede funcionando enquanto o IPv6 não for 100% utilizado no mundo. O fato do projeto DANOS utilizar o '''[https://www.dpdk.org/ DPDK]''', permite que consigamos usar um equipamento mais simples para gerenciar tráfegos bem maiores em '''Gbps/PPS'''. Esse recurso é encontrado, na maioria das vezes, em soluções caras justamente para aproveitar melhor o hardware e poder gerenciar grandes proporções de tráfego Gbps/PPS com processadores de menor capacidade. Um equipamento bem dimensionado poderia muito bem substituir e atender as funções de um CGNAT sem a necessidade de compra de appliances caros como o A10 e F5. Se você procura uma solução de melhor custo x benefício, continue lendo esse artigo e faça as suas próprias conclusões.
@@ Linha 270: / Linha 273: @@
 A referência principal para o conteúdo aqui apresentado foi tirado do site oficial do [https://danosproject.atlassian.net/wiki/spaces/DAN/overview Projeto DANOS]. Acessem, explorem, interajam porque vale a pena contribuir com esse projeto.
-Autor: [https://wiki.brasilpeeringforum.org/w/Usu%C3%A1rio:Gondim Marcelo Gondim]
+Autor: [[Usuário:Gondim|Marcelo Gondim]]
 [[Categoria:Infraestrutura]]

@@ Linha 10: / Linha 10: @@
 <big>Teremos uma rede lógica '''192.168.254.0/24''' entre os BNGs e o DANOS CGNAT e outra rede lógica '''10.69.0.8/30''' entre o DANOS CGNAT e o Router Borda. O iBGP está sendo fechado somente de um lado para facilitar o artigo, mas cabe à você decidir a melhor forma de implementar em seu cenário.</big>
-<big>Também usaremos nessa configuração um bonding (LACP) de duas portas de 10GbE para entrada e saída de dados provenientes do Router Borda e o BNG, separando-os através de vlans diferentes.</big>
+<big>Também usaremos nessa configuração um bonding (LACP) de duas portas de 10GbE (total 20Gbps) para entrada e saída de dados provenientes do Router Borda e o BNG, separando-os através de vlans diferentes. Com isso economizaremos recursos importantes e caros, como as portas da nossa switch e não perderemos qualidade no tráfego. Também uma economia de módulos ópticos e cordões ou cabos DAC, se tiver utilizando uma interface por exemplo: Intel X520-DA2.</big>
 <big>Embora esteja no diagrama, não falaremos sobre BNG e nem o Router Borda nesse artigo e por isso deve-se estudar como fazer o PBR em seu equipamento concentrador e também a configuração do iBGP no seu router pois será muito importante para o funcionamento da nossa caixa CGNAT.</big>

@@ Linha 10: / Linha 10: @@
 <big>Teremos uma rede lógica '''192.168.254.0/24''' entre os BNGs e o DANOS CGNAT e outra rede lógica '''10.69.0.8/30''' entre o DANOS CGNAT e o Router Borda. O iBGP está sendo fechado somente de um lado para facilitar o artigo, mas cabe à você decidir a melhor forma de implementar em seu cenário.</big>
-<big>Também usaremos nessa configuração um bonding (LACP) de duas portas de 10GbE para entrada de dados provenientes do Router Borda e outro bonding também com duas portas de 10GbE para a saída do tráfego em direção aos BNGs.</big>
+<big>Também usaremos nessa configuração um bonding (LACP) de duas portas de 10GbE para entrada e saída de dados provenientes do Router Borda e o BNG, separando-os através de vlans diferentes.</big>
 <big>Embora esteja no diagrama, não falaremos sobre BNG e nem o Router Borda nesse artigo e por isso deve-se estudar como fazer o PBR em seu equipamento concentrador e também a configuração do iBGP no seu router pois será muito importante para o funcionamento da nossa caixa CGNAT.</big>

@@ Linha 79: / Linha 79: @@
 > <dpFbondN> Bonding interface name
 </pre>
-As 4 primeiras linhas criamos os bondings, definimos o mode lacp e colocamos os IPs. As 2 próximas linhas dizemos quais interfaces de rede fazem parte desse bonding, a penúltima linha definindo o gateway default para o meu acesso IPv6 ao sistema e a última linha define quantas vezes você pode errar a senha via ssh, antes de ser bloqueado por um tempo.
+As 4 primeiras linhas criamos o bonding, definimos o mode lacp e colocamos os IPs. As 2 próximas linhas dizemos quais interfaces de rede fazem parte desse bonding, a penúltima linha definindo o gateway default para o meu acesso IPv6 ao sistema e a última linha define quantas vezes você pode errar a senha via ssh, antes de ser bloqueado por um tempo.
 == <big>Configuração do iBGP</big> ==

@@ Linha 100: / Linha 100: @@
 O que queremos é anunciar o prefixo público 198.51.100.0/24 para o Router e só aceitar receber dele o prefixo 0.0.0.0/0 assim:
 <pre>
-# set protocols bgp 53XXX address-family ipv4-unicast network 198.51.100.0/24
+# set protocols bgp 65000 address-family ipv4-unicast network 198.51.100.0/24
-# set protocols bgp 53XXX neighbor 10.69.0.9 address-family ipv4-unicast route-map export router-OUT
+# set protocols bgp 65000 neighbor 10.69.0.9 address-family ipv4-unicast route-map export router-OUT
-# set protocols bgp 53XXX neighbor 10.69.0.9 address-family ipv4-unicast route-map import router-IN
+# set protocols bgp 65000 neighbor 10.69.0.9 address-family ipv4-unicast route-map import router-IN
-# set protocols bgp 53XXX neighbor 10.69.0.9 remote-as 65000
+# set protocols bgp 65000 neighbor 10.69.0.9 remote-as 65000
-# set protocols bgp 53XXX neighbor 10.69.0.9 update-source lo
+# set protocols bgp 65000 neighbor 10.69.0.9 update-source lo
-# set protocols bgp 53XXX parameters router-id 10.69.0.10
+# set protocols bgp 65000 parameters router-id 10.69.0.10
 </pre>

@@ Linha 8: / Linha 8: @@
 <big>O '''BNG''' é o responsável por gerenciar as conexões '''PPPoE/IPoE''' e no nosso artigo fará o encaminhamento de todos os pacotes do pool CGNAT '''100.64.0.0/10''' via '''PBR (Policy Based Routing)''' para a caixa '''DANOS CGNAT'''. O DANOS CGNAT estará conectado via iBGP com o '''Router Borda''' e fará a tradução e alocação dinâmica das portas '''TCP/UDP''' usando como exemplo de saída o prefixo '''198.51.100.0/24'''.Clientes conectados no BNG com IPv4 público e IPv6 não devem ser encaminhados para a caixa CGNAT.</big>
-<big>Teremos uma rede lógica '''192.168.254.0/24''' entre os BNGs e o DANOS CGNAT e outra rede lógica '''10.69.0.8/30''' entre o DANOS CGNAT e o Router Borda. Usaremos os IPs das loopbacks para fecharmos o iBGP. O iBGP está sendo fechado somente de um lado para facilitar o artigo, mas cabe à você decidir a melhor forma de implementar em seu cenário.</big>
+<big>Teremos uma rede lógica '''192.168.254.0/24''' entre os BNGs e o DANOS CGNAT e outra rede lógica '''10.69.0.8/30''' entre o DANOS CGNAT e o Router Borda. O iBGP está sendo fechado somente de um lado para facilitar o artigo, mas cabe à você decidir a melhor forma de implementar em seu cenário.</big>
 <big>Também usaremos nessa configuração um bonding (LACP) de duas portas de 10GbE para entrada de dados provenientes do Router Borda e outro bonding também com duas portas de 10GbE para a saída do tráfego em direção aos BNGs.</big>
@@ Linha 79: / Linha 79: @@
 > <dpFbondN> Bonding interface name
 </pre>
-As 5 primeiras linhas criamos os bondings, definimos o mode lacp e colocamos os IPs. As 4 próximas linhas dizemos quais interfaces de rede fazem parte desse bonding, a penúltima linha definindo o gateway default para o meu acesso IPv6 ao sistema e a última linha define quantas vezes você pode errar a senha via ssh, antes de ser bloqueado por um tempo.
+As 4 primeiras linhas criamos os bondings, definimos o mode lacp e colocamos os IPs. As 2 próximas linhas dizemos quais interfaces de rede fazem parte desse bonding, a penúltima linha definindo o gateway default para o meu acesso IPv6 ao sistema e a última linha define quantas vezes você pode errar a senha via ssh, antes de ser bloqueado por um tempo.
 == <big>Configuração do iBGP</big> ==
 Agora vamos definir uma policy prefix-list para o prefixo que vamos anunciar no iBGP e outra prefix-list de rota default que só aceitaremos vindo do Router Borda:
 <pre>
@@ Linha 106: / Linha 101: @@
 <pre>
 # set protocols bgp 53XXX address-family ipv4-unicast network 198.51.100.0/24
-# set protocols bgp 53XXX neighbor 186.xxx.xxx.160 address-family ipv4-unicast route-map export router-OUT
+# set protocols bgp 53XXX neighbor 10.69.0.9 address-family ipv4-unicast route-map export router-OUT
-# set protocols bgp 53XXX neighbor 186.xxx.xxx.160 address-family ipv4-unicast route-map import router-IN
+# set protocols bgp 53XXX neighbor 10.69.0.9 address-family ipv4-unicast route-map import router-IN
-# set protocols bgp 53XXX neighbor 186.xxx.xxx.160 remote-as 53XXX
+# set protocols bgp 53XXX neighbor 10.69.0.9 remote-as 53XXX
-# set protocols bgp 53XXX neighbor 186.xxx.xxx.160 update-source lo
+# set protocols bgp 53XXX neighbor 10.69.0.9 update-source lo
-# set protocols bgp 53XXX parameters router-id 186.xxx.xxx.163
+# set protocols bgp 53XXX parameters router-id 10.69.0.10
 </pre>

@@ Linha 73: / Linha 73: @@
 # set service ssh authentication-retries 5
 </pre>
-Estamos definindo 2 bondings, sendo 1 pra cada interface de rede. Não faça bonding entre portas de interfaces de rede diferentes, isso prejudica o cpu affinity. Os nomes utilizados também possuem uma certa regra de criação e que pode ser vista digitando um "?" por exemplo:
+Estamos definindo 1 bonding com vlans diferentes, sendo 1 pra conexão externa, aqui a vlan 4092 e a outra para o BNG, a vlan 4093. Os nomes utilizados também possuem uma certa regra de criação e que pode ser vista digitando um "?" por exemplo:
 <pre>
 # set interfaces bonding ?

@@ Linha 64: / Linha 64: @@
 <pre>
 $ configure
-# set interfaces bonding dp0bond0 vif 4092 address '2804:XXXX:XXXX:faca:192:168:255:2/64'
+# set interfaces bonding dp0bond0 vif 4092 address '2804:XXXX:XXXX:faca:10:69:0:10/64'
 # set interfaces bonding dp0bond0 vif 4092 address 10.69.0.10/30
 # set interfaces bonding dp0bond0 vif 4093 address 192.168.254.1/24
@@ Linha 191: / Linha 191: @@
 $ show configuration            => lista a configuração do sistema em produção.
 $ show configuration commands   => lista a configuração do sistema em produção em formato de sets de comandos. Igual como fizemos acima. Muito bom para guardarmos também como backup.
-$ show interfaces               => lista as interfaces do servidor.
+$ show interfaces               => lista as interfaces do servidor. A imagem abaixo é de outro servidor.
 </pre>
-[[Arquivo:Cgnat interfaces.png|nenhum|miniaturadaimagem|1165x1165px]]
+[[Arquivo:DANOS.png|nenhum|miniaturadaimagem|975x975px]]
 <pre>
 $ show cgnat subscriber   => mostra IP de CGNAT, IP público pareado, número de sessões, quantidade de blocos e portas alocadas, se houve falha pra alguém por ter estourado a quantidade máxima de blocos. Você também pode fazer um: show cgnat subscriber 100.64.0.2 e nesse caso vai mostrar apenas as informações referente à esse cliente que está usando esse IP.