github.com/zartbot/goflow@v0.0.0-20221001080520-456f7dfad288/netflowv9/template.go (about)

     1  package netflowv9
     2  
     3  import (
     4  	"bytes"
     5  	"errors"
     6  	"fmt"
     7  
     8  	"github.com/sirupsen/logrus"
     9  	"github.com/zartbot/goflow/iedb"
    10  	"github.com/zartbot/goflow/reader"
    11  )
    12  
    13  // TemplateHeader : RFC 3954 - 5.2 Template FlowSet Format
    14  // [Set ID == 0]
    15  // 0                   1                   2                   3
    16  // 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
    17  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    18  // |         Template ID           |         Field Count           |
    19  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    20  //
    21  // OptionTemplateHeader : RFC 7011 - 3.4.2.2 Option Template Record Format
    22  // [Set ID == 1]
    23  // 0                   1                   2                   3
    24  // 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
    25  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    26  // |         Template ID           |      Option Scope Length      |
    27  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    28  // |        Option Length          |
    29  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    30  
    31  type TemplateHeader struct {
    32  	TemplateID      uint16
    33  	FieldCount      uint16
    34  	ScopeFieldCount uint16
    35  }
    36  
    37  // Decode : A method to parse TemplateHeader
    38  func (t *TemplateHeader) Decode(r *reader.Reader, SetID uint16) error {
    39  	var err error
    40  	if t.TemplateID, err = r.ReadUint16(); err != nil {
    41  		return err
    42  	}
    43  
    44  	if t.FieldCount, err = r.ReadUint16(); err != nil {
    45  		return err
    46  	}
    47  
    48  	if SetID == 1 {
    49  		t.ScopeFieldCount = t.FieldCount / 4
    50  		if t.FieldCount, err = r.ReadUint16(); err != nil {
    51  			return err
    52  		}
    53  		t.FieldCount = t.FieldCount / 4
    54  	}
    55  
    56  	//logrus.Warn(t.TemplateID, "--------------", t.FieldCount, "SCOPE:", t.ScopeFieldCount)
    57  
    58  	return nil
    59  }
    60  
    61  // TemplateFieldSpecifier : RFC 7011 - 3.2. Field Specifier Format
    62  //
    63  // 0                   1                   2                   3
    64  // 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
    65  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    66  // |   Information Element ident.  |        Field Length           |
    67  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    68  type TemplateFieldSpecifier struct {
    69  	Key    iedb.ElementKey
    70  	Length uint16
    71  	Name   string
    72  	Type   string
    73  	Dtype  iedb.DataType
    74  }
    75  
    76  // Decode : TemplateFiledSpecifier
    77  func (t *TemplateFieldSpecifier) Decode(r *reader.Reader) error {
    78  	var err error
    79  
    80  	if t.Key.ElementID, err = r.ReadUint16(); err != nil {
    81  		return err
    82  	}
    83  
    84  	if t.Length, err = r.ReadUint16(); err != nil {
    85  		return err
    86  	}
    87  
    88  	t.Key.EnterpriseNo = 0
    89  	value, ok := iedb.IEDatabase.Load(t.Key)
    90  	if ok {
    91  		ie, valid := value.(iedb.InformationElement)
    92  		if !valid {
    93  			err = errors.New("invalid type assertion")
    94  			return err
    95  		} else {
    96  			t.Name = ie.Name
    97  			t.Type = ie.Type
    98  			t.Dtype = ie.Dtype
    99  		}
   100  	}
   101  
   102  	return nil
   103  }
   104  
   105  // TemplateRecord : 5.2 Template FlowSet Format
   106  //
   107  // 0                   1                   2                   3
   108  // 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
   109  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   110  // |       FlowSet ID = 0          |          Length               |
   111  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   112  // |      Template ID 256          |         Field Count           |
   113  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   114  // |        Field Type 1           |         Field Length 1        |
   115  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   116  // |        Field Type 2           |         Field Length 2        |
   117  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   118  // |             ...               |              ...              |
   119  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   120  // |        Field Type N           |         Field Length N        |
   121  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   122  // |      Template ID 257          |         Field Count           |
   123  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   124  // |        Field Type 1           |         Field Length 1        |
   125  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   126  // |        Field Type 2           |         Field Length 2        |
   127  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   128  // |             ...               |              ...              |
   129  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   130  // |        Field Type M           |         Field Length M        |
   131  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   132  // |             ...               |              ...              |
   133  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   134  // |        Template ID K          |         Field Count           |
   135  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   136  // |             ...               |              ...              |
   137  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   138  //
   139  //
   140  // 0                   1                   2                   3
   141  // 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
   142  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   143  // |       FlowSet ID = 1          |          Length               |
   144  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   145  // |         Template ID           |      Option Scope Length      |
   146  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   147  // |        Option Length          |       Scope 1 Field Type      |
   148  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   149  // |     Scope 1 Field Length      |               ...             |
   150  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   151  // |     Scope N Field Length      |      Option 1 Field Type      |
   152  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   153  // |     Option 1 Field Length     |             ...               |
   154  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   155  // |     Option M Field Length     |           Padding             |
   156  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   157  
   158  type TemplateRecord struct {
   159  	DomainID         uint32
   160  	ExportTime       uint32
   161  	SetID            uint16
   162  	Header           TemplateHeader
   163  	FieldRecord      []TemplateFieldSpecifier
   164  	ScopeFieldRecord []TemplateFieldSpecifier
   165  }
   166  
   167  // Decode : This is a method to decode template and option template set
   168  func (t *TemplateRecord) Decode(r *reader.Reader, m *MessageHeader, s *FlowSetHeader) error {
   169  	var err error
   170  	initpos := r.Pos //used to calculate length to validate Padding Field.
   171  
   172  	t.DomainID = m.DomainID
   173  	t.ExportTime = m.ExportTime
   174  	t.SetID = s.SetID
   175  
   176  	err = t.Header.Decode(r, t.SetID)
   177  	if err != nil {
   178  		return err
   179  	}
   180  
   181  	if t.SetID == 1 {
   182  		for fieldid := uint16(0); fieldid < t.Header.ScopeFieldCount; fieldid++ {
   183  			var fi TemplateFieldSpecifier
   184  			fi.Decode(r)
   185  			t.ScopeFieldRecord = append(t.ScopeFieldRecord, fi)
   186  		}
   187  	}
   188  	for fieldid := uint16(0); fieldid < t.Header.FieldCount; fieldid++ {
   189  		var fi TemplateFieldSpecifier
   190  		fi.Decode(r)
   191  		t.FieldRecord = append(t.FieldRecord, fi)
   192  	}
   193  
   194  	// calculate padding size by length
   195  	// SetLength - 4(SetHeader) - ReadBytes(r.Pos-initpos)
   196  	//fmt.Printf("DEBUG:::SetLen:%d\tRPOS:%d\tINITPOS:%d\n", s.Length, r.Pos, initpos)
   197  
   198  	paddingSize := s.Length - 4 - (r.Pos - initpos)
   199  	/* Debug Padding
   200  	logrus.Warn("PaddingSize  s.Length - 4 - (r.Pos - initpos)")
   201  	fmt.Printf("DEBUG:::Padding Size:%d\t\tSetLen:%d\tRPOS:%d\tINITPOS:%d\n", paddingSize, s.Length, r.Pos, initpos)
   202  	*/
   203  	if (paddingSize < 4) && (paddingSize > 0) {
   204  		_, err = r.ReadN(paddingSize)
   205  		if err != nil {
   206  			return err
   207  		}
   208  	}
   209  	return nil
   210  }
   211  
   212  type TemplateMapKey struct {
   213  	AgentID   string
   214  	LocalPort int
   215  	DomainID  uint32
   216  	SetID     uint16
   217  }
   218  
   219  func NewTemplateMapKey(AgentID string, LocalPort int, DomainID uint32, SetID uint16) TemplateMapKey {
   220  	return TemplateMapKey{
   221  		AgentID:   AgentID,
   222  		LocalPort: LocalPort,
   223  		DomainID:  DomainID,
   224  		SetID:     SetID,
   225  	}
   226  }
   227  
   228  func FetchTemplateMapByKey(key TemplateMapKey) (TemplateRecord, error) {
   229  	var err error
   230  	var t TemplateRecord
   231  	value, ok := TemplateMap.Load(key)
   232  	if ok {
   233  		t, valid := value.(TemplateRecord)
   234  		if !valid {
   235  			err = errors.New("invalid type assertion")
   236  			return t, err
   237  		} else {
   238  			return t, nil
   239  		}
   240  	} else {
   241  		err = errors.New("value not exist in map")
   242  		return t, err
   243  	}
   244  }
   245  
   246  func FetchTemplateMap(AgentID string, LocalPort int, DomainID uint32, SetID uint16) (TemplateRecord, error) {
   247  	key := NewTemplateMapKey(AgentID, LocalPort, DomainID, SetID)
   248  	v, err := FetchTemplateMapByKey(key)
   249  	return v, err
   250  }
   251  
   252  func isEqualFS(a []TemplateFieldSpecifier, b []TemplateFieldSpecifier) bool {
   253  	if (a == nil) != (b == nil) {
   254  		return false
   255  	}
   256  	if len(a) != len(b) {
   257  		return false
   258  	}
   259  
   260  	for i := range a {
   261  		if a[i] != b[i] {
   262  			return false
   263  		}
   264  	}
   265  
   266  	return true
   267  }
   268  
   269  func HandleTemplateRecord(packet *Packet, msghdr *MessageHeader, flowsethdr *FlowSetHeader) error {
   270  	var err error
   271  
   272  	initpos := packet.Data.Pos
   273  	var byteremain uint16
   274  
   275  	for {
   276  		//var oldts TemplateRecord
   277  		var ts TemplateRecord
   278  		err = ts.Decode(packet.Data, msghdr, flowsethdr)
   279  		if err != nil {
   280  			logrus.Warn("[Template Parse Error]:=", err)
   281  			logrus.Warn("[Template Parse Error]:=Template Record", ts)
   282  			return err
   283  		}
   284  
   285  		key := NewTemplateMapKey(packet.RemoteAddr.IP.String(), packet.LocalPort, ts.DomainID, ts.Header.TemplateID)
   286  		TemplateMap.Store(key, ts)
   287  		//fmt.Println("DEBUG-NFv9-HandleTemplate-->", key)
   288  		/*
   289  			seems compare record may take more CPU resource than force update...
   290  			oldts, err = FetchTemplateMapByKey(key)
   291  			if (err != nil) || (ts.DomainID != oldts.DomainID) || (ts.SetID != oldts.SetID) || !isEqualFS(ts.FieldRecord, oldts.FieldRecord) || !isEqualFS(ts.ScopeFieldRecord, oldts.ScopeFieldRecord) {
   292  				TemplateMap.Store(key, ts)
   293  			}
   294  
   295  				fmt.Printf("DEBUG OLD----------------------%+v\n", key)
   296  				fmt.Println(oldts.String())
   297  				fmt.Println("DEBUG New----------------------")
   298  				fmt.Println(ts.String())
   299  		*/
   300  
   301  		byteremain = flowsethdr.Length - 4 - (packet.Data.Pos - initpos)
   302  		//fmt.Printf("DEBUG-HANDLETEMPLATE:::SetLen:%d\tRPOS:%d\tINITPOS:%d\n", flowsethdr.Length, packet.Data.Pos, initpos)
   303  		if byteremain < 4 {
   304  			//read padding...
   305  			if byteremain > 0 {
   306  				_, err = packet.Data.ReadN(byteremain)
   307  				if err != nil {
   308  					return err
   309  				}
   310  			}
   311  			break
   312  		}
   313  	}
   314  	return nil
   315  }
   316  
   317  func (t *TemplateRecord) String() string {
   318  	var buf bytes.Buffer
   319  	buf.WriteString(fmt.Sprintf("[NFv9 ] | Template: ScopeFieldCount:%4d | FieldCount:%4d\n", t.Header.ScopeFieldCount, t.Header.FieldCount))
   320  	for idx := uint16(0); idx < t.Header.ScopeFieldCount; idx++ {
   321  		r := t.ScopeFieldRecord[idx]
   322  		buf.WriteString(fmt.Sprintf("[NFv9 ] | Template: Scope FieldRecord[%3d]: | TemplateID:DomainID: [%4d:%-4d] | ElementID:[%2d:%-6d] | Length:%4d | Name: %s\n", idx, t.Header.TemplateID, t.DomainID, r.Key.EnterpriseNo, r.Key.ElementID, r.Length, r.Name))
   323  	}
   324  	for idx := uint16(0); idx < t.Header.FieldCount; idx++ {
   325  		r := t.FieldRecord[idx]
   326  		buf.WriteString(fmt.Sprintf("[NFv9 ] | Template:       FieldRecord[%3d]: | TemplateID:DomainID: [%4d:%-4d] | ElementID:[%2d:%-6d] | Length:%4d | Name: %s\n", idx, t.Header.TemplateID, t.DomainID, r.Key.EnterpriseNo, r.Key.ElementID, r.Length, r.Name))
   327  	}
   328  	return buf.String()
   329  
   330  }