github.com/zartbot/goflow@v0.0.0-20221001080520-456f7dfad288/ipfix/template.go (about)

     1  package ipfix
     2  
     3  import (
     4  	"bytes"
     5  	"errors"
     6  	"fmt"
     7  
     8  	"github.com/sirupsen/logrus"
     9  	"github.com/zartbot/goflow/iedb"
    10  	"github.com/zartbot/goflow/reader"
    11  )
    12  
    13  var TEMPLATE_DEBUG bool = false
    14  
    15  // TemplateHeader : RFC 7011 - 3.4.1 Template Record Format
    16  // [Set ID == 2]
    17  // 0                   1                   2                   3
    18  // 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
    19  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    20  // |      Template ID (> 255)      |         Field Count           |
    21  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    22  //
    23  // OptionTemplateHeader : RFC 7011 - 3.4.2.2 Option Template Record Format
    24  // [Set ID == 3]
    25  // 0                   1                   2                   3
    26  // 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
    27  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    28  // |         Template ID (> 255)   |         Field Count           |
    29  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    30  // |      Scope Field Count        |
    31  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    32  type TemplateHeader struct {
    33  	TemplateID      uint16
    34  	FieldCount      uint16
    35  	ScopeFieldCount uint16
    36  }
    37  
    38  // Decode : A method to parse TemplateHeader
    39  func (t *TemplateHeader) Decode(r *reader.Reader, SetID uint16) error {
    40  	var err error
    41  	if t.TemplateID, err = r.ReadUint16(); err != nil {
    42  		return err
    43  	}
    44  
    45  	if t.FieldCount, err = r.ReadUint16(); err != nil {
    46  		return err
    47  	}
    48  
    49  	if SetID == 3 {
    50  		if t.ScopeFieldCount, err = r.ReadUint16(); err != nil {
    51  			return err
    52  		}
    53  	}
    54  	return nil
    55  }
    56  
    57  // TemplateFieldSpecifier : RFC 7011 - 3.2. Field Specifier Format
    58  //
    59  // 0                   1                   2                   3
    60  // 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
    61  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    62  // |0|  Information Element ident. |        Field Length           |
    63  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    64  //
    65  // 0                   1                   2                   3
    66  // 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
    67  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    68  // |1|  Information Element ident. |        Field Length           |
    69  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    70  // |                      Enterprise Number                        |
    71  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    72  type TemplateFieldSpecifier struct {
    73  	Key    iedb.ElementKey
    74  	Length uint16
    75  	Name   string
    76  	Type   string
    77  	Dtype  iedb.DataType
    78  }
    79  
    80  // Decode : TemplateFiledSpecifier
    81  func (t *TemplateFieldSpecifier) Decode(r *reader.Reader) error {
    82  	var err error
    83  
    84  	if t.Key.ElementID, err = r.ReadUint16(); err != nil {
    85  		return err
    86  	}
    87  
    88  	if t.Length, err = r.ReadUint16(); err != nil {
    89  		return err
    90  	}
    91  
    92  	if t.Key.ElementID > 0x8000 {
    93  		t.Key.ElementID = t.Key.ElementID & 0x7fff
    94  		if t.Key.EnterpriseNo, err = r.ReadUint32(); err != nil {
    95  			return err
    96  		}
    97  	}
    98  	value, ok := iedb.IEDatabase.Load(t.Key)
    99  	if ok {
   100  		ie, valid := value.(iedb.InformationElement)
   101  		if !valid {
   102  			err = errors.New("invalid type assertion")
   103  			return err
   104  		} else {
   105  			t.Name = ie.Name
   106  			t.Type = ie.Type
   107  			t.Dtype = ie.Dtype
   108  		}
   109  	}
   110  
   111  	return nil
   112  }
   113  
   114  // TemplateRecord : This is an Exmaple
   115  // 0                   1                   2                   3
   116  // 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
   117  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   118  // |          Set ID = 2           |          Length               |
   119  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   120  // |      Template ID = 256        |         Field Count = N       |
   121  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   122  // |1| Information Element id. 1.1 |        Field Length 1.1       |
   123  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   124  // |                    Enterprise Number  1.1                     |
   125  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   126  // |0| Information Element id. 1.2 |        Field Length 1.2       |
   127  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   128  // |             ...               |              ...              |
   129  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   130  // |1| Information Element id. 1.N |        Field Length 1.N       |
   131  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   132  // |                    Enterprise Number  1.N                     |
   133  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   134  // |      Template ID = 257        |         Field Count = M       |
   135  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   136  // |0| Information Element id. 2.1 |        Field Length 2.1       |
   137  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   138  // |1| Information Element id. 2.2 |        Field Length 2.2       |
   139  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   140  // |                    Enterprise Number  2.2                     |
   141  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   142  // |             ...               |              ...              |
   143  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   144  // |1| Information Element id. 2.M |        Field Length 2.M       |
   145  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   146  // |                    Enterprise Number  2.M                     |
   147  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   148  // |                          Padding (opt)                        |
   149  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   150  // OptionTemplate Example : RFC 7011 - 3.4.2.2 Option Template Record Format
   151  //
   152  // 0                   1                   2                   3
   153  // 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
   154  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   155  // |          Set ID = 3           |          Length               |
   156  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   157  // |         Template ID = 258     |         Field Count = N + M   |
   158  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   159  // |     Scope Field Count = N     |0|  Scope 1 Infor. Element id. |
   160  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   161  // |     Scope 1 Field Length      |0|  Scope 2 Infor. Element id. |
   162  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   163  // |     Scope 2 Field Length      |             ...               |
   164  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   165  // |            ...                |1|  Scope N Infor. Element id. |
   166  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   167  // |     Scope N Field Length      |   Scope N Enterprise Number  ...
   168  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   169  //...  Scope N Enterprise Number   |1| Option 1 Infor. Element id. |
   170  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   171  // |    Option 1 Field Length      |  Option 1 Enterprise Number  ...
   172  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   173  //... Option 1 Enterprise Number   |              ...              |
   174  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   175  // |             ...               |0| Option M Infor. Element id. |
   176  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   177  // |     Option M Field Length     |      Padding (optional)       |
   178  // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   179  //
   180  //   The example shows an Options Template Set with mixed IANA-assigned
   181  //   and enterprise-specific Information Elements.  It consists of a
   182  //   Set Header, an Options Template Header, and several Field Specifiers.
   183  type TemplateRecord struct {
   184  	DomainID         uint32
   185  	SetID            uint16
   186  	Header           TemplateHeader
   187  	FieldRecord      []TemplateFieldSpecifier
   188  	ScopeFieldRecord []TemplateFieldSpecifier
   189  }
   190  
   191  // Decode : This is a method to decode template and option template set
   192  func (t *TemplateRecord) Decode(r *reader.Reader, m *MessageHeader, s *FlowSetHeader) error {
   193  	var err error
   194  	initpos := r.Pos //used to calculate length to validate Padding Field.
   195  
   196  	t.DomainID = m.DomainID
   197  	//t.ExportTime = m.ExportTime
   198  	t.SetID = s.SetID
   199  
   200  	err = t.Header.Decode(r, t.SetID)
   201  	if err != nil {
   202  		return err
   203  	}
   204  
   205  	if t.SetID == 3 {
   206  		for fieldid := uint16(0); fieldid < t.Header.ScopeFieldCount; fieldid++ {
   207  			var fi TemplateFieldSpecifier
   208  			fi.Decode(r)
   209  			t.ScopeFieldRecord = append(t.ScopeFieldRecord, fi)
   210  		}
   211  	}
   212  	for fieldid := uint16(0); fieldid < t.Header.FieldCount-t.Header.ScopeFieldCount; fieldid++ {
   213  		var fi TemplateFieldSpecifier
   214  		fi.Decode(r)
   215  		t.FieldRecord = append(t.FieldRecord, fi)
   216  	}
   217  
   218  	// calculate padding size by length
   219  	// SetLength - 4(SetHeader) - ReadBytes(r.Pos-initpos)
   220  	paddingSize := s.Length - 4 - (r.Pos - initpos)
   221  	if paddingSize > 0 {
   222  		_, err = r.ReadN(paddingSize)
   223  		if err != nil {
   224  			return err
   225  		}
   226  	}
   227  	return nil
   228  }
   229  
   230  type TemplateMapKey struct {
   231  	AgentID   string
   232  	LocalPort int
   233  	DomainID  uint32
   234  	SetID     uint16
   235  }
   236  
   237  func NewTemplateMapKey(AgentID string, LocalPort int, DomainID uint32, SetID uint16) TemplateMapKey {
   238  	return TemplateMapKey{
   239  		AgentID:   AgentID,
   240  		LocalPort: LocalPort,
   241  		DomainID:  DomainID,
   242  		SetID:     SetID,
   243  	}
   244  }
   245  
   246  func FetchTemplateMapByKey(key TemplateMapKey) (TemplateRecord, error) {
   247  	var err error
   248  	var t TemplateRecord
   249  	value, ok := TemplateMap.Load(key)
   250  	if ok {
   251  		t, valid := value.(TemplateRecord)
   252  		if !valid {
   253  			err = errors.New("invalid type assertion")
   254  			return t, err
   255  		} else {
   256  			return t, nil
   257  		}
   258  	} else {
   259  		err = errors.New("value not exist in map")
   260  		return t, err
   261  	}
   262  }
   263  
   264  func FetchTemplateMap(AgentID string, LocalPort int, DomainID uint32, SetID uint16) (TemplateRecord, error) {
   265  	key := NewTemplateMapKey(AgentID, LocalPort, DomainID, SetID)
   266  	v, err := FetchTemplateMapByKey(key)
   267  	return v, err
   268  }
   269  
   270  func isEqualFS(a []TemplateFieldSpecifier, b []TemplateFieldSpecifier) bool {
   271  	if (a == nil) != (b == nil) {
   272  		return false
   273  	}
   274  	if len(a) != len(b) {
   275  		return false
   276  	}
   277  
   278  	for i := range a {
   279  		if a[i] != b[i] {
   280  			return false
   281  		}
   282  	}
   283  
   284  	return true
   285  }
   286  
   287  func HandleTemplateRecord(packet *Packet, msghdr *MessageHeader, flowsethdr *FlowSetHeader) error {
   288  	var err error
   289  
   290  	initpos := packet.Data.Pos
   291  	var byteremain uint16
   292  
   293  	for {
   294  		//var oldts TemplateRecord
   295  		var ts TemplateRecord
   296  		err = ts.Decode(packet.Data, msghdr, flowsethdr)
   297  		if err != nil {
   298  			logrus.Warn("Decode Template Error:", err)
   299  			return err
   300  		}
   301  
   302  		if TEMPLATE_DEBUG {
   303  			fmt.Println("DEBUG-TEMPLATE---------------------------")
   304  			fmt.Println(ts.String())
   305  		}
   306  
   307  		key := NewTemplateMapKey(packet.RemoteAddr.IP.String(), packet.LocalPort, ts.DomainID, ts.Header.TemplateID)
   308  		TemplateMap.Store(key, ts)
   309  		//fmt.Println(time.Now(), " Template Recieved-->", key)
   310  		/*
   311  			key := NewTemplateMapKey(packet.RemoteAddr.IP.String(), ts.DomainID, ts.Header.TemplateID)
   312  			oldts, err = FetchTemplateMapByKey(key)
   313  			if (err != nil) || (ts.DomainID != oldts.DomainID) || (ts.SetID != oldts.SetID) || !isEqualFS(ts.FieldRecord, oldts.FieldRecord) || !isEqualFS(ts.ScopeFieldRecord, oldts.ScopeFieldRecord) {
   314  				TemplateMap.Store(key, ts)
   315  			}
   316  		*/
   317  
   318  		byteremain = flowsethdr.Length - 4 - (packet.Data.Pos - initpos)
   319  		//fmt.Printf("DEBUG-HANDLETEMPLATE:::SetLen:%d\tRPOS:%d\tINITPOS:%d\n", flowsethdr.Length, packet.Data.Pos, initpos)
   320  		if byteremain < 4 {
   321  			//read padding...
   322  			if byteremain > 0 {
   323  				_, err = packet.Data.ReadN(byteremain)
   324  				if err != nil {
   325  					return err
   326  				}
   327  			}
   328  			break
   329  		}
   330  	}
   331  	return nil
   332  }
   333  
   334  func (t *TemplateRecord) String() string {
   335  	var buf bytes.Buffer
   336  	buf.WriteString(fmt.Sprintf("[IPFIX] | Template: ScopeFieldCount:%4d | FieldCount:%4d\n", t.Header.ScopeFieldCount, t.Header.FieldCount))
   337  	for idx := uint16(0); idx < t.Header.ScopeFieldCount; idx++ {
   338  		r := t.ScopeFieldRecord[idx]
   339  		buf.WriteString(fmt.Sprintf("[IPFIX] | Template: Scope FieldRecord[%3d]: | TemplateID:DomainID: [%4d:%-4d] | ElementID:[%2d:%-6d] | Length:%4d | Name: %s\n", idx, t.Header.TemplateID, t.DomainID, r.Key.EnterpriseNo, r.Key.ElementID, r.Length, r.Name))
   340  	}
   341  	for idx := uint16(0); idx < t.Header.FieldCount-t.Header.ScopeFieldCount; idx++ {
   342  		r := t.FieldRecord[idx]
   343  		buf.WriteString(fmt.Sprintf("[IPFIX] | Template:       FieldRecord[%3d]: | TemplateID:DomainID: [%4d:%-4d] | ElementID:[%2d:%-6d] | Length:%4d | Name: %s\n", idx, t.Header.TemplateID, t.DomainID, r.Key.EnterpriseNo, r.Key.ElementID, r.Length, r.Name))
   344  	}
   345  	return buf.String()
   346  
   347  }