github.com/zartbot/goflow@v0.0.0-20221001080520-456f7dfad288/netflowv9/template.go (about) 1 package netflowv9 2 3 import ( 4 "bytes" 5 "errors" 6 "fmt" 7 8 "github.com/sirupsen/logrus" 9 "github.com/zartbot/goflow/iedb" 10 "github.com/zartbot/goflow/reader" 11 ) 12 13 // TemplateHeader : RFC 3954 - 5.2 Template FlowSet Format 14 // [Set ID == 0] 15 // 0 1 2 3 16 // 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 17 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 18 // | Template ID | Field Count | 19 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 20 // 21 // OptionTemplateHeader : RFC 7011 - 3.4.2.2 Option Template Record Format 22 // [Set ID == 1] 23 // 0 1 2 3 24 // 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 25 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 26 // | Template ID | Option Scope Length | 27 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 28 // | Option Length | 29 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 30 31 type TemplateHeader struct { 32 TemplateID uint16 33 FieldCount uint16 34 ScopeFieldCount uint16 35 } 36 37 // Decode : A method to parse TemplateHeader 38 func (t *TemplateHeader) Decode(r *reader.Reader, SetID uint16) error { 39 var err error 40 if t.TemplateID, err = r.ReadUint16(); err != nil { 41 return err 42 } 43 44 if t.FieldCount, err = r.ReadUint16(); err != nil { 45 return err 46 } 47 48 if SetID == 1 { 49 t.ScopeFieldCount = t.FieldCount / 4 50 if t.FieldCount, err = r.ReadUint16(); err != nil { 51 return err 52 } 53 t.FieldCount = t.FieldCount / 4 54 } 55 56 //logrus.Warn(t.TemplateID, "--------------", t.FieldCount, "SCOPE:", t.ScopeFieldCount) 57 58 return nil 59 } 60 61 // TemplateFieldSpecifier : RFC 7011 - 3.2. Field Specifier Format 62 // 63 // 0 1 2 3 64 // 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 65 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 66 // | Information Element ident. | Field Length | 67 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 68 type TemplateFieldSpecifier struct { 69 Key iedb.ElementKey 70 Length uint16 71 Name string 72 Type string 73 Dtype iedb.DataType 74 } 75 76 // Decode : TemplateFiledSpecifier 77 func (t *TemplateFieldSpecifier) Decode(r *reader.Reader) error { 78 var err error 79 80 if t.Key.ElementID, err = r.ReadUint16(); err != nil { 81 return err 82 } 83 84 if t.Length, err = r.ReadUint16(); err != nil { 85 return err 86 } 87 88 t.Key.EnterpriseNo = 0 89 value, ok := iedb.IEDatabase.Load(t.Key) 90 if ok { 91 ie, valid := value.(iedb.InformationElement) 92 if !valid { 93 err = errors.New("invalid type assertion") 94 return err 95 } else { 96 t.Name = ie.Name 97 t.Type = ie.Type 98 t.Dtype = ie.Dtype 99 } 100 } 101 102 return nil 103 } 104 105 // TemplateRecord : 5.2 Template FlowSet Format 106 // 107 // 0 1 2 3 108 // 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 109 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 110 // | FlowSet ID = 0 | Length | 111 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 112 // | Template ID 256 | Field Count | 113 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 114 // | Field Type 1 | Field Length 1 | 115 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 116 // | Field Type 2 | Field Length 2 | 117 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 118 // | ... | ... | 119 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 120 // | Field Type N | Field Length N | 121 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 122 // | Template ID 257 | Field Count | 123 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 124 // | Field Type 1 | Field Length 1 | 125 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 126 // | Field Type 2 | Field Length 2 | 127 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 128 // | ... | ... | 129 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 130 // | Field Type M | Field Length M | 131 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 132 // | ... | ... | 133 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 134 // | Template ID K | Field Count | 135 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 136 // | ... | ... | 137 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 138 // 139 // 140 // 0 1 2 3 141 // 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 142 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 143 // | FlowSet ID = 1 | Length | 144 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 145 // | Template ID | Option Scope Length | 146 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 147 // | Option Length | Scope 1 Field Type | 148 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 149 // | Scope 1 Field Length | ... | 150 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 151 // | Scope N Field Length | Option 1 Field Type | 152 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 153 // | Option 1 Field Length | ... | 154 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 155 // | Option M Field Length | Padding | 156 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 157 158 type TemplateRecord struct { 159 DomainID uint32 160 ExportTime uint32 161 SetID uint16 162 Header TemplateHeader 163 FieldRecord []TemplateFieldSpecifier 164 ScopeFieldRecord []TemplateFieldSpecifier 165 } 166 167 // Decode : This is a method to decode template and option template set 168 func (t *TemplateRecord) Decode(r *reader.Reader, m *MessageHeader, s *FlowSetHeader) error { 169 var err error 170 initpos := r.Pos //used to calculate length to validate Padding Field. 171 172 t.DomainID = m.DomainID 173 t.ExportTime = m.ExportTime 174 t.SetID = s.SetID 175 176 err = t.Header.Decode(r, t.SetID) 177 if err != nil { 178 return err 179 } 180 181 if t.SetID == 1 { 182 for fieldid := uint16(0); fieldid < t.Header.ScopeFieldCount; fieldid++ { 183 var fi TemplateFieldSpecifier 184 fi.Decode(r) 185 t.ScopeFieldRecord = append(t.ScopeFieldRecord, fi) 186 } 187 } 188 for fieldid := uint16(0); fieldid < t.Header.FieldCount; fieldid++ { 189 var fi TemplateFieldSpecifier 190 fi.Decode(r) 191 t.FieldRecord = append(t.FieldRecord, fi) 192 } 193 194 // calculate padding size by length 195 // SetLength - 4(SetHeader) - ReadBytes(r.Pos-initpos) 196 //fmt.Printf("DEBUG:::SetLen:%d\tRPOS:%d\tINITPOS:%d\n", s.Length, r.Pos, initpos) 197 198 paddingSize := s.Length - 4 - (r.Pos - initpos) 199 /* Debug Padding 200 logrus.Warn("PaddingSize s.Length - 4 - (r.Pos - initpos)") 201 fmt.Printf("DEBUG:::Padding Size:%d\t\tSetLen:%d\tRPOS:%d\tINITPOS:%d\n", paddingSize, s.Length, r.Pos, initpos) 202 */ 203 if (paddingSize < 4) && (paddingSize > 0) { 204 _, err = r.ReadN(paddingSize) 205 if err != nil { 206 return err 207 } 208 } 209 return nil 210 } 211 212 type TemplateMapKey struct { 213 AgentID string 214 LocalPort int 215 DomainID uint32 216 SetID uint16 217 } 218 219 func NewTemplateMapKey(AgentID string, LocalPort int, DomainID uint32, SetID uint16) TemplateMapKey { 220 return TemplateMapKey{ 221 AgentID: AgentID, 222 LocalPort: LocalPort, 223 DomainID: DomainID, 224 SetID: SetID, 225 } 226 } 227 228 func FetchTemplateMapByKey(key TemplateMapKey) (TemplateRecord, error) { 229 var err error 230 var t TemplateRecord 231 value, ok := TemplateMap.Load(key) 232 if ok { 233 t, valid := value.(TemplateRecord) 234 if !valid { 235 err = errors.New("invalid type assertion") 236 return t, err 237 } else { 238 return t, nil 239 } 240 } else { 241 err = errors.New("value not exist in map") 242 return t, err 243 } 244 } 245 246 func FetchTemplateMap(AgentID string, LocalPort int, DomainID uint32, SetID uint16) (TemplateRecord, error) { 247 key := NewTemplateMapKey(AgentID, LocalPort, DomainID, SetID) 248 v, err := FetchTemplateMapByKey(key) 249 return v, err 250 } 251 252 func isEqualFS(a []TemplateFieldSpecifier, b []TemplateFieldSpecifier) bool { 253 if (a == nil) != (b == nil) { 254 return false 255 } 256 if len(a) != len(b) { 257 return false 258 } 259 260 for i := range a { 261 if a[i] != b[i] { 262 return false 263 } 264 } 265 266 return true 267 } 268 269 func HandleTemplateRecord(packet *Packet, msghdr *MessageHeader, flowsethdr *FlowSetHeader) error { 270 var err error 271 272 initpos := packet.Data.Pos 273 var byteremain uint16 274 275 for { 276 //var oldts TemplateRecord 277 var ts TemplateRecord 278 err = ts.Decode(packet.Data, msghdr, flowsethdr) 279 if err != nil { 280 logrus.Warn("[Template Parse Error]:=", err) 281 logrus.Warn("[Template Parse Error]:=Template Record", ts) 282 return err 283 } 284 285 key := NewTemplateMapKey(packet.RemoteAddr.IP.String(), packet.LocalPort, ts.DomainID, ts.Header.TemplateID) 286 TemplateMap.Store(key, ts) 287 //fmt.Println("DEBUG-NFv9-HandleTemplate-->", key) 288 /* 289 seems compare record may take more CPU resource than force update... 290 oldts, err = FetchTemplateMapByKey(key) 291 if (err != nil) || (ts.DomainID != oldts.DomainID) || (ts.SetID != oldts.SetID) || !isEqualFS(ts.FieldRecord, oldts.FieldRecord) || !isEqualFS(ts.ScopeFieldRecord, oldts.ScopeFieldRecord) { 292 TemplateMap.Store(key, ts) 293 } 294 295 fmt.Printf("DEBUG OLD----------------------%+v\n", key) 296 fmt.Println(oldts.String()) 297 fmt.Println("DEBUG New----------------------") 298 fmt.Println(ts.String()) 299 */ 300 301 byteremain = flowsethdr.Length - 4 - (packet.Data.Pos - initpos) 302 //fmt.Printf("DEBUG-HANDLETEMPLATE:::SetLen:%d\tRPOS:%d\tINITPOS:%d\n", flowsethdr.Length, packet.Data.Pos, initpos) 303 if byteremain < 4 { 304 //read padding... 305 if byteremain > 0 { 306 _, err = packet.Data.ReadN(byteremain) 307 if err != nil { 308 return err 309 } 310 } 311 break 312 } 313 } 314 return nil 315 } 316 317 func (t *TemplateRecord) String() string { 318 var buf bytes.Buffer 319 buf.WriteString(fmt.Sprintf("[NFv9 ] | Template: ScopeFieldCount:%4d | FieldCount:%4d\n", t.Header.ScopeFieldCount, t.Header.FieldCount)) 320 for idx := uint16(0); idx < t.Header.ScopeFieldCount; idx++ { 321 r := t.ScopeFieldRecord[idx] 322 buf.WriteString(fmt.Sprintf("[NFv9 ] | Template: Scope FieldRecord[%3d]: | TemplateID:DomainID: [%4d:%-4d] | ElementID:[%2d:%-6d] | Length:%4d | Name: %s\n", idx, t.Header.TemplateID, t.DomainID, r.Key.EnterpriseNo, r.Key.ElementID, r.Length, r.Name)) 323 } 324 for idx := uint16(0); idx < t.Header.FieldCount; idx++ { 325 r := t.FieldRecord[idx] 326 buf.WriteString(fmt.Sprintf("[NFv9 ] | Template: FieldRecord[%3d]: | TemplateID:DomainID: [%4d:%-4d] | ElementID:[%2d:%-6d] | Length:%4d | Name: %s\n", idx, t.Header.TemplateID, t.DomainID, r.Key.EnterpriseNo, r.Key.ElementID, r.Length, r.Name)) 327 } 328 return buf.String() 329 330 }