github.com/zartbot/goflow@v0.0.0-20221001080520-456f7dfad288/ipfix/template.go (about) 1 package ipfix 2 3 import ( 4 "bytes" 5 "errors" 6 "fmt" 7 8 "github.com/sirupsen/logrus" 9 "github.com/zartbot/goflow/iedb" 10 "github.com/zartbot/goflow/reader" 11 ) 12 13 var TEMPLATE_DEBUG bool = false 14 15 // TemplateHeader : RFC 7011 - 3.4.1 Template Record Format 16 // [Set ID == 2] 17 // 0 1 2 3 18 // 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 19 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 20 // | Template ID (> 255) | Field Count | 21 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 22 // 23 // OptionTemplateHeader : RFC 7011 - 3.4.2.2 Option Template Record Format 24 // [Set ID == 3] 25 // 0 1 2 3 26 // 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 27 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 28 // | Template ID (> 255) | Field Count | 29 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 30 // | Scope Field Count | 31 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 32 type TemplateHeader struct { 33 TemplateID uint16 34 FieldCount uint16 35 ScopeFieldCount uint16 36 } 37 38 // Decode : A method to parse TemplateHeader 39 func (t *TemplateHeader) Decode(r *reader.Reader, SetID uint16) error { 40 var err error 41 if t.TemplateID, err = r.ReadUint16(); err != nil { 42 return err 43 } 44 45 if t.FieldCount, err = r.ReadUint16(); err != nil { 46 return err 47 } 48 49 if SetID == 3 { 50 if t.ScopeFieldCount, err = r.ReadUint16(); err != nil { 51 return err 52 } 53 } 54 return nil 55 } 56 57 // TemplateFieldSpecifier : RFC 7011 - 3.2. Field Specifier Format 58 // 59 // 0 1 2 3 60 // 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 61 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 62 // |0| Information Element ident. | Field Length | 63 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 64 // 65 // 0 1 2 3 66 // 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 67 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 68 // |1| Information Element ident. | Field Length | 69 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 70 // | Enterprise Number | 71 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 72 type TemplateFieldSpecifier struct { 73 Key iedb.ElementKey 74 Length uint16 75 Name string 76 Type string 77 Dtype iedb.DataType 78 } 79 80 // Decode : TemplateFiledSpecifier 81 func (t *TemplateFieldSpecifier) Decode(r *reader.Reader) error { 82 var err error 83 84 if t.Key.ElementID, err = r.ReadUint16(); err != nil { 85 return err 86 } 87 88 if t.Length, err = r.ReadUint16(); err != nil { 89 return err 90 } 91 92 if t.Key.ElementID > 0x8000 { 93 t.Key.ElementID = t.Key.ElementID & 0x7fff 94 if t.Key.EnterpriseNo, err = r.ReadUint32(); err != nil { 95 return err 96 } 97 } 98 value, ok := iedb.IEDatabase.Load(t.Key) 99 if ok { 100 ie, valid := value.(iedb.InformationElement) 101 if !valid { 102 err = errors.New("invalid type assertion") 103 return err 104 } else { 105 t.Name = ie.Name 106 t.Type = ie.Type 107 t.Dtype = ie.Dtype 108 } 109 } 110 111 return nil 112 } 113 114 // TemplateRecord : This is an Exmaple 115 // 0 1 2 3 116 // 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 117 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 118 // | Set ID = 2 | Length | 119 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 120 // | Template ID = 256 | Field Count = N | 121 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 122 // |1| Information Element id. 1.1 | Field Length 1.1 | 123 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 124 // | Enterprise Number 1.1 | 125 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 126 // |0| Information Element id. 1.2 | Field Length 1.2 | 127 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 128 // | ... | ... | 129 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 130 // |1| Information Element id. 1.N | Field Length 1.N | 131 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 132 // | Enterprise Number 1.N | 133 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 134 // | Template ID = 257 | Field Count = M | 135 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 136 // |0| Information Element id. 2.1 | Field Length 2.1 | 137 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 138 // |1| Information Element id. 2.2 | Field Length 2.2 | 139 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 140 // | Enterprise Number 2.2 | 141 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 142 // | ... | ... | 143 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 144 // |1| Information Element id. 2.M | Field Length 2.M | 145 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 146 // | Enterprise Number 2.M | 147 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 148 // | Padding (opt) | 149 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 150 // OptionTemplate Example : RFC 7011 - 3.4.2.2 Option Template Record Format 151 // 152 // 0 1 2 3 153 // 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 154 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 155 // | Set ID = 3 | Length | 156 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 157 // | Template ID = 258 | Field Count = N + M | 158 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 159 // | Scope Field Count = N |0| Scope 1 Infor. Element id. | 160 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 161 // | Scope 1 Field Length |0| Scope 2 Infor. Element id. | 162 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 163 // | Scope 2 Field Length | ... | 164 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 165 // | ... |1| Scope N Infor. Element id. | 166 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 167 // | Scope N Field Length | Scope N Enterprise Number ... 168 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 169 //... Scope N Enterprise Number |1| Option 1 Infor. Element id. | 170 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 171 // | Option 1 Field Length | Option 1 Enterprise Number ... 172 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 173 //... Option 1 Enterprise Number | ... | 174 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 175 // | ... |0| Option M Infor. Element id. | 176 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 177 // | Option M Field Length | Padding (optional) | 178 // +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 179 // 180 // The example shows an Options Template Set with mixed IANA-assigned 181 // and enterprise-specific Information Elements. It consists of a 182 // Set Header, an Options Template Header, and several Field Specifiers. 183 type TemplateRecord struct { 184 DomainID uint32 185 SetID uint16 186 Header TemplateHeader 187 FieldRecord []TemplateFieldSpecifier 188 ScopeFieldRecord []TemplateFieldSpecifier 189 } 190 191 // Decode : This is a method to decode template and option template set 192 func (t *TemplateRecord) Decode(r *reader.Reader, m *MessageHeader, s *FlowSetHeader) error { 193 var err error 194 initpos := r.Pos //used to calculate length to validate Padding Field. 195 196 t.DomainID = m.DomainID 197 //t.ExportTime = m.ExportTime 198 t.SetID = s.SetID 199 200 err = t.Header.Decode(r, t.SetID) 201 if err != nil { 202 return err 203 } 204 205 if t.SetID == 3 { 206 for fieldid := uint16(0); fieldid < t.Header.ScopeFieldCount; fieldid++ { 207 var fi TemplateFieldSpecifier 208 fi.Decode(r) 209 t.ScopeFieldRecord = append(t.ScopeFieldRecord, fi) 210 } 211 } 212 for fieldid := uint16(0); fieldid < t.Header.FieldCount-t.Header.ScopeFieldCount; fieldid++ { 213 var fi TemplateFieldSpecifier 214 fi.Decode(r) 215 t.FieldRecord = append(t.FieldRecord, fi) 216 } 217 218 // calculate padding size by length 219 // SetLength - 4(SetHeader) - ReadBytes(r.Pos-initpos) 220 paddingSize := s.Length - 4 - (r.Pos - initpos) 221 if paddingSize > 0 { 222 _, err = r.ReadN(paddingSize) 223 if err != nil { 224 return err 225 } 226 } 227 return nil 228 } 229 230 type TemplateMapKey struct { 231 AgentID string 232 LocalPort int 233 DomainID uint32 234 SetID uint16 235 } 236 237 func NewTemplateMapKey(AgentID string, LocalPort int, DomainID uint32, SetID uint16) TemplateMapKey { 238 return TemplateMapKey{ 239 AgentID: AgentID, 240 LocalPort: LocalPort, 241 DomainID: DomainID, 242 SetID: SetID, 243 } 244 } 245 246 func FetchTemplateMapByKey(key TemplateMapKey) (TemplateRecord, error) { 247 var err error 248 var t TemplateRecord 249 value, ok := TemplateMap.Load(key) 250 if ok { 251 t, valid := value.(TemplateRecord) 252 if !valid { 253 err = errors.New("invalid type assertion") 254 return t, err 255 } else { 256 return t, nil 257 } 258 } else { 259 err = errors.New("value not exist in map") 260 return t, err 261 } 262 } 263 264 func FetchTemplateMap(AgentID string, LocalPort int, DomainID uint32, SetID uint16) (TemplateRecord, error) { 265 key := NewTemplateMapKey(AgentID, LocalPort, DomainID, SetID) 266 v, err := FetchTemplateMapByKey(key) 267 return v, err 268 } 269 270 func isEqualFS(a []TemplateFieldSpecifier, b []TemplateFieldSpecifier) bool { 271 if (a == nil) != (b == nil) { 272 return false 273 } 274 if len(a) != len(b) { 275 return false 276 } 277 278 for i := range a { 279 if a[i] != b[i] { 280 return false 281 } 282 } 283 284 return true 285 } 286 287 func HandleTemplateRecord(packet *Packet, msghdr *MessageHeader, flowsethdr *FlowSetHeader) error { 288 var err error 289 290 initpos := packet.Data.Pos 291 var byteremain uint16 292 293 for { 294 //var oldts TemplateRecord 295 var ts TemplateRecord 296 err = ts.Decode(packet.Data, msghdr, flowsethdr) 297 if err != nil { 298 logrus.Warn("Decode Template Error:", err) 299 return err 300 } 301 302 if TEMPLATE_DEBUG { 303 fmt.Println("DEBUG-TEMPLATE---------------------------") 304 fmt.Println(ts.String()) 305 } 306 307 key := NewTemplateMapKey(packet.RemoteAddr.IP.String(), packet.LocalPort, ts.DomainID, ts.Header.TemplateID) 308 TemplateMap.Store(key, ts) 309 //fmt.Println(time.Now(), " Template Recieved-->", key) 310 /* 311 key := NewTemplateMapKey(packet.RemoteAddr.IP.String(), ts.DomainID, ts.Header.TemplateID) 312 oldts, err = FetchTemplateMapByKey(key) 313 if (err != nil) || (ts.DomainID != oldts.DomainID) || (ts.SetID != oldts.SetID) || !isEqualFS(ts.FieldRecord, oldts.FieldRecord) || !isEqualFS(ts.ScopeFieldRecord, oldts.ScopeFieldRecord) { 314 TemplateMap.Store(key, ts) 315 } 316 */ 317 318 byteremain = flowsethdr.Length - 4 - (packet.Data.Pos - initpos) 319 //fmt.Printf("DEBUG-HANDLETEMPLATE:::SetLen:%d\tRPOS:%d\tINITPOS:%d\n", flowsethdr.Length, packet.Data.Pos, initpos) 320 if byteremain < 4 { 321 //read padding... 322 if byteremain > 0 { 323 _, err = packet.Data.ReadN(byteremain) 324 if err != nil { 325 return err 326 } 327 } 328 break 329 } 330 } 331 return nil 332 } 333 334 func (t *TemplateRecord) String() string { 335 var buf bytes.Buffer 336 buf.WriteString(fmt.Sprintf("[IPFIX] | Template: ScopeFieldCount:%4d | FieldCount:%4d\n", t.Header.ScopeFieldCount, t.Header.FieldCount)) 337 for idx := uint16(0); idx < t.Header.ScopeFieldCount; idx++ { 338 r := t.ScopeFieldRecord[idx] 339 buf.WriteString(fmt.Sprintf("[IPFIX] | Template: Scope FieldRecord[%3d]: | TemplateID:DomainID: [%4d:%-4d] | ElementID:[%2d:%-6d] | Length:%4d | Name: %s\n", idx, t.Header.TemplateID, t.DomainID, r.Key.EnterpriseNo, r.Key.ElementID, r.Length, r.Name)) 340 } 341 for idx := uint16(0); idx < t.Header.FieldCount-t.Header.ScopeFieldCount; idx++ { 342 r := t.FieldRecord[idx] 343 buf.WriteString(fmt.Sprintf("[IPFIX] | Template: FieldRecord[%3d]: | TemplateID:DomainID: [%4d:%-4d] | ElementID:[%2d:%-6d] | Length:%4d | Name: %s\n", idx, t.Header.TemplateID, t.DomainID, r.Key.EnterpriseNo, r.Key.ElementID, r.Length, r.Name)) 344 } 345 return buf.String() 346 347 }